© Google
Pour rendre son site visible sur le moteur, il convient dans un premier
temps de le rendre visible pour les robots d'indexation. Ce sont ces derniers
qui copieront le contenu du site dans l'index du moteur.
"Quand un utilisateur entre une recherche, nos outils recherchent
dans l'index pour trouver les pages appropriées et fournir les résultats
les plus pertinents à l'utilisateur. Cette pertinence est déterminée à partir
de 200 critères, dont l'un est le 'page rank' d'une page donnée",
indique le livre blanc de Google.
Comme le précise le moteur dans ce document, son système d'algorithme
est en perpétuelle évolution. Après avoir longtemps favorisé les
sites anciens, il sait laisser aujourd'hui une priorité à la fraîcheur,
rendant son index plus dynamique. La détection des nouveaux contenus s'effectue
en fonction de la fréquence de mise à jour des sites composant son index.
"Cette approche plus perspicace tient compte du fait qu'un site de journal
en ligne, par exemple, a besoin d'un crawling plus fréquent qu'un
site Web statique mis à jour une fois par mois", explique le moteur.
Google explique également comment sont détectés les nouveaux
sites créés : son robot allant de lien en lien, il suffit qu'un site Web
déjà indexé par le moteur fasse un lien vers une page du site pour qu'il reçoive
sa première visite. Seules raisons expliquant qu'un site ne soit pas repéré par
les robots de Google :
- le site n'est pas suffisamment connecté via des liens présents sur des
sites partenaires,
- le site a été lancé après un passage des robots,
- le site était temporairement inaccessible lorsque le robot a voulu aller
crawler son contenu.
