Crawler : définition, traduction et acteurs

Définition du mot Crawler

Le terme de crawler, ou spider, désigne dans le monde de l'informatique un robot d'indexation. Il s'agit d'un logiciel qui a pour principale mission d'explorer le Web afin d'analyser les contenus ainsi explorés.

Le crawler parcourt donc, de façon autonome et automatique, les différents sites et pages Internet à la recherche de contenus bien précis ou d'éventuelles mises à jour. Derrière cette activité se cache une autre mission : celle d'indexer les pages Web en fonction de la qualité des contenus et, ainsi, aider les moteurs de recherche à classer les pages Internet dans l'affichage des résultats.

Les crawlers peuvent être programmés pour parcourir le Web avec des objectifs déterminés. L'un des crawlers les plus connus est celui utilisé par Google pour son moteur de recherche, Googlebot. Avant lui, le moteur de recherche AltaVista utilisait le crawler Scooter pour effectuer cette même mission.

Traduction du mot Crawler

  • Robot d'indexation
  • Un robot d'indexation parcourt le Web pour aider les moteurs de recherche à afficher les bons résultats.
  • A crawler travels the Web to help search engines display the right results.

Crawler : les acteurs

Googlebot, Scooter...

SEO

Annonces Google