Robots.txt : définition

Définition du mot Robots.txt

En informatique, le fichier robots.txt, avec "robots" au pluriel et non au singulier ("robot.txt") comme on le voit souvent, est un fichier contenant des commandes destinées aux robots d'indexation des moteurs de recherche. Il participe en ce sens au référencement naturel d'un site web.

Dans la pratique, le fichier robots.txt apporte des instructions aux robots des moteurs de recherche qui explorent le Web. Il leur indique par exemple de ne pas indexer telle ou telle rubrique d'un site web (inutile que Google indexe une interface d'administration par exemple) et peut même aller jusqu'à empêcher l'indexation d'un site web par les moteurs de recherche.

La création d'un fichier robots.txt n'est obligatoire que lorsqu'on souhaite contrôler l'indexation de son site web par les moteurs de recherche. Elle impose de connaître certaines règles et de posséder quelques compétences techniques particulières.

Lire aussi notre fiche pratique SEO sur le même sujet: Empêcher l'indexation des paramètres d'URL avec robots.txt

SEO

Annonces Google