Tour d'horizon du Bing Webmaster Center Robots.txt validation tool : valider la conformité des fichiers robots.txt

Pour finir, le Bing Webmaster Center donne accès à un module pour valider la conformité d'un fichier robots.txt. L'outil Robots.txt vérifie que le document ne comporte pas d'anomalies susceptibles d'empêcher sa lecture par les agents d'indexation de Bing (MSNBot). En cas de problème de syntaxe, Robots.txt validation détaillera le ou les erreurs décelées.

l'outil robots.txt validation offre un champ pour saisir le code des fichiers
L'outil Robots.txt validation offre un champ pour saisir le code des fichiers robots.txt. © Microsoft

Les fichiers texte robots.txt sont conçus pour interdire l'accès d'une partie d'un site Web aux moteurs de recherche. Il doivent être placés à la racine du serveur, et s'appuie sur la syntaxe REP (Robots Exclusion Protocol). Pour interdire l'accès à un site ou un dossier, il suffit d'indiquer la fonction Disallow suivi du nom de dossier interdit (lire l'article du 03/02/2006).

Précédent
Suivant