Google lance un nouvel outil pour tester les fichiers robots.txt
Google vient de lancer un nouvel outil de test du fichier robots.txt au sein de ses Webmaster Tools (et de son menu Exploration). Il permet notamment de voir le contenu de ce fichier, mais aussi de le modifier et de vérifier l'absence d'erreurs.
Des URL du site peuvent être testées pour voir si elles sont bien crawlées par les différents robots de Google (le "classique" Googlebot, mais aussi ses déclinaisons comme Googlebot-News ou Googlebot-Mobile par exemple). Lorsque ces pages ne sont pas parcourues à cause du fichier robots.txt, l'outil va surligner l'instruction responsable.
Des modifications du fichier peuvent aussi être testées au sein même de l'interface, et les éventuelles erreurs seront indiquées (en cas de "syntaxe non comprise" par exemple). Une fois une nouvelle version du fichier uploadée sur le serveur du site, la précédente sera archivée dans ces Outils pour webmasters.
En annonçant ces nouveautés, le Webmaster Trends Analyst de Google John Mueller a invité les webmasters et SEO à coupler ce nouvel outil avec un autre que Google a récemment lancé et qui permet de voir précisément ce que peuvent, ou pas, explorer les robots de Google.
