"Réussir son référencement web" : les bonnes feuilles Un site 100% "Google friendly" dès son lancement

Comment imaginer pour son site une structure qui soit totalement compatible avec son exploration par les spiders ? Comment mettre en place un réseau de liens aidant ces robots à obtenir une meilleure compréhension du maillage de votre source d'informations ? Comment faire pour éviter tout obstacle technologique freinant ou bloquant pour les moteurs ? Bref, nous allons lister ici, toujours sous la forme d'un "mémo", une suite de "bonnes pratiques" pour mettre en ligne un site qui sera 100% spider friendly dès son lancement.

Le premier des points à inspecter est la structure du site : les robots peuvent-ils aller partout de façon efficace et découvrir toutes vos pages ? Voici quelques points à vérifier.

 Votre site contient-il un fichier robots.txt  ?

 Son nom est-il bien orthographié ("r" minuscule, "robots" au pluriel) ?

"Chaque sous-domaine dispose-t-il de son propre fichier robots.txt ?"

 Est-il disponible à la racine de votre site (www.votresite.com/robots.txt) ?

 En cas d'utilisation de sous-domaines (motclé.votresite.com), chaque sous-domaine dispose-t-il de son propre fichier robots.txt (actu.votresite.com/robots.txt, produits. votresite.com/robots.txt) ? [NDR lire aussi : Installer Google Analytics sur un sous-domaine]

 Les zones "interdites aux robots", si elles existent, sont-elles bien listées dans le(s) fichier(s) robots.txt ?

 Certains spiders moins importants sont-ils pris en compte ou interdits, si nécessaire, ou si vous avez remarqué dans vos statistiques que leur venue gêne votre serveur (trop de bande passante occupée lors du crawl, par exemple) ?

 Votre fichier robots.txt indique-t-il l'URL de votre fichier Sitemap (fonction Autodiscovery) ?

 Avez-vous vérifié la syntaxe de votre fichier robots.txt grâce à un outil disponible en ligne ?

Un fichier Sitemap est aujourd'hui hautement recommandé pour obtenir une bonne indexation quantitative de votre site. Voici la liste des questions qu'il faut se poser au sujet de vos fichiers Sitemaps.

 Votre site propose-t-il un fichier Sitemap ? Comme pour le fichier robots.txt, si vous utilisez des sous-domaines, n'oubliez pas de proposer un fichier Sitemap par sous-domaine.

 Le fichier Sitemap recense-t-il de façon exhaustive toutes les pages de votre site ?

 Les indications qu'il fournit pour chacune d'elles (date de dernière modification, fréquence de mise à jour) sont-elles conformes à ce que le robot découvrira de lui-même s'il parcourt votre site en suivant les liens mis à sa disposition ? Il est important que les informations que vous délivrez dans le fichier Sitemap soient le reflet de la réalité et soient cohérentes par rapport aux voies d'exploration de votre site par les robots.

 Avez-vous mis en place une procédure simple de gestion de votre fichier Sitemap pour les zones dynamiques, dont les informations changent souvent (nouvelles pages, modifications des pages existantes) ? Le but sera de fournir aux moteurs les données les plus fraîches possible.

 Avez-vous indiqué l'adresse du Sitemap dans le fichier robots.txt (voir section précédente) ?

 Avez-vous soumis votre fichier Sitemap à Google, Yahoo! et Bing au travers de leurs outils pour webmasters ? L'outil de Google, notamment, vous fournira des statistiques de visites ainsi que des diagnostics d'erreurs éventuelles sur vos fichiers, bien utiles parfois.