Empêcher l'indexation d'un site miroir (un sous-domaine) via le fichier robots.txt
Pour son développement ou son CDN, un site peut avoir un miroir qui ne doit pas être référencé. Voici comment empêcher les moteurs de l'indexer.
De nombreux sites internet utilisent un système de "site miroir". Un site miroir est une reproduction à l'identique du site d'origine. C'est utile pour sauvegarder le contenu d'un site, ou bien effectuer des développements sur une version identique au site principal sans gêner les visiteurs. Il peut aussi être utilisé pour le système de CDN. Il est bien sûr important que ce site miroir ne soit pas référencé : les moteurs de recherche croiraient qu'il s'agit de contenus dupliqués et pourraient pénaliser le référencement du site.
Pour éviter l'indexation d'un sous-domaine, il faut utiliser un fichier ".htaccess". Mais dans le cas d'un site miroir, le contenu et le code sont entièrement dupliqués. Les fichiers ".htaccess" sont donc identiques entre les deux sites.
Il y a une astuce : utiliser la directive "RewriteRule" avec la variable , qui correspond au nom de domaine demandé. Si le nom de domaine demandé est le sous-domaine, on redirige le navigateur sur un autre fichier "robots.txt" qui interdit l'accès au site.
Par exemple, le site "monsite.fr" possède comme sous-domaine le site "miroir.monsite.fr", une version dupliquée du site d'origine. Dans le fichier "robots.txt", il faut utiliser les règles suivantes pour différencier le domaine principal du sous-domaine :
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond % ^miroir.monsite.fr$
RewriteRule ^robots.txt$ robots-2.txt
</IfModule>
Lorsqu'un internaute ou un robot accède à la page http://www.monsite.fr/, le site sera affiché normalement. Si par contre, il se rend sur http://www.miroir.monsite.fr/, il sera redirigé vers le fichier "robot-2.txt".
Dans le fichier "robots-2.txt", écrivez ensuite les instructions interdisant l'accès et le référencement du sous-domaine :
User-agent: *
Disallow: /
Sur les sous-domaines, lire aussi :Installer Google Analytics sur un sous-domaine
Mesurer des sous-domaines avec Universal Analytics et Google Tag Manager