Rechercher un thème :
Solutions >   
Toute l'encyclo pratique

Empêcher l'indexation des paramètres d'URL avec robots.txt

Fiche pratique
Il est possible d'indiquer à Google de ne référencer qu'une seule page en ignorant les paramètres d'URL. Pour ce faire, il existe plusieurs méthodes.
 
 
Dernière mise à jour : mars 2017
 
Le moteur de recherche Google indexe par défaut tous les liens que vous utilisez dans votre site. Si vous utilisez un paramètre dans un lien, Google indexera autant d'URL qu'il y a de valeurs possibles pour ce paramètre. Par exemple, les deux liens suivants seront compris comme étant deux pages différentes pour Google alors que dans votre site internet, ils afficheront le même contenu :
http://www.monsite.fr/produit?id=1
http://www.monsite.fr/produit?id=1&action=commenter


Il est possible d'indiquer à Google de ne référencer qu'une seule page en ignorant les paramètres d'URL, et il existe plusieurs méthodes.

Le robot du moteur de recherche de Google, le Googlebot, est capable de lire les "wild cards" et de les comprendre dans le fichier robots.txt. Il est ainsi possible d'écrire une commande qui indique aux robots de ne pas tenir compte d'un paramètre. On utilise pour cela la directive "Disallow", qui serait ainsi employée pour l'exemple cité ci-dessus :
Disallow: /*action=commenter

Annonces Google



Cette méthode ne fonctionnera pas avec tous les robots, car ce n'est pas un standard, mais Google comprend l'instruction. Elle a également des inconvénients. Cela peut en effet causer un problème avec votre référencement dans le cas où Google ne trouve pas l'URL sans le paramètre. Il faudra aussi supprimer manuellement les URL déjà indexées avec le paramètre, grâce à l'option "URL à supprimer" du menu "Index Google" dans la Search Console (ex-Google Webmaster Tools).

Une deuxième solution est l'utilisation de l'URL canonique. Il s'agit d'une URL unique à insérer avec la balise <link> dans le code de votre page HTML :
<link rel="canonical" href="http://www.monsite.fr/produit?id=1">

Quand le robot de Google va parcourir cette balise au sein d'une page qui n'a pas cette URL, il va savoir qu'une autre URL, celle indiquée, doit être considérée comme canonique, et il ne sera pas censé tenir compte des autres URL, avec d'autres paramètres mais renvoyant vers le même contenu. Même si plus tard, vous créez un nouveau paramètre, si l'URL canonique ne change pas au sein des nouvelles URL, alors le moteur de recherche continuera de privilégier cette même URL canonique.

Une autre option existe dans la Search Console (ex-Google Webmaster Tools). Allez dans le menu "Exploration", puis choisissez l'option "Paramètres d'URL". Sélectionnez l'option "Ajouter un paramètre". Vous pouvez saisir le nom du paramètre ("action" dans notre premier exemple), puis choisissez l'option "Non, il n'affecte pas le contenu de la page". Il faut effectuer cette opération autant de fois qu'il y a de paramètres à ajouter.

Lire aussi, sur le même sujet : 
 
 
Copyright Benchmark Group Envoyer à un ami | Imprimer  
 

 
 
 

Google Analytics et SEO
Fiches pratiques
 Activer l'URL Rewriting avec Drupal 7 Ajax : optimiser le référencement et le crawl d'une application web monopage Ajouter le code de Google Analytics à un site PHP
 Android : comment utiliser Google Analytics pour mesurer des fragments API Google Analytics : comment régler le problème de login ? Bien faire apparaître un événement dans Universal Analytics : un clic par exemple
 Bien installer Google Analytics version Universal sur un site en AJAX Bien mettre en place le User ID d'Universal Analytics Ce que veulent dire les chiffres dans les cookies _ga d'Universal Analytics
 Comment ajouter Google Analytics à Drupal ? Comment ajouter l'ID de suivi de Google Analytics aux pages GitHub ? Comment avoir les rapports "Données démographiques" et "Centres d'intérêt" dans Google Analytics
 Comment combiner les statistiques de plusieurs sites dans Google Analytics ? Comment comprendre les informations Google Click ID (gclid) et les extraire ? Comment connaître le nombre d'impressions des pages avec Google Analytics ?
 Comment indiquer un en-tête "Vary: Accept-Encoding" dans .htaccess ? Conseils pour améliorer le SEO d'une application web monopage Empêcher l'indexation des paramètres d'URL avec robots.txt
 Empêcher l'indexation d'un site miroir (un sous-domaine) via le fichier robots.txt Faire fonctionner Google Analytics avec Rails 4 Générer des URL optimisées pour le SEO avec PHP [URL Rewriting]
 Gérer le SEO pour escaped_fragment (AJAX) Google Analytics API : résoudre le problème de permission (erreur 403) Google Analytics : ce que veut dire
 Google Analytics : comment connaître le nombre de visiteurs sur une page précise ? Google Analytics : comment supprimer une propriété Google Analytics : comment supprimer une vue
 Google Analytics : comment supprimer un site Google Analytics : faire marcher la configuration avancée des événements (avec onClick et jQuery) Google Analytics pour iOS : comment mesurer les écrans avec GAITrackedViewController ?
 Google Analytics : pourquoi la fonctionnalité "analyse des pages web" ne marche pas ? Google Analytics : résoudre le problème du code de suivi non installé .htaccess : mettre en place une page 404 personnalisée
 .htaccess : mettre en place une redirection sans changer l'URL Indexer de l'AJAX et du contenu généré dynamiquement Installer Google Analytics sur un site d'une seule page (ou "monopage")
 Installer Google Analytics sur un sous-domaine Liens : quand utiliser rel="external" ou rel="nofollow" ? Mesurer des sous-domaines avec Universal Analytics et Google Tag Manager
 Mesurer le remplissage des formulaires avec Google Analytics (via les événements) ? Mesurer les URL dans les iframes avec Google Analytics  Mettre en place les variables personnalisées avec Universal Analytics et analytics.js
 Migrer vers Universal Analytics : comment suivre les pages vues et les dimensions personnalisées ? Obtenir les statistiques Google Analytics avec Ruby on Rails OpenCart : comment enlever "index.php?route=common/home" ?
 Peut-on exporter un historique complet de données Google Analytics ? Pourquoi certains chiffres de Google Analytics peuvent différer de ceux de Flurry Analytics Pourquoi Google Analytics n'arrive pas à mesurer les vues sur iOS ?
 Pourquoi un site n'apparaît pas dans Google ? Quel code ajouter pour suivre les événements dans Google Analytics ? Quel est le code Google Analytics permettant de mesurer les événements OnClick ?
 Quelle différence entre "Temps moyen passé sur la page" et "Durée moyenne des sessions" dans Google Analytics ?  Quelles différences entre ga ou _gaq.push pour analyser des événements dans Google Analytics ? Quelle URL du sitemap mettre dans le robots.txt ?
 Rediriger des pages .php vers .html via .htaccess Rich Snippet : faut-il utiliser plusieurs attributs itemprop pour un seul élément ? SEO : empêcher l'indexation de parties de pages
 SEO : empêcher l'indexation de parties de pages SEO et Opencart : résoudre un problème d'URL mal optimisée  SEO : les avantages de WordPress sur des pages HTML écrites soi-même
 SEO : optimiser les URL des pages catégories et des pages produits dans Magento Site ASP.net MVC : comment rediriger toutes les pages sans www vers les pages avec www ? Sites référents dans Google Analytics : comment bloquer le trafic venant de certains sites via .htaccess ?
 Suivre les commentaires sur un blog avec Universal Analytics Suivre un appel Ajax avec Google Analytics (version Universal Analytics) Universal Analytics : comment suivre les transactions sur Magento ?
 Universal Analytics : quel est le client ID pour envoyer des mesures à Google Analytics ? Utiliser display:none est-il sans danger pour le SEO ?  Utiliser $_GET pour avoir de bonnes URL pour le SEO
 Variables personnalisées : les différences entre Universal Analytics et Google Analytics