Google Search Quality Raters : ce que l'on sait
Qui sont les Quality Raters ?
Comme leur nom l'indique, les "Google Search Quality Raters" souvent simplement appelés les "Quality Raters" par les SEO sont employés pour juger la qualité des résultats remontés par le moteur. Ils ne sont cependant pas directement salariés par Google, mais par des agences tierces qui permettent au groupe américain de sous-traiter cette tâche. Le nom de certaines d'entre elles sont connus : Lionbridge, Leapforce ou Butler Hill. Ces Quality Raters travaillent dans le monde entier, et sont en général des internautes lambda, et non des SEO ou des professionnels du webmarketing.
Google a globalement assez peu communiqué à leur sujet, mais certains de ces Quality raters ont pu témoigner. Avant d'être embauchés, ils passent des tests apparemment assez difficiles. Ensuite, il ne s'agit pas d'un travail à plein temps : ils travaillent entre 10 et 20 heures par semaine pour un salaire allant de 12 à 15 dollars par heure.
"Les Quality Raters sont utilisés pour décider s'il faut lancer un nouvel algorithme ou pas" (Matt Cutts)
Que font-ils ?
Ces Quality Raters évaluent et notent les résultats organiques remontés par Google, ce qui inclut aussi les résultats universels (vidéo, actualité...) et même les résultats de type Knowledge Graph. Ils peuvent aussi, apparemment, être amenés à évaluer les résultats payants.
Ils peuvent réaliser deux types de notation : celle d'un résultat par rapport à une requête, dont le lieu et la langue sont précisés, mais aussi celle dite du "côte à côte" (ou "side by side") où deux résultats pour une même requête doivent être évalués.
Une note de qualité globale du résultat est attribuée : très basse, basse, moyenne, haute, et très haute. Un autre barème est utilisé pour noter l'utilité du résultat, qui peut être vital, utile, pertinent, légèrement pertinent, hors sujet, ou inutile. Pour cela, il est demandé aux Quality Raters de bien prendre en compte l'intention de la requête, qui peut être de réaliser une action (un achat par exemple), rechercher une information (une définition) ou tout simplement de naviguer vers une page ou un site précis. Un Quality Rater interrogé par SearchEngineLand.com il y a quelques années, avait aussi expliqué que les mêmes résultats étaient évalués par plusieurs Quality Raters dont les avis doivent converger. Un arbitre pouvant même être sollicité pour aboutir à un résultat unanime.
D'après les dernières informations dont on dispose à leur sujet, les Quality Raters peuvent enfin aussi indiquer que le résultat remonté n'est pas dans la bonne langue, ou qu'il est réservé aux adultes, ou qu'il ne se charge pas correctement (à cause d'un malware par exemple).
En outre, ils n'évaluent pas seulement ce que Google appelle le "contenu principal", mais doivent aussi s'intéresser au "contenu supplémentaire" (comme des avis ou des liens renvoyant vers d'autres contenus) et aux publicités. Ces dernières ne doivent clairement pas être trop envahissantes.
C'est du moins ce que révèlent les dernières consignes qui leur sont transmises par Google au sein d'un document (titré "Quality Rating Guideline") qui est assez régulièrement mis à jour. Ses différentes versions ont fuité sur Internet. La dernière fuite en date, facilement trouvable sur Internet, remonte à quelques semaines à peine, et présente une 5e version de ce document. Datée de fin mars 2014, elle compte 160 pages. Face à ces fuites récurrentes, Google s'est finalement résolu à publier sur l'un de ses sites officiels ce qu'il présente comme les vraies consignes transmises à ces Quality Raters. Mais ce document officiel, de 43 pages et daté de novembre 2012, présente des instructions largement éditées et raccourcies...
A quoi servent ces Quality Raters ? Comment Google utilise leurs notes ?
A en croire les déclarations répétées de Google, les évaluations des Quality Raters ne modifient pas la position d'une URL. Si une URL est plusieurs fois jugée de très faible qualité, elle ne va pas en conséquence dégringoler dans les résultats. Ni même faire l'objet d'un examen d'un employé de Google. C'est du moins ce qu'a tenu à affirmer Matt Cutts.
Le Quality Rater interrogé par SearchEngineLand avait expliqué que, selon lui, Google cherchait avant tout à perfectionner son algorithme, et non à changer les résultats actuels un par un. D'après son témoignage, les évaluations "side by side" permettent ainsi par exemple d'apprécier les conséquences d'un éventuel changement d'algorithme en soumettant un avant/après. Matt Cutts l'a d'ailleurs confirmé sur Twitter : les retours des Quality Raters sont utilisés "pour décider s'il faut lancer un nouvel algorithme ou pas".
Mais Google ne dit certainement pas tout. Des spécialistes pensent ainsi par exemple que Google s'est servi de ces notations humaines pour élaborer un système de machine learning et d'arbre de décision qui serait à la base des filtres Panda ou Penguin....