Google exige désormais l'activation de JavaScript pour accéder à son moteur de recherche
Certains référenceurs ont récemment averti d'un changement dans la recherche Google sur les réseaux sociaux. Comme Vincent Terrasi, coFondateur de Draft & Goal, sur les réseaux sociaux :
"Voici le portrait du suspect :
- Page blanche.
- Titre aligné à gauche.
- Obsédé par la vérification de l'user-agent du navigateur.
- Psychopathe du JavaScript.
Son arrivée a tué 90 % des outils SEO de la planète.
Si vous le croisez, gardez votre calme, armez-vous d'un proxy, mettez le bon user-agent ou fuyez à toutes jambes !"
En effet, le géant américain a discrètement actualisé son champ de recherche depuis le 15 janvier environ. Désormais, les utilisateurs et les robots doivent avoir JavaScript activé lors de la recherche. Rappelons que ce langage de programmation permet d'ajouter des éléments interactifs comme des formulaires, des éléments dynamiques qui se mettent à jour sans recharger la page entière et des animations de page Web.
L'information a été confirmée par un représentant de Google à TechCrunch : "l'activation de JavaScript nous permet de mieux protéger nos services et nos utilisateurs contre les robots et les formes évolutives d'abus et de spam." Elle doit aussi permettre d'améliorer la recherche globale de recherche des utilisateurs. Le porte-parole a aussi expliqué que l'absence de Javascript pourrait détériorer la qualité des résultats de recherche.
Les utilisateurs de Google sans JavaScript lésés
Cette décision interroge, alors que, d'après W3Techs, "JavaScript est utilisé comme langage de programmation côté client par 98,9 % de tous les sites Web." Or, certaines personnes, qui rencontrent des difficultés d'implémentations, ou qui utilisent certains outils d'accessibilité, peuvent ne pas activer Javascript. D'après le représentant de Google à TechCrunch, moins de 0,1 % des recherches sont effectuées sans JavaScript, ce qui constitue un nombre non négligeable de recherches. De plus, ce langage de programmation présente un certain nombre de risques, comme les attaques XXS, de type "Man-in-the-middle" ou encore le détournement de session.
L'IA en ligne de mire
D'après nombre d'observateurs, la décision semble surtout avoir été prise par Google pour protéger son écosystème face à des concurrents IA et search. Le moteur de recherche avait déjà noté noir sur blanc dans ses conditions d'utilisation de ne pas "utiliser (ses) services ni (ses) systèmes de manière abusive, ni les perturber, interférer avec eux ou y nuire. Par exemple, (…) en utilisant des moyens automatisés pour accéder au contenu de l'un de nos services sans respecter les instructions lisibles par machine sur nos pages Web (par exemple, les fichiers robots.txt qui interdisent l'exploration, la formation ou d'autres activités)."
Indiquons que, sur ce point, comme l'a fait remarquer Olivier Duffez, créateur de WebRankInfo, d'après son fichier robots.txt, le géant américain autoriserait peut-être les robots LLM à scrapper son search, sauf le Maps, si l'on s'en réfère à ce qui est mentionné en début de document :
User-agent: *
Disallow: /search
En fin de document est écrit ceci :
# Explicit rules for common LLM bots that might not attribute source data.
User-agent: anthropic-ai
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: cohere-ai
User-agent: Diffbot
User-agent: FacebookBot
User-agent: GPTBot
User-agent: ImagesiftBot
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: Omgilibot
User-agent: PerplexityBot
User-agent: Timpibot
Disallow: /maps*
Cela pourrait indiquer, que d'après la règle de ce type de fichier, les robots LLM peuvent donc scraper le search, sauf Maps… A voir.
Quoi qu'il en soit, avec sa décision de donner l'accessibilité au search seulement avec le JavaScript activé, Google veut probablement frapper un coup dur pour les LLM. "Il est tout moins couteux et plus rapide de scraper sans JavaScript", résume Vincent Terrasi. Or, avec l'émergence d'acteurs comme OpenAI et xAI, qui visent à concurrencer Google sur le search, Google doit plus que jamais protéger son index. "Scraper ses SERPs permet de guider des crawls ou d'enrichir des datasets. Bloquer ces pratiques ralentit les compétiteurs et renforce son monopole", souffle Vincent Terrasi.
Signalons aussi que, d'après des spécialistes du sujet, cette décision de Google semble aussi motivée par des raisons techniques. Vincent Terrasi avait déjà observé une refonte du framework de Google depuis quelques mois. Ce besoin de le mettre à jour s'explique par le fait que le géant américain, selon lui, fait du refactoring, un processus d'amélioration du code. Notons aussi que le troisième intérêt pour Google de l'activation de Javascript pour la recherche, serait les économies opérationnelles, toujours d'après Vincent Terrasi. "Fournir gratuitement des données SERPs à des outils commerciaux engendre des coûts significatifs en ressources serveur et en consommation électrique. Dans un contexte où Google optimise ses dépenses, limiter le scraping est une solution évidente. Il détourne les dépenses énergétiques sur ces outils.""
Les outils SEO victimes collatérales de ces mesures ?
Cette décision de Google s'est également faite ressentir pour bon nombre d'outils SEO. Sont concernés ceux liés au suivi de positionnement, mais aussi à la rédaction assistée par IA, à l'optimisation sémantique, à la cannibalisation ou encore à la clusterisation. Indiquons qu'un article paru sur Search Engine Roundtable expliquait qu'un certain nombre de ces outils avaient rencontré des difficultés depuis la mise en place de l'exigence de Google, le porte-parole de Google a refusé de réagir à ses informations. Rappelons que la politique antispam de Google met en garde contre"le scraping des résultats à des fins de vérification du classement ou autres types d'accès automatisés à la recherche Google sans autorisation expresse."
Pour beaucoup de SEO, comme Christian Méline, créateur des Metamots, cet état de fait est surtout un effet de bord de la décision de Google. "Il n'y a pas la moindre mesure antisprapping", pointe-t-il. Pour lui, si les véritables cibles étaient les outils SEO, Google aurait pris les mesures nécessaires depuis longtemps. "A l'échelle de Google, les outils SEO sont anecdotiques", renchérit Kevin Richard, CEO de SEObserver.
Des prix plus élevés ?
Effet de bord ou non, le renforcement des protections de Google pourrait redessiner certains contours du web et impacter indirectement les outils SEO. "Le scrap sans JavaScript permettait de récupérer de la donnée brute des SERPs", souffle Laurent Jean, consultant SEO spécialiste d'IA. "Comme nous utilisons des regex pour extraire les parties qui nous intéressent, cela est plus facile à faire. Avec le JavaScript, il faut attendre que le flux d'informations ait terminé de charger pour traiter les informations." Cela devrait provoquer une course à l'adaptation, des coûts multipliés et une concentration du marché, selon Vincent Terrasi."Les méthodes sans JavaScript deviennent obsolètes, forçant les outils à investir dans des technologies plus coûteuses, comme le headless browsing et des proxys sophistiqués. Attention, de nombreux outils ont déjà adopté ces méthodes depuis des années. Or, le scraping basé sur JavaScript consomme davantage de ressources. Scraper à forte volumétrie et en quasi temps réel devient techniquement et financièrement difficile, favorisant les entreprises aux infrastructures robustes. Seuls les acteurs disposant de moyens conséquents survivront. Les petits outils risquent de disparaître ou d'être rachetés par des leaders capables d'absorber les coûts."
De leur côté, les utilisateurs finaux devraient ressentir un impact sur le moyen terme, avec une hausse des coûts pas forcément immédiate et une réduction de la vitesse d'exécution, d'après lui. "Les investissements technologiques nécessaires pour contourner les blocages seront répercutés sur les abonnements des outils SEO. Comme Google vient de se rendre compte que cela est possible, il y a fort à parier qu'il va accélérer les méthodes anti-scraping s'il doit protéger son business. De plus, les méthodes basées sur JavaScript sont plus lentes, ce qui pourrait nuire aux workflows nécessitant des analyses rapides ou massives."