Renforcement des protections antiscraping de Google : quelles solutions pour les outils SEO ?

Renforcement des protections antiscraping de Google : quelles solutions pour les outils SEO ? APIs de Google ou encore agentic AI, différents remèdes apparaissent.

Depuis le 15 janvier dernier environ, un certain nombre d'outils SEO rencontrent des problèmes. Le moteur de recherche américain demande en effet désormais aux utilisateurs et aux robots d'activer le JavaScript pour aller sur son search. Or, nombre d'outils SEO passent par le scraping sans JavaScript, pour un gain de temps et de coût principalement. Interrogé sur ces mesures, Google ne nous a pas répondu.

Touché mais pas coulé

Heureusement, la plupart des outils SEO touchés ont trouvé une solution, sans forcément que cela se répercute, pour l'instant, sur le prix de l'outil, comme nous ont confié certains des acteurs interrogés.

François Mommens, CEO d'Indexcheckr.com, pointe : "j'ai été touché car mon outil indexcheckr.com doit pouvoir scraper Google pour fournir ses résultats. Une solution a déjà été mise en place et l'outil fonctionne normalement. Il n'a pas fonctionné seulement durant environ 4h. Il n'y aura aucun impact sur les utilisateurs ou le prix."

Kevin Richard, CEO de SEObserver, indique : "nous avons été affectés dans la nuit de mercredi à jeudi. Nous avons pu trouver une solution en moins de deux heures. Puis, une nouvelle mise à jour est survenue dans la nuit de jeudi, que nous avons pu détecter en temps réel. Nous avons rapidement codé un correctif et résolu le problème sur-le-champ. Tant que nous pourrons, nous conserverons les prix comme cela."

Fabien Barry, cofondateur de Monitorank, raconte : "la première mise à jour de Google, dans la nuit du 15 au 16 janvier a été la plus importante. Google demande que le JavaScript soit actif. Donc, tous les robots qui scrapent en cURL par exemple, sans navigateur donc, sont bloqués. La deuxième qui nous a impacté, est celle de la nuit du 16 au 17. Nos robots, qui font du headless, ou navigateur sans tête, sont directement bloqués. Nous avons donc utilisé une astuce fournie par Paul Sanches, et avons depuis trouvé une solution plus fiable. On fait toujours du headless mais qui n'est pas bloqué, ce sera en production dans les prochains jours. Il n'y aura pas de répercussion sur le prix pour l'utilisateur. Nous sommes passés au headless en novembre 2023 et avons augmenté nos coûts de 20% en avril 2024 pour compenser cela."

Thomas Skowronski, cofondateur de Myposeo, lance : "comme beaucoup d'acteurs, nous avons ressenti les effets des changements. Nous avions déjà anticipé ces évolutions et avons mis en place des solutions pour nous adapter. L'objectif est de garantir que nos utilisateurs continuent d'avoir accès à des données fiables et exploitables. Nous avons intégré des ajustements techniques, notamment pour l'exécution de JavaScript qui s'est complexifiée. Certains acteurs ont annoncé être déjà revenus à 100 %, mais je préfère rester prudent : le comportement actuel reste encore un peu instable, et d'autres mises à jour pourraient survenir. Côté tarifs, rien de nouveau pour l'instant. Si un ajustement devait être envisagé, il serait fait de manière transparente."

Sylvain Peyronnet, CEO de Babbar.tech, prend la parole : "nous avons été touché sur yourtext.guru, mais c'est tout à fait normal. Le service est reparti dans la journée même. Cet épisode a forcé une mise en production plus rapide, mais a priori tout fonctionne comme avant. Nous ne prévoyons aucune hausse de prix car nous avions déjà envisagé le passage à une stack plus complexe." Rappelons qu'une stack technique désigne l'ensemble des technologies permettant de faire fonctionner un process.

Stéphane Madaleno, cofondateur de Haloscan.com, affirme : "de notre côté, cela a temporairement ralenti notre vitesse ce jour-là, mais n'a eu aucun impact sur l'utilisation de l'outil Haloscan.com. Nous avons également trouvé une astuce pour retrouver une vitesse optimale sans augmenter les ressources serveurs. En théorie, scraper avec JavaScript consomme davantage de ressources, environ 4 fois plus dans notre cas. Grâce à cette solution, nous avons pu maintenir notre efficacité sans surcoût. Aucune hausmse de tarif n'est prévue de notre côté, car nous optimisons nos ressources serveurs pour effectuer le même travail sans surcoût."

Uyen Vu, responsable marketing chez Ranxplorer, remarque : "nous avons été impactés par la mise à jour de Google. Elle a commencé le 13 janvier, en partie, puis Google a mis à jour la totalité de ses datacenters le 15 janvier au soir. Nous avons apporté un correctif dans la journée, et il n'y a eu aucun impact sur les fonctionnalités de notre outil. En raison des mises à jour de Google liées au scraping, une légère augmentation de prix est prévue pour s'aligner sur les évolutions technologiques nécessaires."

Nicolas Nguyen, cofondateur de Semji, avance : "nous avons été touchés, mais cela a été corrigé en 3 heures. Pas de changements pour nos clients, nous délivrons le même service au même prix."

Indiquons aussi que des outils comme SEMRush France, Ahrefs, ont aussi connu des problèmes. Nous les avons interrogés, sans retour de leur part .

Des solutions épargnées

D'autre outils SEO semblent être passées entre les gouttes, comme nous le témoignent différents acteurs.

Nicolas Audemar, country manager de Sistrix pour la France, communique la réponse officielle de l'entreprise : "à l'heure actuelle, nous ne constatons aucune limitation due à ce changement qui pourrait affecter négativement le fonctionnement de Sistrix, et nous restons engagés à fournir le meilleur outil SEO au meilleur prix."

Paul Grillet, fondateur de Thot, évoque : "de par notre système de scraping, Thot n'a pas eu de problème avec les dernières mesures. Cela dit, j'ai commencé à travailler sur des solutions de secours au cas où Google serrerait encore la vis. Il s'agit d'un système de secours via des APIs tierces en cas de problème. Aucune répercussion sur les prix ou autre. Globalement, Thot est pricé sur la valeur d'une analyse pour un SEO in house, pas tant sur les coûts de création de l'analyse."

Prochain coup : APIs de Google ou agentic AI ?

Rappelons que le scraping de Google avec JavaScript demande plus de puissance de calcul. Des étapes supplémentaires augmentent aussi les coûts d'hébergement. Le processus de chargement est également moins rapide. Google peut aussi détecter le scraping plus aisément.

Face aux multiples blocages rencontrés liés à la mesure de Google, il est important de souligner, selon Patrick Valibus, président de la FePSeM, l'entraide et le partage de la communauté SEO française. "A mon sens, il faut mettre en avant la réactivité de SEObserver. Sur un plan lié à l'entraide de la communauté, Jérôme Pasquelin a partagé une solution dans la journée après le problème rencontré. Puis, une solution pérenne a été fournie par Paul Sanches à la communauté." Le président de l'agence SEO Hackers préfère d'ailleurs la garder confidentielle. "Tout ce que je peux dire, c'est qu'elle permet de corriger le problème en quelques minutes et j'espère pour un moment."

Signalons aussi qu'Olivier Duffez, cofondateur de Ranking Metrics, a évoqué une solution passagère dans un de ses slides lors de son webinar du mardi 21 janvier. "Techniquement, une balise <noscript> contient une redirection par meta refresh pour renvoyer vers une page d'explications. On peut essayer d'accéder aux SERPs avec une extension qui supprime ce <noscript> mais cette rustine est sans doute temporaire : Google pourrait passer à du 100% JS."

Alors que certains évoquent des solutions headless, Vincent Terrasi, cofondateur de Draft & Goal, demeure sceptique. "Cela est devenu plus compliqué, car Google fait beaucoup plus de contrôles sur l'user agent, les rate limits et injecte du code aléatoire pour vérifier et éviter les bots."

Il pense qu'une solution d'agentic AI est intéressante. Davantage orientée vers l'action, ce style d'IA se sert de raisonnement complexe et d'une planification itérative pour résoudre de manière autonome des problèmes en différentes étapes. "Elle permet de se connecter sur plusieurs outils", souffle Vincent Terrasi."Elle laisse le soin aux agents de piloter la récupération des données, en switchant sur plusieurs outils. Elle permet de garantir la fiabilité des données, en comparant deux sources de données, le prix, en trouvant le meilleur compromis en termes de pricing. Elle gère aussi les pannes, car un agent comprend toutes les APIs."

Evoquons aussi le rôle encore plus important que pourraient jouer les APIs de la firme de Mountain View. Par exemple, Fabien Faceries, cofondateur de Ranking Metrics, évoque sur les réseaux sociaux l'API Google Search Console "pour faire chanter (ses) datas". Celles-ci pourraient éviter certains ennuis dans certains cas, si Google venait à intensifier sa guerre contre le scraping.