Firehose : le secret de mieux en mieux gardé de Twitter
Le Big Data et l'explosion du volume de données sont en partie dus à la popularité des réseaux sociaux. Twitter a beau limiter ses messages à 140 signes, le réseau génère plus de deux milliards de ces tweets en une semaine. Une gigantesque quantité de données, appelée Firehose, qui n'est pas accessible à l'utilisateur lambda, ni même aux API standards, limitées à seulement 1% des tweets publics.
Ce Firehose attise cependant les convoitises, et notamment celles d'éditeurs spécialisés dans le Social Analytics. Les données peuvent intéresser de nombreux acteurs voulant savoir précisément et de manière exhaustive ce que l'on dit sur les réseaux, sur une marque, un produit ou une politique. Médias, gouvernements, agences de marketing, entreprises du secteur de la finance peuvent être potentiellement intéressés par ce diamant brut qu'il faut cependant savoir retailler pour en extraire les données réellement utiles.
L'accès au Firehose est "rarement accordé"
Twitter l'explique très clairement dans son espace dédié aux développeurs et à son écosystème, "accéder au Firehose est très difficile, et peut se révéler très couteux" et "en règle général, l'accès au Firehose est rarement accordé "
Alors comment accéder à ce Firehose ? Il existe bien une page officielle recensant les partenaires certifiés de Twitter. Certains bénéficient de la mention "Certified Data Reseller Products", et, parmi ces "revendeurs de données" officiels figurent DataSift, Gnip, et Topsy.
Ce n'est pourtant pas la liste complète des acteurs ayant accès au Firehose. "Nous ne communiquons pas cette liste", confirme-t-on officiellement chez Twitter. "Ce qui est complexe, c'est qu'il existe plusieurs niveaux d'accès. Certaines entreprises ont accès à la totalité du Firehose, comme les partenaires certifiés "Data Resellers", mais d'autres entreprises n'ont accès qu'à une partie du Firehose, car elles n'ont pas besoin de plus, ou ne peuvent pas gérer la totalité des données", précise-t-on du côté du réseau social, qui se refuse donc à lever totalement le voile et à donner le nom de toutes les entreprises qui ont accès à la totalité des données.
Twitter restreint son cercle de partenaires accédant au Firehose
Cependant, si Twitter maintient l'opacité, certains partenaires annoncent haut et fort avoir accès au Firehose, sans pour autant être listés parmi les "revendeurs" certifiés. C'est le cas de Salesforce qui affirme avoir pu négocier avec le réseau social pour obtenir l'accès à la totalité du Firehose afin d'enrichir les possibilités de son produit Radian6 - conçu pour analyser les sentiments associés à une requête sur les blogs et les réseaux sociaux.
Plus récemment, c'est PeopleBrowsr qui s'est qui aussi fait connaître comme étant l'un des privilégiés bénéficiant de l'accès au Firehose, alors qu'il n'apparaît sur aucune liste officielle des partenaires Twitter. Et pour cause, cet éditeur attaque Twitter, car ce dernier a décidé unilatéralement de mettre fin à son accès au Firehose.
Le département de la Défense américain a accès au Firehose de Twitter.
Or "sans Firehose, PeopleBrowsr ne peut pas fournir les produits que ses partenaires et utilisateurs liés par contrat sont pourtant en droit d'attendre", s'est plaint l'éditeur qui craint des conséquences "dévastatrices" pour son avenir. Parmi ses clients figure notamment le département de la Défense américain, qui a signé un contrat de 3 millions de dollars sur trois ans pour que PeopleBrowsr lui fournisse des informations issues du Firehose de Twitter. Des arguments qui ont fait mouche, au moins pour l'instant, car Twitter s'est vu forcé de lui rétablir l'accès au Firehose, du moins temporairement, jusqu'à ce que ce que la justice puisse trancher.
Selon les déclarations officielles de son patron Jodee Rich, PeopleBrowsr payait Twitter plus d'un million de dollars par an pour accéder à la totalité du Firehose. Il souligne aussi avoir investi des "millions de dollars" et des "milliers d'heures de développement" pour exploiter cet accès.
De son côté Twitter indique vouloir renégocier son contrat avec PeopleBrowser pour l'inciter à désormais se tourner vers ses partenaires certifiés, explicitement nommés : "Gnip, DataSift et Topsy". Bref, le réseau social devient plus sélectif, et ne souhaite pas gérer un nombre grandissant de partenaires accédant à l'un de ses actifs les plus précieux : le Firehose.
C'est ce que nous a également confirmé Helen Prowse, en charge de la communication de Twitter, sans ambages : "à l'avenir, nous prévoyons que la majorité de nos partenaires n'aient pas accès au Firehose, et que cela devienne la norme dans notre écosystème." En réaction officielle au procès qui l'oppose à PeopleBrowsr, Twitter avait également souligné qu'il avait "grandi", et que ses pratiques avaient "mûri".
Un changement dans le discours de Twitter
Il s'agit là d'un changement dans le discours de Twitter, car en 2010, le réseau social avait fièrement annoncé une longue liste d'acteurs qui allaient pouvoir accéder à son Firehose "dans le cadre d'un partenariat durable". Dans cette liste figuraient Google, Bing mais aussi plusieurs jeunes pousses spécialisées dans la recherche d'informations en temps réel, comme Collecta, Ellerdale, Scoopler, Kosmix, twazzup, CrowdEye ou Chain Search. Seul le partenariat avec Bing aurait été reconduit, pour un montant estimé à 30 millions de dollars mais avec des conséquences aujourd'hui presqu'invisibles, les autres partenaires ayant renoncé (comme Google) - certains ont depuis été rachetés, ou mis la clé sous la porte.
Ce n'est d'ailleurs pas la première fois que Twitter décide de limiter assez brusquement les priviléges de ses partenaires et de leurs applications tierces. L'été dernier, le réseau social a ainsi très sévèrement plafonné le nombre d'utilisateurs d'applications tierces utilisant ses APIs, sur lesquelles Twitter a d'ailleurs en partie bâti son succès. Une manière également d'empêcher que des tiers puissent un peu trop surfer sur le succès du réseau social...