Pour établir ce nouveau classement, le JDNet a sélectionné huit sites de vente en ligne de produits culturels, neufs ou d'occasion (Deux fois moins cher et PriceMinister). Du 13 au 23 mars, ces sites ont été surveillés toutes les quinze minutes, 24 heures sur 24. Pour chaque site, Witbe a réalisé un scénario reposant sur un enchaînement de deux pages (accès à la home page jusqu'à l'obtention de la page de résultats) reproduisant le parcours d'un internaute rrecherchant le best-seller du moment, "La face cachée du Monde", de Pierre Péan et Philippe Cohen. La recherche a été faite sans pré-définir de catégorie dans le moteur, sauf dans le cas de Deux fois moins cher qui ne permet pas cette recherche "ouverte".

L'intégrité du contenu des pages successives était validée par la recherche de mots-clés pré-définis. Cette étude a été réalisée avec la solution Web Advanced Monitoring.

Le scénario appliqué a permis de tester à la fois la disponibilité (capacité de l'internaute à aller jusqu'au bout du scénario) et la rapidité de chaque cyberlibraire (temps total du scénario). En raison de la période de test plus courte qu'à l'accoutumée de ce benchmarking (10 jours au lieu d'un mois), Witbe n'a pas pu "lisser" les événements exceptionnels que peuvent rencontrer les sites. Durant cette période, Witbe a d'ailleurs relevé sur la plupart des sites des problèmes d'accessibilité (alertes) dues en partie à des opérations de maintenance. Les chiffres entre parenthèses dans le tableau correspondent aux alertes réelles présumées, non imputables aux maintenances.

Premier constat, la disponibilité moyenne du panel (98,02 %) est légèrement inférieure aux niveaux constatés lors des précédentes études Witbe/JDNet (environ 98,5 %). Les périodes de maintenance non identifiées et les résultats modestes obtenus par Proxis, Priceminister et Fnac.com permettent d'expliquer en partie ces résultats. Seuls deux sites sont parvenus à afficher une disponibilité parfaite (100 %) : Chapitre.com et Deux fois moins cher.

Les trois premiers sites du classement sont ceux qui ont réussi à allier disponibilité du site et de ses fonctions et rapidité du déroulement du scénario. Le premier d'entre eux est Chapitre.com, avec un indice global de 87. Le marchand n'a connu aucune alerte sur la période de test et sa durée moyenne de transaction (4,7 secondes) est dans la norme. Sa page d'accueil se charge en moins de 2 secondes et la page de résultats, entre 2 et 3 secondes.

En raison de trois alertes constatées sur le site le 19 mars entre 17h15 et 22 heures, Amazon n'occupe que la deuxième place, avec un indice global de 86 et une durée moyenne de transaction de 3,4 secondes. Contacté, Amazon dément toutefois avoir eu des problèmes de disponibilité à cette date, le site ayant même enregistré des commandes dans les créneaux horaires incriminés. Alapage arrive en troisième position, avec un indice global de 84. Comme Amazon, celui-ci a été handicapé par le nombre d'alertes car la durée moyenne de la transaction y est excellente : 2,8 secondes.

Alors que Deux fois moins cher n'affiche aucune alerte, le e-commerçant n'occupe que la quatrième place avec un indice global de 82. La relative lenteur du site, 6,3 secondes pour la totalité de la transaction, en est la principale raison. Sa homepage est la plus lente à charger (3,2 secondes) et la page de résultats s'affiche en moyenne entre 2 à 3 secondes. La lenteur du site est d'autant plus importante que la structure de son moteur de recherche oblige à choisir une catégorie (Livres), ce qui n'est pas le cas chez les autres cyberlibraires du panel. Cette configuration aurait dû donner aux marchands de meilleurs résultats.

En raison d'indisponibilités régulières durant 5 et 30 minutes entre 2h15 et 3 heures du matin, dont deux sont imputables à des opérations de maintenance, Auchan n'obtient que la cinquième place malgré un temps moyen de déroulement du scénario de 2,4 seconde. Quant au cyberlibraire Belge, Proxis.be, il occupe la sixième place, en raison d'une indisponibilité du samedi 22 mars à 18h15 au lundi 24 mars à 2 heures.

Alors que Fnac.com et Priceminister ont les pages d'accueil les plus rapides à charger, moins de 1 seconde, les deux sites occupent respectivement les septième et huitième place du classement. Fnac.com a été pénalisé par son nombre d'alertes, 3 en tout, mais surtout, par le temps moyen nécessaire pour afficher la page de résultats : une dizaine de secondes en moyenne.

Selon Jan Löning, PDG de Fnac Direct, "Fnac.com paye l'extrême diversité de son offre qui s'étend de la musique à la vidéo en passant par les logiciels, l'image et le son, la micro-informatique, la billetterie, les livres récents ou épuisés. Une recherche non précisée par une catégorie s'effectuant sur l'intégralité de la base, celle-ci prend davantage de temps. Circonscrite aux livres, elle se déroule en moins d'une seconde".

Un résultat d'ailleurs confirmé par Witbe. "Ce qui est rassurant, poursuit Jan Löning, c'est que le livre recherché 'La face cachée du Monde' arrive en première position dans le listing".

A contrario, Priceminister est le site le plus rapide dans le déroulement du scénario. Sa contre performance est essentiellement due à un grand nombre d'alertes (10). Souvent de courtes durée, 5 à 10 minutes, elles apparaissent à toute heure de la journée, avec une probabilité plus importante le matin (entre 7 et 12 heures). "Ces indisponibilités sont dues à la mise à jour presque tous les matins de 6 heures à 8 heures de notre index de mots clés", indique Olivier Mathiot, directeur marketing du site. "Notre offre bouge beaucoup plus que celle d'un site de e-commerce classique et le matin est pour nous une période de moindre affluence". Par ailleurs, le site a connu des probèmes d'hébergement le 22 mars journée durant laquelle il a été complètement inaccessible.

Pour répondre d'ailleurs à une très forte montée en charge de son audience depuis Noël, Priceminister.com indique qu'il est en train de multiplier par 20 la capacité de ses serveurs et de la bande passante.