Avec
Chaque
mois, le JDN compare les performances des sites
d'un secteur donné sous l'angle de la disponibilité
et de la rapidité d'accès. Pour établir ce classement,
le JDN sélectionne plusieurs sites d'un même secteur
d'activité que Witbe va scruter pendant un période
donnée, en général un mois (quatre semaines distinctes).
L'objectif
du benchmark est d'apporter des indicateurs concrets
sur la disponibilité et les performances de chaque
service testé et ce, du point de vue d'un observateur
privilégié connecté à très haut débit sur de multiples
opérateurs (Réseau Witbe, AS 15436). La disponibilité
et la rapidité relative de chaque site sont synthétisées
par un indice de performance globale sur 100.
Méthodes
des tests
Les mesures sont
réalisées depuis les agents
du réseau Witbe (AS15436). En fonction de l'objectif
de l'étude, Witbe met en place différents principes
de simulation du comportement de navigation :
- S'il s'agit
d'évaluer la qualité d'accès à la home page, les
agents Witbe téléchargent la home page complète
(images, textes, etc) toutes les 15 min ou toutes
les heures (précisée pour chaque étude), 24h/24.
- S'il s'agit d'évaluer une véritable navigation
sur les sites, le Screeneur met en œuvre des scénarios
de navigation exécutés par les agents Witbe toutes
les 15 min ou toutes les heures (précisée pour chaque
étude), 24h/24.
L'évaluation
faite par Witbe prend en compte 3 critères fondamentaux
:
- La disponibilité : le site répond-il et répond-il
suffisamment rapidement ?
- La rapidité : quel est le temps de chargement
de la page ou le temps total de déroulement du scénario
?
- L'intégrité (avec recherche de mots clés prédéfinis)
: la page reçue correspond-elle bien à la requête
de l'Internaute ?
En fonction
de la nature des sites et de leur vocation nationale
ou internationale, les mesures sont réalisées soit
depuis 1 pays soit depuis plusieurs. Ces études
sont réalisées grâce à la solution Witbe.NET, solution
de gestion des performances des services e-Business.
Indicateurs
de base
Le taux de réussite des tests correspond au ratio
: nombre de tests en succès/ nombre de tests réalisés.
On considère comme test en succès, une mesure s'étant
déroulée complètement, sans détection d'erreur et
dans le délai imparti.
Witbe
prend en compte tous les facteurs qui impactent
la satisfaction des internautes :
- les temps de chargement dégradés
- les interruptions de service: résolution DNS ou
connexion impossible, erreur de type 404, etc
- les problèmes d'intégrité du contenu de la page
de test (absence des mots clés).
L'indice
de qualité des sites prend en compte les 3 critères
de la qualité perçue :
- La disponibilité : le site répond-il et répond-il
suffisamment rapidement ?
- La rapidité : quel est le temps de chargement
de la page ou le temps total de déroulement du scénario
?
- L'intégrité (avec recherche de mots clés prédéfinis)
: la page reçue correspond-elle bien à la requête
de l'Internaute?
Le temps
total (de chargement de la home page ou de déroulement
du scénario) correspond au temps moyen nécessaire,
constaté sur la période, pour réaliser la navigation
programmée.
L'indice
de performance globale et les méthodes de classement
Le classement repose sur l'indice de performance
globale (G), basé pour 2/3 sur la disponibilité
des site (D) et pour 1/3 sur leur rapidité relative
(R ).
1/ L'indice
de rapidité relative
Pour évaluer la rapidité d'un site, Witbe compare
son temps de chargement :
· à l'état de l'art du secteur : le temps moyen
calculé sur le panel ;
· à la meilleure pratique du secteur : le temps
mesuré pour le site le plus rapide du panel.
Rs : La
comparaison à l'état de l'art donne :
· 50 points au site dont le temps est égal à la
moyenne
· 50*(écart à la moyenne) au site dont le temps
est différent de la moyenne.
Rm : La
comparaison à la meilleure pratique s'apparente
à un bonus :
· Le plus rapide aura un bonus de 25
· Les autres auront un bonus de 25*(écart au meilleur)
avec 0<25
Au final,
l'indice de rapidité du site est R = Rs + Rm.
2/ L'indice
de disponibilité
L'indice de disponibilité est calculé sur la base
du taux de réussite des tests.
D = (taux de réussite / 2) - Malus
La grille de Malus appliquée est la suivante :
| Grille des malus / disponibilité |
| Taux de réussite |
Malus |
|
100,00 %
|
0
|
|
de 99,95 à 99,99 %
|
1
|
|
de 99,90 à 99,95 %
|
2
|
|
de 99,70 à 99,90 %
|
4
|
|
de 99,50 à 99,70 %
|
6
|
|
de 99,00 à 99,50 %
|
10
|
|
de 98,50 à 99,00 %
|
16
|
|
de 97,80 à 98,50 %
|
24
|
|
de 96,50 à 97,80 %
|
36
|
|
de 95,00 à 96,50 %
|
50
|
|
moins de 95,00 %
|
100
|
| Source
: Witbe, 2005 |
3/ L'indice
global
Pour chaque site, nous disposons ainsi d'un indice
de performance global sur 100 : G = (R + 2D)/3.