Méthodologie :
Cette étude a été réalisée du 29 juin au 8 juillet au moyen d'un robot QoE Witbe interfacé avec un iPad connecté en Wifi. Le robot interagit avec les applications au travers de l'iPad suivant les scénarios préalablement définis. Toutes les 20 minutes entre 7 heures et 23 heures, le robot a exécuté le parcours utilisateur suivant sur chaque application :
Clic sur l'icône de l'application
Validation du lancement de l'application par reconnaissance de l'interface utilisateur
Navigation pour accéder au Direct (pour TF1, France Télévisions, M6 et NRJ 12)
Attente de l'arrivée du flux audio-vidéo
Lecture du contenu en plein écran durant 30 secondes
Fermeture de l'application
Lors de chaque test, le robot juge ainsi du service délivré en fonction de ce qu'il voit sur 3 critères essentiels en termes de Qualité d'Expérience Utilisateur.
La disponibilité du service :
- La capacité de l'application à se lancer (dans un délai maximal de 25 secondes)
- L'apparition du flux vidéo et audio (dans un délai maximal de 30 secondes)
- La continuité du flux : présence du son, pas d'écran noir, pas d'écran d'erreur, pas d'image figée durant les 30 secondes de visualisation
- La robustesse de l'application : absence de crash de l'application
Les temps de réponse de l'application et tout particulièrement le temps nécessaire à l'initialisation de l'application après avoir cliqué sur son icôn
La qualité vidéo au travers de l'iPad, mesurée grâce aux algorithmes uniques de Witbe qui jugent de ce qui est véritablement vu (pixellisation, saccades, flous)
Méthode de notation des applications
La méthode de notation globale du Journal du Net est basée sur un indice sur 100 dont :
60 % de l'indice dépend de la disponibilité du service
30 % dépend de la qualité vidéo (note Witbe VideoMOS)
10 % dépend de la rapidité (relative) du temps de lancement
L'indice de disponibilité (D) sur 100
T = taux de disponibilité
Si T > 0.8, alors D = 100x(T - 3 (1-T))
Si T < 0.8, alors D = 0
L'indice de rapidité (R) sur 100
L'indice de rapidité d'une application est calculé en comparant son temps de lancement au temps moyen sur le panel et à la plus rapide. La comparaison par rapport à la moyenne permet de gagner jusqu'à 75 points. La comparaison au meilleur s'apparente à un bonus et permet de gagner jusqu'à 25 points.
L'indice de qualité vidéo (M) sur 100
La note de qualité vidéo associe aux différentes note MOS (échelle de 1 à 5), un nombre de point avec :
MOS = 1 : 0 point
MOS = 2 : 10 points
MOS = 2.5 : 25 points
MOS = 3 : 50 points
MOS = 3.5 : 75 points
MOS= 4.8 : 100 points