Le benchmark Witbe des services de TV sur ADSL (ou IPTV) vise à évaluer
la qualité des principaux services proposés en France. La qualité est évaluée
suivant trois angles : la disponibilité du service, la qualité de la vidéo
et les temps de zapping.
Principes généraux
L'étude est réalisée au moyen de robots IPTV Witbe, connectés derrière
les box des FAIs. Ces robots zappent sur les chaînes prédéfinies, mesurent
le temps nécessaire au changement effectif de chaîne, détectent les éventuels
messages d'erreur et mesurent la qualité réelle de la vidéo suivant 3 principaux
critères perceptuels (pixellisation, saccade et flou) synthétisés dans un
indicateur subjectif : le Mean Opinion Score (MOS), sur une
échelle de 1 à 5 (avec 5 = qualité parfaite).
» L'étude repose sur deux
niveaux de tests :
1. Evaluation multi chaînes :
il s'agit de mesurer la Qualité d'Expérience (QoE) au travers du bouquet
de base proposé par les FAIs.
- Zapping sur 7 chaînes communes à tous les bouquets : toutes
les 10 minutes, chaque robot zappe sur France 2, France 3, Arte, NRJ 12,
Europe 2 TV, BFM TV et LCP, en restant une minute sur chaque chaîne. Le
zapping est réalisé par saisie du numéro.
- Métriques collectées par chaînes et agrégées : temps de zapping,
disponibilité, VideoMOS
- Tests réalisés 22h/24 soit 6.027 zappings par semaine et par acteur.
2. Test événementiel :
il s'agit de mesurer le niveau de qualité et son maintien tout au long d'un
programme spécifique. Les programmes testés sont amenés à évoluer au gré
de l'actualité notamment.
» Maintenance quotidienne :
Les tests sont interrompus une heure par jour afin de permettre les éventuelles
mises à jour des décodeurs et boxes triple play. A l'issue de la période
de maintenance, les équipements sont rebootés électriquement avant de reprendre
les tests.
» Origine des tests : les
tests sont réalisés depuis un point d'observation situé à La Défense (92).
Critères pris en compte et principes d'évaluation
» Disponibilité du service :
Elle est évaluée au travers de la séquence de zapping multi chaînes.
Lors de chaque séquence de test (toutes les 10 minutes), la disponibilité
de chacune des chaînes est évaluée par 3 conditions : temps d'accès
limité (zapping < 9 secondes), absence de message d'erreur, flux animé d'une
qualité suffisante (VideoMOS >= 2).
L'avis concernant la disponibilité du service repose sur la nomenclature
suivante :
- 99 % à 100 % : * * *
- 98 % à 99 % : * *
- Moins de 98 % : *
» Qualité Vidéo :
1. Qualité multi chaînes : MOS vidéo moyen constaté sur
les chaînes testées lors de la séquence multi chaine. L'avis concernant
la qualité du service repose sur la nomenclature suivante :
- MOS Vidéo > 3,5 : * * *
- " 2,5 < MOS Vidéo < 3,5 : * *
- MOS Vidéo < 2,5 : *
2. Intervalles : donne une indication de la stabilité de
la qualité d'un jour sur l'autre. Il correspond à l'écart type du MOS vidéo.
Plus il est proche de 0, plus les valeurs de MOS constatées sur la période
sont homogènes.
» Qualité Vidéo de l'événementiel :
1. Qualité événementiel (de 1 à 5) : MOS vidéo moyen
constaté lors de la visualisation du ou des programmes événementiel.
2. Intervalles : donne une indication de la stabilité
de la qualité d'un jour sur l'autre. Il correspond à l'écart type du MOS
vidéo. Plus il est proche de 0, plus les valeurs de MOS constatées lors
de chaque événement sont homogènes.
3. Perturbation moyenne (en durée) : indique la
durée moyenne journalière pendant laquelle le programme événementiel était
d'une qualité insuffisante (VideoMOS < 2).
L'avis concernant la qualité de visualisation du programme événementiel
repose d'une part sur la qualité vidéo moyenne (VideoMOS) et d'autre part
sur la capacité à délivrer un MOS Video > 2 tout au long du programme.
» Temps de zapping :
Le temps de zapping correspond au temps nécessaire au changement effectif
de chaîne. Les chaînes sont accédées en tapant leur numéro.
Le temps de zapping moyen (exprimé en secondes) est la moyenne
des temps de zapping constatés sur le panel de chaînes.
L'avis concernant le temps de zapping repose sur la nomenclature suivante :
- Temps < 2,5 secondes : * * *
- 2,5 < Temps < 4 secondes : * *
- Temps > 4 secondes : *
