 Le
benchmark Witbe des services de TV sur ADSL (ou IPTV)
vise à évaluer la qualité des principaux services proposés
en France. La qualité est évaluée suivant trois angles :
la disponibilité du service, la qualité de la vidéo et
les temps de zapping.
Principes généraux
L'étude est réalisée au moyen de robots IPTV Witbe,
connectés derrière les box des FAIs. Ces robots zappent
sur les chaînes prédéfinies, mesurent le temps nécessaire
au changement effectif de chaîne, détectent les éventuels
messages d'erreur et mesurent la qualité réelle de la
vidéo suivant 3 principaux critères perceptuels (pixellisation,
saccade et flou) synthétisés dans un indicateur subjectif :
le Mean Opinion Score (MOS), sur une échelle
de 1 à 5 (avec 5 = qualité parfaite).
 L'étude
repose sur deux niveaux de tests :
1. Evaluation
multi chaînes : il s'agit de mesurer la
Qualité d'Expérience (QoE) au travers du bouquet de base
proposé par les FAIs.
- Zapping sur 7 chaînes communes à tous les bouquets :
toutes les 10 minutes, chaque robot zappe sur France 2,
France 3, Arte, NRJ 12, Europe 2 TV, BFM TV et LCP, en
restant une minute sur chaque chaîne. Le zapping est réalisé
par saisie du numéro.
- Métriques collectées par chaînes et agrégées :
temps de zapping, disponibilité, VideoMOS
- Tests réalisés 22h/24 soit 6.027 zappings par semaine
et par acteur.
2. Test
événementiel : il s'agit de mesurer le niveau
de qualité et son maintien tout au long d'un programme
spécifique. Les programmes testés sont amenés à évoluer
au gré de l'actualité notamment.
Maintenance
quotidienne :
Les tests sont interrompus une heure par jour afin de
permettre les éventuelles mises à jour des décodeurs et
boxes triple play. A l'issue de la période de maintenance,
les équipements sont rebootés électriquement avant de
reprendre les tests.
Origine
des tests : les tests sont
réalisés depuis un point d'observation situé à La Défense
(92).
Critères
pris en compte et principes d'évaluation
Disponibilité
du service :
Elle est évaluée au travers de la séquence de zapping
multi chaînes. Lors de chaque séquence de test (toutes
les 10 minutes), la disponibilité de chacune des chaînes
est évaluée par 3 conditions : temps d'accès limité
(zapping < 9 secondes), absence de message d'erreur, flux
animé d'une qualité suffisante (VideoMOS >= 2).
L'avis concernant la disponibilité du service repose sur
la nomenclature suivante :
- 99 % à 100 % : en vert
- 98 % à 99 % : en jaune
- Moins de 98 % : en rouge
Qualité
Vidéo :
1. Qualité multi chaînes : MOS vidéo
moyen constaté sur les chaînes testées lors de la
séquence multi chaine. L'avis concernant la qualité du
service repose sur la nomenclature suivante :
- MOS Vidéo > 3,5 : en vert
- " 2,5 < MOS Vidéo < 3,5 : en jaune
- MOS Vidéo < 2,5 : en rouge
2. Intervalles : donne une indication
de la stabilité de la qualité d'un jour sur l'autre. Il
correspond à l'écart type du MOS vidéo. Plus il est proche
de 0, plus les valeurs de MOS constatées sur la période
sont homogènes.
Qualité
Vidéo de l'événementiel :
1. Qualité
événementiel (de
1 à 5) : MOS vidéo
moyen constaté lors de la visualisation du ou des programmes
événementiel.
2. Intervalles :
donne une indication
de la stabilité de la qualité d'un jour sur l'autre. Il
correspond à l'écart type du MOS vidéo. Plus il est proche
de 0, plus les valeurs de MOS constatées lors de chaque
événement sont homogènes.
3. Perturbation
moyenne
(en durée) :
indique la durée moyenne
journalière pendant laquelle le programme événementiel
était d'une qualité insuffisante (VideoMOS < 2).
L'avis concernant la qualité de visualisation du programme
événementiel repose d'une part sur la qualité vidéo moyenne
(VideoMOS) et d'autre part sur la capacité à délivrer
un MOS Video > 2 tout au long du programme.
Temps
de zapping :
Le temps de zapping correspond
au temps nécessaire au changement effectif de chaîne.
Les chaînes sont accédées en tapant leur numéro.
Le
temps de zapping moyen
(exprimé
en secondes) est la moyenne des temps de zapping constatés
sur le panel de chaînes.
L'avis concernant le temps de zapping repose
sur la nomenclature suivante :
- Temps < 2,5 secondes : en vert
- 2,5 < Temps < 4 secondes : en jaune
- Temps > 4 secondes : en rouge
|
