Le benchmark Witbe des services de TV sur ADSL (ou IPTV) vise à évaluer
la qualité des principaux services proposés en France. La qualité est évaluée
suivant trois angles : la disponibilité du service, la qualité de la
vidéo et les temps de zapping.
Principes généraux
L'étude est réalisée au moyen de robots IPTV Witbe, connectés derrière
les box des FAIs. Ces robots zappent sur les chaînes prédéfinies, mesurent
le temps nécessaire au changement effectif de chaîne, détectent les éventuels
messages d'erreur et mesurent la qualité réelle de la vidéo suivant 3 principaux
critères perceptuels (pixellisation, saccade et flou) synthétisés dans un
indicateur subjectif : le Mean Opinion Score (MOS), sur une
échelle de 1 à 5 (avec 5 = qualité parfaite).
» L'étude repose sur deux niveaux
de tests :
1. Evaluation multi chaînes : il s'agit de
mesurer la Qualité d'Expérience (QoE) au travers du bouquet de base et/ou
des bouquets optionnels (TPS/CanalSat) proposés par les FAI :
- depuis mars 2007, les tests sont réalisés au travers des bouquets
optionnels : CanalSat pour Free et Tele2, TPS pour les autres acteurs
- Zapping sur 7 chaînes communes à tous les bouquets : toutes
les 10 minutes, chaque robot zappe sur France 2, France 3, Arte, NRJ 12,
Europe 2 TV, BFM TV et LCP, en restant une minute sur chaque chaîne. Le
zapping est réalisé par saisie du numéro et par frappe directe.
- Métriques collectées par chaînes et agrégées : temps de zapping,
disponibilité, VideoMOS
- Tests réalisés 22h/24 soit 6.027 zappings par semaine et par acteur.
2. Test événementiel : il s'agit de mesurer le niveau
de qualité et son maintien tout au long d'un programme spécifique. Le test
réalisé au mois depuis le mois de mars 2007 porte sur le journal télévisé
de 20h de TF1.
» Maintenance quotidienne :
Les tests sont interrompus une heure par jour afin de permettre les éventuelles
mises à jour des décodeurs et boxes triple play. A l'issue de la période
de maintenance, les équipements sont rebootés électriquement avant de reprendre
les tests.
» Origine des tests : les
tests sont réalisés depuis un point d'observation situé à La Défense (92).
Critères pris en compte et principes d'évaluation
» Disponibilité du service :
Elle est évaluée au travers de la séquence de zapping multi chaînes.
Lors de chaque séquence de test (toutes les 10 minutes), la disponibilité
de chacune des chaînes est évaluée par 3 conditions : temps d'accès
limité (zapping < 9 secondes), absence de message d'erreur, flux animé d'une
qualité suffisante (VideoMOS >= 2).
L'avis concernant la disponibilité du service repose sur la nomenclature
suivante :
- 99 % à 100 % : * * *
- 98 % à 99 % : * *
- Moins de 98 % : *
» Qualité Vidéo :
1. Qualité multi chaînes : MOS vidéo moyen constaté sur
les chaînes testées lors de la séquence multi chaine. L'avis concernant
la qualité du service repose sur la nomenclature suivante :
- MOS Vidéo > 3,5 : * * *
- 2,5 < MOS Vidéo < 3,5 : * *
- MOS Vidéo < 2,5 : *
2. Intervalles : donne une indication de la stabilité de
la qualité d'un jour sur l'autre. Il correspond à l'écart type du MOS vidéo.
Plus il est proche de 0, plus les valeurs de MOS constatées sur la période
sont homogènes.
» Qualité Vidéo de l'événementiel :
1. Qualité événementiel (de 1 à 5) : MOS vidéo moyen
constaté lors de la visualisation du ou des programmes événementiel.
L'avis concernant la qualité de visualisation du programme événementiel
repose d'une part sur la qualité vidéo moyenne (VideoMOS) et d'autre part
sur la capacité à délivrer un MOS Video > 2 tout au long du programme
et résumé dans un taux d'images acceptables (TIA).
L'avis donné sur le MOS Video événementiel dépend de la valeur de :
- TIA MOS Vidéo > 3,5 : * * *
- 2,5 < TIA MOS Vidéo > 3,5 : * *
- TIA MOS Vidéo < 2,5 : *
2. Intervalles : donne une indication de la stabilité
de la qualité d'un jour sur l'autre. Il correspond à l'écart type du MOS
vidéo. Plus il est proche de 0, plus les valeurs de MOS constatées lors
de chaque événement sont homogènes.
3. Perturbation moyenne (en durée) : indique la
durée moyenne journalière pendant laquelle le programme événementiel était
d'une qualité insuffisante (VideoMOS < 2). Ce temps moyen de perturbations
est déduit du TIA.
L'avis donné sur ce critère repose sur la nomenclature suivante :
- TIA < 2,5 % : ***
- 2,5 % < TIA < 10 % : **
- TIA > 10 % : *
» Temps de zapping :
Le temps de zapping correspond au nécessaire au changement effectif
de chaine. La séquence de test repose sur des zapping en frappe directe
et des zappings en mode P+/P-.
Le temps de zapping moyen (exprimé en secondes) publié est la moyenne des
temps de zapping P+ et des temps de zapping en frappe directe pour les chaînes
à 3 numéros.
.
L'avis concernant le temps de zapping repose sur la nomenclature suivante :
- Temps < 2,5 secondes : * * *
- 2,5 < Temps < 4 secondes : * *
- Temps > 4 secondes : *