 Le
benchmark Witbe des services de TV sur ADSL (ou IPTV) vise à
évaluer la qualité des principaux services proposés en France.
La qualité est évaluée suivant trois angles : la disponibilité
du service, la qualité de la vidéo et les temps de zapping.
Principes généraux
L'étude est réalisée au moyen de robots IPTV Witbe, connectés
derrière les box des FAIs. Ces robots zappent sur les chaînes
prédéfinies, mesurent le temps nécessaire au changement effectif
de chaîne, détectent les éventuels messages d'erreur et mesurent
la qualité réelle de la vidéo suivant 3 principaux critères
perceptuels (pixellisation, saccade et flou) synthétisés dans
un indicateur subjectif : le Mean Opinion Score
(MOS), sur une échelle de 1 à 5 (avec 5 = qualité parfaite).
 L'étude
repose sur deux niveaux de tests :
1. Evaluation
multi chaînes : il s'agit de mesurer la Qualité
d'Expérience (QoE) au travers du bouquet de base et/ou des bouquets
optionnels (TPS/CanalSat) proposés par les FAI :
- depuis mars 2007, les tests sont réalisés au travers
des bouquets optionnels : CanalSat pour Free et Tele2, TPS pour
les autres acteurs
- Zapping sur 7 chaînes communes à tous les bouquets :
toutes les 10 minutes, chaque robot zappe sur France 2, France
3, Arte, NRJ 12, Europe 2 TV, BFM TV et LCP, en restant une
minute sur chaque chaîne. Le zapping est réalisé par saisie
du numéro et par frappe directe.
- Métriques collectées par chaînes et agrégées : temps
de zapping, disponibilité, VideoMOS
- Tests réalisés 22h/24 soit 6.027 zappings par semaine
et par acteur.
2. Test événementiel :
il s'agit de mesurer le niveau de qualité et son maintien tout
au long d'un programme spécifique. Le test réalisé au mois depuis
le mois de mars 2007 porte sur le journal télévisé
de 20h de TF1.
Maintenance
quotidienne :
Les tests sont interrompus une heure par jour afin de permettre
les éventuelles mises à jour des décodeurs et boxes triple play.
A l'issue de la période de maintenance, les équipements sont
rebootés électriquement avant de reprendre les tests.
Origine
des tests : les
tests sont réalisés depuis un point d'observation situé à La
Défense (92).
Critères pris en
compte et principes d'évaluation
Disponibilité
du service :
Elle est évaluée au travers de la séquence de zapping multi
chaînes. Lors de chaque séquence de test (toutes les 10
minutes), la disponibilité de chacune des chaînes est évaluée
par 3 conditions : temps d'accès limité (zapping < 9 secondes),
absence de message d'erreur, flux animé d'une qualité suffisante
(VideoMOS >= 2).
L'avis concernant la disponibilité du service repose sur la
nomenclature suivante :
- 99 % à 100 % : * * *
- 98 % à 99 % : * *
- Moins de 98 % : *
Qualité
Vidéo :
1. Qualité multi chaînes : MOS vidéo moyen
constaté sur les chaînes testées lors de la séquence multi
chaine. L'avis concernant la qualité du service repose sur la
nomenclature suivante :
- MOS Vidéo > 3,5 : * * *
- 2,5 < MOS Vidéo < 3,5 : * *
- MOS Vidéo < 2,5 : *
2. Intervalles : donne une indication de la
stabilité de la qualité d'un jour sur l'autre. Il correspond
à l'écart type du MOS vidéo. Plus il est proche de 0, plus les
valeurs de MOS constatées sur la période sont homogènes.
Qualité
Vidéo de l'événementiel :
1. Qualité
événementiel (de 1 à
5) : MOS vidéo moyen constaté
lors de la visualisation du ou des programmes événementiel.
L'avis concernant
la qualité de visualisation du programme événementiel repose
d'une part sur la qualité vidéo moyenne (VideoMOS) et d'autre
part sur la capacité à délivrer un MOS Video > 2 tout au
long du programme et
résumé dans un taux d'images acceptables (TIA).
L'avis donné sur le MOS Video événementiel
dépend de la valeur de :
- TIA MOS Vidéo > 3,5 : * * *
- 2,5 < TIA MOS Vidéo > 3,5 : * *
- TIA MOS Vidéo < 2,5 : *
2. Intervalles :
donne une indication de la
stabilité de la qualité d'un jour sur l'autre. Il correspond
à l'écart type du MOS vidéo. Plus il est proche de 0, plus les
valeurs de MOS constatées lors de chaque événement sont homogènes.
3. Perturbation
moyenne
(en durée) : indique
la durée moyenne journalière pendant laquelle le programme événementiel
était d'une qualité insuffisante (VideoMOS < 2). Ce
temps moyen de perturbations est déduit du TIA.
L'avis donné sur ce critère repose
sur la nomenclature suivante :
- TIA < 2,5 % : ***
- 2,5 % < TIA < 10 % : **
- TIA > 10 % : *
Temps
de zapping :
Le temps de zapping correspond
au nécessaire au changement effectif de chaine. La séquence
de test repose sur des zapping en frappe directe et des zappings
en mode P+/P-.
Le
temps de zapping moyen (exprimé en secondes) publié est la moyenne
des temps de zapping P+ et des temps de zapping en frappe directe
pour les chaînes à 3 numéros.
.
L'avis concernant le temps de zapping repose
sur la nomenclature suivante :
- Temps < 2,5 secondes : * * *
- 2,5 < Temps < 4 secondes : *
*
- Temps > 4 secondes : * |
