Méthodologie

Principes généraux

1. Une étude des services de télévision en définition standard (720x576)
Elle est réalisée au moyen de robots TV-VoD Witbe, connectés derrière les décodeurs (STB) des FAI via l'interface péritel.
Les robots zappent sur les chaînes prédéfinies, mesurent le temps nécessaire au changement effectif de chaîne, détectent les éventuels messages d'erreur ou absence de son, et mesurent la qualité réelle de la vidéo suivant 3 principaux critères perceptuels (pixellisation, saccade et flou) synthétisés dans un indicateur subjectif : le Mean Opinion Score (MOS), sur une échelle de 1 à 5 (avec 5 = qualité parfaite).
La qualité vidéo est mesurée au moyen des algorithmes développés par Witbe (Witbe Perceptual VideoMOS) et notamment en opération chez les grands opérateurs IPTV du monde entier.

2. Deux niveaux de tests : zapping multi chaînes et programme long

a/ Evaluation multi chaînes
Il s'agit de mesurer la Qualité d'Expérience (QoE) au travers du bouquet de base proposé par les opérateurs.
Le test consiste à effectuer, toutes les 15 minutes, une séquence de zapping sur 10 chaînes communes à tous les bouquets (France 2, France 3, Arte, Direct8, NRJ 12, LCP, BFM, TF1, M6, I-Tele) en restant une minute sur chaque chaîne.
Le zapping est réalisé en mode P+/- ou en accès direct.
Pour chaque chaîne on mesure alors sa disponibilité, son temps de zapping et sa qualité vidéo (VideoMOS). Les résultats publiés sont agrégés au niveau de la séquence de zapping.


b/ Test événementiel
Il s'agit de mesurer le niveau de qualité et son maintien tout au long d'un programme spécifique regardé en intégralité. Le test porte sur le Journal Télévisé de 20h de France2 ou de TF1.


3. Maintenance quotidienne
Les tests sont interrompus 2 heures par jour afin de permettre les éventuelles mises à jour des décodeurs et boxes triple play. A l'issue de la période de maintenance, les équipements sont rebootés électriquement avant de reprendre les tests.

4. Origine des tests :
Les tests sont réalisés depuis un point d'observation : La Défense (92) pour les FAI ADSL et Issy les Moulineaux (92) pour le câble.

Critères pris en compte et principes d'évaluation

Le benchmark TV présente 4 indicateurs

1/ Disponibilité du service 

Elle est évaluée au travers de la séquence de zapping multi chaînes. Lors de chaque séquence de test, la disponibilité de chacune des chaînes est évaluée par 4 conditions : temps d'accès limité (zapping < 9 secondes), absence de message d'erreur ou d'écran noir persistant, flux animé d'une qualité suffisante (VideoMOS >= 2), présence du son

Les principes de scoring associés à cet indicateur sont :  

- D > 99% (vert) 

- 98 =< D =< 99% (orange)

- D < 98% (rouge)  

2/ Temps de zapping P+/P-

Le temps de zapping correspond au nécessaire au changement effectif de chaîne. Le temps de zapping moyen (exprimé en secondes) publié est la moyenne des temps de zapping P+ effectués sur la période.

Les principes de scoring associés à cet indicateur sont :  

- zapping < 1s (vert) 

- 1s < zapping < 2,5s (orange)

- zapping > 2,5 (rouge)  

3/ Qualité Vidéo (VideoMOS)
Elle est évaluée au travers de la séquence de zapping sur les 10 chaînes.
La note de qualité publiée est le VideoMOS moyen de l'ensemble des chaînes testées sur la période.

Les principes de scoring associés à cet indicateur sont :  

- videoMos > 3,5 (vert) 

- 2,5 < videoMOS < 3,5 (orange)

- videoMOS < 2,5 (rouge)  

4/ Durée moyenne des perturbations sur un programme long

Cet indicateur calculé grâce aux algorithmes Witbe VideoMOS permet de juger des variations de qualité lors du visionnage d?un programme dans son intégralité : JT de 20h de France2 ou TF1.

Les perturbations mesurées sont : image saccadée, pixellisation et/ou aux macroblocs, perte de détail des contours. Elles peuvent être présentes sur tout ou partie de l'écran de manière furtive ou non. Elles peuvent être due au service du FAI ou provenir directement du programme.

La durée moyenne des perturbations (exprimée en secondes) rend compte de la durée pendant laquelle la qualité d'image est insuffisante (VideoMOS < 2).

Les principes de scoring associés à cet indicateur sont :  

- durée < 50s (vert) 

- 50s < durée < 120s (orange)

- durée > 120s (rouge) 
Pause