Méthodologie

Principes généraux

L'étude est réalisée au moyen de robots TV Witbe, connectés derrière les décodeurs (STB) des FAI. Ces robots zappent sur les chaînes prédéfinies, mesurent le temps nécessaire au changement effectif de chaîne, détectent les éventuels messages d'erreur et mesurent la qualité réelle de la vidéo suivant 3 principaux critères perceptuels (pixellisation, saccade et flou) synthétisés dans un indicateur subjectif : le Mean Opinion Score (MOS), sur une échelle de 1 à 5 (avec 5 = qualité parfaite).

» L'étude repose sur deux niveaux de tests :
1. Evaluation multi chaînes : il s'agit de mesurer la Qualité d'Expérience (QoE) au travers du bouquet de base proposés par les FAI : - Zapping sur 7 chaînes communes à tous les bouquets : toutes les 10 minutes, chaque robot zappe sur France 2, France 3, Arte, Direct8, NRJ 12, LCP, TF1 et M6 en restant une minute sur chaque chaîne. Le zapping est réalisé en mode P+ - Métriques collectées par chaînes et agrégées : temps de zapping, disponibilité, VideoMOS - Tests réalisés 22h/24 soit 6.027 zappings par semaine et par acteur.

2. Test événementiel : il s'agit de mesurer le niveau de qualité et son maintien tout au long d'un programme spécifique. Le test porte sur le Journal Télévisé de 20h de France2 ou de TF1.

» Maintenance quotidienne :
Les tests sont interrompus une heure par jour afin de permettre les éventuelles mises à jour des décodeurs et boxes triple play. A l'issue de la période de maintenance, les équipements sont rebootés électriquement avant de reprendre les tests.

» Origine des tests : les tests sont réalisés depuis un point d'observation : La Défense (92) pour les FAI ADSL et Issy les Moulineaux (92) pour le câble.

Critères pris en compte et principes d'évaluation

» Disponibilité du service :
Elle est évaluée au travers de la séquence de zapping multi chaînes. Lors de chaque séquence de test (toutes les 10 minutes), la disponibilité de chacune des chaînes est évaluée par 3 conditions : temps d'accès limité (zapping < 9 secondes), absence de message d'erreur, flux animé d'une qualité suffisante (VideoMOS >= 2).

L'avis concernant la disponibilité du service repose sur la nomenclature suivante :
- 99 % à 100 % : * * *
- 98 % à 99 % : * *
- Moins de 98 % : *

» Qualité Vidéo :
1. Qualité multi chaînes : MOS vidéo moyen constaté sur les chaînes testées lors de la séquence multi chaine. L'avis concernant la qualité du service repose sur la nomenclature suivante :
- MOS Vidéo > 3,5 : * * *
- 2,5 < MOS Vidéo < 3,5 : * *
- MOS Vidéo < 2,5 : *

2. Intervalles : donne une indication de la stabilité de la qualité d'un jour sur l'autre. Il correspond à l'écart type du MOS vidéo. Plus il est proche de 0, plus les valeurs de MOS constatées sur la période sont homogènes.

» Qualité Vidéo de l'événementiel :
1. Qualité événementiel (de 1 à 5) : MOS vidéo moyen constaté lors de la visualisation du ou des programmes événementiel.

L'avis concernant la qualité de visualisation du programme événementiel repose d'une part sur la qualité vidéo moyenne (VideoMOS) et d'autre part sur la capacité à délivrer un MOS Video > 2 tout au long du programme et résumé dans un taux d'images acceptables (TIA).

L'avis donné sur le MOS Video événementiel dépend de la valeur de :
- TIA MOS Vidéo > 3,5 : * * *
- 2,5 < TIA MOS Vidéo > 3,5 : * *
- TIA MOS Vidéo < 2,5 : *

2. Intervalles : donne une indication de la stabilité de la qualité d'un jour sur l'autre. Il correspond à l'écart type du MOS vidéo. Plus il est proche de 0, plus les valeurs de MOS constatées lors de chaque événement sont homogènes.

3. Perturbation moyenne (en durée) : indique la durée moyenne journalière pendant laquelle le programme événementiel était d'une qualité insuffisante (VideoMOS < 2). Ce temps moyen de perturbations est déduit du TIA.

L'avis donné sur ce critère repose sur la nomenclature suivante :
- TIA < 2,5 % : ***
- 2,5 % < TIA < 10 % : **
- TIA > 10 % : *

» Temps de zapping :
Le temps de zapping correspond au nécessaire au changement effectif de chaîne. La séquence de test repose sur des zapping en mode P+/P-. Le temps de zapping moyen (exprimé en secondes) publié est la moyenne des temps de zapping P+ .
.
L'avis concernant le temps de zapping repose sur la nomenclature suivante :
- Temps < 1 secondes : * * *
- 1< Temps < 2,5 secondes : * *
- Temps > 2,5 secondes : *