Méthodologie

Principes généraux

L'étude est réalisée au moyen de robots IPTV Witbe, connectés derrière les box des FAI. Ces robots zappent sur les chaînes prédéfinies, mesurent le temps nécessaire au changement effectif de chaîne, détectent les éventuels messages d'erreur et mesurent la qualité réelle de la vidéo suivant 3 principaux critères perceptuels (pixellisation, saccade et flou) synthétisés dans un indicateur subjectif : le Mean Opinion Score (MOS), sur une échelle de 1 à 5 (avec 5 = qualité parfaite).

» L'étude repose sur deux niveaux de tests :
1. Evaluation multi chaînes : il s'agit de mesurer la Qualité d'Expérience (QoE) au travers du bouquet de base et/ou des bouquets optionnels (TPS/CanalSat) proposés par les FAI :
- depuis mars 2007, les tests sont réalisés au travers des bouquets optionnels : CanalSat pour Free et Tele2, TPS pour les autres acteurs
- Zapping sur 7 chaînes communes à tous les bouquets : toutes les 10 minutes, chaque robot zappe sur France 2, France 3, Arte, NRJ 12, Europe 2 TV, BFM TV et LCP, en restant une minute sur chaque chaîne. Le zapping est réalisé par saisie du numéro et par frappe directe.
- Métriques collectées par chaînes et agrégées : temps de zapping, disponibilité, VideoMOS
- Tests réalisés 22h/24 soit 6.027 zappings par semaine et par acteur.

2. Test événementiel : il s'agit de mesurer le niveau de qualité et son maintien tout au long d'un programme spécifique. Le test réalisé au mois depuis le mois de mars 2007 porte sur le journal télévisé de 20h de TF1.

» Maintenance quotidienne :
Les tests sont interrompus une heure par jour afin de permettre les éventuelles mises à jour des décodeurs et boxes triple play. A l'issue de la période de maintenance, les équipements sont rebootés électriquement avant de reprendre les tests.

» Origine des tests : les tests sont réalisés depuis un point d'observation situé à La Défense (92).

Critères pris en compte et principes d'évaluation

» Disponibilité du service :
Elle est évaluée au travers de la séquence de zapping multi chaînes. Lors de chaque séquence de test (toutes les 10 minutes), la disponibilité de chacune des chaînes est évaluée par 3 conditions : temps d'accès limité (zapping < 9 secondes), absence de message d'erreur, flux animé d'une qualité suffisante (VideoMOS >= 2).

L'avis concernant la disponibilité du service repose sur la nomenclature suivante :
- 99 % à 100 % : * * *
- 98 % à 99 % : * *
- Moins de 98 % : *

» Qualité Vidéo :
1. Qualité multi chaînes : MOS vidéo moyen constaté sur les chaînes testées lors de la séquence multi chaine. L'avis concernant la qualité du service repose sur la nomenclature suivante :
- MOS Vidéo > 3,5 : * * *
- 2,5 < MOS Vidéo < 3,5 : * *
- MOS Vidéo < 2,5 : *

2. Intervalles : donne une indication de la stabilité de la qualité d'un jour sur l'autre. Il correspond à l'écart type du MOS vidéo. Plus il est proche de 0, plus les valeurs de MOS constatées sur la période sont homogènes.

» Qualité Vidéo de l'événementiel :
1. Qualité événementiel (de 1 à 5) : MOS vidéo moyen constaté lors de la visualisation du ou des programmes événementiel.

L'avis concernant la qualité de visualisation du programme événementiel repose d'une part sur la qualité vidéo moyenne (VideoMOS) et d'autre part sur la capacité à délivrer un MOS Video > 2 tout au long du programme et résumé dans un taux d'images acceptables (TIA).

L'avis donné sur le MOS Video événementiel dépend de la valeur de :
- TIA MOS Vidéo > 3,5 : * * *
-  2,5 < TIA MOS Vidéo > 3,5 : * *
- TIA MOS Vidéo < 2,5 : *

2. Intervalles : donne une indication de la stabilité de la qualité d'un jour sur l'autre. Il correspond à l'écart type du MOS vidéo. Plus il est proche de 0, plus les valeurs de MOS constatées lors de chaque événement sont homogènes.

3. Perturbation moyenne (en durée) : indique la durée moyenne journalière pendant laquelle le programme événementiel était d'une qualité insuffisante (VideoMOS < 2). Ce temps moyen de perturbations est déduit du TIA.

L'avis donné sur ce critère repose sur la nomenclature suivante :
- TIA < 2,5 % : ***
- 2,5 % < TIA < 10 % : **
- TIA > 10 % : *

» Temps de zapping :
Le temps de zapping correspond au nécessaire au changement effectif de chaine. La séquence de test repose sur des zapping en frappe directe et des zappings en mode P+/P-.

Le temps de zapping moyen (exprimé en secondes) publié est la moyenne des temps de zapping P+ et des temps de zapping en frappe directe pour les chaînes à 3 numéros.
.
L'avis concernant le temps de zapping repose sur la nomenclature suivante :
- Temps < 2,5 secondes : * * *
-  2,5 < Temps < 4 secondes : * *
- Temps > 4 secondes : *