Qui est Witbe ?
Witbe (www.witbe.net) édite pour les entreprises les solutions logicielles complètes qui permettent de gérer la performance des systèmes d'information. Les outils Witbe mesurent de bout en bout la qualité délivrée à l'utilisateur, alertent et diagnostiquent en cas de dysfonctionnement, fournissent des indicateurs adaptés aux directions informatiques et aux maîtrises d'ouvrage pour les aider dans leurs prises de décisions stratégiques.

Objectif de l'étude
A l'occasion des matches de l'équipe de France en Coupe du Monde, Witbe s'est penché sur le quart de final France-Brésil diffusé samedi 1er juillet et sur la demi finale France-Portugal diffusée le 6 juillet. L'objectif de cette étude était de mesurer la qualité de diffusion lors de ce match au travers de 4 acteurs ADSL proposant des services IPTV (Alice, Free, Orange, Neuf) et d'un cablô opérateur (UPC Noos). Il est à noter que Free n'a pas été testé sur la diffusion temps réel (sur TF1), mais sur la diffusion différée via Canal Plus (ou Canal Plus Sport) qui commençait à minuit. Concernant Alice, un dysfonctionnement du décodeur et/ou de l'Alice Box n'ont pas permis de tester cet acteur sur le quart de finale.

Méthodologie et critères d'évaluation
Les tests sont réalisés au travers de robots Witbe Triple Play connectés derrière des accès Triple play. A l'occasion de cette étude, les robots ne faisaient que regarder la télévision, pas d'usage simultané de la VoIP ou de l'Internet. Pour les besoins de cette étude et afin de ne pas tester les acteurs ADSL via la TNT, nous avons souscrit aux abonnements TPS nécessaires (pour avoir TF1) ou CanalPlus le Bouquet dans le cas de Free.

Lieux du test
- Paris La Défense pour Alice, Free, Neuf et Orange
- Neuilly sur Seine (92) pour UPC Noos

Méthode de test et principe d'analyse
Dotés de carte d'acquisition vidéo et de l'algorithme VideoMOS Witbe, les robots regardent le programme et calculent en temps réel (trame par trame, jusqu'à 29/seconde) la qualité de diffusion. Conformément aux recommandations internationales, 3 métriques de base ("artefacts") sont mesurées : la fluidité de la diffusion ("jerkiness") qui s'attache à mesurer les effets de saccades/gel de l'image ; la pixellisation de l'image ("blockiness") qui s'attache à mesurer les effets blocs pouvant survenir en cas de congestion notamment ; la clarté de l'image ("blur") qui mesure les effets de flou. Ces 3 artefacts sont synthétisés en temps réel dans un indice de qualité perçu de la vidéo - MOS, Mean Opinion Score - allant de 1 à 5, 1 étant la plus mauvaise qualité. L'indice MOS délivré dans les tableaux suivants est la valeur moyenne constatée tout au long du programme testé. Pour les besoins de cette étude, nous avons pris en compte toute la durée du match et avons exclu les pauses publicitaires de la mi-temps.

Métriques mesurées et principes de classement
Métriques de bases
- VideoMOS (de 1 à 5) : Indice de qualité vidéo moyen sur la durée du programme. [Il est à noter que la valeur de 5 est inatteignable dans les faits.]
- Stabilité MOS (S-MOS en %) : repose sur un échantillonage du programme par pas de 1 demi seconde (12 à 13 frames). Il indique le % de temps pendant lequel la qualité vidéo était tout à fait acceptable (valeur du MOS fixée à 4).

Métrique globale : Indice Satisfaction TV
Pour aboutir à une catégorisation des acteurs, nous nous appuyions sur un indice de satisfaction agrégeant les deux métriques de base.
IS-TV = VideoMOS * S-MOS Avec IS-TV allant de 1 à 5 avec 5 = satisfaction maximale.