Méthodologie

La qualité mesurée des performances des fournisseurs de téléphonie réalisée par Witbe ne vaut naturellement que pour la période de temps concernée et ne présage en aucune façon de la qualité permanente des fournisseurs d'accès testés. La nature même des réseaux et technologies ne permet pas d'extrapoler une qualité nationale à partir des résultats issus des 3 points de mesure mis en œuvre. L'objectif de l'étude est de donner des indications sur les tendances générales en terme de qualité de service.

Principes généraux

L'étude est réalisée au moyen de robots Witbe dual play Data/VoIP, connectés derrière les box des FAI. Le benchmark Witbe "Téléphonie" vise à évaluer la qualité du service tel qu'il est délivré sur 3 grandes villes de France par les principaux FAI.

La qualité du service "Téléphonie" est évaluée selon 4 critères :
- la rapidité d'acheminement des appels
- la disponibilité du service
- la qualité d'écoute lors de la conversation (indice MOS-LQON)
- la stabilité de la qualité d'écoute sur la durée de la conversation (indice ST-MOS)

Les méthodes mises en œuvre par Witbe sont conformes aux normes internationales définies par l'ITU-T et l'ETSI en matière de mesure de la qualité des services de téléphonie fixe.
 
Tester la capacité à joindre un correspondant France Télécom fixe et converser durant 3 minutes
Le robot appelant Witbe réalise un appel téléphonique au travers de la box, vers un robot appelé connecté au RTC Orange en local.
Une fois la communication établie, les deux robots entame une conversation de 3 minutes basée sur l'échange de fichiers audio et suivant les normes définies par l'ITU-T et l'ETSI.
Ce test est exécuté 22h/24, toutes les 15 minutes, soit 88 appels par jour et par ville pour chacune des box (env. 8000 appels par mois au total pour chaque box).

Maintenance quotidienne : Les tests sont interrompus 2 heures par jour afin de permettre l'éventuelle mise à jour des box FAI. A l'issue de la période de maintenance, les équipements sont rebootés électriquement avant de reprendre les tests.

Origine des tests : Les tests sont réalisés depuis trois points d'observation situés à Paris, Lyon et Marseille.

Critères pris en compte et principes d'évaluation

1. Rapidité d'acheminement des appels

Cet indicateur vise à apprécier la rapidité avec laquelle le réseau de l'opérateur achemine l'appel vers le destinataire. Concrètement il mesure la durée entre la fin de l'envoi du numéro de téléphone composé et le retour des 3 sonneries

Witbe considère que l'appel est acheminé rapidement si le temps mesuré est inférieur ou égal à 17s.

Le benchmark présente donc pour chaque service testé, le pourcentage d'appels acheminés rapidement (AR) sur la période. Les principes de scoring associés à cet indicateur sont :

- AR >= 98% (vert)

- 95% =< AR < 98% (orange)

- AR < 95% (rouge)

2. Disponibilité du service
 

Cet indicateur vise à mesurer si les appels émis parviennent au destinataire et qu'une conversation peut être engagée. 

La disponibilité du service (D) est déterminée par le taux de réussite des tests (nombre d'appels en succès / nombre total d'appels émis) sur la période
Un test est considéré comme réussi lorsque :
o   le robot appelant a pu joindre le robot répondeur
o   la communication n'a pas été interrompue
o   la communication n'était pas blanche

Les principes de scoring associés à cet indicateur sont :

- D > 99% (vert)

- 98% < D =< 99% (orange)

- D < 98% (rouge)

3. Qualité d'écoute de la parole (MOS-LQON) 

Cet indicateur vise à évaluer si durant la communication, les deux locuteurs peuvent converser sans problèmes : absences de micro-coupures, niveau sonore suffisant etc.(1)
L'analyse de la qualité d'écoute de la parole est réalisée au moyen des algorithmes PESQ normalisés (1).
L'indicateur de base mesurant cette qualité est dénommé MOS-LQON. Son échelle va de 1 à 5 (5 = qualité parfaite équivalente à un face à face).

Suivant les principes de l'échelle MOS (ITU-T P.800), Witbe considère qu'un appel est de bonne qualité si son MOS-LQON est supérieur ou égal à 4.

Le benchmark présente donc pour chaque service testé, le pourcentage d'appels de bonne qualité (ABQ) sur la période. Les principes de scoring associés à cet indicateur sont : 

- ABQ >= 98% (vert)

- 95% =< ABQ < 98% (orange)

- ABQ < 95% (rouge)

4. Stabilité de la Qualité sur la durée de la conversation (ST-MOS)

Cet indicateur normalisé vise à évaluer si la qualité d'écoute (MOS-LQON) est stable durant une conversation.
L'indicateur ST-MOS (2) est exprimé sous forme d'un indice allant de 0 à 100, avec 100 = qualité parfaitement stable durant la conversation.

Witbe considère que l'appel est d'une qualité suffisamment stable (càd affectant peu le confort de l'utilisateur) si ST-MOS est supérieur ou égal à 90.

Le benchmark présente donc pour chaque service testé, le pourcentage d'appels de qualité stable (ABS) sur la période. Les principes de scoring associés à cet indicateur sont : 

- AQS >= 95% (vert)

- 90% =< AQS < 95% (orange)

- AQS < 90% (rouge)

(1) PESQ (Perceptual Evaluation of Speech Quality - évaluation perceptuelle de qualité de la parole) est un indice défini par l'Union Internationale des Télécommunications (ITU) pour évaluer la qualité perçue de la voix (ITU-T P.862/P.862.1). Le PESQ est capable de déterminer la qualité subjective de la voix et d'identifier l'origine des dégradations : coupures, atténuations, bruits, etc.
La valeur du PESQ est indiquée sous la forme d'une note de type MOS "Mean Opinion Score" comprise entre 1 et 5, avec :
5 : excellent
4 : bon
3 : correcte
2 : pauvre
1 : mauvais

(2) : ST-MOS est l'indicateur de stabilité de la qualité d'écoute de la parole défini par ETSI (norme EG 202 765-2). Il rend compte des variations de qualité (à la hausse ou à la baisse) et de leur amplitude au cours d'une conversation.
Cet indice est présenté sur une échelle de 0 à 100 : 100 représente une stabilité parfaite.

Cet indicateur ST-MOS est une évolution et standardisation de l'indicateur de stabilité proposé par Witbe depuis 2006 et présenté dans les benchmarks jusqu'en juillet 2009.