La qualité mesurée des performances des fournisseurs de téléphonie ADSL
réalisée par Witbe ne vaut naturellement que pour la période de temps concernée
et ne présage en aucune façon de la qualité permanente des fournisseurs d'accès
testés. La nature même des réseaux IP et de la technologie ADSL ne permet
pas d'extrapoler une qualité nationale à partir des résultats issus des 3
points de mesure mis en uvre. L'objectif de l'étude est de donner des indications
sur les tendances générales en terme de qualité de service.
Principes généraux
L'étude est réalisée au moyen de robots Witbe
dual play Data/VoIP, connectés derrière les box des FAI. Le benchmark Witbe
"Téléphonie sur ADSL" vise à évaluer la qualité du service tel qu'il est
délivré sur 3 grandes villes de France par les principaux FAI.
» La
qualité du service "Téléphonie sur ADSL" est évaluée selon 3 critères principaux :
- la
disponibilité du service
- la
qualité d'écoute lors de la conversation (indice PESQ-MOS)
- la
stabilité de la qualité d'écoute sur la durée de la conversation.
» Tester
la capacité à joindre un correspondant France Télécom fixe
et converser durant 3 minutes :
Le robot VoIP réalise un appel téléphonique au travers de l'accès ADSL,
vers un robot répondeur connecté au RTC France Télécom en local.
Le robot VoIP enregistre le message du répondeur et le compare à un fichier
de référence normalisé (d'une durée de 14 secondes).
Afin de pouvoir apprécier les dégradations de qualité, la conversation type
dure trois minutes environ. Au sein d'une communication, le test complet
consiste donc à écouter plusieurs fois le fichier de référence.
Ce test est exécuté 24h/24, toutes les 15 minutes, soit 96 mesures par jour.
» Maintenance
quotidienne : Les tests sont interrompus une heure par jour afin
de permettre l'éventuelle mise à jour des box FAI. A l'issue de la période
de maintenance, les équipements sont rebootés électriquement avant de reprendre
les tests.
» Origine
des tests : Les tests sont réalisés depuis trois
points d'observation situés à La Défense (92), à Lyon et Marseille.
Critères pris en compte et principes d'évaluation
1.
Disponibilité du service :
La disponibilité du service est déterminée par le taux de réussite des tests.
Un test est considéré comme réussi lorsque le robot appelant (robot VoIP)
a pu joindre le robot répondeur.
L'avis concernant la disponibilité du service repose sur la nomenclature
suivante :
- Plus de 99,9 % : * * *
- de 98,5 % à 99,9 % : * *
- Moins de 98,5 % : *
2. Délai
d'obtention de la tonalité (Post Dialing Delay - PDD) :
Le PDD est le délai compris entre la fin de la numérotation et la réception
du premier train de sonnerie.
Le délai d'obtention de la tonalité est apprécié de la manière suivante :
- PDD < 2 secondes : * * *
- PDD compris entre 2 et 3 secondes : * *
- PDD > 3 secondes : *
3. Qualité
perceptuelle de la voix :
L'analyse des dégradations de la voix est
réalisée au moyen des algorithmes PESQ qui comparent le message délivré par
le répondeur et enregistré par le robot VoIP avec un message de référence
normalisé (1).
La qualité perçue de la voix est restituée sous forme d'une note PESQ (2)
(Perceptual Evaluation of Speech Quality) de type MOS "Mean Opinion Score"
(de 1 à 5, avec 5 = qualité parfaite).
La qualité de la voix est appréciée de la manière suivante :
- PESQ compris entre 4 et 5 : * * *
- PESQ compris entre 3 et 4 : * *
- PESQ inférieur à 3 : *
4. Stabilité
de la Qualité sur la durée de la conversation :
Afin d'apporter un éclairage complémentaire à la valeur
moyenne du PESQ-MOS sur la conversation, Witbe calcule un indice de stabilité
de la qualité durant la conversation.
De cet indice de stabilité, Witbe décline un indicateur PMS (part de mesures
parfaitement stables). Il est évaluée de la manière suivante :
- PMS compris entre 95 % et 100 % : * * *
- PMS compris entre 90 % et 95 % : * *
- PMS inférieur à 90 % : *
Notes :
(1)
Le message audio utilisé pour le calcul du PESQ est conçu conformément aux
spécifications ITU-T P.862. La durée du fichier utilisé par Witbe est de
14 secondes. Afin de réaliser les tests longs, le robot évalue 10 écoutes
successives de ce fichier de référence.
(2) PESQ
(Perceptual Evaluation of Speech Quality - évaluation perceptuelle
de qualité de la parole) est un indice défini par l'Union Internationale
des Télécommunications (ITU) pour évaluer la qualité perçue de la voix (ITU-T
P.862/P.862.1). Le PESQ est capable de déterminer la qualité subjective de
la voix et d'identifier l'origine des dégradations : coupures, atténuations,
bruits, etc.
La valeur du PESQ est indiquée sous la forme d'une note de type MOS
"Mean Opinion Score" comprise entre 1 et 5, avec :
5 : excellent
4 : bon
3 : correcte
2 : pauvre
1 : mauvais