 La
qualité mesurée des performances des fournisseurs de téléphonie
ADSL réalisée par Witbe ne vaut naturellement que pour la période
de temps concernée et ne présage en aucune façon de la qualité
permanente des fournisseurs d'accès testés. La nature même des
réseaux IP et de la technologie ADSL ne permet pas d'extrapoler
une qualité nationale à partir des résultats issus des 3 points
de mesure mis en œuvre. L'objectif de l'étude est de donner
des indications sur les tendances générales en terme de qualité
de service.
Principes généraux
L'étude est réalisée au moyen de robots Witbe dual play
Data/VoIP, connectés derrière les box des FAI. Le benchmark
Witbe "Téléphonie sur ADSL" vise à évaluer la qualité du service
tel qu'il est délivré sur 3 grandes villes de France par les
principaux FAI.
 La
qualité du service "Téléphonie sur ADSL" est évaluée selon 3
critères principaux :
- la
disponibilité du service
- la
qualité d'écoute lors de la conversation (indice PESQ-MOS)
- la
stabilité de la qualité d'écoute sur la durée de la conversation.
Tester
la capacité à joindre un correspondant France Telecom fixe et
converser durant 3 minutes :
Le robot VoIP réalise un appel téléphonique au travers de
l'accès ADSL, vers un robot répondeur connecté au RTC France
Télécom en local.
Le robot VoIP enregistre le message du répondeur et le compare
à un fichier de référence normalisé (d'une durée de 14 secondes).
Afin de pouvoir apprécier les dégradations de qualité, la conversation
type dure trois minutes environ. Au sein d'une communication,
le test complet consiste donc à écouter plusieurs fois le fichier
de référence.
Ce test est exécuté 24h/24, toutes les 15 minutes, soit 96 mesures
par jour.
Maintenance
quotidienne : Les tests sont interrompus une heure
par jour afin de permettre l'éventuelle mise à jour des box
FAI. A l'issue de la période de maintenance, les équipements
sont rebootés électriquement avant de reprendre les tests.
Origine
des tests : Les tests sont réalisés
depuis trois points d'observation situés à La Défense (92),
à Lyon et Marseille.
Critères pris en
compte et principes d'évaluation
1. Disponibilité
du service :
La disponibilité du service est déterminée par le taux de réussite
des tests. Un test est considéré comme réussi lorsque le robot
appelant (robot VoIP) a pu joindre le robot répondeur.
L'avis concernant la disponibilité du service repose sur
la nomenclature suivante :
- Plus de 99,9 % : * * *
- de 98,5 % à 99,9 % : * *
- Moins de 98,5 % : *
2.
Délai
d'obtention de la tonalité (Post Dialing Delay - PDD) :
Le PDD est le délai compris entre la fin de la numérotation
et la réception du premier train de sonnerie.
Le délai d'obtention de la tonalité est apprécié de la manière
suivante :
- PDD < 2 secondes : * * *
- PDD compris entre 2 et 3 secondes : * *
- PDD > 3 secondes : *
3. Qualité
perceptuelle de la voix :
L'analyse des dégradations
de la voix est réalisée au moyen des algorithmes PESQ qui comparent
le message délivré par le répondeur et enregistré par le robot
VoIP avec un message de référence normalisé (1).
La qualité perçue de la voix est restituée sous forme d'une
note PESQ (2)
(Perceptual Evaluation of Speech Quality) de type MOS "Mean
Opinion Score" (de 1 à 5, avec 5 = qualité parfaite).
La qualité de la voix est appréciée de la manière
suivante :
- PESQ compris entre 4 et 5 : * * *
- PESQ compris entre 3 et 4 : * *
- PESQ inférieur à 3 : *
4. Stabilité
de la Qualité sur la durée de la conversation :
Afin d'apporter un éclairage complémentaire
à la valeur moyenne du PESQ-MOS sur la conversation, Witbe calcule
un indice de stabilité de la qualité durant la conversation.
De cet indice de stabilité, Witbe décline un indicateur PMS
(part de mesures parfaitement stables). Il est évaluée de la
manière suivante :
- PMS compris entre 95 % et 100 % : * *
*
- PMS compris entre 90 % et 95 % : * *
- PMS inférieur à 90 % : *
Notes :
(1)
Le message audio utilisé pour le calcul du PESQ est conçu conformément
aux spécifications ITU-T P.862. La durée du fichier utilisé
par Witbe est de 14 secondes. Afin de réaliser les tests longs,
le robot évalue 10 écoutes successives de ce fichier de référence.
(2) PESQ
(Perceptual Evaluation of Speech Quality - évaluation
perceptuelle de qualité de la parole) est un indice défini par
l'Union Internationale des Télécommunications (ITU) pour évaluer
la qualité perçue de la voix (ITU-T P.862/P.862.1). Le PESQ
est capable de déterminer la qualité subjective de la voix et
d'identifier l'origine des dégradations : coupures, atténuations,
bruits, etc.
La valeur du PESQ est indiquée sous la forme d'une note
de type MOS "Mean Opinion Score" comprise entre 1 et 5, avec :
5 : excellent
4 : bon
3 : correcte
2 : pauvre
1 : mauvais |
