La méthodologie du classement Witbe/JDN de la visioconférence
Witbe, expert mondial de la mesure de la qualité de service digital, réalise pour le compte du JDN un classement mensuel de la performance des services de visioconférence. Pour ce benchmark, quatre applications ont été retenues : Cisco WebEx, Google Meet, Microsoft Teams et Zoom, qui sont les services ayant enregistré le plus grand nombre d'utilisateurs dans le monde (chiffres 2e trimestre 2020).
En amont, les données de performance de chaque service sont collectées par deux robots. Ces bots accèdent à distance aux services de visioconférence en reproduisant le comportement des utilisateurs. Le premier est basé à Nanterre dans les locaux de Witbe, et le second en région parisienne dans le cloud de la société française.
Les deux robots de monitoring sont connectés à Internet via des accès grand public standards (basés sur l'offre fibre d'Orange), avec la clé des débits testés autour des 100Mo/s. L'objectif étant de reproduire le mieux possible des conditions réelles d'utilisation des plateformes de visioconférence depuis la France.
Un robot joue le rôle de l'organisateur. L'autre celui de l'invité. Le premier se connecte au service de visioconférence, initialise le meeting, puis accepte l'invité et enclenche le meeting. Il transmet ensuite pendant une minute une vidéo d'une réunion préenregistrée en vue de s'approcher au plus près des conditions réelles d'utilisation. La même vidéo est utilisée pour les quatre services de visioconférence.
Dans le rôle de l'invité, le second robot se connecte au service (sans avoir ouvert un compte sur l'application), rejoint le call initié par le robot organisateur, puis visionne la vidéo streamée par le premier robot.
Les indicateurs clés de résultat (KPI) mesurés sont :
- La disponibilité de la plateforme pour l'organisateur (Le robot organisateur est-il capable de lancer le call ?)
- La disponibilité de la plateforme pour l'invité (Le robot invité est-il capable de rejoindre la réunion ?)
- Le temps d'établissement de la réunion (Combien de temps a-t-il fallu au robot organisateur pour lancer le meeting ?)
- Le temps d'établissement de la connexion pour l'invité (Combien de temps a-t-il fallu au robot invité pour rejoindre la réunion ?)
- Q-MOS : mesure de la qualité vidéo et audio (voir définition ci-après).
Conçu par Witbe, le VQ-MOS (pour Video Quality Mean Opinion Score) est un indicateur de mesure basé sur l'analyse psycho-acoustique et psycho-visuelle des flux vidéo en temps réel. Il détecte notamment les vidéos saccadées, floues ou encore gelées, mais aussi les coupures sonores.
Dans le cadre de ce benchmark mensuel, les mesures sont réalisées par Witbe au cours de la première semaine du mois. Les robots réalisent un test de visioconférence toutes les 20 minutes pour chaque plateforme, avec l'exécution des scénarios de l'organisateur et de l'invité, ce qui correspond à un total de plus de 2400 tests.
La vidéo ci-dessous illustre le monitoring réalisé par les deux robots de Witbe, avec à gauche de l'image le scénario "organisateur" de création du meeting, et à droite le scénario "invité" d'accès au meeting créé par les participants. On note le décalage entre les deux images en début de vidéo : le meeting est d'abord créé à gauche avant de pouvoir accueillir l'invité à droite.
Un score global est établi pour réaliser le classement général des quatre plateformes.
Pour le calculer, Witbe a établi quatre sous-classements (ou indices), l'objectif étant de noter en priorité les indicateurs attendus par les utilisateurs finaux :
- Classement de la disponibilité globale de la plateforme de visioconférence (en combinant le KPI de la disponibilité organisateur et le KPI de la disponibilité invité)
- Classement du meilleur temps d'établissement du meeting pour l'organisateur
- Classement du meilleur temps d'accès au meeting pour l'invité
- Classement de la meilleure qualité vidéo pour les invités
Des points sont attribués aux services de visioconférence en fonction de la place qu'ils atteignent dans chacun de ces sous-classements : 100 points pour la première place, 75 points pour la deuxième, 50 points pour la troisième, et 25 points pour la quatrième.
En vue d'établir le classement final, les scores de ces différents indices sont pondérés en fonction de leur importance du point de vue des utilisateurs finaux :
- Meilleure disponibilité globale de la plateforme : poids de 4
- Meilleur temps d'établissement du meeting pour l'organisateur : poids de 1
- Meilleur temps d'accès au meeting pour les invités : poids de 2
- Meilleure qualité vidéo pour les invités : poids de 2
Le résultat : un classement général des quatre acteurs sur une note (score global) ramenée à un maximum de 100.