Classement des clouds JDN / CloudScreener : la méthodologie

Classement des clouds JDN / CloudScreener : la méthodologie Chaque mois, le JDN publie en partenariat avec CloudScreener le classement Performance / Prix des principaux clouds.

Classement mensuel performance

Pour chaque critère de comparaison, le meilleur fournisseur (meilleure performance) obtient un indice de 100. L'indice de performance pour chaque critère (hors taux de disponibilité) correspond à l'écart par rapport à cet indice 100. Sa formule :

Performance du fournisseur x 100 / meilleure performance (la plus haute) 

L'indice de performance "taux de disponibilité" correspond à l'écart par rapport à l'indice 100, 1% d'écart correspondant à une réduction de l'indice de 12,5 points.

L'indice moyen de performance est la moyenne des indices des 6 critères de performances étudiés.

Le classement Performance est réalisé à partir de l'indice le plus haut et en ordre décroissant.

Chaque mesure de performances des machines virtuelles est effectuée par CloudScreener plus de 150 fois par mois, par fournisseur, et aléatoirement sur plusieurs instances en Europe.

Précision sur les mesures de vitesses I/O et de performances de CPU :

- Vitesse d'écriture (m/s) : vitesse d'écriture séquentielle par bloc (m/s, test bonnie++),

- Temps de latence (écriture/lecture en ms) : moyenne des temps de latence écriture et lecture (en ms, test bonnie++),

- Durée d'extraction (sec) : durée de compression d'un fichier test de 1.1Go (format xz),

- Durée d'encodage (sec) : durée d'encodage d'un fichier test de 4.7Go (avconv),

- Les temps de réponse et taux de disponibilité sont mesurés par Cedexis pour tous les FAI depuis la France (cf. méthodologie Cedexis plus bas).


Classement mensuel Prix

Pour chaque critère de comparaison, le meilleur fournisseur (prix le plus bas) obtient un indice de 100. Sa formule :

L'indice Prix de chaque fournisseur correspond à l'écart par rapport au fournisseur le moins cher. Sa formule :

Prix du fournisseur le moins cher x 100 / Prix du fournisseur

L'indice moyen Prix est la moyenne des indices des 5 indicateurs de coût étudiés.

Le classement Prix est effectué à partir de l'indice le plus haut et en ordre décroissant

Les prix sont calculés pour une durée d'un mois d'utilisation (730 heures). Le taux de conversion USD-Euros utilisé pour le cacul des prix est : 0,765422 euro pour 1 dollar. Les détails des types de projet, et des instances et services analysés par fournisseur sont indiqués dans le tableau ci-dessous.

Classement mensuel Performance / Prix

L'indice Performance / prix est la moyenne des indices Performance et de Prix. 

Le classement Performance / prix est effectué à partir de l'indice Performance et de Prix le plus haut et en ordre décroissant.
 

 
Les types de projet
  Type de besoin métier Infrastructure cloud
Source : CloudScreener / JDN
Petit projet Hébergement application métier, 30 à 50 utilisateurs, disponibilité : 99,9% Trois instances moyennes (réparties dans deux zones de disponibilités ou datacenters différents) avec 13 Go/mois de trafic sortant, et un trafic entre deux zones/datacenters, OS Windows, utilisation à 100% (730h), sans engagement de durée
Projet moyen Hébergement d'un site d'e-commerce, 300 000 à 500 000 visites par mois, disponibilité de 99,9% Six instances moyennes de calcul front-office/web, avec trois trois instances larges de calcul back-office/base de données (réparties dans deux zones de disponibilités ou datacenters différents), 75Go de stockage block, 2To/mois de trafic sortant, et un trafic entre deux zones/datacenters, OS Linux, utilisation à 100% (730h), sans engagement de durée.
Grand projet 'Hébergement application métier avec 750 à 1 000 utilisateurs, disponibilité : 99,9% Quatre instances larges de calcul front-office/web, deux instances extra larges de calcul back office/base de données, 50Go de stockage block, 250Go/mois de trafic sortant, OS Linux, utilisation à 100% (730h), sans engagement de durée
 
Les types d'instance et services analysés par fournisseur
  Instance type "moyenne" Instance type "large" Instance type "extra large"
Source : CloudScreener / JDN
Amazon Web Services Instance "M3.medium" Instance "M3.large" Instance "Extra large"
Rackspace Instance "4 GB" Instance "8 GB" Instance "15 GB"
Windows Azure Instance "moyenne A2" Instance "grande A3" Instance "Très grande A4" 
Aruba CPU, RAM et stockage à la demande CPU, RAM et stockage à la demande CPU, RAM et stockage à la demande
Numergy Instance "S+" Instance "L+" Instance "XL+"
Ikoula Instance "medium" Instance "Large" Instance "Extra"
Joyent Instance Windows : "g3-standard-7.5-kvm" Instance Linux : "g3-standard-3.75-kvm" Instance "g3-standard-7.5-kvm" Instance "g3-standard-15-kvm"
Google Instance "n1.standard-1" Instance "n1.standard-2" Instance "n1-standard-4"


 Temps de réponse et taux de disponibilité sont mesurés par Cedexis

L'une des particularités des solutions de Cedexis est de mesurer la performance d'accès telle qu'elle est perçue par les internautes pour améliorer cette dernière lorsqu'une dégradation ou indisponibilité d'un prestataire (hébergeur, CDN, Cloud) est constatée. Dans cette optique, Cedexis a développé un service de supervision temps réel orienté utilisateur (RUM), baptisé Cedexis Radar. Il s'agit d'une sonde qui se présente sous la forme d'un tag JavaScript que les éditeurs de contenus placent dans les pages de leur site ou application hébergée dans le Cloud.En pratique, le tag effectue une requête sur un objet de 50 octets puis sur un second de 100 Ko.

Les mesures sur lesquelles repose notre classement exploitent les données de Cedexis Radar liées aux sites ou applications des clients de Cedexis (ce qui correspond à plusieurs centaines de millions de requêtes par jour). Les moyennes mensuelles que nous publions pour chaque fournisseur de Cloud sont réalisées à partir de moyennes journalières. Les moyennes journalières de temps d'accès correspondent à une moyenne des temps d'accès heure par heure.

Parallèlement à son comparatif mensuel, le JDN propose en partenariat avec Cedexis un service cartographique pour comparer la performance des clouds sur les dernières 24h (en fonction des grandes régions du monde).