Comparatif Cloud : Google en tête

Comparatif cloud de septembre 2014 Le classement CloudScreener / Cedexis fait peau neuve. Une nouvelle méthodologie a été définie pour mieux coller aux dernières évolutions du marché.

A l'occasion de cette nouvelle édition du classement mensuel des clouds CloudScreener / Cedexis pour le JDN, la méthodologie du palmarès a été profondément revue. La plupart des évolutions concerne l'indice de performance. "En vue d'améliorer la représentativité du classement, les performances des fournisseurs sont désormais évaluées par rapport à une valeur étalon, que nous considérons comme l'état de l'art", décrypte Anthony Sollinger, co-fondateur de CloudScreener.

L'indice de performance prend aussi désormais en compte les écarts entre les mesures les plus hautes et les plus basses des acteurs. Objectif : faire apparaitre les baisses subites de performance pouvant apparaitre lors d'une panne par exemple (des tendances par définition peu visibles au travers d'une moyenne). L'indice de performance intègre en outre de nouvelles mesures, toujours dans l'optique de se rapprocher de la réalité du terrain. Il s'agit notamment de l'IOPS, du nombre d'événements traités par seconde (les fameux workloads), et de la vitesse de transfert CPU/RAM (voir le détail plus bas). Pour finir, les configurations analysées par grands types de projet/cas intègrent la dimension de la bande passante (dont le coût peut-être très variable d'un fournisseur à l'autre), mais aussi des familles d'instances un peu différentes, dans l'optique de mieux coller aux besoins opérationnels.

Pour compléter ce classement mensuel, le JDN a mis en place en partenariat avec Cedexis un service cartographique permettant de comparer la performance des principaux clouds sur les dernières 24h en fonction des régions du monde.

 

Classement général

Sur septembre, Google se maintient en tête du palmarès en capitalisant sur des prix relativement bas et des performances également relativement intéressantes. Le géant IT américain ne parvient pas pour autant à se hisser en tête dans les deux classements secondaires (prix et performance).

A quelques points d'indice derrière Google, Aruba prend la deuxième place, juste devant les clouds souverains français Numergy et Cloudwatt. Quant à Amazon Web Services et Microsoft Azure, ils occupent respectivement les deux dernières positons en matière de performance. "Les infrastructures AWS et Azure sont néanmoins beaucoup plus sollicitées. Elles sont dans le même temps dotées d'équipements logiquement moins récents que les infrastructures de Numergy et Cloudwatt", relativise Anthony Sollinger chez CloudScreener.

Classement général des clouds CloudScreener / Cedexis
Classement Performance / PrixFournisseurIndice Performance / prix
Source : CloudScreener / Cedexis
1Google Compute Engine 90
2Aruba 88
3Numergy 79
4Cloudwatt 73
5Ikoula 73
6Joyent 68
7Rackspace 66
8Amazon Web Services 55
9Microsoft Azure 51

Cloud : comparatif de la performance


La nouvelle méthodologie rebat les cartes du classement dans la catégorie des performances. Joyent prend la tête du palmarès sur ce terrain, devant Rackspace et Google. Ikoula et Cloudwatt sont relégués en seconde partie de peloton. "Nous notons une baisse des performances en matière de disque chez Ikoula comparé à l'édition précédente", commente Anthony Sollinger.
Classement des performances des clouds CloudScreener
Réseau*Réseau*Disque**Disque**CPU**RAM**
Source : CloudScreener et Cedexis
FournisseurIndiceTps de réponseTx de dispoIOPSBande passanteEvents/sVitesse transfert
1-Joyent 94 67 ms99,46%3541169921 Mo/s681933 Mo/s
2-Rackspace 92 65 ms99,44%2010178094 Mo/s2421170 Mo/s
3-Google Compute Engine 90 60 ms99,50%149873006 Mo/s741510 Mo/s
4-Numergy 89 54 ms98,81%4919134147 Mo/s832005 Mo/s
5-Aruba 84 54 ms99,49%734786596 Mo/s522053 Mo/s
6-Ikoula 79 57 ms99,44%1357235064 Mo/s200372 Mo/s
7-Cloudwatt 77 54 ms99,37%499193581 Mo/s571148 Mo/s
8-Amazon Web Services 47 79 ms99,09%280231764 Mo/s34165 Mo/s
9-Microsoft Azure 43 74 ms98,85%29041634 Mo/s61156 Mo/s
Référence 100 60 ms99,30%1500150000 Mo/s801500 Mo/s

* Mesures Cedexis
** Mesures CloudScreener

Définitions :
 Temps de réponse : temps de réponse médian en millisecondes (mesuré par Cedexis pour tous les FAI depuis la France)
 Taux de disponibilité : taux de disponibilité médian en pourcentage
(mesuré par Cedexis pour tous les FAI depuis la France)
 IOPS : nombre
moyen d'opérations d'entrée-sortie par seconde (test 100% en écriture random 4Ko)
 
Bande passante : bande passante moyenne en mégaoctets par seconde (test 100% en écriture séquentielle 1Mo)
 CPU / Events/sec : nombre moyen d'événements traités par seconde (partant de 32 process lancés toutes les 60 secondes avec l'outil SysBench)
 RAM / Vitesse transfert : vitesse de transfert moyenne en mégaoctets par seconde

Cloud : comparatif de prix

Malgré la récente baisse de 10% des tarifs des machines virtuelles chez Google, Aruba occupe ce mois-ci la première marche du podium dans la catégorie des prix. "Il profite de la légère évolution des configurations des cas clients types analysés", explique-t-on chez CloudScreener, avant de reconnaitre : "Aruba a cependant des arguments forts comme la gratuité de la licence Windows ou du trafic sortant." Une réalité que la nouvelle méthodologie a, il est vrai, le mérite de prendre en compte et dévoiler au grand jour.
Classement des prix des clouds par types de projet
Classement prixIndice prixPrix instance "type M" LinuxPrix instance "type M" WindowsPrix cas client n°1Prix cas client n°2Prix cas client n°3
Source : CloudScreener
1- Aruba 92 40 € 40 € 120 € 493 € 369 €
2- Google Compute Engine 89 29 € 51 € 155 € 539 € 328 €
3- Numergy 70 40 € 56 € 169 € 988 € 392 €
4- Cloudwatt 69 41 € 72 € 216 € 675 € 364 €
5- Ikoula 67 44 € 76 € 229 € 672 € 366 €
6- Amazon Web Services 63 46 € 77 € 233 € 740 € 396 €
7- Microsoft Azure 59 51 € 82 € 246 € 747 € 428 €
8- Joyent 42 68 € 170 € 319 € 1 031 € 571 €
9- Rackspace 39 85 € 107 € 324 € 1 211 € 685 €
Les prix et performances indiquées pour Numergy sont ceux de l'offre V1 (VMware)

Les types de projet
Infrastructure cloudType de besoin métier
Source : CloudScreener
*Petit projetTrois instances de type "moyenne" + 13 Go/mois de trafic sortant (1Mbps), OS : Windows, utilisation à 100% (730h), sans engagement de durée.Hébergement d'application métier, 30 à 50 utilisateurs, disponibilité : 99,99%
**Projet moyenSix instances de type "moyenne" + 3 instances de type "large" + 75 Go de stockage block, 2 To/mois de trafic sortant (80 Mbps), OS Linux, utilisation à 100% (730h), sans engagement de durée.Hébergement de site d'e-commerce, 300 000 à 500 000 visites par mois, disponibilité : 99,99%
***Grand projetQuatre instances de type "large" + 2 instances de type "extra larges" + 50 Go de stockage block + 250 Go/mois de trafic sortant (8Mbps), OS Linux, utilisation à 50% (365h), sans engagement de duréeHébergement d'application métier, 750 à 1 000 utilisateurs, disponibilité : 99,9%
Méthodologie : le classement CloudScreener / Cedexis / JDN est élaboré grâce à la plate-forme de supervision Performance / Prix mise au point par CloudScreener pour supporter son comparateur de clouds en ligne, et à l'infrastructure de supervision réseau de Cedexis.
Les indices de prix sur lesquels repose le classement sont calculés à partir de plusieurs indicateurs : le prix d'instances types, et de configurations cloud adaptées à trois périmètres de projet métier. Quant aux indices de performance, ils recouvrent des indicateurs de performance (IOPS, RAM, CPU...), issus du système de supervision de CloudScreener, et les indicateurs de performance réseau de Cedexis.

 Lire la méthodologie dans son intégralité:

 

Cloudwatt / Numergy