Comparatif Cloud : Google en tête
A l'occasion de cette nouvelle édition du classement mensuel des clouds CloudScreener / Cedexis pour le JDN, la méthodologie du palmarès a été profondément revue. La plupart des évolutions concerne l'indice de performance. "En vue d'améliorer la représentativité du classement, les performances des fournisseurs sont désormais évaluées par rapport à une valeur étalon, que nous considérons comme l'état de l'art", décrypte Anthony Sollinger, co-fondateur de CloudScreener.
L'indice de performance prend aussi désormais en compte les écarts entre les mesures les plus hautes et les plus basses des acteurs. Objectif : faire apparaitre les baisses subites de performance pouvant apparaitre lors d'une panne par exemple (des tendances par définition peu visibles au travers d'une moyenne). L'indice de performance intègre en outre de nouvelles mesures, toujours dans l'optique de se rapprocher de la réalité du terrain. Il s'agit notamment de l'IOPS, du nombre d'événements traités par seconde (les fameux workloads), et de la vitesse de transfert CPU/RAM (voir le détail plus bas). Pour finir, les configurations analysées par grands types de projet/cas intègrent la dimension de la bande passante (dont le coût peut-être très variable d'un fournisseur à l'autre), mais aussi des familles d'instances un peu différentes, dans l'optique de mieux coller aux besoins opérationnels.
Pour compléter ce classement mensuel, le JDN a mis en place en partenariat avec Cedexis un service cartographique permettant de comparer la performance des principaux clouds sur les dernières 24h en fonction des régions du monde.
Classement général
Sur septembre, Google se maintient en tête du palmarès en capitalisant sur des prix relativement bas et des performances également relativement intéressantes. Le géant IT américain ne parvient pas pour autant à se hisser en tête dans les deux classements secondaires (prix et performance).
A quelques points d'indice derrière Google, Aruba prend la deuxième place, juste devant les clouds souverains français Numergy et Cloudwatt. Quant à Amazon Web Services et Microsoft Azure, ils occupent respectivement les deux dernières positons en matière de performance. "Les infrastructures AWS et Azure sont néanmoins beaucoup plus sollicitées. Elles sont dans le même temps dotées d'équipements logiquement moins récents que les infrastructures de Numergy et Cloudwatt", relativise Anthony Sollinger chez CloudScreener.
| Classement Performance / Prix | Fournisseur | Indice Performance / prix |
|---|---|---|
| Source : CloudScreener / Cedexis | ||
| 1 | Google Compute Engine | 90 |
| 2 | Aruba | 88 |
| 3 | Numergy | 79 |
| 4 | Cloudwatt | 73 |
| 5 | Ikoula | 73 |
| 6 | Joyent | 68 |
| 7 | Rackspace | 66 |
| 8 | Amazon Web Services | 55 |
| 9 | Microsoft Azure | 51 |
Cloud : comparatif de la performance
La nouvelle méthodologie rebat les cartes du classement dans la catégorie des performances. Joyent prend la tête du palmarès sur ce terrain, devant Rackspace et Google. Ikoula et Cloudwatt sont relégués en seconde partie de peloton. "Nous notons une baisse des performances en matière de disque chez Ikoula comparé à l'édition précédente", commente Anthony Sollinger.
| Réseau* | Réseau* | Disque** | Disque** | CPU** | RAM** | ||
|---|---|---|---|---|---|---|---|
| Source : CloudScreener et Cedexis | |||||||
| Fournisseur | Indice | Tps de réponse | Tx de dispo | IOPS | Bande passante | Events/s | Vitesse transfert |
| 1-Joyent | 94 | 67 ms | 99,46% | 3541 | 169921 Mo/s | 68 | 1933 Mo/s |
| 2-Rackspace | 92 | 65 ms | 99,44% | 2010 | 178094 Mo/s | 242 | 1170 Mo/s |
| 3-Google Compute Engine | 90 | 60 ms | 99,50% | 1498 | 73006 Mo/s | 74 | 1510 Mo/s |
| 4-Numergy | 89 | 54 ms | 98,81% | 4919 | 134147 Mo/s | 83 | 2005 Mo/s |
| 5-Aruba | 84 | 54 ms | 99,49% | 7347 | 86596 Mo/s | 52 | 2053 Mo/s |
| 6-Ikoula | 79 | 57 ms | 99,44% | 1357 | 235064 Mo/s | 200 | 372 Mo/s |
| 7-Cloudwatt | 77 | 54 ms | 99,37% | 499 | 193581 Mo/s | 57 | 1148 Mo/s |
| 8-Amazon Web Services | 47 | 79 ms | 99,09% | 2802 | 31764 Mo/s | 34 | 165 Mo/s |
| 9-Microsoft Azure | 43 | 74 ms | 98,85% | 290 | 41634 Mo/s | 61 | 156 Mo/s |
| Référence | 100 | 60 ms | 99,30% | 1500 | 150000 Mo/s | 80 | 1500 Mo/s |
* Mesures Cedexis
** Mesures CloudScreener
Définitions :
Temps de réponse : temps de réponse médian en millisecondes (mesuré par Cedexis pour tous les FAI depuis la France)
Taux de disponibilité : taux de disponibilité médian en pourcentage (mesuré par Cedexis pour tous les FAI depuis la France)
IOPS : nombre moyen d'opérations d'entrée-sortie par seconde (test 100% en écriture random 4Ko)
Bande passante : bande passante moyenne en mégaoctets par seconde (test 100% en écriture séquentielle 1Mo)
CPU / Events/sec : nombre moyen d'événements traités par seconde (partant de 32 process lancés toutes les 60 secondes avec l'outil SysBench)
RAM / Vitesse transfert : vitesse de transfert moyenne en mégaoctets par seconde
Cloud : comparatif de prix
Malgré la récente baisse de 10% des tarifs des machines virtuelles chez Google, Aruba occupe ce mois-ci la première marche du podium dans la catégorie des prix. "Il profite de la légère évolution des configurations des cas clients types analysés", explique-t-on chez CloudScreener, avant de reconnaitre : "Aruba a cependant des arguments forts comme la gratuité de la licence Windows ou du trafic sortant." Une réalité que la nouvelle méthodologie a, il est vrai, le mérite de prendre en compte et dévoiler au grand jour.
| Classement prix | Indice prix | Prix instance "type M" Linux | Prix instance "type M" Windows | Prix cas client n°1 | Prix cas client n°2 | Prix cas client n°3 |
|---|---|---|---|---|---|---|
| Source : CloudScreener | ||||||
| 1- Aruba | 92 | 40 € | 40 € | 120 € | 493 € | 369 € |
| 2- Google Compute Engine | 89 | 29 € | 51 € | 155 € | 539 € | 328 € |
| 3- Numergy | 70 | 40 € | 56 € | 169 € | 988 € | 392 € |
| 4- Cloudwatt | 69 | 41 € | 72 € | 216 € | 675 € | 364 € |
| 5- Ikoula | 67 | 44 € | 76 € | 229 € | 672 € | 366 € |
| 6- Amazon Web Services | 63 | 46 € | 77 € | 233 € | 740 € | 396 € |
| 7- Microsoft Azure | 59 | 51 € | 82 € | 246 € | 747 € | 428 € |
| 8- Joyent | 42 | 68 € | 170 € | 319 € | 1 031 € | 571 € |
| 9- Rackspace | 39 | 85 € | 107 € | 324 € | 1 211 € | 685 € |
Les prix et performances indiquées pour Numergy sont ceux de l'offre V1 (VMware)
| Infrastructure cloud | Type de besoin métier | |
|---|---|---|
| Source : CloudScreener | ||
| *Petit projet | Trois instances de type "moyenne" + 13 Go/mois de trafic sortant (1Mbps), OS : Windows, utilisation à 100% (730h), sans engagement de durée. | Hébergement d'application métier, 30 à 50 utilisateurs, disponibilité : 99,99% |
| **Projet moyen | Six instances de type "moyenne" + 3 instances de type "large" + 75 Go de stockage block, 2 To/mois de trafic sortant (80 Mbps), OS Linux, utilisation à 100% (730h), sans engagement de durée. | Hébergement de site d'e-commerce, 300 000 à 500 000 visites par mois, disponibilité : 99,99% |
| ***Grand projet | Quatre instances de type "large" + 2 instances de type "extra larges" + 50 Go de stockage block + 250 Go/mois de trafic sortant (8Mbps), OS Linux, utilisation à 50% (365h), sans engagement de durée | Hébergement d'application métier, 750 à 1 000 utilisateurs, disponibilité : 99,9% |
Méthodologie : le classement CloudScreener / Cedexis / JDN est élaboré grâce à la plate-forme de supervision Performance / Prix mise au point par CloudScreener pour supporter son comparateur de clouds en ligne, et à l'infrastructure de supervision réseau de Cedexis.
Les indices de prix sur lesquels repose le classement sont calculés à partir de plusieurs indicateurs : le prix d'instances types, et de configurations cloud adaptées à trois périmètres de projet métier. Quant aux indices de performance, ils recouvrent des indicateurs de performance (IOPS, RAM, CPU...), issus du système de supervision de CloudScreener, et les indicateurs de performance réseau de Cedexis.
Lire la méthodologie dans son intégralité: