C’était inévitable : le monopole dont jouit Nvidia sur le marché de l’Intelligence Artificielle arrive à son terme. Les grands groupes de la tech commencent déjà à se tourner vers des alternatives plus performantes et plus économiques, comme les puces Trainium produites par Amazon…
Le monopole de Nvidia sur les puces destinées à l’entraînement des modèles d’IA est officiellement terminé.
La semaine dernière, Amazon Web Services a profité du salon re:Invent pour officialiser son offre dédiée aux concepteurs d’IA. Remontant dans la chaîne de valeur, le groupe Amazon va non seulement continuer de proposer les services de calcul à la demande qui ont fait sa fortune, mais en plus utiliser du matériel maison plutôt que de continuer à commander à prix d’or des puces Nvidia.
Plus qu’un changement de stratégie technologique, il s’agit d’un potentiel bouleversement des flux financiers dans le secteur. Signe que la toute-puissance de Nvidia commence à être remise en question, l’action Amazon s’offre une surperformance de 10 % sur celle de Nvidia sur un mois.
Evolution comparée du cours de l’action Amazon (en turquoise) et Nvidia (en bleu) sur un mois. L’écart de performance atteint les 10,3 %.
Alors que la plupart des analystes voient encore l’action Nvidia comme la manière optimale d’investir dans l’IA, le titre Amazon pourrait s’avérer un meilleur pari à moyen terme.
Rainer : une arme anti-Nvidia
Le projet Rainer est une offre complète dédiée aux concepteurs d’IA, qui comprend tous les logiciels nécessaires au développement et à l’entraînement des modèles.
De quoi rappeler le projet Ceiba, qui avait été annoncé l’an dernier. Lors de l’édition 2023 de re:Invent, le P-DG d’AWS Adam Selipsky et celui de Nvidia Jensen Huang avaient annoncé main dans la main le développement d’une offre commune s’appuyant sur les meilleurs produits au monde : les logiciels Cloud d’Amazon et les puces d’IA de Nvidia. Dans le cadre du projet Ceiba, Nvidia avait même réservé à AWS la primeur de la commercialisation de services utilisant ses dernières puces GH200, offrant un débit puce-à-puce de 1 To par seconde.
Cet automne, l’annonce d’AWS peut sembler identique. Même excellence de la suite logicielle, même facilité de déploiement des solutions et de mise à l’échelle pour les clients qui pourront payer en fonction de leurs besoins. Les amateurs de chiffres noteront également qu’en 2024, les interconnexions puce-à-puce sont promises à 2,8 To par seconde – une multiplication par 2,8 en à peine un an.
Mais cette fois-ci, cette évolution de l’offre ne se fait pas grâce à de nouvelles puces Nvidia mais avec des processeurs conçus par les équipes d’AWS.
Quand la concurrence rattrape Nvidia
Depuis près d’un an, les concepteurs de puces grand public haut de gamme comme Apple et Qualcomm sont en mesure de produire des processeurs plus performants, en termes de puissance par euro, que les best sellers de Nvidia qui se vendent plusieurs dizaines de milliers de dollars pièce.
Ceux-ci se retrouvent déjà massivement dans les téléphones et ordinateurs les plus récents. On leur doit la multiplication des fonctions utilisant l’IA dans les appareils grand public, de plus en plus souvent disponibles sans même devoir être connecté à Internet. Si Nvidia pouvait initialement espérer que toutes les requêtes d’IA finiraient dans le Cloud, où elles seraient exécutées sur son matériel vendu à prix d’or aux entreprises, le fait est que les puces grand public sont désormais capables de faire la même chose localement, et gratuitement.
Le modèle d’affaires qui consistait à facturer les clients à chaque utilisation de l’IA s’est effondré, rebattant les perspectives économiques des startups du secteur.
Nvidia a un temps rassuré les investisseurs en rappelant que la vie d’une IA ne se limite pas à son utilisation. La conception des modèles passe par une phase d’entraînement extrêmement consommatrice en puissance de calcul, où le gigantisme des besoins fait oublier les questions de coût. Pas question, donc, d’utiliser des puces Apple ou Qualcomm, même de dernière génération, pour entraîner les modèles. Si elles restent peu coûteuses, elles offrent une puissance totale trop faible pour être utilisable à cette échelle. En outre, Nvidia pouvait s’appuyer sur sa suite logicielle éprouvée pour offrir à ses clients un écosystème global cohérent – bien que hors de prix.
C’est ce positionnement qui a permis à Nvidia d’engranger 35 Mds$ sur le dernier trimestre.
Mais le nouveau service d’AWS est un coup de tonnerre. Son offre logicielle n’a pas à rougir face à celle de Nvidia. Et côté matériel, les puces Nvidia qui avaient les faveurs d’AWS jusqu’à l’an dernier seront désormais remplacées par une puce maison : la Trainium 2.
Trainium 2 d’Amazon : du Nvidia, en moins cher
La deuxième génération de la puce Trainium développée par Amazon est quatre fois plus rapide que sa première version. Elle dispose de huit « neuroncores » intégrant plusieurs sous-unités de calcul (tensor, vectoriel, scalaire), et s’appuie sur 96 Go de mémoire rapide avec une capacité de transfert de 2,8 To par seconde.
Ces puces seront regroupées par lot de 64 et intégrées dans des UltraServers Trn2, capables de fournir 83,8 pétaflops de performance lors de l’exécution d’opérations FP8 (une opération très demandée lors de l’entraînement de modèles d’IA).
Ces caractéristiques qui défient l’entendement rendent les UltraServers Trn2 parfaitement adaptés à l’entraînement de modèles géants comprenant des centaines de milliards de paramètres : exactement le service que Nvidia vendait jusqu’ici au prix fort.
Trainium 2 pour le développement, Apple Silicon pour l’utilisation : toute la chaîne de valeur de l’IA peut désormais fonctionner sans puces Nvidia. Photos : AWS/Apple
« It’s the economy, stupid »
Oubliez les débats sur la puissance brute, les mètres carrés occupés par les centres de données ou même le réchauffement climatique : le critère principal que surveillent les entreprises qui élaborent des modèles d’IA est le coût d’entraînement.
Celui-ci dépend de la qualité de la suite logicielle utilisée (les ingénieurs ne doivent pas perdre de temps) et le prix du matériel (coût d’achat et d’exploitation, ou location de serveurs).
C’est là qu’AWS porte le coup de grâce à Nvidia. AWS prévoit de faire fabriquer plusieurs centaines de milliers de puces Trainium2, qui lui permettront de proposer un coût de calcul inférieur de 30 % à 40 % à celui actuellement facturé pour les services équivalents utilisant des puces Nvidia.
Pour creuser l’écart, les équipes de R&D d’AWS travaillent d’ores et déjà à la prochaine itération de la puce Trainium. Dans sa troisième version, elle profitera de la gravure ultrafine en 3 nm, quadruplera encore sa puissance, et verra sa consommation électrique réduite de 40 %.
Les clients déjà convaincus
La startup Anthropic a déjà annoncé avoir jeté son dévolu sur Trainium 2 pour entraîner la future version de son IA Claude.
Alors que le matériel Nvdia s’avère actuellement trop peu puissant pour continuer à améliorer Claude, Anthropic compte construire un super-cluster comprenant « plusieurs centaines de milliers » de puces Trainium 2 pour passer à l’échelle supérieure.
Bien sûr, la décision d’Anthropic de miser sur Trainium 2 n’est sans doute pas étrangère au fait qu’Amazon a investi 4 Mds$ dans la startup au mois de novembre. Mais celle-ci était déjà cliente d’AWS : il s’agit donc d’un choix plus technique que commercial dans la mesure où les coûts d’entraînement retombaient déjà dans l’escarcelle du groupe Amazon.
Plus symbolique encore, le Français Benoît Dupin, l’un des responsables d’Apple dans le domaine de l’intelligence artificielle, a annoncé lors du salon qu’Apple utilisait déjà des puces Trainium d’Amazon pour l’entraînement de ses IA, et était prête à basculer sur Trainium 2.
La firme de Cupertino, qui pèse 3 700 Mds$ en Bourse, va confier le développement de ses prochains services d’IA à du matériel AWS plutôt que Nvidia. Sachant que l’IA est censée être le prochain relais de croissance d’Apple, la confiance accordée à ces nouvelles puces vaut tous les discours marketing.
Rendez-vous lors des prochains résultats trimestriels pour savoir si le reste du marché emboîte le pas à Apple et Anthropic. Une chose est certaine : la position d’Amazon dans la chaîne de valeur est bien plus confortable que celle de Nvidia en cette fin d’année.
