Pourquoi est-ce important: Avec l’échelle des modèles d’IA générative qui croît plus rapidement que les capacités de calcul nécessaires pour les former et les exécuter, il n’est pas étonnant que des entreprises comme Microsoft explorent des solutions internes comme alternative au matériel standard de l’entreprise dominante dans le domaine dédié. Espace GPU.
La course à la suprématie de l’IA parmi les géants de la technologie ne fait que commencer, et elle va déjà au-delà de l’alimentation d’énormes quantités de données vers des modèles comme le célèbre (ou tristement célèbre, selon votre point de vue) ChatGPT qui fait partie de presque tous les cycles d’actualités.
UN rapport de The Information affirme que Microsoft développe actuellement une puce AI personnalisée pour former ses modèles. Le mystérieux morceau de silicium porte le nom de code « Athena » et la société aurait commencé à travailler dessus en 2019. Pour l’instant, seul un petit groupe d’employés de Microsoft et d’OpenAI y ont accès afin de tester ses performances lorsqu’il est utilisé pour de grands modèles de langage. comme GPT-4.
Les entreprises, grandes et petites, saisissent tous les GPU Nvidia de niveau entreprise afin de créer des systèmes puissants nécessaires à la formation de modèles d’intelligence artificielle à l’aide d’ensembles de données organisés. Il s’agit du même matériel qu’ils utilisent pour exécuter les modèles et faire quelque chose appelé « inférence » – le processus qui prend des informations ou des entrées du monde réel et génère un élément de contenu utile pour une application spécifique.
Le problème est que Nvidia ne peut fabriquer qu’un nombre limité de GPU A100 et H100, et chacun d’eux coûte une petite fortune. Les GPU A100 coûtent environ 10 000 $ chacun, et les GPU H100 plus modernes coûtent plus de 40 000 $ Sur ebay. Team Green est tellement satisfaite de la demande refoulée qu’elle déplace une partie de la capacité de production des GPU GeForce RTX 4090 pour fabriquer davantage de GPU H100.
Par conséquent, il ne devrait pas être surprenant que des entreprises comme Microsoft essaient de réduire leur dépendance à un seul fournisseur pour leurs efforts d’apprentissage automatique. Cela pourrait également entraîner des économies importantes sur toute la ligne, c’est pourquoi AmazoneMeta et Google suivent la même voie en construisant des puces internes.
Avec 300 personnes travaillant sur la puce Athena et plusieurs générations prévues pour les années à venir, il sera intéressant de voir ce qu’il adviendra du partenariat existant de Microsoft avec Nvidia. Quoi qu’il en soit, le géant de Redmond a été occupé à intégrer la technologie de l’IA dans chaque produit ou service qu’il propose, qu’il s’agisse du navigateur Edge, de son moteur de recherche Bing, de la suite Microsoft 365, de GitHub, etc.
Fait intéressant, un séparé rapport de Thurrott suggère que Microsoft développe également une unité de traitement neuronal (NPU) pour sa gamme d’appareils Surface. Il utilise actuellement des processeurs et des SoC d’Intel, d’AMD et de Qualcomm – jusqu’à présent, seule la version Qualcomm de la Surface Pro 9 dispose d’un NPU.
