En bref: Les modèles d’intelligence artificielle ont pris de l’ampleur au cours des dernières années, mais ce ne sera plus le cas à l’avenir, selon le PDG d’OpenAI, Sam Altman. S’exprimant lors d’un événement du MIT plus tôt ce mois-ci, Altman a déclaré qu’à l’avenir, les progrès de l’IA ne proviendraient pas de modèles géants qui se nourrissent de grandes quantités de données, et les développeurs devront plutôt trouver « d’autres moyens » pour les améliorer.
La déclaration d’Altman est apparemment en contradiction avec la façon dont OpenAI a développé ChatGPT, le chatbot viral qui a ravi, amusé et effrayé les passionnés de technologie dans une égale mesure avec sa capacité à écrire des poèmes, à résoudre des équations mathématiques, à déboguer du code, etc. La version actuelle de ChatGPT est basée sur GPT-4, qui est considéré comme l’un des modèles de grande langue (LLM) les plus sophistiqués disponibles aujourd’hui.
Malgré le succès sans réserve de GPT-4, Altman pense que la taille ne définira pas la qualité des modèles d’IA à l’avenir. Selon lui, on met actuellement trop l’accent sur le nombre de paramètres, ce qui s’apparente à la course aux gigahertz dans les puces dans les années 1990 et au début des années 2000. Cependant, cela est susceptible de changer à l’avenir, lorsque les modèles d’IA continueront de s’améliorer malgré une réduction marquée du nombre de paramètres.
Comme signalé par Wired, GPT-2 avait 1,5 milliard de paramètres, tandis que GPT-3 l’a augmenté à 175 milliards. Cependant, OpenAI n’a pas révélé le nombre de paramètres de GPT-4, probablement parce que la taille n’est plus le critère déterminant pour le célèbre grand modèle de langage d’OpenAI.
Il y a également eu des spéculations selon lesquelles la formation GPT-4 coûterait 100 millions de dollars, bien qu’OpenAI n’ait jusqu’à présent aucune confirmation à ce sujet. Interrogé à ce sujet lors de l’événement du MIT, Altman a déclaré que cela coûtait en fait plus que cela. Il n’a cependant pas donné plus de détails là-dessus.
Pendant ce temps, le succès de ChatGPT n’a pas seulement intrigué la population en général, il a également déconcerté certains des plus grands noms de la technologie. Cela inclut Elon Musk, Steve Wozniak et Tristan Harris, qui faisaient partie des 100 technologues qui ont écrit une lettre ouverte le mois dernier appelant toutes les entreprises d’IA à suspendre la formation et le développement de systèmes d’intelligence artificielle pendant au moins 6 mois.
Interrogé à ce sujet, Altman a dit que la lettre était correcte au sujet des systèmes d’IA devant mettre en place des garde-corps de sécurité avant d’être rendus publics. Cependant, il a également affirmé que certaines des préoccupations mentionnées dans la lettre étaient tout simplement déplacées. Par exemple, il a déclaré qu’OpenAI n’entraînait pas GPT-5, contrairement à ce qui était affirmé dans la version originale de la lettre. Il a également affirmé que l’entreprise travaille constamment sur les problèmes de sécurité et continuera de le faire pour s’assurer que ses modèles d’IA ne finissent pas par faire plus de mal que de bien.
