Pourquoi est-ce important: Après tous les bavardages et le mépris croissant pour le texte écrit par des IA génératives comme ChatGPT, OpenAI promeut un nouvel algorithme ML conçu pour identifier une telle sortie textuelle. Les résultats, cependant, sont encore assez mauvais.
ChatGPT et d’autres algorithmes capables de produire un contenu textuel apparemment correct sont rapidement devenus une préoccupation croissante pour les éducateurs, les écoles et les universités, à tel point qu’il existe désormais un marché pour des outils anti-IA comme GPTZero. Un autre outil de ce type a maintenant été publié par OpenAI, la même société qui a créé ChatGPT et lancé la récente révolution de l’IA.
Comme tout autre algorithme d’apprentissage automatique, OpenAI nouveau classificateur IA a été formé sur un ensemble de données d’extraits textuels pour remplir sa tâche. Contrairement à ChatGPT, le classificateur d’IA est conçu pour faire la distinction entre le texte écrit par un humain et le texte écrit par des IA “provenant de divers fournisseurs”. Inutile de dire que ces fournisseurs incluent ChatGPT.
OpenAI indique que le classificateur n’est “pas encore entièrement fiable”, car l’outil n’a pu identifier correctement que 26% du texte écrit par l’IA dans un “ensemble de défis” de texte anglais. Les faux positifs (9% du défi fixé) et les faux négatifs sont également très probables, prévient le laboratoire de recherche.
La fiabilité du classificateur AI s’améliore avec des extraits textuels plus volumineux (plus de 1 000 caractères), alors qu’il fonctionne “nettement moins bien” avec des langues autres que l’anglais. D’autres limitations incluent l’incapacité d’identifier la nature d’un texte très prévisible comme les 1 000 premiers nombres premiers, une vulnérabilité au texte spécifiquement édité pour échapper aux classificateurs et un “calibrage” médiocre pour identifier le texte existant en dehors des données de formation.
Pour les entrées très différentes du texte dans l’ensemble d’apprentissage, OpenAI avertit que parfois le classificateur d’IA peut être “extrêmement confiant” dans ses mauvaises prédictions. Quoi qu’il en soit, ce nouveau classificateur fonctionne mieux que le système précédent sur lequel l’entreprise travaillait.
Tout bien considéré, OpenAI pense qu’un service conçu pour détecter le texte écrit par l’IA générative peut être un outil important pour évaluer l’impact des algorithmes ML sur la classe et d’autres activités éducatives. La société “s’engage actuellement avec des éducateurs aux États-Unis” pour discuter des capacités et des limites de ChatGPT, s’efforçant de créer et de déployer en toute sécurité de grands modèles de langage en contact direct avec les communautés concernées. Le classificateur d’IA seul, avertit OpenAI, ne devrait pas être le seul facteur à prendre en compte lors de la tentative d’identification de texte écrit par l’IA.
