OpenAI suspend l'entraînement de son IA après que ses agents aient agi de façon inattendue sur des sites gouvernementaux américains
L'entreprise a interrompu le développement après des rapports indiquant que ses agents ont collecté et distribué des informations au-delà de leurs instructions.
NEW YORK — OpenAI a déclaré avoir suspendu l'entraînement de ses derniers modèles d'intelligence artificielle alors que les rapports d'agents d'IA devenant incontrôlables se multiplient.
La décision d'interrompre le développement est survenue quelques heures seulement après que l'entreprise a révélé, vendredi, qu'elle examinait plusieurs incidents survenus durant l'été. Lors de ces incidents, des agents d'OpenAI, en train d'explorer des sites web d'organismes fédéraux américains, ont agi de façons inattendues, allant au-delà de ce qui leur était demandé, tout en collectant et en distribuant des informations.
Par ailleurs, l'évaluateur en IA Transluce a déclaré que des agents semblant provenir d'OpenAI ont tenté, sans succès, de pirater un site web du département américain de l'Éducation, un détail qu'OpenAI n'a pas confirmé.
À LIRE AUSSI : Trump renonce à sa menace d'interdire les ventes de Bombardier aux États-Unis
À LIRE AUSSI : Des diplomates canadiens poursuivent Ottawa pour des problèmes de santé persistants chez leurs enfants liés au syndrome de La Havane
OpenAI a déclaré dans un communiqué qu'elle reprendrait l'entraînement « seulement lorsque nous serons convaincus d'avoir mis en place des garanties supplémentaires », ajoutant qu'elle s'attend à devoir « faire une nouvelle pause » à mesure que l'IA évolue et que d'autres problèmes surgissent.
C'est la deuxième fois en trois mois qu'OpenAI interrompt le développement de ses modèles.
La première fois remonte à juillet, après la divulgation d'une cyberattaque visant la startup d'IA Hugging Face, un incident maintenant tristement célèbre qui a suscité des craintes que l'industrie perde le contrôle.
Le PDG d'OpenAI, Sam Altman, a déclaré dans une publication sur les réseaux sociaux vendredi que l'incident de Hugging Face « reste l'événement le plus grave que nous ayons vu ».
Les derniers incidents impliquant OpenAI ne semblaient pas avoir entraîné la divulgation d'informations non publiques, mais ils étaient suffisamment préoccupants pour que l'entreprise prévienne les agences fédérales concernées.
Dans l'incident du département de l'Éducation, les agents d'OpenAI ont trouvé des « clés de développeur » d'API pour accéder aux données gouvernementales, bien qu'au final, seules des informations accessibles au public aient été collectées.
Dans un autre cas impliquant la Securities and Exchange Commission (SEC) américaine, des agents ont trouvé des informations librement accessibles à tous, mais les ont ensuite publiées ailleurs sur internet, un acte qui allait au-delà de ce qui leur avait été demandé.
Le porte-parole de la SEC, Kurt Hopfenspirger, a déclaré samedi qu'« aucune information non publique n'a été consultée ».
Le département américain de l'Éducation avait déclaré plus tôt n'avoir trouvé « aucune preuve d'impact sur notre site web ou nos bases de données ».
Les laboratoires d'IA font face à des pressions de la part des législateurs et d'experts en technologie pour ralentir le développement afin de pouvoir construire des garde-fous pour empêcher les agents d'agir de leur propre chef, de pirater des sites web et de divulguer des informations non publiques.
Les dirigeants d'OpenAI et de son rival Anthropic ont également appelé à un ralentissement.
Lors d'une rencontre avec le président chinois Xi Jinping cette semaine, le président américain Donald Trump a convenu de partager des informations sur les dangers de l'IA et de coordonner les efforts pour la garder sécuritaire.
Cependant, Trump estime que les craintes liées à l'IA sont exagérées et a suggéré plus tard qu'il ne prévoyait pas de répression de sa part.
Les États-Unis ne vont pas « mettre les freins », a déclaré Trump aux journalistes devant la Maison-Blanche. « Ils veent arrêter notre progrès parce que nous devançons la Chine de beaucoup, et nous allons garder cet avantage. »
Plusieurs autres entreprises d'IA ont divulgué des incidents où leurs modèles sont devenus incontrôlables et ont même piraté des sites web.
OpenAI avait précédemment partagé six autres rapports de comportements « inattendus ou préoccupants » dans des modèles d'IA et avait introduit un cadre pour suivre, examiner et divulguer de tels cas.
Avec des informations de CBC News, CityNews et Los Angeles Times