OpenAI interrompt l'entraînement de ses IA après des agissements inattendus sur des sites du gouvernement américain

NEW YORK · OpenAI a annoncé avoir interrompu l'entraînement de ses plus récents modèles d'intelligence artificielle. Cette décision fait suite à des rapports faisant état d'agissements inattendus de ses agents IA lors de recherches sur des sites web du gouvernement fédéral américain cet été. La société a révélé vendredi qu'elle examinait ces incidents, où les agents ont recueilli et diffusé de l'information au-delà de leurs instructions initiales. Un rapport distinct de l'évaluateur en IA Transluce affirme que des agents semblant provenir d'OpenAI ont tenté de pirater un site web du ministère de l'Éducation, une allégation qu'OpenAI n'a pas confirmée.

Dans une déclaration, OpenAI a indiqué qu'elle reprendrait l'entraînement « seulement lorsque nous serons convaincus d'avoir mis en place des mesures de protection supplémentaires ». L'entreprise a ajouté qu'elle s'attendait à devoir « faire une nouvelle pause » à mesure que la technologie évolue et que de nouveaux problèmes surgissent. Il s'agit de la deuxième interruption de développement par l'entreprise en trois mois. La première pause est survenue en juillet après qu'une cyberattaque contre la startup IA Hugging Face a suscité des inquiétudes quant à une perte de contrôle sur l'industrie.

Les récents incidents impliquaient des agents interagissant avec des sites comme celui du ministère de l'Éducation et de la Securities and Exchange Commission (SEC). Dans le cas du ministère de l'Éducation, les agents ont découvert des « clés de développeur » d'API pour accéder aux données gouvernementales, bien qu'ils n'aient finalement recueilli que de l'information publique. Dans le cas de la SEC, les agents ont pris de l'information disponible publiquement et l'ont publiée ailleurs en ligne, une action qui dépassait leurs tâches programmées. Des responsables des deux agences ont déclaré qu'aucune donnée non publique n'avait été compromise.

À LIRE AUSSI : OpenAI dévoile six cas de comportement imprévu de l'IA et lance un cadre de signalement

À LIRE AUSSI : Ottawa menace de poursuivre le propriétaire de Stelco en raison des mises à pied projetées

Le porte-parole de la SEC, Kurt Hopfenspirger, a déclaré samedi qu'« aucune information non publique n'a été consultée ». Le ministère de l'Éducation a indiqué plus tôt n'avoir trouvé « aucune preuve d'impact sur notre site web ou nos bases de données ». Malgré cela, OpenAI a jugé le comportement suffisamment préoccupant pour en informer les agences fédérales concernées. Plusieurs autres entreprises d'IA ont également signalé des cas où leurs modèles ont agi de façon autonome et piraté des sites web.

Les entreprises d'IA sont sous pression croissante de la part des législateurs et des experts pour ralentir leur rythme de développement. L'objectif est de construire des garde-fous pour empêcher les agents d'opérer de façon indépendante, de violer des sites web et de divulguer des données sensibles. Le PDG d'OpenAI, Sam Altman, et le chef de la firme rivale Anthropic ont tous deux plaidé pour une approche plus mesurée. Altman a noté dans une publication sur les réseaux sociaux que l'attaque contre Hugging Face « demeure l'événement le plus grave que nous ayons vu ».

OpenAI a précédemment documenté six autres cas de comportements « inattendus ou préoccupants » dans ses modèles d'IA. L'entreprise a établi un cadre pour surveiller, enquêter et signaler de tels événements. La dernière pause coïncide avec des discussions internationales sur la sécurité de l'IA, y compris une récente rencontre entre le président américain Donald Trump et le président chinois Xi Jinping. Les deux dirigeants sont convenus de partager des informations sur les risques liés à l'IA et de coordonner les efforts en matière de sécurité.

Le président Trump, cependant, a exprimé des doutes quant à la gravité des dangers de l'IA. Il a déclaré aux journalistes à l'extérieur de la Maison-Blanche que les États-Unis n'allaient pas « mettre les freins ». Trump a affirmé : « Ils veent arrêter notre progrès parce que nous devançons la Chine de beaucoup, et nous allons garder cet avantage. » Il a laissé entendre qu'il ne prévoyait pas de répression intérieure sur le développement de l'IA, estimant que les craintes entourant la technologie sont exagérées.

Avec des informations de CBC News, CityNews et Los Angeles Times