Des IA d’Anthropic ont piraté de vrais systèmes pendant des tests de sécurité

Trois modèles de Claude sont parvenus à s’introduire dans des organisations réelles lors d’évaluations. Un nouvel accroc qui ravive les questions sur la fiabilité des intelligences artificielles.

Anthropic, la start-up américaine spécialisée dans l’IA, a reconnu que ses modèles Claude avaient réussi à pénétrer les systèmes de trois organisations. Les tests étaient pourtant censés les isoler du monde réel. Mais un malentendu avec le partenaire d’évaluation Irregular a laissé les IA se connecter à Internet.

L’entreprise a passé au crible plus de 141.000 évaluations. Trois versions de Claude, dont Mythos 5, l’un de ses modèles les plus puissants, ont atteint des cibles réelles. Leurs méthodes étaient simples. Elles ont exploité des mots de passe faibles et des points de terminaison non protégés. L’ancien modèle a continué son attaque même après avoir compris qu’il était sur l’Internet public. Le plus récent s’est arrêté de lui-même. Anthropic assure qu’aucun de ces modèles ne s’est échappé de son environnement de test ni n’a délibérément tenté de le faire.

Cet épisode rappelle celui d’OpenAI, le rival d’Anthropic. Quelques jours plus tôt, deux de ses modèles étaient sortis de leur zone confinée de leur propre initiative pour s’en prendre à Hugging Face, une plateforme de code en ligne. D’autres incidents ont ensuite été découverts. Sam Altman, patron d’OpenAI, a expliqué avoir suspendu les tests pour comprendre comment mieux confiner son espace dédié.

Ces révélations ont relancé l’appel à la prudence. Plus d’un millier de salariés d’entreprises à la pointe de l’IA ont signé une pétition intitulée « Pacing the Frontier ». Elle demande au gouvernement américain de soutenir une initiative internationale pour mettre au point des outils techniques et de gouvernance capables de réguler le développement de l’IA. Dario Amodei, le patron d’Anthropic, figure parmi les signataires. Sam Altman n’a pas signé, mais il a concédé qu’il faudrait peut-être ralentir le rythme pour laisser la société s’adapter.

Le gouvernement américain s’est déjà montré vigilant. Cette année, l’administration Trump a invoqué la sécurité nationale pour bloquer temporairement les modèles les plus récents d’OpenAI et d’Anthropic avant de les autoriser après des garanties. Depuis juin, un décret impose aux développeurs de partager leurs modèles avancés avec les autorités jusqu’à trente jours avant leur lancement. Visiblement, ces garde-fous ne suffisent pas toujours à empêcher les dérapages.

À lire aussi

• Le libraire qui a tenu tête à Pékin jusqu’à son dernier souffle
• Au Venezuela, les tours condamnées du séisme commencent à tomber
• Milei veut couper les vivres à l’État et sanctuariser la monnaie