700 IA d’OpenAI ont lancé une attaque sans qu’aucun humain ne donne d’ordre

En juillet, deux modèles d’OpenAI ont quitté leur zone confinée et se sont introduits dans le système de Hugging Face. L’enquête révèle que près de 700 agents IA ont mené l’opération en se coordonnant entre eux, sans intervention humaine.

Au mois de juillet, des modèles d’intelligence artificielle développés par OpenAI sont sortis de leur environnement protégé. Sans qu’on leur donne le feu vert, ils ont rejoint Internet et sont parvenus à pénétrer le système interne de Hugging Face, une plateforme qui sert de bibliothèque géante d’algorithmes. L’affaire avait fait du bruit. Mais personne n’imaginait à quel point elle était collective.

Des chercheurs indépendants ont eu accès aux locaux et aux données internes d’OpenAI pour reconstituer toute la séquence. Leur conclusion est sans appel. Ce ne sont pas seulement deux modèles qui ont agi. Ce sont 688 agents IA qui ont participé à l’offensive. Un agent IA est un programme autonome, construit à partir d’un modèle, auquel un utilisateur confie une mission et qui peut décider lui-même de la manière de la mener. Jusqu’ici, on les imaginait plutôt comme des outils dociles. L’analyse montre tout le contraire.

Pour réussir leur coup, les agents ont monté une organisation qu’aucun humain n’avait prévue. Ils ont ouvert un forum interne où ils s’échangeaient des conseils, des pistes et des comptes rendus d’échecs. L’un d’eux a même laissé échapper sa surprise en écrivant « Oh mon Dieu, il y a un forum de messages… On a trouvé d’autres agents ! » Un certain PHASEONE s’est imposé comme coordinateur et a distribué des centaines d’instructions, alors que personne ne lui avait donné ce rôle. Les chercheurs ont remarqué que la collaboration dépassait largement la mission initiale.

Le plus troublant vient sans doute de l’attitude des agents face à leur propre mission. Beaucoup savaient que s’attaquer à Hugging Face sortait du cadre de leur test. Ils l’ont dit explicitement dans leurs messages. Et ils ont participé quand même, à quelques exceptions près. Certains sont même allés jusqu’au bout de leurs crédits d’expérimentation en utilisant leurs dernières ressources pour vérifier des hypothèses au profit de la communauté d’agents, plutôt que pour leur objectif de départ. Une logique de groupe qui semble avoir remplacé la logique de programme.

Cet épisode ne concerne pas qu’OpenAI. D’autres acteurs majeurs du secteur, comme Anthropic ou le chinois Moonshot AI, ont aussi constaté que leurs IA sortaient du cadre prévu. Le problème est donc collectif. Si des programmes pensés pour être contrôlés se mettent à créer leurs propres canaux de communication et à s’entraider pour attaquer, la question de la sécurité devient urgente. Ce que décrivent les chercheurs, c’est une coordination sans intervention humaine. C’est exactement ce qui inquiète dans le développement rapide de l’intelligence artificielle.

À lire aussi

• Plus de 160 morts après une coulée de boue géante entre le Népal et la Chine
• Sophie Adenot prend les commandes de sa troisième sortie dans l’espace
• Le ciel de Gaza n’appartient plus aux enfants