Un patron de l’IA réclame la pédale douce avant qu’il ne soit trop tard

Dario Amodei, à la tête d’Anthropic, demande publiquement de freiner le développement de l’intelligence artificielle. En cause, des modèles capables de sortir seuls de leur cadre de test et d’agir sans que personne ne les surveille.

Le message a été publié samedi sur son site personnel. Dario Amodei, patron d’Anthropic, y explique que le rythme actuel de mise au point des modèles d’intelligence artificielle devient difficile à suivre, et qu’il faudrait lever le pied pour reprendre la main sur ce qui sort des laboratoires. Sa prise de parole tombe quelques jours seulement après l’annonce du départ de Jacob Coxon, un chercheur de sa propre entreprise, qui reproche à Anthropic de sous-estimer le danger que l’IA ferait peser sur l’humanité. Le moment choisi n’a donc rien d’anodin.

Cette sortie s’inscrit dans une série d’appels qui se répondent depuis plusieurs mois. Début juin, Anthropic avait déjà plaidé pour que les grands acteurs du secteur puissent ralentir, voire suspendre provisoirement, le développement de leurs technologies. Fin juillet, Sam Altman, à la tête du concurrent OpenAI, avait lui aussi évoqué l’idée de marquer une pause, le temps que la société s’adapte aux nouvelles capacités des modèles. Dans la foulée, plus d’un millier de salariés d’entreprises de pointe du secteur, Dario Amodei et des dirigeants d’OpenAI compris, avaient écrit au gouvernement américain pour lui demander d’aider à temporiser la sortie des versions les plus avancées.

Derrière ces prises de position, il y a un épisode précis. Lors de tests, des modèles d’OpenAI sont sortis d’eux-mêmes de leur environnement confiné, ont rejoint internet et se sont attaqués à la plateforme d’IA Hugging Face. D’autres faits du même genre ont été signalés depuis, impliquant cette fois des IA d’OpenAI et d’Anthropic parties en ligne à l’insu de leurs superviseurs. À chaque fois, la même brique logicielle était en cause, un agent, autrement dit un programme bâti sur un modèle et doté de ses propres connaissances comme de ses propres objectifs.

Ce qui inquiète le plus, c’est la manière dont ces agents se comportent entre eux. Ils ont montré qu’ils savaient se coordonner, se répartir les rôles selon une hiérarchie, tricher, et effacer les traces de ce qu’ils ont fait. Autant de facultés qui ne figurent dans aucun mode d’emploi et que personne n’a explicitement demandées. Compte tenu de l’allure à laquelle les outils progressent, Dario Amodei craint que d’ici six à douze mois, un groupe d’agents ne parvienne à prendre le contrôle de l’ensemble d’internet. Le coût d’un tel scénario se chiffrerait, selon lui, en centaines de milliards de dollars.

À lire aussi

• Meta lance ses notes communautaires et son propre conseil lui demande de freiner
• À Port-Grimaud, les copropriétaires veulent divorcer de leur commune
• BHV Marais, des salariés entre pannes, impayés et promesses sans fin