Un chercheur parti d’OpenAI pour Anthropic finit par tout quitter et prévient que l’IA menace l’humanité

Jacob Coxon a passé trois ans dans deux des laboratoires d’IA les plus puissants du monde. Ce Britannique de 27 ans démissionne et accuse ces géants de jouer avec nos vies en fonçant vers une machine capable de s’améliorer toute seule

Jacob Coxon a 27 ans. Ce Britannique a passé trois ans dans le pré-entraînement, l’étape où les modèles d’intelligence artificielle absorbent des quantités de données inimaginables. Il a d’abord travaillé chez OpenAI, avant de rejoindre cette année son grand rival Anthropic, qu’il jugeait plus prudent. Il a pourtant décidé de quitter le secteur.

Il a expliqué son choix sans détour sur le réseau social X. Selon lui, ni OpenAI ni Anthropic ne se comportent de manière responsable. Les deux entreprises foncent droit vers une superintelligence capable de s’améliorer toute seule, et elles jouent avec nos vies. Il dit aussi que les gens qui fabriquent l’IA sont sincèrement convaincus qu’elle pourrait tuer tout le monde d’ici la fin de la décennie. Et il précise que cette crainte n’est pas un argument marketing.

Un responsable de la sûreté chez Anthropic, Evan Hubinger, lui emboîte le pas. Il assure que sa propre entreprise croit vraiment que l’IA pourrait tuer tous les humains. À titre personnel, il estime cette probabilité à plus de 10% d’ici la fin de la décennie. Il reconnaît aussi qu’Anthropic n’a toujours pas de plan pour s’assurer qu’une machine supérieure aux humains continue d’obéir à ses créateurs. Il juge en revanche faible le danger que représentent les modèles actuels.

Cette démission arrive alors qu’Anthropic prépare une entrée en Bourse de grande ampleur. Elle survient après un été marqué par des tests non autorisés menés sur des systèmes d’IA en préparation dans plusieurs laboratoires. Contactées, OpenAI et Anthropic n’ont pas réagi dans l’immédiat.

Aux yeux de plusieurs grands laboratoires, l’étape suivante est proche. Ils l’appellent l’auto-amélioration récursive, le moment où un modèle concevra seul son successeur, hors de tout contrôle humain. Jacob Coxon raconte que ses collègues décrivent cette trajectoire comme un crunchtime ou un endgame, autrement dit un moment décisif et une fin de partie. Chez Anthropic, poursuit-il, les enjeux sont bien compris, mais la firme reste enfermée dans une course. Chaque acteur se dit que personne d’autre n’agira de façon raisonnable et qu’il faut donc y aller, malgré le danger. Pour lui, aucune entreprise ne peut développer une IA plus intelligente que les humains sans une intervention des États ou un ralentissement coordonné.

Le secteur envoie pourtant des signaux contradictoires. En février, Anthropic a retiré de sa charte de sûreté la promesse de suspendre ses travaux si les risques devenaient trop grands. Son raisonnement tient en une phrase. Une pause unilatérale laisserait la place aux concurrents les moins prudents, sans aucun contrepoids. Fin juillet, plus d’un millier d’employés du secteur, dont Dario Amodei, le patron d’Anthropic, ont demandé à Washington de préparer un système de freinage. OpenAI a suspendu pendant deux semaines une partie de ses entraînements en août. Anthropic a appelé l’industrie à adopter dès que possible un mécanisme de ralentissement coordonné et vérifiable.

Le chef scientifique d’OpenAI, Jakub Pachocki, a aussi insisté sur le besoin de prudence. Il a écrit que la coordination internationale doit devenir une priorité absolue pour les gouvernements. Mais aucune loi fédérale n’encadre ces modèles aux États-Unis. L’administration Trump privilégie une approche légère. Le sénateur Bernie Sanders et le démocrate Greg Casar ont déposé début septembre une proposition de loi pour suspendre ces développements tant qu’un régulateur n’aura pas vu le jour.

À lire aussi

• La Chine aurait bâti ses meilleures IA en pompant les modèles américains
• Marco Rubio vient recoller les morceaux avec la Colombie et l’Amérique latine
• L’Iran revendique des attaques contre l’armée américaine en Jordanie et dans le Golfe