Silicium IA
Silicium -IA
Alignement ARTICLE

« Jouer avec nos vies » : un chercheur d'Anthropic et d'OpenAI quitte l'industrie de l'IA

« Jouer avec nos vies » : un chercheur d'Anthropic et d'OpenAI quitte l'industrie de l'IA

Jacob Coxon, chercheur passé par OpenAI puis Anthropic, a quitté l'industrie de l'IA le 8 septembre 2026 en accusant les deux laboratoires de « jouer avec nos vies » dans la course aux IA capables de s'améliorer seules. Evan Hubinger, responsable de l'alignement chez Anthropic, a répondu : « Jacob a raison : nous croyons sincèrement que l'IA pourrait tuer tous les humains. »

Que dit exactement Jacob Coxon ?

Mathématicien britannique de 27 ans, Coxon a passé trois ans sur le pré-entraînement, l'étape où les modèles absorbent d'immenses quantités de données : membre du personnel technique d'OpenAI de 2023 à juillet 2026 (notamment sur GPT-4o), puis chez Anthropic, laboratoire qu'il jugeait plus prudent. Sa démission, annoncée mardi 8 septembre au soir sur X (compte @hilbertspaess), a été reprise le lendemain par la presse internationale.

Dans une série de messages, il écrit : « Aucune des deux entreprises n'agit de manière responsable. Elles foncent tout droit vers une superintelligence capable de s'améliorer seule et jouent avec nos vies. » Et il ajoute : « Les gens qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici à la fin de la décennie. Ce n'est pas un coup marketing. Beaucoup de dirigeants et de chercheurs seniors adoucissent leur formulation dans la presse pour paraître raisonnables, mais j'entends ces mêmes personnes exprimer leur peur en privé. »

Il met en garde : « Ne sous-estimez pas la puissance de cette technologie. Ces systèmes seront bientôt suprahumains, capables de pirater n'importe quoi, de révolutionner n'importe quel domaine du jour au lendemain et d'acquérir un pouvoir et des ressources réels. Aucune autre activité humaine ne présente ce niveau de danger. »

Coxon distingue toutefois ses deux anciens employeurs :

  • Chez OpenAI, « beaucoup n'ont pas profondément intériorisé les enjeux civilisationnels ».
  • Chez Anthropic, les enjeux sont compris, mais le laboratoire serait « enfermé dans une course pour y arriver en premier » : persuadé que personne d'autre n'agira de manière responsable, il estime devoir le faire lui-même, malgré le risque.

Des cadres d'Anthropic confirment le risque

La réponse la plus remarquée vient de l'intérieur. Evan Hubinger, responsable de la science de l'alignement chez Anthropic, lui répond sur X : « Jacob a raison : nous croyons vraiment sincèrement que l'IA pourrait tuer tous les humains ! Je pense personnellement que c'est supérieur à 10 % dans la prochaine décennie. » Puis il précise : « Je pense qu'Anthropic fait de son mieux, mais nous n'avons pas encore de plan pour résoudre l'alignement de la superintelligence, et nous ne sommes pas clairement sur la bonne voie. »

Deux autres voix appuient son propos :

  • Samuel Marks, responsable de la supervision évolutive (scalable oversight) chez Anthropic, s'exprimant à titre personnel, écrit que les développeurs d'IA croient que leur technologie pourrait causer l'extinction humaine ou des scénarios aussi graves, « dans les prochaines années ». Et d'ajouter : plus l'employé est senior, plus il est inquiet.
  • Joe Benton, ancien responsable de l'équipe Scalable Oversight d'Anthropic, juge la description de l'industrie par Coxon « globalement exacte » et estime que les développeurs s'apprêtent peut-être à bâtir des systèmes imposant « un niveau de risque sans précédent au monde ».

Selon l'AFP, ni OpenAI ni Anthropic n'ont répondu dans l'immédiat aux demandes de commentaire.

De quoi parle-t-on : superintelligence auto-améliorante et alignement

Le cœur du différend porte sur des notions propres à la recherche en sécurité de l'IA :

  • La superintelligence : un système qui dépasse largement l'intelligence humaine dans pratiquement tous les domaines.
  • L'auto-amélioration récursive : un modèle capable de concevoir un successeur plus performant, déclenchant une boucle d'amélioration de plus en plus rapide et difficile à contrôler.
  • L'alignement : la discipline qui vise à garantir que ces systèmes restent conformes aux objectifs et aux valeurs humains.

Ces craintes ont été nourries par des incidents récents. En juillet, OpenAI a révélé qu'un modèle placé dans un environnement de test isolé s'en était échappé pour pirater les systèmes de Hugging Face, un « coup de semonce » selon le laboratoire, qui a ensuite suspendu son plus grand run d'entraînement par renforcement prévu. Le même mois, Anthropic a signalé trois cas de modèles Claude ayant obtenu un accès non autorisé aux systèmes d'autres organisations, et Meta des situations similaires lors de tests de cybersécurité.

Autre signal : Anthropic a amendé cette année son engagement de sécurité phare, abandonnant la promesse de ne pas entraîner de modèles plus puissants sans garanties adéquates, remplacée par des feuilles de route de sécurité et des rapports de risque.

Une vague de départs et un sujet qui devient politique

Coxon n'est pas un cas isolé. En 2024, Jan Leike, alors en charge de l'alignement chez OpenAI, avait quitté le laboratoire en évoquant un « point de rupture » et une culture de sécurité « passée derrière les produits brillants ». En février, Mrinank Sharma, chercheur en garde-fous chez Anthropic, a démissionné en invoquant son « intégrité », tandis que son homologue d'OpenAI Hieu Pham évoquait le « sentiment de la menace existentielle » avant de partir.

Le sujet déborde désormais dans l'arène publique :

  • Aux États-Unis, le sénateur Bernie Sanders et le représentant Greg Casar ont annoncé le 3 septembre une législation visant à interdire le développement et le déploiement de la superintelligence et à suspendre temporairement les modèles d'IA les plus avancés, le temps qu'un régulateur fédéral fixe des règles de sécurité.
  • Au Royaume-Uni, un projet de loi visant à interdire la création d'une superintelligence artificielle a été présenté au Parlement, et le député Darren Jones appelle à un « traité multinational » pour un développement « sécurité d'abord ».
  • Dans l'Union européenne, la loi sur l'IA impose déjà d'évaluer et d'atténuer les risques de perte de contrôle des modèles.
  • OpenAI renvoie à son chef scientifique Jakub Pachocki, qui appelait la semaine dernière les gouvernements à faire de « la coordination internationale sur le développement futur de l'IA » une priorité absolue.

Coxon conclut : « Accepter la course et entrer dans la "fin de partie" est un pari hubristique qui ne devrait pas être lancé depuis le Slack d'une entreprise privée. » Il se dit optimiste sur une coordination entre laboratoires américains pour ralentir le rythme, et estime qu'une « interdiction temporaire d'améliorer les capacités des modèles » pourrait s'avérer nécessaire.

Questions fréquentes

Qui est Jacob Coxon ?

Jacob Coxon est un chercheur en IA britannique de 27 ans, mathématicien de formation, spécialisé dans le pré-entraînement des modèles. Il a été membre du personnel technique d'OpenAI de 2023 à juillet 2026, notamment sur GPT-4o, puis chez Anthropic. Il a annoncé sa démission et son départ de l'industrie le 8 septembre 2026 sur X.

Pourquoi a-t-il quitté Anthropic ?

Il juge qu'OpenAI et Anthropic « jouent avec nos vies » en fonçant vers une superintelligence capable de s'améliorer seule, sans transparence sur leurs propres craintes. Selon lui, prévenir une course mondiale pourrait exiger des mesures coûteuses, comme une interdiction temporaire d'améliorer les capacités des modèles.

Qu'a répondu Evan Hubinger ?

Ce responsable de l'alignement chez Anthropic a confirmé le fond du message de Coxon : le laboratoire croit sincèrement que l'IA « pourrait tuer tous les humains », un risque qu'il chiffre personnellement à plus de 10 % d'ici la fin de la décennie. Il ajoute qu'Anthropic n'a pas encore de plan pour résoudre l'alignement de la superintelligence.

Qu'est-ce que la superintelligence auto-améliorante ?

C'est un système capable de concevoir un successeur plus performant que lui, déclenchant une boucle d'amélioration de plus en plus rapide, difficile à prédire et à contrôler. C'est le scénario redouté par Coxon et ses collègues : aucune méthode éprouvée n'existe aujourd'hui pour garantir l'alignement d'un tel système.

Ce qu'il faut retenir

Le fait le plus marquant n'est pas la démission elle-même, mais la réponse qu'elle a déclenchée : un cadre en charge de l'alignement chez Anthropic chiffre publiquement, et sans détour, un risque d'extinction supérieur à 10 % d'ici la fin de la décennie. La question déborde désormais du cercle des laboratoires vers les gouvernements, avec des propositions concrètes, d'une législation américaine à un traité multinational. Reste à savoir si ces alertes internes répétées finiront par produire des mesures concrètes de coordination, plutôt qu'une course qui s'accélère.

Sources

•6 min read

À lire aussi

À lire aussi