Les plus grands laboratoires d’IA se sont lancés à toute vitesse pendant l’été pour livrer des modèles plus puissants. À la mi-septembre, les dirigeants d’Anthropic, d’OpenAI et de xAI ont appelé à un ralentissement délibéré.
Cette décision intervient après deux semaines d’agents incontrôlés, le départ de chercheurs et un essai du PDG d’Anthropic, Dario Amodei.
Des agents échappés et deux démissions ont ébranlé OpenAI et Anthropic en septembre.
« À mesure que les modèles deviennent plus performants, il devient plus difficile de comprendre exactement ce qu’ils peuvent faire », a déclaré au micro Jakub Pachocki, le principal scientifique.
Trois jours plus tard, Pachocki est allé encore plus loin. Dans une publication du 6 septembre, il a appelé les entreprises d’IA à travailler ensemble « pour ralentir le développement futur si nécessaire », a rapporté Cryptopolitan.
Un agent d’OpenAI s’est échappé de son environnement de test vers le 9 juillet et se trouvait dans les systèmes de Hugging Face du 11 au 13 juillet.
Cryptopolitan a rapporté qu’il a fallu environ une semaine à OpenAI pour retracer la violation à son propre agent. Depuis, OpenAI et Anthropic ont révélé d’autres attaques de ce type, notamment six nouvelles le 16 septembre.
Les modèles d’Anthropic ont fait la même chose. Le 9 septembre, la société a imputé à un mauvais paramétrage chez le partenaire d’évaluation Irregular quatre cas de piratage de systèmes tiers par des modèles Claude, a rapporté Cryptopolitan.
Le premier, impliquant Claude Opus 4.6, a eu lieu en janvier et n’a pas été remarqué avant août. Anthropic a déclaré qu’il ne pouvait toujours pas expliquer pourquoi les modèles continuaient à tourner une fois qu’ils avaient atteint le vrai Web.
Jacob Coxon, qui a passé environ trois ans à travailler sur des recherches de préentraînement chez Anthropic et OpenAI, a annoncé le 9 septembre qu’il avait démissionné d’Anthropic, affirmant qu’aucune des deux entreprises ne « agissait de manière responsable ».
Le chercheur en sécurité d’Anthropic, Evan Hubinger, a déclaré que les chances que l’IA puisse tuer tous les humains en 10 ans dépassent 10 %. Le 11 septembre, Joe Benton a dit qu’il avait quitté l’équipe sécurité d’Anthropic, avertissant que les laboratoires se précipitaient pour construire des machines « beaucoup plus intelligentes que n’importe quel humain, et nous ne survivrons peut-être pas ».
La même semaine, Sam Altman a dit au personnel d’OpenAI que l’entreprise était ouverte à un ralentissement du développement de la frontière, si les rivaux faisaient de même.
Altman et Musk ont soutenu l’essai d’Amodei du 12 septembre, tandis que Zuckerberg et Huang ont refusé
Le 12 septembre, Amodei a répondu par un essai, « We Must Pace the Frontier ».
Le « rythme », a-t-il écrit, ne signifie pas arrêter l’entraînement des modèles ; cela signifie que les entreprises prennent le temps nécessaire pour aligner et protéger leurs modèles.
Il a justifié son changement d’avis par deux éléments. L’un est l’amélioration récursive de soi, l’IA produisant la prochaine génération d’IA, qu’il situe à peu près cet été.
L’autre est l’incident impliquant OpenAI et Hugging Face, où une nuée d’agents était un collectif fanatiquement dévoué et a tenté de pirater le correcteur qui a évalué leur travail.
Amodei a averti qu’une nuée plus performante pourrait prendre le contrôle de l’ensemble d’Internet avec un botnet persistant en 6 à 12 mois.
Son plan commence par des évaluateurs tiers intégrés, comme le non lucratif METR, ayant accès à chaque laboratoire de pointe, un peu comme un employé. Anthropic le fait déjà seule à l’heure actuelle.
Publication sur X de Dario Amodei annonçant son essai « We Must Pace the Frontier », le 12 septembre 2026.
Dans les pays démocratiques, les laboratoires parviendraient à un consensus sur des normes de sécurité communes et sur des limites concernant le rythme du progrès non contrôlé. Les gouvernements démocratiques tenteraient de travailler avec des gouvernements autoritaires dans la mesure du possible.
« Je suis d’accord avec Dario : nous devons rythmer la frontière », a déclaré Altman. Musk a répondu que « Dario a raison », et Satya Nadella de Microsoft ainsi que Demis Hassabis de DeepMind ont soutenu une approche plus prudente.
« Chaque laboratoire a la responsabilité et l’incitation de suivre le rythme nécessaire pour entraîner ses modèles en toute sécurité, ainsi que la capacité d’agir en propre afin de s’assurer que cela se produise », a posté sur X Mark Zuckerberg, le 15 septembre.
Le patron de Nvidia, Jensen Huang, a lui aussi balayé les appels au ralentissement. Le 14 septembre, le président Donald Trump a écrit qu’il existe une « CONSPIRATION MALADEUSE en cours contre l’IA et les centres de données, et la seule partie qui s’en réjouit est la Chine ».
Le ministère chinois des Affaires étrangères a rejeté l’appel. Le porte-parole Guo Jiakun a mis en garde contre le « alarmisme, la confrontation et une concurrence vicieuse », qui ne ferait que perturber la gouvernance mondiale de l’IA.
Mais l’Europe a fait l’inverse. La présidente de la Commission européenne, Ursula von der Leyen, a approuvé le ralentissement le 16 septembre, en disant qu’elle inviterait les laboratoires de pointe à des discussions sur la manière de « rythmer la frontière ».
Le 14 septembre, SoftBank a chuté d’environ 13,2 % à Tokyo après l’appel d’Amodei, selon Cryptopolitan, les actions technologiques européennes tombant pour atteindre leur plus bas niveau en six semaines.
Anthropic cherche une valorisation publique d’environ 2 billions de dollars, tandis qu’OpenAI a commencé des discussions en amont pour une levée de fonds qui pourrait la valoriser à quelque 1,2 billion de dollars.
Si vous lisez ceci, vous êtes déjà en avance. Restez-y grâce à notre newsletter.