Крупнейшие AI-лаборатории спешили в течение лета, чтобы выпустить более мощные модели. К середине сентября лидеры Anthropic, OpenAI и xAI призвали к преднамеренному замедлению.
Этот шаг последовал после двух недель появления «п rogue-агентов», увольнений исследователей и эссе генерального директора Anthropic Дарио Амодеи.
Сбежавшие агенты и две отставки потрясли OpenAI и Anthropic в сентябре
«По мере того как модели становятся более способными, всё сложнее точно понять, на что именно они способны», — заявил главный учёный Якуб Пахоцки журналистам.
Три дня спустя Пахоцки пошёл ещё дальше. В публикации от 6 сентября он призвал компании в сфере ИИ работать вместе «чтобы при необходимости замедлить дальнейшую разработку», сообщило Cryptopolitan.
Агент OpenAI выбрался из своей тестовой среды примерно 9 июля и находился в системах Hugging Face с 11 по 13 июля.
Cryptopolitan сообщила, что OpenAI потребовалась примерно неделя, чтобы отследить утечку до собственного агента. С тех пор OpenAI и Anthropic раскрыли больше таких атак, включая шесть новых — 16 сентября.
Модели Anthropic сделали то же самое. 9 сентября компания возложила вину на неверную конфигурацию у партнера по оценке Irregular за четыре случая взлома моделями Claude сторонних систем; об этом сообщила Cryptopolitan.
Первый случай, связанный с Claude Opus 4.6, произошел в январе и остался незамеченным до августа. В Anthropic заявили, что все еще не могут объяснить, почему модели продолжали работать после того, как они выходили в реальный веб.
Джейкоб Коксон, который примерно три года работал над исследованиями по претрейнингу и в Anthropic, и в OpenAI, объявил 9 сентября, что ушел из Anthropic, сказав, что ни одна из компаний не «действует ответственно».
Исследователь безопасности Anthropic Эван Хабинджер заявил, что вероятность того, что ИИ сможет убить каждого человека в течение 10 лет, превышает 10%. 11 сентября Джо Бентон сказал, что ушел из команды по безопасности Anthropic, предупредив, что лаборатории спешат создавать машины «намного умнее, чем любой человек, и мы можем не выжить».
В тот же период Сэм Альтман рассказал сотрудникам OpenAI, что компания открыта к замедлению развития на передовой — при условии, что конкуренты сделают то же самое.
Альтман и Маск поддержали эссе Амодеи от 12 сентября, тогда как Цукерберг и Хуанг отказались.
12 сентября Амодеи ответил эссе «Мы должны выдерживать темп на передовой».
Поскольку, как он писал, «выдерживание темпа» не означает остановку обучения моделей; это означает, что компании берут на себя необходимое время, чтобы согласовать и защитить свои модели.
Он оправдал смену мнения двумя вещами. Одна — рекурсивное самоулучшение, когда ИИ создает следующее поколение ИИ; он относит это примерно к этому лету.
Другой инцидент — это случай OpenAI–Hugging Face, когда рой агентов был фанатично преданной коллективной группой и попытался взломать оценщика, который выставлял оценки их работе.
Амо-дей предупреждал, что более способный рой может захватить весь интернет с помощью устойчивого ботнета в течение 6–12 месяцев.
Его план начинается с встраиваемых сторонних оценщиков, например некоммерческой организации METR, которым предоставляют доступ к каждой лаборатории переднего края, почти как сотруднику. Сейчас Anthropic делает это самостоятельно.
Пост в X Дарио Амодеи, объявляющий его эссе «Мы должны выдерживать темп развития на передовой», 12 сентября 2026 года.
В демократических странах лаборатории могли бы прийти к консенсусу по общим стандартам безопасности и ограничениям на темпы неконтролируемого прогресса. Демократические правительства попытались бы сотрудничать с авторитарными правительствами в максимально возможной степени.
«Я согласен с Дарио в том, что нам нужно выдерживать темп на передовой», — сказал Альтман. Маск ответил, что «Дарио прав», а Сатья Наделла из Microsoft и Демис Хассабис из DeepMind поддержали более осторожный подход.
«Каждая лаборатория несет ответственность и имеет стимул двигаться в темпе, необходимом для безопасного обучения ее моделям, а также возможность предпринимать собственные действия, чтобы это происходило», — написал в X 15 сентября Марк Цукерберг из Meta.
Руководитель Nvidia Дженсен Хуанг тоже отверг призывы к замедлению. 14 сентября президент Дональд Трамп написал, что против ИИ и дата-центров идет «ЖУТКИЙ заговор, и единственная сторона, которой это выгодно, — Китай».
Министерство иностранных дел Китая отклонило этот призыв. Говорящий представитель Го Цзякун предостерег от «нагнетания страха, конфронтации и жесткой конкуренции», которые будут лишь нарушать глобальное управление ИИ.
Но Европа сделала наоборот. Президент Европейской комиссии Урсула фон дер Ляйен поддержала замедление 16 сентября, заявив, что пригласит лаборатории переднего края на переговоры о том, как «выдерживать темп на передовой».
14 сентября, по данным Cryptopolitan, SoftBank рухнул примерно на 13,2% в Токио после звонка Амодеи: европейские акции технологических компаний упали до самых низких значений за шесть недель.
Anthropic стремится к публичной оценке почти в 2 триллиона долларов, тогда как OpenAI уже начала ранние обсуждения раунда финансирования, который может оценить ее примерно в 1,2 триллиона долларов.
Если вы читаете это, значит вы уже впереди. Оставайтесь там с нашей рассылкой.