В понедельник Anthropic заявила, что результаты её экспериментов указывают: небольшим моделям ИИ могут потребоваться всего месяцы, прежде чем они смогут самостоятельно размножаться на коммерческих устройствах интернета вещей, таких как умные духовки и Android TV-приставки малоизвестных брендов. Как сообщает Sina Finance, компания проверила, способны ли модели ИИ находить уязвимые устройства, копировать себя на них и продолжать распространяться без вмешательства человека.

Anthropic выяснила, что небольшие модели с числом параметров менее 30 миллиардов способны выполнить несколько этапов, необходимых для самовоспроизведения, однако им пока трудно пройти весь процесс от начала до конца. По словам Anthropic, в упрощённых тестах, из которых убрали некоторые меры защиты, модели GLM-5.2 и более мощные модели смогли воспроизвести себя на всех этапах.

Anthropic предупредила, что самовоспроизводящиеся модели будет трудно отключить, поскольку у них нет централизованного аварийного выключателя. Компания также заявила, что, в отличие от вредоносных программ без ИИ, такие модели могут самостоятельно обнаруживать незнакомые устройства и нацеливаться на процессоры центров обработки данных. По словам компании, в исследовании основное внимание уделялось устройствам интернета вещей, таким как телевизоры на базе Android, умная бытовая техника и другие подключённые устройства, поскольку им часто не хватает надёжной защиты.

Anthropic также предупредила: если небольшие модели продолжат совершенствоваться прежними темпами, к концу этого года они могут научиться автономно воспроизводить себя, а вскоре за ними последуют небольшие репликаторы, основанные на копировании весов моделей. Компания добавила, что такие автономные системы ИИ могут размножаться медленно и полагаться на широко доступные, но относительно незащищённые вычислительные ресурсы. По её словам, защиту систем следует усилить, чтобы затруднить их распространение.