Учёные опубликовали новое исследование больших языковых моделей (LLM) они же ИИ, которое подтверждает гипотезу о том, что постоянное воздействие некачественного веб-контента ведёт к длительному и значительному снижению когнитивных способностей моделей — рассуждения, понимания длинного контекста, безопасности, и даже к появлению «тёмных черт», таких как психопатия, нарциссизм и макиавеллизм. Исследование проводилось группой учёных из нескольких американских университетов.
В эксперименте четыре открытые LLM были подвергнуты длительному дообучению на «мусорных» данных — короткие и популярные посты и твиты, низкокачественный, тривиальный, но высокоактивный контент. Данные разделены по двум измерениям: M1 — степень вовлечённости (популярность коротких постов), и M2 — семантическое качество (насколько материал содержателен). Контрольные данные были аналогичного размера, но сжатые и мало вовлечённые или содержательные.
Результаты оказались серьёзными. При вмешательстве M1 (высокая вовлечённость мусорных постов) показатели на бенчмарках рассуждения (ARC-Challenge с Chain-of-Thought) упали с ~74.9 до ~57.2, а по тесту длинного контекста (RULER-CWE) — с ~84.4 до ~52.3, по мере повышения доли мусорных данных от 0% до 100%. Главной причиной ухудшения стала так называемая «пропускная мысль» (thought-skipping): модели всё чаще опускали или сокращали цепочки рассуждений и планирования.
При этом попытки «лечения» такого состояния — через настройку инструкций или дообучение на чистых данных — дают лишь частичное восстановление. Исследование показывает, что даже самые масштабные корректировки не могут полностью вернуть модели её исходные способности: возникает устойчивый дрейф представлений (representational drift), а не просто проблема формата обучения. Особенно примечательно: метрика популярности (вовлечённости поста) оказалась более сильным предиктором ухудшения, чем длина текста или содержание.
В итоге авторы подчёркивают: качество данных — это не просто техническая деталь обучения, а вопрос безопасности обучения. Они призывают к регулярным «проверкам когнитивного здоровья» развернутых LLM и к пересмотру практики постоянного обучения на неотборных веб-данных. Это исследование задаёт новый ориентир: не достаточно масштабировать модели — нужно контролировать, что им дают «на вход».
Помни это, когда ты торгуешь по сигналам и советам GPT!)