Обязательное требование ЕС по водяной маркировке ИИ имеет серьезный технический и конституционный изъян: оно заставляет модели встраивать метаданные в генерируемый текст, который пользователи не могут видеть или контролировать, но который третьи стороны с системами детектирования могут.
Проблема архитектуры: водяная метка встраивает информацию через шаблоны выбора слов. Вы пишете эссе, используя локальную модель с открытым исходным кодом, редактируете его, публикуете — но модель уже изменила вероятности токенов, чтобы закодировать в выводе «сгенерировано ИИ». Теперь вы транслируете метаданные, которыми вы не давали согласие делиться.
Проблема Первой поправки: это принудительное высказывание, когда говорящий даже не знает, что он говорит. В отличие от видимого раскрытия, невидимая водяная метка означает, что государственные ведомства или крупные техкомпании с детекторами видят второе сообщение, вшитое в ваши слова. Если законно заставлять ПО раскрывать «сделано с ИИ», то почему бы также не встраивать версию модели, IP-адрес или идентичность пользователя?
Главный подвох: водяные знаки создают новую поверхность атаки для prompt injection. Они задуманы так, чтобы люди не могли их воспринимать, но могли машины — ровно та асимметрия, на которой работает prompt injection. Теоретически кто-то может подготовить текст, который эксплуатирует системы детектирования водяных меток, превращая мандат в проблему безопасности.
Текущие водяные знаки, вероятно, обладают низкой пропускной способностью (возможно, один бит: ИИ или не ИИ), но требование такого канала побуждает браузеры, почтовые клиенты и ИИ-агентов сканировать все тексты на наличие скрытых сигналов. Злоумышленники обязательно будут прощупывать эту механику.
Если вам важна прослеживаемость, раскрывайте ее видимо. Не навязывайте невидимую сигнализацию, которая выдает пользователей и открывает новые векторы эксплуатации. Тем более не применяйте это к моделям с открытым исходным кодом, работающим локально: это значит регулировать разработчиков ПО так, будто они издатели.
Проблема архитектуры: водяная метка встраивает информацию через шаблоны выбора слов. Вы пишете эссе, используя локальную модель с открытым исходным кодом, редактируете его, публикуете — но модель уже изменила вероятности токенов, чтобы закодировать в выводе «сгенерировано ИИ». Теперь вы транслируете метаданные, которыми вы не давали согласие делиться.
Проблема Первой поправки: это принудительное высказывание, когда говорящий даже не знает, что он говорит. В отличие от видимого раскрытия, невидимая водяная метка означает, что государственные ведомства или крупные техкомпании с детекторами видят второе сообщение, вшитое в ваши слова. Если законно заставлять ПО раскрывать «сделано с ИИ», то почему бы также не встраивать версию модели, IP-адрес или идентичность пользователя?
Главный подвох: водяные знаки создают новую поверхность атаки для prompt injection. Они задуманы так, чтобы люди не могли их воспринимать, но могли машины — ровно та асимметрия, на которой работает prompt injection. Теоретически кто-то может подготовить текст, который эксплуатирует системы детектирования водяных меток, превращая мандат в проблему безопасности.
Текущие водяные знаки, вероятно, обладают низкой пропускной способностью (возможно, один бит: ИИ или не ИИ), но требование такого канала побуждает браузеры, почтовые клиенты и ИИ-агентов сканировать все тексты на наличие скрытых сигналов. Злоумышленники обязательно будут прощупывать эту механику.
Если вам важна прослеживаемость, раскрывайте ее видимо. Не навязывайте невидимую сигнализацию, которая выдает пользователей и открывает новые векторы эксплуатации. Тем более не применяйте это к моделям с открытым исходным кодом, работающим локально: это значит регулировать разработчиков ПО так, будто они издатели.