Одна мысль снова и снова возвращалась ко мне, пока я размышлял о Ньютоновском протоколе.
Мы стали привыкать относиться к разрешению как к конечному шагу при принятии решения.
Как только доступ предоставлен, выполнение ощущается как естественный следующий шаг.
Для людей это предположение часто срабатывает, потому что мы постоянно корректируем свои решения, даже не замечая этого.
ИИ-агент не действует.
Он делает то, что ему разрешили.
Эта разница кажется незначительной, пока не меняется среда.
У кошелька может по-прежнему быть разрешение.
Политика может по-прежнему подтверждать.
Но исходное намерение пользователя к тому моменту может быть уже другим.
Этот разрыв между разрешением и намерением кажется куда более важным, чем я сначала осознал.
Чем больше я размышлял о протоколе Newton, тем сильнее чувствовал, что его архитектура заботится не просто о том, чтобы разрешать действия.
Она побуждает нас думать о том, заслуживает ли действие продолжения, когда приходит момент исполнения.
Эта тонкая разница имеет значение.
Потому что автономные системы не всегда выходят из строя из-за того, что они злонамеренны.
Иногда они будут сбоить, потому что добросовестно выполняют права, которые уже не соответствуют тому, чего пользователь на самом деле хочет.
Возможно, будущее инфраструктуры ИИ — не в создании более способных агентов.
Возможно, это о том, чтобы гарантировать, что каждое разрешенное действие продолжает отражать реальный замысел, даже когда контекст меняется.
Чем дольше я над этим думал, тем больше понимал: доверие — это не только про безопасность.
Речь об согласованности.
Согласованность между тем, чего хотел пользователь, тем, что разрешает политика, и тем, что в итоге доходит до исполнения.
Возможно, это один из тихих уроков, спрятанных внутри протокола Newton.
Дело не в том, что это разрешение существует.
Но одно лишь это разрешение никогда не должно приниматься за намерение.
Последняя мысль
По мере того как автономные системы становятся более независимыми, авторизация должна измерять доступ… или постоянно защищать намерение пользователя?
