Большинство людей предполагают, что главная проблема с ИИ заключается в том, чтобы сделать его умнее. Раньше я тоже так думал. Но чем дольше я размышлял над этим, тем больше я осознавал, что настоящая проблема не в интеллекте. Дело в доверии: не в том, может ли система выдать ответ, а в том, может ли кто-то другой проверить, как этот ответ был сформирован.
Сначала я думал, что верификация — это техническая добавка, что-то для инженеров и аудиторов. Затем я заметил аналогию, которая помогла мне понять. Непроверенный ИИ — это кассир, который всегда дает сдачу, но никогда не позволяет вам пересчитать кассу. Большую часть времени ничего не кажется неправильным. Проблемы начинаются, когда магазин переполнен, очередь становится длинной, и никто не может сказать, ошибки это случайные или систематические.
Ончейн-системы делают это более понятным. Умный контракт не нужно верить; его нужно проверять. Это меняет поведение. Люди строят по-другому, когда знают, что действия можно отследить. Верификация ИИ работает аналогичным образом. Она не просто снижает ошибки. Она меняет стимулы вокруг ошибок.
Это та часть, которую люди часто упускают. На небольшом уровне непроверяемый ИИ просто неудобен. На большом уровне это становится проблемой координации. Учреждения начинают хеджировать против результатов, которые они не могут проверить. Сети замедляются, потому что каждый участник придумывает свой собственный частный уровень сомнений. Верификация касается не только корректности; это также о том, чтобы поддерживать общие системы читаемыми.
Может быть, это и есть настоящий сдвиг. По мере того как ИИ распространяется через современные сети, вопрос уже не в том, "Можем ли мы доверять модели?". Вопрос в том, "Можем ли мы доверять процессу достаточно, чтобы строить на его основе?"@OpenGradient #opg $OPG