Раньше я думал, что именно вывод (инференс) — самая дорогая часть ИИ.
Теперь я думаю, что дорогая часть — это неопределённость.
Модель может сгенерировать ответ за секунды.
Но если я потрачу следующие десять минут, чтобы проверить, откуда он взялся, какая версия его выдала, могу ли я его воспроизвести, или стоит ли ему доверять...
Тогда реальная цена была не в вычислениях.
Цена была в неопределённости.
Это изменило то, как я смотрю на OpenGradient.
Возможно, ИИ-инфраструктуру не стоит измерять только скоростью инференса.
Возможно, её нужно также оценивать по снижению неопределённости.
Каждое доказательство, каждая запись выполнения, каждый воспроизводимый результат убирают из системы ещё немного сомнений.
Со временем это может стать ценнее, чем сделать модели чуть быстрее.
Я не думаю, что будущая экономика ИИ будет вознаграждать того, кто считает самые дешёвые вычисления.
Я думаю, вознаграждать будут того, кто оставляет после каждой обработки самый маленький след неопределённости.
Может, я слишком заморачиваюсь...
Но неопределённость ощущается как скрытая комиссия ИИ.
#OPG @OpenGradient $OPG