Узлы прокси LLM не запускают модели самостоятельно. Они находятся внутри TEE-анклава и перенаправляют запросы к провайдерам, таким как OpenAI, Anthropic, Google или xAI от имени пользователя.
Анклав обрабатывает три вещи одновременно. Конфиденциальность, поскольку оператор узла не может видеть, записывать или манипулировать данными запросов. Анонимность, поскольку запросы распределяются по узлам и не могут быть связаны с одной личностью. Целостность, поскольку аттестация подтверждает, что анклав выполнял неизменённый код.
Примечательно, что OpenGradient не нужно хостить каждую модель самостоятельно, чтобы сделать это проверяемым. Структура прокси означает, что расчёт OPG и аттестация TEE применяются даже тогда, когда фактическое вывод происходит на инфраструктуре другого человека.
Я работал с API-шлюзом, который когда-то заявлял о подобных гарантиях изоляции без какой-либо аттестации за этим заявлением, просто абзац в документации.
Открытая часть заключается в том, что происходит, если сторонний провайдер изменяет своё поведение API без предупреждения. Захватит ли анклав это, или просто передаст новое поведение так, как будто ничего не изменилось.
@OpenGradient $OPG #OPG
$TNSR

$LAB
#Fed