Согласно Foresight News, децентрализованный ИИ-протокол Prime Intellect выпустил предварительный обзор своего стека вывода. Эта разработка направлена на решение проблем в автогрессивном декодировании, включая вычислительную эффективность, узкие места в памяти KV кэша и задержки в публичной сети.
Стек вывода использует параллельный дизайн конвейера, что обеспечивает высокую вычислительную плотность и асинхронное выполнение. Вместе с этим релизом Prime Intellect представила три библиотеки с открытым исходным кодом: PRIME-IROH, бэкенд для пиринговой связи; PRIME-VLLM, который интегрирует vLLM с параллелизмом конвейера публичной сети; и PRIME-PIPELINE, исследовательская песочница.
Эти инструменты позволяют пользователям запускать большие модели с использованием графических процессоров, таких как 3090 и 4090, улучшая возможности ИИ-протоколов.