Menurut Foresight News, protokol AI terdesentralisasi Prime Intellect telah merilis pratinjau tumpukan inferensinya. Pengembangan ini bertujuan untuk mengatasi tantangan dalam dekode autoregresif, termasuk efisiensi komputasi, hambatan memori cache KV, dan latensi jaringan publik.
Tumpukan inferensi menggunakan desain paralel alur kerja, yang memungkinkan kepadatan komputasi tinggi dan eksekusi asinkron. Bersamaan dengan rilis ini, Prime Intellect telah memperkenalkan tiga pustaka kode sumber terbuka: PRIME-IROH, backend komunikasi peer-to-peer; PRIME-VLLM, yang mengintegrasikan vLLM dengan paralelisme alur kerja jaringan publik; dan PRIME-PIPELINE, sandbox penelitian.
Alat-alat ini memungkinkan pengguna untuk menjalankan model besar menggunakan GPU seperti 3090 dan 4090, meningkatkan kemampuan protokol AI.