NVIDIA telah meluncurkan model terbuka yang lebih kecil, dirancang untuk menangani tugas berulang bervolume tinggi yang menjaga agen otonom tetap berjalan, dengan tujuan mengurangi biaya dan latensi untuk beban kerja agen yang berjalan dalam waktu lama.
Dinamai Nemotron 3.5 Lightning, model ini memiliki total 30 miliar parameter, tetapi hanya mengaktifkan 3 miliar untuk setiap token. NVIDIA mengatakan desain mixture-of-experts ini memungkinkannya memberikan kapasitas model yang lebih besar sambil menggunakan komputasi yang mendekati milik model yang jauh lebih kecil.
Nemotron 3.5 Lightning juga dirancang untuk dapat dijalankan secara lokal, termasuk di NVIDIA DGX Spark, sistem Jetson, dan kartu grafis GeForce RTX 5090. Model ini juga dapat diterapkan di pusat data, sehingga memberi pengembang opsi untuk menjalankan beban kerja bervolume tinggi lebih dekat ke tempat beban tersebut dihasilkan.
Model telah dilatih dengan mempertimbangkan harness agen yang populer, termasuk OpenClaw dan Hermes Agent. NVIDIA mengatakan pelatihan ini membantu agen membuat panggilan alat yang lebih akurat sekaligus mengurangi latensi selama tugas berulang.#NVIDIA $NVDAB
