Xiaohongshu AI Lab, melalui divisi dots.studio, mengumumkan rilis open-source pratinjau dots3-note pada 15 Agustus. Model baru ini dibangun dengan arsitektur mixture of experts (MoE) berparameter 280 miliar, dengan 16 miliar parameter yang aktif. Model ini mendukung beragam modalitas, termasuk teks, visi, dan audio, sehingga memungkinkan pemahaman multimodal yang komprehensif.

Model dots3-note menggabungkan jendela konteks 512.000 token, sehingga secara signifikan meningkatkan kapasitas untuk pemahaman kontekstual jangka panjang. Hal ini memungkinkan model menangani tugas-tugas yang lebih kompleks yang memerlukan memori dan penalaran jangka panjang atas rangkaian yang panjang, yang menjadi terobosan dalam kemampuan AI untuk pemrosesan multimodal.

Selain itu, rilis ini memperkenalkan pendekatan reinforcement learning baru bernama TEMPO, yang dirancang khusus untuk agen dengan horizon jangka panjang. Metode ini bertujuan untuk meningkatkan kemampuan model dalam menjalankan tugas yang memerlukan fokus dan pengambilan keputusan secara berkelanjutan dalam periode yang lama, sekaligus mengatasi tantangan utama dalam sistem AI saat ini.

Rilis open-source dots3-note diharapkan dapat mempercepat inovasi dan riset dalam AI multimodal, sehingga memungkinkan pengembang dan peneliti di seluruh dunia untuk membangun aplikasi AI yang lebih andal dan serbaguna. Informasi lebih lanjut tersedia dalam unggahan resmi Binance Square. #AI #MachineLearning #MultimodalAI