#opg $OPG @OpenGradient
Penundaan pertama tidak terjadi selama inferensi. Penundaan itu terjadi sebelum model pernah menjawab sebuah permintaan.
Sebuah node menerima tugas yang secara teknis bisa dijalankan, tetapi modelnya belum ada saat itu. Jaringan tahu di mana model tersebut berada. Rantai tahu cara memverifikasinya. Tidak ada yang berubah dari kenyataan bahwa beberapa gigabita masih harus berpindah sebelum token pertama bisa muncul.
Itu membuat saya berpikir berbeda tentang Walrus di dalam OpenGradient.
Penyimpanan biasanya digambarkan sebagai masalah yang sudah terselesaikan. Letakkan objek berukuran besar di tempat lain, simpan hanya referensinya di rantai, dan biarkan node mengambil apa yang mereka butuhkan. Arsitekturnya elegan. Perilaku saat ada permintaan tidak sejelas itu.
Satu node yang sedang dingin mengambil sebuah model masih bisa dikelola. Lima node yang sedang dingin meminta model yang sama pada waktu yang bersamaan terasa berbeda.
Apakah setiap node secara independen menarik data yang identik?
Apakah node-node yang berdekatan mulai saling berbagi salinan cache?
Apakah popularitas secara bertahap menentukan di mana model-model itu berada?
Bagian menarik mungkin bukan di mana sebuah model disimpan, tetapi seberapa cepat model tersebut menjadi infrastruktur lokal setelah permintaan muncul.
Sebuah model yang sering diminta menyebar perlahan ke seluruh jaringan sampai latensi turun secara alami. Model yang jarang digunakan tetap jauh, menunggu di belakang waktu unduhan, verifikasi, dan alokasi memori.
Ini menjadikan penempatan model sebagai target yang terus bergerak.
Efisiensi penyimpanan, biaya bandwidth, keputusan cache, dan pola permintaan semuanya mulai memengaruhi kecepatan inferensi sama seperti kekuatan komputasi mentah.
Pertanyaan yang terus saya kembalikan bukan apakah Walrus bisa menyimpan model-model OpenGradient.
Melainkan, apa yang menentukan di mana model-model itu harus berada ketika beberapa node yang sedang dingin membutuhkannya pada momen yang benar-benar sama.
#opg $OPG
Penundaan pertama tidak terjadi selama inferensi. Penundaan itu terjadi sebelum model pernah menjawab sebuah permintaan.
Sebuah node menerima tugas yang secara teknis bisa dijalankan, tetapi modelnya belum ada saat itu. Jaringan tahu di mana model tersebut berada. Rantai tahu cara memverifikasinya. Tidak ada yang berubah dari kenyataan bahwa beberapa gigabita masih harus berpindah sebelum token pertama bisa muncul.
Itu membuat saya berpikir berbeda tentang Walrus di dalam OpenGradient.
Penyimpanan biasanya digambarkan sebagai masalah yang sudah terselesaikan. Letakkan objek berukuran besar di tempat lain, simpan hanya referensinya di rantai, dan biarkan node mengambil apa yang mereka butuhkan. Arsitekturnya elegan. Perilaku saat ada permintaan tidak sejelas itu.
Satu node yang sedang dingin mengambil sebuah model masih bisa dikelola. Lima node yang sedang dingin meminta model yang sama pada waktu yang bersamaan terasa berbeda.
Apakah setiap node secara independen menarik data yang identik?
Apakah node-node yang berdekatan mulai saling berbagi salinan cache?
Apakah popularitas secara bertahap menentukan di mana model-model itu berada?
Bagian menarik mungkin bukan di mana sebuah model disimpan, tetapi seberapa cepat model tersebut menjadi infrastruktur lokal setelah permintaan muncul.
Sebuah model yang sering diminta menyebar perlahan ke seluruh jaringan sampai latensi turun secara alami. Model yang jarang digunakan tetap jauh, menunggu di belakang waktu unduhan, verifikasi, dan alokasi memori.
Ini menjadikan penempatan model sebagai target yang terus bergerak.
Efisiensi penyimpanan, biaya bandwidth, keputusan cache, dan pola permintaan semuanya mulai memengaruhi kecepatan inferensi sama seperti kekuatan komputasi mentah.
Pertanyaan yang terus saya kembalikan bukan apakah Walrus bisa menyimpan model-model OpenGradient.
Melainkan, apa yang menentukan di mana model-model itu harus berada ketika beberapa node yang sedang dingin membutuhkannya pada momen yang benar-benar sama.
#opg $OPG