Key Insights into AI Market Development: Edge Computing and Small Models

Binance News · 2025-05-09T12:03:49.000Z

According to PANews, McKinsey's Lilli case offers crucial insights into the development of the enterprise AI market, highlighting the potential of edge computing combined with small models. This AI assistant, which integrates 100,000 internal documents, has achieved a 70% adoption rate among employees, with an average usage of 17 times per week, demonstrating rare product stickiness in enterprise tools. One major challenge is ensuring data security for enterprises. McKinsey's century-old core knowledge assets and specific data accumulated by small and medium-sized enterprises are highly sensitive and not suitable for processing on public clouds. Exploring a balance where data remains local without compromising AI capabilities is a market necessity, with edge computing being a promising direction. Professional small models are expected to replace general large models. Enterprise users require specialized assistants capable of accurately addressing specific domain issues, rather than general models with billions of parameters. The inherent contradiction between the generality and professional depth of large models makes small models more appealing in enterprise scenarios. Balancing the cost of self-built AI infrastructure and API calls is another consideration. Although the combination of edge computing and small models requires significant initial investment, it substantially reduces long-term operational costs. For instance, if 45,000 employees frequently use AI large models via API calls, the dependency and increased usage scale would make self-built AI infrastructure a rational choice for medium and large enterprises. The edge hardware market presents new opportunities. While high-end GPUs are essential for large model training, edge inference has different hardware requirements. Chip manufacturers like Qualcomm and MediaTek are optimizing processors for edge AI, seizing market opportunities. As enterprises aim to develop their own 'Lilli,' edge AI chips designed for low power consumption and high efficiency will become essential infrastructure. The decentralized web3 AI market is also strengthening. As enterprises' demands for computing power, fine-tuning, and algorithms in small models increase, balancing resource allocation becomes challenging. Traditional centralized resource scheduling will face difficulties, creating significant demand for decentralized web3 AI small model fine-tuning networks and decentralized computing power service platforms. While the market continues to discuss the boundaries of AGI's general capabilities, it is encouraging to see many enterprise users already exploring the practical value of AI. Clearly, shifting the focus from resource monopolization in computing power and algorithms to edge computing and small models will bring greater market vitality.

Menurut PANews, kasus Lilli dari McKinsey menawarkan wawasan penting tentang perkembangan pasar AI perusahaan, yang menyoroti potensi komputasi edge yang dikombinasikan dengan model-model kecil. Asisten AI ini, yang mengintegrasikan 100.000 dokumen internal, telah mencapai tingkat adopsi 70% di antara karyawan, dengan penggunaan rata-rata 17 kali per minggu, yang menunjukkan daya tarik produk yang langka dalam perangkat perusahaan.
Salah satu tantangan utama adalah memastikan keamanan data bagi perusahaan. Aset pengetahuan inti McKinsey yang berusia seabad dan data spesifik yang dikumpulkan oleh perusahaan kecil dan menengah sangat sensitif dan tidak cocok untuk diproses di cloud publik. Menjelajahi keseimbangan di mana data tetap lokal tanpa mengorbankan kemampuan AI merupakan kebutuhan pasar, dengan komputasi tepi menjadi arah yang menjanjikan.
Model kecil profesional diharapkan dapat menggantikan model besar umum. Pengguna perusahaan memerlukan asisten khusus yang mampu menangani masalah domain tertentu secara akurat, bukan model umum dengan miliaran parameter. Kontradiksi inheren antara keumuman dan kedalaman profesional model besar membuat model kecil lebih menarik dalam skenario perusahaan.
Menyeimbangkan biaya infrastruktur AI yang dibangun sendiri dan panggilan API adalah pertimbangan lain. Meskipun kombinasi komputasi edge dan model kecil memerlukan investasi awal yang signifikan, hal itu secara substansial mengurangi biaya operasional jangka panjang. Misalnya, jika 45.000 karyawan sering menggunakan model AI besar melalui panggilan API, ketergantungan dan peningkatan skala penggunaan akan menjadikan infrastruktur AI yang dibangun sendiri sebagai pilihan rasional bagi perusahaan menengah dan besar.
Pasar perangkat keras edge menghadirkan peluang baru. Sementara GPU kelas atas penting untuk pelatihan model besar, inferensi edge memiliki persyaratan perangkat keras yang berbeda. Produsen chip seperti Qualcomm dan MediaTek mengoptimalkan prosesor untuk edge AI, memanfaatkan peluang pasar. Karena perusahaan ingin mengembangkan 'Lilli' mereka sendiri, chip edge AI yang dirancang untuk konsumsi daya rendah dan efisiensi tinggi akan menjadi infrastruktur penting.
Pasar AI web3 terdesentralisasi juga menguat. Seiring meningkatnya permintaan perusahaan akan daya komputasi, penyempurnaan, dan algoritma dalam model kecil, menyeimbangkan alokasi sumber daya menjadi tantangan. Penjadwalan sumber daya terpusat tradisional akan menghadapi kesulitan, sehingga menciptakan permintaan yang signifikan untuk jaringan penyempurnaan model kecil AI web3 terdesentralisasi dan platform layanan daya komputasi terdesentralisasi.
Sementara pasar terus membahas batasan kemampuan umum AGI, sungguh menggembirakan melihat banyak pengguna perusahaan telah mengeksplorasi nilai praktis AI. Jelas, mengalihkan fokus dari monopoli sumber daya dalam daya komputasi dan algoritma ke komputasi tepi dan model kecil akan membawa vitalitas pasar yang lebih besar.

Wawasan Utama tentang Pengembangan Pasar AI: Edge Computing dan Model Kecil

Berita Terbaru