Zgodnie z informacjami PANews, przypadek Lilli McKinsey'a oferuje kluczowe spostrzeżenia dotyczące rozwoju rynku AI w przedsiębiorstwach, podkreślając potencjał obliczeń brzegowych w połączeniu z małymi modelami. Ten asystent AI, który integruje 100 000 dokumentów wewnętrznych, osiągnął 70% wskaźnik przyjęcia wśród pracowników, z przeciętnym użyciem 17 razy w tygodniu, co pokazuje rzadką przyczepność produktu w narzędziach dla przedsiębiorstw.
Jednym z głównych wyzwań jest zapewnienie bezpieczeństwa danych dla przedsiębiorstw. Stoletnie kluczowe zasoby wiedzy McKinsey'a oraz konkretne dane gromadzone przez małe i średnie przedsiębiorstwa są bardzo wrażliwe i nie nadają się do przetwarzania w chmurach publicznych. Eksplorowanie równowagi, w której dane pozostają lokalne bez kompromisów w zakresie możliwości AI, jest koniecznością rynkową, przy czym obliczenia brzegowe są obiecującym kierunkiem.
Profesjonalne małe modele mają zastąpić ogólne duże modele. Użytkownicy przedsiębiorstw potrzebują wyspecjalizowanych asystentów zdolnych do dokładnego rozwiązywania specyficznych problemów w danej dziedzinie, a nie ogólnych modeli z miliardami parametrów. Wrodzona sprzeczność między ogólnością a profesjonalną głębokością dużych modeli sprawia, że małe modele są bardziej atrakcyjne w scenariuszach biznesowych.
Zrównoważenie kosztów samodzielnie budowanej infrastruktury AI i wywołań API to kolejna kwestia do rozważenia. Chociaż połączenie obliczeń brzegowych i małych modeli wymaga znacznych początkowych inwestycji, znacząco obniża długoterminowe koszty operacyjne. Na przykład, jeśli 45 000 pracowników często korzysta z dużych modeli AI za pośrednictwem wywołań API, zależność i zwiększona skala użytkowania uczyni samodzielnie budowaną infrastrukturę AI rozsądnym wyborem dla średnich i dużych przedsiębiorstw.
Rynek sprzętu brzegowego oferuje nowe możliwości. Podczas gdy wysokiej klasy GPU są niezbędne do treningu dużych modeli, inferencja brzegowa ma inne wymagania sprzętowe. Producenci chipów, tacy jak Qualcomm i MediaTek, optymalizują procesory do AI brzegowego, wykorzystując możliwości rynkowe. W miarę jak przedsiębiorstwa dążą do opracowania własnego 'Lilli', chipy AI brzegowego zaprojektowane z myślą o niskim zużyciu energii i wysokiej wydajności staną się niezbędną infrastrukturą.
Rynek zdecentralizowanej AI web3 również się umacnia. W miarę jak wymagania przedsiębiorstw dotyczące mocy obliczeniowej, dostosowywania i algorytmów w małych modelach rosną, zrównoważenie alokacji zasobów staje się wyzwaniem. Tradycyjne scentralizowane harmonogramowanie zasobów napotka trudności, co stworzy znaczące zapotrzebowanie na zdecentralizowane sieci dostosowywania małych modeli AI web3 i platformy usług mocy obliczeniowej.
Podczas gdy rynek nadal dyskutuje o granicach ogólnych możliwości AGI, cieszy widok wielu użytkowników biznesowych już eksplorujących praktyczną wartość AI. Wyraźnie przesunięcie uwagi z monopolizacji zasobów w mocy obliczeniowej i algorytmach na obliczenia brzegowe i małe modele przyniesie większą witalność rynkową.