Según PANews, el caso Lilli de McKinsey ofrece información crucial sobre el desarrollo del mercado de IA empresarial, destacando el potencial de la computación en el edge combinada con modelos pequeños. Este asistente de IA, que integra 100,000 documentos internos, ha logrado una tasa de adopción del 70% entre los empleados, con un uso promedio de 17 veces por semana, demostrando una rara adherencia del producto en herramientas empresariales.
Un gran desafío es garantizar la seguridad de los datos para las empresas. Los activos de conocimiento nuclear de McKinsey, que tienen más de un siglo, y los datos específicos acumulados por pequeñas y medianas empresas son altamente sensibles y no son adecuados para ser procesados en nubes públicas. Explorar un equilibrio donde los datos permanezcan locales sin comprometer las capacidades de IA es una necesidad del mercado, siendo la computación en el edge una dirección prometedora.
Se espera que los modelos pequeños profesionales reemplacen a los grandes modelos generales. Los usuarios empresariales requieren asistentes especializados capaces de abordar con precisión problemas específicos del dominio, en lugar de modelos generales con miles de millones de parámetros. La contradicción inherente entre la generalidad y la profundidad profesional de los grandes modelos hace que los modelos pequeños sean más atractivos en escenarios empresariales.
Equilibrar el costo de la infraestructura de IA autoconstruida y las llamadas a la API es otra consideración. Aunque la combinación de la computación en el edge y los modelos pequeños requiere una inversión inicial significativa, reduce sustancialmente los costos operativos a largo plazo. Por ejemplo, si 45,000 empleados utilizan frecuentemente grandes modelos de IA a través de llamadas a la API, la dependencia y el aumento de la escala de uso harían que la infraestructura de IA autoconstruida sea una opción racional para empresas medianas y grandes.
El mercado de hardware de edge presenta nuevas oportunidades. Mientras que las GPU de alta gama son esenciales para el entrenamiento de grandes modelos, la inferencia en el edge tiene diferentes requisitos de hardware. Fabricantes de chips como Qualcomm y MediaTek están optimizando procesadores para IA en el edge, aprovechando las oportunidades del mercado. A medida que las empresas buscan desarrollar su propio 'Lilli', los chips de IA en el edge diseñados para un bajo consumo de energía y alta eficiencia se convertirán en infraestructura esencial.
El mercado de IA descentralizado web3 también se está fortaleciendo. A medida que aumentan las demandas de las empresas por poder de computación, ajuste fino y algoritmos en modelos pequeños, equilibrar la asignación de recursos se vuelve un desafío. La programación de recursos centralizada tradicional enfrentará dificultades, creando una demanda significativa para redes de ajuste fino de modelos pequeños de IA web3 descentralizadas y plataformas de servicio de poder computacional descentralizado.
Mientras el mercado continúa discutiendo los límites de las capacidades generales de la AGI, es alentador ver que muchos usuarios empresariales ya están explorando el valor práctico de la IA. Claramente, cambiar el enfoque de la monopolización de recursos en poder de computación y algoritmos hacia la computación en el edge y modelos pequeños traerá una mayor vitalidad al mercado.