#opg $OPG @OpenGradient
Solía trabajar con un equipo que tenía un problema de revisión de código.
Cada pull request iba a todos los ingenieros. Todos doce de ellos. Cada persona leía el mismo código, ejecutaba las mismas pruebas y formaba su propia opinión. El proceso era exhaustivo y correcto. También era la razón por la que nada se lanzaba a tiempo. Estábamos gastando doce veces el cómputo para llegar a la misma respuesta.
Eventualmente, alguien apuntó lo obvio: no todos los ingenieros necesitan volver a ejecutar cada prueba. Algunos verifican. Algunos ejecutan. La especialización nos hizo más rápidos sin hacernos menos rigurosos.
Pensé en ese equipo cuando leí sobre HACA, la arquitectura debajo de OpenGradient.
Cada blockchain convencional tiene el mismo problema de revisión de código. Cada validador vuelve a ejecutar cada transacción. Para transferencias de tokens eso está bien. Para inferencia de IA se rompe completamente: ejecutar un modelo requiere órdenes de magnitud más de cómputo que verificar una prueba criptográfica de que el modelo se ejecutó correctamente.
HACA separa los dos roles por completo. Los nodos de inferencia son trabajadores GPU sin estado que ejecutan modelos y devuelven resultados directamente a los usuarios con latencia a nivel web2. Los nodos completos nunca ejecutan modelos; solo validan la evidencia criptográfica de que los modelos se ejecutaron correctamente. Los nodos de datos obtienen y atestiguan información externa dentro de enclaves TEE. El almacenamiento maneja archivos de modelos. Cada tipo de nodo hace exactamente una cosa, y ninguno de ellos hace el trabajo de los otros.
El resultado es una red que puede ejecutar inferencia de IA en cadena sin pedir a cada participante que soporte una granja de GPU.
Eso no es una optimización menor. Esa es la razón por la que la inferencia de IA descentralizada es posible a cualquier escala significativa en primer lugar.
¿Alguna vez has visto un sistema colapsar bajo su propia exhaustividad, donde el proceso de verificar todo se convirtió en el cuello de botella? Hãy tạo ảnh khung 16:9 liên quan tới đoạn trên
Solía trabajar con un equipo que tenía un problema de revisión de código.
Cada pull request iba a todos los ingenieros. Todos doce de ellos. Cada persona leía el mismo código, ejecutaba las mismas pruebas y formaba su propia opinión. El proceso era exhaustivo y correcto. También era la razón por la que nada se lanzaba a tiempo. Estábamos gastando doce veces el cómputo para llegar a la misma respuesta.
Eventualmente, alguien apuntó lo obvio: no todos los ingenieros necesitan volver a ejecutar cada prueba. Algunos verifican. Algunos ejecutan. La especialización nos hizo más rápidos sin hacernos menos rigurosos.
Pensé en ese equipo cuando leí sobre HACA, la arquitectura debajo de OpenGradient.
Cada blockchain convencional tiene el mismo problema de revisión de código. Cada validador vuelve a ejecutar cada transacción. Para transferencias de tokens eso está bien. Para inferencia de IA se rompe completamente: ejecutar un modelo requiere órdenes de magnitud más de cómputo que verificar una prueba criptográfica de que el modelo se ejecutó correctamente.
HACA separa los dos roles por completo. Los nodos de inferencia son trabajadores GPU sin estado que ejecutan modelos y devuelven resultados directamente a los usuarios con latencia a nivel web2. Los nodos completos nunca ejecutan modelos; solo validan la evidencia criptográfica de que los modelos se ejecutaron correctamente. Los nodos de datos obtienen y atestiguan información externa dentro de enclaves TEE. El almacenamiento maneja archivos de modelos. Cada tipo de nodo hace exactamente una cosa, y ninguno de ellos hace el trabajo de los otros.
El resultado es una red que puede ejecutar inferencia de IA en cadena sin pedir a cada participante que soporte una granja de GPU.
Eso no es una optimización menor. Esa es la razón por la que la inferencia de IA descentralizada es posible a cualquier escala significativa en primer lugar.
¿Alguna vez has visto un sistema colapsar bajo su propia exhaustividad, donde el proceso de verificar todo se convirtió en el cuello de botella? Hãy tạo ảnh khung 16:9 liên quan tới đoạn trên