Nuestro panel muestra que la latencia ha disminuido. Pero el número de reintentos ha aumentado.
Lo extraño es que el sistema parece más rápido, pero la experiencia real es menos estable.
Una de las investigaciones me llevó a un nodo @OpenGradient que el sistema eligió por ser el más cercano a nivel geográfico, así que enviar allí un lote de inferencias era una opción bastante natural.
Las tres primeras solicitudes superaron el umbral de reintento casi de inmediato.
Al principio culpé al tiempo de espera. Luego pensé en la cola. Incluso llegué a sospechar un lanzamiento de un modelo nuevo. Pero un nodo más lejano seguía procesando la misma carga de trabajo sin problemas.
En ese momento entendí que estaba optimizando la métrica equivocada.
La distancia solo indica desde dónde comienza la solicitud. No refleja todo el recorrido que la solicitud debe completar.
El flujo de nuestra red pasa por una ruta de enrutamiento concurrida antes de llegar al nodo. La inferencia comienza rápidamente, pero las confirmaciones de verificación regresan de forma irregular. La aplicación ve que la inferencia ha terminado, mientras la señal de confianza aún llega tarde, y luego vuelve a intentar una tarea que en realidad nunca había fallado.
El problema no está en si el nodo está cerca o lejos.
Está en que la métrica que uso para optimizar solo mide una parte de la solicitud.
Todos los sistemas, al final, se convierten en aquello que su métrica está optimizando.
Mirándolo ahora, no elegí el nodo incorrecto.
Elegí el lugar equivocado para terminar la medición.
Consideré que la solicitud estaba completada cuando terminaba la inferencia, mientras que para #OPG la experiencia realmente se completa solo después de la verificación.
Si la solicitud solo se completa después de la verificación, entonces la métrica también debe finalizar ahí.
Si la inferencia se completa antes de que termine la confianza, ¿qué deberíamos optimizar realmente?
$OPG $CAP
Lo extraño es que el sistema parece más rápido, pero la experiencia real es menos estable.
Una de las investigaciones me llevó a un nodo @OpenGradient que el sistema eligió por ser el más cercano a nivel geográfico, así que enviar allí un lote de inferencias era una opción bastante natural.
Las tres primeras solicitudes superaron el umbral de reintento casi de inmediato.
Al principio culpé al tiempo de espera. Luego pensé en la cola. Incluso llegué a sospechar un lanzamiento de un modelo nuevo. Pero un nodo más lejano seguía procesando la misma carga de trabajo sin problemas.
En ese momento entendí que estaba optimizando la métrica equivocada.
La distancia solo indica desde dónde comienza la solicitud. No refleja todo el recorrido que la solicitud debe completar.
El flujo de nuestra red pasa por una ruta de enrutamiento concurrida antes de llegar al nodo. La inferencia comienza rápidamente, pero las confirmaciones de verificación regresan de forma irregular. La aplicación ve que la inferencia ha terminado, mientras la señal de confianza aún llega tarde, y luego vuelve a intentar una tarea que en realidad nunca había fallado.
El problema no está en si el nodo está cerca o lejos.
Está en que la métrica que uso para optimizar solo mide una parte de la solicitud.
Todos los sistemas, al final, se convierten en aquello que su métrica está optimizando.
Mirándolo ahora, no elegí el nodo incorrecto.
Elegí el lugar equivocado para terminar la medición.
Consideré que la solicitud estaba completada cuando terminaba la inferencia, mientras que para #OPG la experiencia realmente se completa solo después de la verificación.
Si la solicitud solo se completa después de la verificación, entonces la métrica también debe finalizar ahí.
Si la inferencia se completa antes de que termine la confianza, ¿qué deberíamos optimizar realmente?
$OPG $CAP