Unser Dashboard zeigt, dass die Latenz gesunken ist. Aber die Anzahl der Retries ist gestiegen.
Das Seltsame ist: Das System wirkt schneller, aber in der Praxis ist die Erfahrung weniger stabil.
Eine der Untersuchungen führte mich zu einem Node @OpenGradient , den das System auswählt, weil er geografisch am nächsten liegt. Daher war es eine ziemlich natürliche Entscheidung, daraus einen Inferenz-Batch zu senden.
Die ersten drei Requests überschritten die Retry-Schwelle nahezu sofort.
Zuerst machte ich den Timeout verantwortlich. Dann die Warteschlange. Sogar die Vermutung, dass ein neues Modell-Release im Spiel sei. Aber ein weiter entfernter Node verarbeitet mit derselben Arbeitslast weiter ohne Probleme.
Da wurde mir klar, dass ich das falsche Metric optimiert habe.
Der Abstand sagt nur, wo der Request startet. Er bildet nicht die gesamte Reise ab, die der Request noch abschließen muss.
Der Netzwerkverkehr läuft über eine stark frequentierte Route, bevor er den Node erreicht. Die Inferenz beginnt weiterhin schnell, aber die Verification-Bestätigungen kommen ungleichmäßig zurück. Die Anwendung sieht, dass die Inferenz abgeschlossen ist, während das Vertrauenssignal noch verspätet eintrifft—und dann selbst einen Auftrag erneut ausführt, der nie wirklich fehlgeschlagen ist.
Das Problem liegt nicht daran, ob der Node nah oder weit weg ist.
Es liegt daran, dass das Metric, das ich zur Optimierung verwende, nur einen Teil des Requests abbildet.
Jedes System wird letztlich zu dem, was sein Metric optimiert.
Rückblickend habe ich keinen falschen Node gewählt.
Ich habe den falschen Punkt gewählt, um das Messen zu beenden.
Ich hielt den Request für abgeschlossen, sobald die Inferenz beendet war, während bei #OPG die Erfahrung erst wirklich abgeschlossen ist, nachdem die Verification erfolgt ist.
Wenn ein Request erst nach der Verification abgeschlossen ist, dann muss das Metric auch dort enden.
Wenn die Inferenz fertig ist, bevor das Trust fertig ist—wonach sollten wir dann eigentlich optimieren?
$OPG $CAP
Das Seltsame ist: Das System wirkt schneller, aber in der Praxis ist die Erfahrung weniger stabil.
Eine der Untersuchungen führte mich zu einem Node @OpenGradient , den das System auswählt, weil er geografisch am nächsten liegt. Daher war es eine ziemlich natürliche Entscheidung, daraus einen Inferenz-Batch zu senden.
Die ersten drei Requests überschritten die Retry-Schwelle nahezu sofort.
Zuerst machte ich den Timeout verantwortlich. Dann die Warteschlange. Sogar die Vermutung, dass ein neues Modell-Release im Spiel sei. Aber ein weiter entfernter Node verarbeitet mit derselben Arbeitslast weiter ohne Probleme.
Da wurde mir klar, dass ich das falsche Metric optimiert habe.
Der Abstand sagt nur, wo der Request startet. Er bildet nicht die gesamte Reise ab, die der Request noch abschließen muss.
Der Netzwerkverkehr läuft über eine stark frequentierte Route, bevor er den Node erreicht. Die Inferenz beginnt weiterhin schnell, aber die Verification-Bestätigungen kommen ungleichmäßig zurück. Die Anwendung sieht, dass die Inferenz abgeschlossen ist, während das Vertrauenssignal noch verspätet eintrifft—und dann selbst einen Auftrag erneut ausführt, der nie wirklich fehlgeschlagen ist.
Das Problem liegt nicht daran, ob der Node nah oder weit weg ist.
Es liegt daran, dass das Metric, das ich zur Optimierung verwende, nur einen Teil des Requests abbildet.
Jedes System wird letztlich zu dem, was sein Metric optimiert.
Rückblickend habe ich keinen falschen Node gewählt.
Ich habe den falschen Punkt gewählt, um das Messen zu beenden.
Ich hielt den Request für abgeschlossen, sobald die Inferenz beendet war, während bei #OPG die Erfahrung erst wirklich abgeschlossen ist, nachdem die Verification erfolgt ist.
Wenn ein Request erst nach der Verification abgeschlossen ist, dann muss das Metric auch dort enden.
Wenn die Inferenz fertig ist, bevor das Trust fertig ist—wonach sollten wir dann eigentlich optimieren?
$OPG $CAP