Es war gegen 7 Uhr morgens, und das alte Viertel war noch ein wenig neblig. Ich lief mit Oanh, redete nicht wirklich viel. Dann fragte ich plötzlich etwas etwas zufällig: "Wenn eine KI etwas beantwortet und dann auch noch sagt, dass es selbst richtig ist, wem vertrauen wir dann genau?"
Oanh antwortete nicht sofort. Sie sagte einfach: "Dann vertraust du ihr einfach, oder?" Es klang einfach, aber in diesem Moment fühlte es sich etwas falsch an.
Diese Frage brachte mich sofort auf @OpenGradient . Nicht weil sie ein besseres KI-Modell entwickeln. Sondern weil sie direkt auf etwas hinweisen, das die meisten Systeme leise falsch machen: In vielen aktuellen KI-Architekturen sind das System, das die Ausgabe generiert, und das System, das sie validiert, im Grunde dasselbe.
Also beantwortet das Modell eine Frage und bestätigt dann implizit seine eigene Antwort. Es gibt keine externe Schicht. Keine unabhängige Überprüfung, die außerhalb steht, um sie herauszufordern.
OpenGradient trennt das sehr klar.
Eine Seite macht nur eines: Inferenz ausführen und Ausgabe produzieren. Schnell, optimiert, skalierbar. Das ist es. Es entscheidet nicht, ob die Ausgabe in irgendeinem endgültigen Sinne korrekt ist.
Die andere Seite steht völlig außerhalb dieses Prozesses. Sie nimmt nicht an der Generierung der Ausgabe teil. Sie teilt nicht dieselbe Logik oder Annahmen. Sie nimmt einfach das Ergebnis als etwas, das bereits produziert wurde, und überprüft, ob es aus einer anderen Perspektive Bestand hat.
Der Schlüsselpunkt ist, dass die beiden Seiten sich nicht gegenseitig vertrauen. Sie müssen es nicht. Denn wenn die Generierungsseite auf irgendeine Weise versagt, versagt die Überprüfungsseite nicht auf dieselbe Weise.
Ich ging ein Stück weiter und dachte an das, was Oanh früher gesagt hatte. "Dann vertraust du ihr einfach." Es klingt einfach, aber genau das ist das Problem. Denn ohne eine externe Schicht vertraust du am Ende immer noch dem System, das die Antwort ursprünglich produziert hat.
OpenGradient versucht kurz gesagt nicht, KI intelligenter zu machen. Es macht etwas Schwierigeres: sicherzustellen, dass KI sich nicht mehr selbst validieren kann.
@OpenGradient $OPG #OPG $RE $O
Oanh antwortete nicht sofort. Sie sagte einfach: "Dann vertraust du ihr einfach, oder?" Es klang einfach, aber in diesem Moment fühlte es sich etwas falsch an.
Diese Frage brachte mich sofort auf @OpenGradient . Nicht weil sie ein besseres KI-Modell entwickeln. Sondern weil sie direkt auf etwas hinweisen, das die meisten Systeme leise falsch machen: In vielen aktuellen KI-Architekturen sind das System, das die Ausgabe generiert, und das System, das sie validiert, im Grunde dasselbe.
Also beantwortet das Modell eine Frage und bestätigt dann implizit seine eigene Antwort. Es gibt keine externe Schicht. Keine unabhängige Überprüfung, die außerhalb steht, um sie herauszufordern.
OpenGradient trennt das sehr klar.
Eine Seite macht nur eines: Inferenz ausführen und Ausgabe produzieren. Schnell, optimiert, skalierbar. Das ist es. Es entscheidet nicht, ob die Ausgabe in irgendeinem endgültigen Sinne korrekt ist.
Die andere Seite steht völlig außerhalb dieses Prozesses. Sie nimmt nicht an der Generierung der Ausgabe teil. Sie teilt nicht dieselbe Logik oder Annahmen. Sie nimmt einfach das Ergebnis als etwas, das bereits produziert wurde, und überprüft, ob es aus einer anderen Perspektive Bestand hat.
Der Schlüsselpunkt ist, dass die beiden Seiten sich nicht gegenseitig vertrauen. Sie müssen es nicht. Denn wenn die Generierungsseite auf irgendeine Weise versagt, versagt die Überprüfungsseite nicht auf dieselbe Weise.
Ich ging ein Stück weiter und dachte an das, was Oanh früher gesagt hatte. "Dann vertraust du ihr einfach." Es klingt einfach, aber genau das ist das Problem. Denn ohne eine externe Schicht vertraust du am Ende immer noch dem System, das die Antwort ursprünglich produziert hat.
OpenGradient versucht kurz gesagt nicht, KI intelligenter zu machen. Es macht etwas Schwierigeres: sicherzustellen, dass KI sich nicht mehr selbst validieren kann.
@OpenGradient $OPG #OPG $RE $O