Newtons KI-Agentenrichtlinien erzwingen Ausgabengrenzen, genehmigte Zahlungsempfängerlisten und Schutz vor Prompt-Injection, bevor eine Transaktion sich veranlassen lässt—und das wird als Agentensicherheit verkauft. Ich glaube, dass das echte Sicherheit ist, aber ich glaube auch, dass es eine unscharfe Grenze zwischen „einen kompromittierten Agenten eindämmen“ und „den Kampf gegen einen kompromittierten Agenten beenden“ gibt, und das sind nicht dieselben Behauptungen, obwohl die Verkaufsargumentation sie manchmal miteinander vermischt.
Hier ist die starke Version des Arguments. Ein Agent, der so manipuliert wird, dass er außerhalb seiner vorgesehenen Aufgabe handelt, stößt auf der Transaktionsebene an eine Wand, wenn die Aktion außerhalb seiner genehmigten Zahlungsempfängerliste liegt oder sein Mandatsumfang überschritten wird—selbst wenn der Dollarbetrag völlig vernünftig aussieht. Das ist tatsächlich ausgefeilter als nur eine einfache Ausgabengrenze; es prüft, ob der Agent das überhaupt tun sollte, nicht nur, ob er es sich leisten kann.
Hier ist die schwache Version, und ich denke, sie ist wichtiger, als die Leute ihr zugestehen. Alles, was Newton durchsetzt, geschieht auf der Transaktionsebene—also dem allerletzten Kontrollpunkt, bevor Geld in Bewegung gerät. Ein Prompt-Injection-Angriff, der die Überlegungen eines Agenten manipuliert, passiert vorgelagert davon, innerhalb des Entscheidungsprozesses des Modells selbst, bevor überhaupt irgendeine Transaktion entworfen wird. Newton kann die fehlerhafte Transaktion blockieren. Er kann aber nicht rückgängig machen, dass der Agent im ersten Schritt erfolgreich manipuliert wurde, und ein Agent, der immer wieder auf den Leim geht, wird weiter bösartige Transaktionsversuche generieren—wobei jeder einzelne nun jeweils erneut erkannt werden muss.
Löst Newton also Agentensicherheit oder begrenzt er den Schaden von einem Problem, das er tatsächlich nicht beheben kann? Ich denke, die ehrliche Antwort lautet Begrenzung, und diese Begrenzung ist wirklich wertvoll—die meisten Angriffe erhalten heute nicht einmal eine so spezifische Art der Verteidigung. Aber der schwierigere Kampf, nämlich einen Agenten bereits im ersten Schritt daran zu hindern, manipuliert zu werden, findet weiterhin vollständig vorgelagert von allem statt, was Newton berührt.
@NewtonProtocol $NEWT #Newt $HMSTR
Hier ist die starke Version des Arguments. Ein Agent, der so manipuliert wird, dass er außerhalb seiner vorgesehenen Aufgabe handelt, stößt auf der Transaktionsebene an eine Wand, wenn die Aktion außerhalb seiner genehmigten Zahlungsempfängerliste liegt oder sein Mandatsumfang überschritten wird—selbst wenn der Dollarbetrag völlig vernünftig aussieht. Das ist tatsächlich ausgefeilter als nur eine einfache Ausgabengrenze; es prüft, ob der Agent das überhaupt tun sollte, nicht nur, ob er es sich leisten kann.
Hier ist die schwache Version, und ich denke, sie ist wichtiger, als die Leute ihr zugestehen. Alles, was Newton durchsetzt, geschieht auf der Transaktionsebene—also dem allerletzten Kontrollpunkt, bevor Geld in Bewegung gerät. Ein Prompt-Injection-Angriff, der die Überlegungen eines Agenten manipuliert, passiert vorgelagert davon, innerhalb des Entscheidungsprozesses des Modells selbst, bevor überhaupt irgendeine Transaktion entworfen wird. Newton kann die fehlerhafte Transaktion blockieren. Er kann aber nicht rückgängig machen, dass der Agent im ersten Schritt erfolgreich manipuliert wurde, und ein Agent, der immer wieder auf den Leim geht, wird weiter bösartige Transaktionsversuche generieren—wobei jeder einzelne nun jeweils erneut erkannt werden muss.
Löst Newton also Agentensicherheit oder begrenzt er den Schaden von einem Problem, das er tatsächlich nicht beheben kann? Ich denke, die ehrliche Antwort lautet Begrenzung, und diese Begrenzung ist wirklich wertvoll—die meisten Angriffe erhalten heute nicht einmal eine so spezifische Art der Verteidigung. Aber der schwierigere Kampf, nämlich einen Agenten bereits im ersten Schritt daran zu hindern, manipuliert zu werden, findet weiterhin vollständig vorgelagert von allem statt, was Newton berührt.
@NewtonProtocol $NEWT #Newt $HMSTR