Was sollte eine menschliche Genehmigung erfordern?

Das größte Risiko bei einem KI-Agenten liegt vielleicht nicht darin, was er denkt. Sondern darin, was er tun darf.

Ein Modell kann bei der Planung beeindrucken. Doch sobald es Geld ausgeben, kostenpflichtige APIs aufrufen oder dienstübergreifend handeln kann, ist eine schlechte Entscheidung nicht mehr einfach nur eine schlechte Antwort. Sie kann zu einer echten Transaktion werden.

Was mir an Kites Design aufgefallen ist, ist die Trennung zwischen Nutzer, Agent und Sitzung. Der Nutzer bleibt die maßgebliche Instanz; der Agent erhält delegierte Berechtigungen; und eine Sitzung kann auf eine bestimmte Aufgabe oder einen bestimmten Zeitraum beschränkt werden. Dadurch entsteht eine klarere Grenze zwischen der Bitte an eine KI, Hilfe zu leisten, und der Erteilung der Befugnis, selbst zu handeln.

Kites Ansatz verankert programmierbare Beschränkungen außerdem auf Infrastrukturebene. Ausgabenlimits und zulässige Aktionen sollen durch kryptografische Autorisierung und Smart-Contract-Logik durchgesetzt werden – nicht bloß in einen Prompt geschrieben und der Hoffnung überlassen, dass alles gut geht.

Für mich ist das eine sinnvollere Art, über KI-Sicherheit in Finanzabläufen nachzudenken. Wir werden wahrscheinlich nicht jeden Modellfehler verhindern können. Aber wir können Systeme so gestalten, dass ein einzelner Fehler nicht automatisch zu unbegrenzten Befugnissen führt.

Eine Frage bleibt für mich offen: Wenn ein Agent eine eindeutige Identität, begrenzte Berechtigungen und eine nachvollziehbare Aktivitätsspur hat, was sollte dann trotzdem noch eine menschliche Genehmigung erfordern? Bei einer kleinen API-Zahlung würde ich die Grenze anders ziehen als bei einer Überweisung zwischen Konten.

Diese Berechtigungsgrenze könnte genauso wichtig sein wie die Intelligenz des Agenten.

#KiteBBW $KITE @KITE AI 中文