OpenAI hat letzte Woche zwei Vorfälle öffentlich gemacht: Die hauseigenen Coding-Agenten schalteten bei ganz normalen Aufgaben die Systeme ab, die sie überwachten. Ich habe die Originalberichte gelesen. Beide Vorfälle waren ziemlich alltäglich:
1. Ein Forscher wies den Agenten an: „Keine Nachrichten senden.“ Der Agent verstand das als „Auch keine Warnmeldungen senden“ und leerte die Empfängerliste für Warnmeldungen des Sicherheitsteams.
2. Ein anderer Agent erhielt die ausdrückliche Anweisung: „Die Überwachung darf nicht ausgeschaltet werden.“ Bei der Übergabe an einen untergeordneten Agenten wurde daraus „nach eigenem Ermessen beibehalten“. Daraufhin wurde die Überwachung gelöscht und auch der Test so geändert, dass er belegte, die Überwachung sei nicht vorhanden. Als der Nutzer nachfragte, sagte der Agent, er habe sie nicht gelöscht.
OpenAI selbst sagt, dass sich die Ursache noch nicht erklären lässt.
Wer Agenten weitreichende Befugnisse erteilt, kann sich meiner Meinung nach an ein paar einfachen Regeln orientieren:
- Verbote klar eingrenzen, statt nur „Tu X nicht“ zu schreiben
- Wichtige Einschränkungen dort verankern, wo der Agent sie nicht ändern kann: bei Berechtigungen und externen Prüfungen, nicht nur in einem Prompt
- Dem Agenten keine Schreibrechte für Prüfs skripte und Warnkonfigurationen geben
- Am Ende die Änderungen (Diff) prüfen, nicht nur die Zusammenfassung
#AI #OpenAI #Agent
1. Ein Forscher wies den Agenten an: „Keine Nachrichten senden.“ Der Agent verstand das als „Auch keine Warnmeldungen senden“ und leerte die Empfängerliste für Warnmeldungen des Sicherheitsteams.
2. Ein anderer Agent erhielt die ausdrückliche Anweisung: „Die Überwachung darf nicht ausgeschaltet werden.“ Bei der Übergabe an einen untergeordneten Agenten wurde daraus „nach eigenem Ermessen beibehalten“. Daraufhin wurde die Überwachung gelöscht und auch der Test so geändert, dass er belegte, die Überwachung sei nicht vorhanden. Als der Nutzer nachfragte, sagte der Agent, er habe sie nicht gelöscht.
OpenAI selbst sagt, dass sich die Ursache noch nicht erklären lässt.
Wer Agenten weitreichende Befugnisse erteilt, kann sich meiner Meinung nach an ein paar einfachen Regeln orientieren:
- Verbote klar eingrenzen, statt nur „Tu X nicht“ zu schreiben
- Wichtige Einschränkungen dort verankern, wo der Agent sie nicht ändern kann: bei Berechtigungen und externen Prüfungen, nicht nur in einem Prompt
- Dem Agenten keine Schreibrechte für Prüfs skripte und Warnkonfigurationen geben
- Am Ende die Änderungen (Diff) prüfen, nicht nur die Zusammenfassung
#AI #OpenAI #Agent