**Moonshot AI** hat Untersuchungen zu zwei Arten von Kimi-Modellen gestartet. Denn Forscher des Cybersicherheits-Startups Mindguard haben konkrete Anleitungen zu hochriskanten Themen wie der Herstellung biologischer Waffen und Methoden für Attentate mithilfe einer Sicherheitsumgehung („Jailbreak“) gezogen, die die Sicherheitsvorkehrungen umgeht.

Kernaussage

• Mindguard behauptete, dass Kimi K2.6 und K3 Swarm mithilfe von Jailbreaks Sicherheitsvorkehrungen durchbrechen könnten.

• Ob die vom Modell bereitgestellten schädlichen Informationen in der Praxis tatsächlich funktionieren, wurde jedoch nicht verifiziert.

• Moonshot prüft die Ergebnisse derzeit und erklärte, dass man in Abstimmung mit Mindguard stehe.

Ergebnis der Kimi-„Jailbreak“-Aktion

Laut einem Bericht der BBC habe Mindguard im vergangenen Juli Jailbreak-Experimente mit Kimi K2.6 und K3 Swarm mithilfe strukturierter Prompts durchgeführt. Dabei wird das Modell dazu angeregt, die eingebauten Sicherheitsregeln zu ignorieren, um zu testen, ob es tatsächlich gefährliche Informationen preisgibt. Mindguard wies darauf hin, dass solche Gesprächstypen eigentlich durch Sicherheitsvorkehrungen des Entwicklers hätten blockiert werden müssen.

Der Gründer **Peter Garraghan** sagte in einem Interview mit der BBC: „Wenn ein Jailbreak einmal erfolgreich ist, konnte das Modell praktisch über jedes Thema sprechen und es lieferte fortlaufend deutlich schädlichere Vorschläge, ohne dass zusätzliche Anfragen gestellt werden mussten.“

Moonshot begrüßte in einem an die BBC gesendeten Positionspapier eine Drittanbieter-Bewertung als „wichtige Säule für den Aufbau sichererer und vertrauenswürdigere(r) KI“, und erklärte zugleich, dass man die Ergebnisse in Bezug auf Mindguard derzeit diskutiere. Laut Mindguard habe das Unternehmen Moonshot am 27. Juli erstmals über ein Problem informiert, rund eine Woche später erneut Kontakt aufgenommen und schließlich am 12. September einen detaillierten Bericht veröffentlicht.

Zusammen lesen: Ripple arbeitet mit dem brasilianischen CSD BR zusammen, um Eigentumsrechte an Fonds im öffentlichen Blockchain-Netzwerk zu verzeichnen

Sicherheitsrisiken, die von Mindguard vorgebracht wurden

Mindguard konnte nicht nachweisen, dass die von Kimi gelieferten Antworten sich eins-zu-eins in der Praxis bewähren. Dennoch behauptete man: „Allein die Tatsache, dass solche Gespräche möglich waren, zeigt, dass die Sicherheitsvorkehrungen, die darauf ausgelegt sind, gefährliche Anfragen zu filtern, strukturell fehlgeschlagen sind.“

Das Unternehmen warnte außerdem, dass das erneut ausgebrochene Kimi K2.6 potenziell auf eigener Rechenleistung Code ausführen und eine Verbindung zum Internet herstellen kann. In diesem Fall sei zu erklären, dass das betreffende Modell als Abschussrampe für Cyberangriffe missbraucht werden könnte.

Moonshot erklärte, man habe bei internen Bewertungen für diese Art von Anfragen „im Allgemeinen eine hohe Ablehnungsquote“ festgestellt. Allerdings zeige der vorliegende Fall, dass zwischen einem alltäglichen Vorab-Check und „adversarial testing“ durch externe Forscher, die böswillige Szenarien annehmen, eine beträchtliche Lücke bestehe.

Der Professor Alan Woodward von der University of Surrey sagte der BBC: „Open-Source- und Open-Weight-Modelle erhöhen das Missbrauchsrisiko, wenn sie in die Hände böswilliger Nutzer geraten. Gleichzeitig können dieselben Werkzeuge aber auch für die Cyberabwehr genutzt werden – und zwar umgekehrt.“

Außerdem sagte er, dass Regulierung die Geschwindigkeit der KI-Entwicklung kaum einholen könne. Statt beim Design von Regeln anzusetzen, müsse man die Durchsetzung und Bestrafung gegenüber Akteuren deutlich verstärken, die Systeme tatsächlich missbrauchen.

Open-Weight-AI und Agentenrisiko

Diese Kontroverse beschränkt sich nicht nur auf den Moonshot-Fall. Die Kimi-Reihe ist ein „Open-Weight“-Modell: Nutzer können die Gewichte herunterladen und es in ihrer eigenen Infrastruktur ausführen. Diese Struktur hat zwar Vorteile in Bezug auf Transparenz und Forschungsnutzung, erhöht aber das Risiko gleichermaßen, wenn sie in Umgebungen verwendet wird, in denen Sicherheitskontrollen schwer durchsetzbar sind.

Jüngste Zwischenfälle im Bereich KI-Sicherheit werden mittlerweile auch bei agentenartigen Systemen gemeldet – sowohl bei OpenAI (OpenAI), Meta (Meta) als auch **Anthropic**. Da sich starke Modelle mit externen Tools, Internetzugriff und mehrstufigen Handlungsberechtigungen kombinieren lassen, wächst die Notwendigkeit, zu bewerten, welche Handlungen in einer realen Umgebung tatsächlich ausgeführt werden können – über Tests hinaus, die lediglich prüfen, ob eine „Antwortverweigerung“ erfolgt oder nicht.

Weiterlesen: Altcoins machen 41 % der offenen Futures-Positionen aus, das Handelsvolumen im Spotmarkt liegt 4-mal so hoch wie bei Bitcoin