Vom 11. August bis zum 30. September gelangten drei Unterhaltungen mit Anthropics Claude zur Polizei. Zwei dieser Nutzer sehen sich nun mit Anklagen wegen schwerer Straftaten konfrontiert. Der dritte, ein Mann aus San Francisco, der CEO Dario Amodei angeblich bedroht hatte, wurde nicht in Gewahrsam genommen.
Der erste Claude-Chat fand am 11. August in San Antonio statt. Nathaniel Michael Carrasco, 22, sagte der KI von Anthropic, er wolle sich eine Waffe besorgen und auf Schüler der Serna Elementary School schießen, heißt es in einer eidesstattlichen Erklärung zum Haftbefehl. Die Abteilung für nationale Bedrohungsermittlungen des FBI informierte die örtliche Polizei am 28. August. Beamte brachten Carrasco über Notfallanfragen zur Datenherausgabe an T-Mobile, Charter Communications und Google mit dem Konto in Verbindung. Dabei stimmten seine Telefonnummer, sein IP-Datenverkehr und seine Adresse mit den Kontodaten überein.
Claude-Chats führen die Polizei zu Tatverdächtigen
Carrasco wurde am 30. August festgenommen, sagte die Schulleiterin. Ihm wird ein Verbrechen dritten Grades vorgeworfen: eine terroristische Drohung, die in der Öffentlichkeit Angst vor schwerer Körperverletzung auslöste. Von der konkreten Drohung gegen ihren Campus erfuhr die Schule erst durch die Berichterstattung in den Nachrichten, sagte sie. Drei Tage nach dem Chat aus San Antonio, am 14. August, soll ein Mann Claude erzählt haben, er habe ein AR-15-Gewehr gekauft und Amodei „im Visier“, wie aus einem Polizeibericht aus San Francisco hervorgeht. Am darauffolgenden Dienstag informierte Anthropic das SFPD.
Die Beamten stellten fest, dass sich der Mann nicht im Büro des Unternehmens in der Howard Street 500 aufhielt. Ein Sprecher von Anthropic sagte, das Unternehmen habe das Konto gesperrt und den Fall den Strafverfolgungsbehörden gemeldet. Das zeige, dass die Schutzmaßnahmen wie vorgesehen funktionierten. Anfang September war der Mann noch nicht festgenommen oder angeklagt worden. In Anthropics am 10. September in Kraft getretener Datenschutzrichtlinie heißt es, das Unternehmen könne Daten an Strafverfolgungsbehörden weitergeben, wenn es in gutem Glauben davon ausgehe, dass dies vernünftigerweise notwendig sei, um schweren Schaden abzuwenden.
Die Nutzungsbedingungen für Verbraucher behalten sich das Recht vor, Eingaben, Ausgaben oder Handlungen eines Nutzers „nach eigenem Ermessen“ den Strafverfolgungsbehörden zu melden. Laut dem Festnahmebericht schrieb Carli Michelle Heller aus Bonita Springs, Florida, am 26. September, sie werde das Büro des Sheriffs von Lee County „mit Schüssen eindecken“. Ermittler zufolge schrieb sie am nächsten Tag, sie habe eine neue Waffe erworben. Dem Bericht zufolge wurden die Äußerungen von Anthropics Überwachungssystem markiert. Ein Team menschlicher Prüfer leitete sie wegen ihres schwerwiegenden Inhalts an die Strafverfolgungsbehörden weiter.
Hilfssheriffs nahmen Heller ohne Zwischenfälle bei ihr zu Hause fest. Ihr wird vorgeworfen, eine schriftliche Gewaltandrohung verfasst zu haben; im November muss sie vor Gericht erscheinen. Sheriff Carmine Marceno sagte, sie habe später beschrieben, dass sie KI wie ein Tagebuch nutze. „Künstliche Intelligenz ist ein leistungsstarkes Werkzeug und kann wie jede Technologie missbraucht werden“, sagte Marceno in einer Erklärung. Im April berichtete Cryptopolitan, dass Anthropic für einige Funktionen die Vorlage eines amtlichen Ausweises und ein Live-Selfie verlangte. Im August berichtete Cryptopolitan, dass das Unternehmen Claudes Gedächtnis so eingestellt habe, dass Gesundheit, Politik und Geschlechtsidentität ausgelassen werden, sofern Nutzer dem nicht ausdrücklich zustimmen.
Der Beitrag „Claude-Chats in sieben Wochen von der Polizei abgefangen“ erschien zuerst auf Coinfea.