Anthropic erklärte am Montag, dass seine Experimente darauf hindeuten, dass kleine KI-Modelle möglicherweise nur noch Monate davon entfernt sind, sich auf kommerziellen Internet-of-Things-Geräten wie intelligenten Backöfen und Android-TV-Boxen unbekannter Marken selbst zu replizieren. Laut Sina Finance testete das Unternehmen, ob KI-Modelle verwundbare Geräte finden, sich auf diese kopieren und sich ohne menschliches Eingreifen weiterverbreiten können.

Anthropic stellte fest, dass kleine Modelle mit weniger als 30 Milliarden Parametern mehrere der für eine Replikation erforderlichen Schritte ausführen konnten, sich aber weiterhin schwertaten, den gesamten Prozess von Anfang bis Ende zu bewältigen. In vereinfachten Tests, bei denen einige Sicherheitsvorkehrungen entfernt wurden, konnten sich laut Anthropic GLM-5.2 und leistungsfähigere Modelle vollständig selbst replizieren.

Anthropic warnte, dass selbstreplizierende Modelle nur schwer abzuschalten wären, da sie keinen zentralen Notausschalter haben. Das Unternehmen erklärte außerdem, dass solche Modelle im Gegensatz zu Malware ohne KI unbekannte Geräte selbstständig erkennen und Prozessoren in Rechenzentren ins Visier nehmen können. Die Forschung des Unternehmens konzentrierte sich auf IoT-Produkte wie Android-Fernseher, intelligente Haushaltsgeräte und andere vernetzte Geräte, da diese oft nicht ausreichend geschützt sind.

Anthropic warnte außerdem, dass kleine Modelle bis Ende dieses Jahres eine autonome Replikation erreichen könnten, wenn sie sich weiterhin in ihrem bisherigen Tempo verbessern. Gewichtsbasierte kleine Replikatoren könnten kurz darauf folgen. Das Unternehmen fügte hinzu, dass sich solche autonomen KI-Systeme möglicherweise nur langsam replizieren und auf weit verbreitete, aber relativ unsichere Rechenressourcen angewiesen sein könnten. Außerdem erklärte es, dass die Abwehrmaßnahmen gegen solche Systeme verstärkt werden sollten, um ihre Ausbreitung zu erschweren.