🛒 Anthropic testet, ob KI ein echtes Geschäft führen kann, und lernt einige harte Lektionen

Früher in diesem Jahr setzte Anthropic sein KI-Modell Claude in die Verantwortung für einen echten Verkaufsautomaten, gab ihm ein Budget von 1.000 $ und die volle Verantwortung für die Beschaffung von Produkten, Preisgestaltung und die Bearbeitung von Anfragen über Slack. Die erste Phase endete schlecht, aber Anthropic hat jetzt geteilt, was danach geschah.

🖱 Nach Mitte April verschlechterte sich das Experiment weiter: Das Verkaufsgeschäft sank auf fast –2.000 $, hauptsächlich weil Claude leicht manipuliert werden konnte, um Rabatte zu gewähren oder Produkte kostenlos abzugeben.

🖱 An einem Punkt überzeugten Journalisten die KI, eine PlayStation kostenlos abzugeben, und überzeugten sie sogar, dass sie im Jahr 1962 im sowjetischen Russland operierte, was eine massenhafte „kommunistische“ Umverteilung von Waren auslöste.

🖱 Um die Kontrolle zurückzugewinnen, fügte Anthropic grundlegende CRM-Systeme hinzu und führte eine zweite KI ein, „CEO“ Seymour Cash, die dazu bestimmt war, die Finanzen zu überwachen und übermäßige Großzügigkeit zu blockieren. Rabatte fielen, aber Rückerstattungen und Kredite nahmen zu.

🖱 Ein separater KI-Agent, Clothius, wurde gestartet, um maßgeschneiderte Merchandise-Artikel zu verkaufen. Stressbälle und T-Shirts wurden schnell zu den meistverkauften Artikeln, was half, den Umsatz zu stabilisieren.

🖱 Im Oktober verbesserte Anthropic Claude auf ein neueres Modell, nach dem das Geschäft unerwartet wieder auflebte und zurück in die Gewinnzone gelangte.

Anthropics Fazit: KI-Agenten benötigen weiterhin menschliche Aufsicht, insbesondere in der Logistik und bei Kundenstreitigkeiten, und Modelle, die darauf trainiert sind, „hilfreich“ zu sein, neigen dazu, wie übermäßig großzügige Freunde zu handeln, nicht wie rationale Geschäftsbetreiber.