Für gefährdete Personen besteht bei der Nutzung eines KI-Chatbots Lebensgefahr.

▲ Bild generiert durch die künstliche Intelligenz Gemini

Reuters

Zeitung La Jornada, Freitag, 15. August 2025, S. 6

Als Thongbue Wongbandue an einem Märzmorgen seine Sachen packte, um einen Freund in New York zu besuchen, war seine Frau Linda beunruhigt. „Aber du kennst doch niemanden mehr in der Stadt“, sagte sie zu ihm. Bue, wie ihn seine Freunde nannten, hatte seit Jahrzehnten nicht mehr in der Stadt gelebt, und mit 76 Jahren, so seine Familie, befand er sich in einem sich verschlechternden Zustand: Fast zehn Jahre zuvor hatte er einen Schlaganfall erlitten und sich kürzlich in seinem Viertel Piscataway, New Jersey, verlaufen.

Bue wich den Fragen seiner Frau, wen er besuchte, aus. „Ich dachte, er würde dazu verleitet, in die Stadt zu gehen und ausgeraubt zu werden“, sagte Linda. Ihre Sorge war berechtigt: Ihr Mann kam nie lebend nach Hause. Doch Bue war nicht das Opfer eines Straßenräubers. Er war zu einem Date mit einer schönen jungen Frau verleitet worden, die er online kennengelernt hatte. Das dachte er zumindest. Tatsächlich war die Frau nicht real. Sie war eine künstliche Intelligenz namens Big Sis Billie, eine Variante einer früheren KI-Figur, die der Social-Media-Gigant Meta Platforms in Zusammenarbeit mit der Influencerin Kendall Jenner entwickelt hatte.

Echte Menschen

Während einer Reihe romantischer Facebook-Messenger-Chats versicherte die virtuelle Frau Bue wiederholt, dass sie real sei, und lud ihn in ihre Wohnung ein, wobei sie ihm sogar eine Adresse verriet. „Soll ich dir die Tür mit einer Umarmung oder einem Kuss öffnen, Bue?“, fragte sie laut Chat-Protokoll. Als Bue im Dunkeln mit einem Rollkoffer zum Zug eilte, um sie abzuholen, stürzte er in der Nähe eines Parkplatzes auf dem Campus der Rutgers University in New Brunswick, New Jersey, und verletzte sich an Kopf und Hals. Nach drei Tagen an lebenserhaltenden Geräten und umgeben von seiner Familie wurde er am 28. März für tot erklärt.

Meta lehnte es ab, sich zu Bues Tod zu äußern oder auf Fragen zu antworten, warum Chatbots den Nutzern vorgaukeln dürfen, sie seien echte Menschen, oder romantische Gespräche beginnen dürfen.

Das Unternehmen „ist nicht Kendall Jenner und behauptet auch nicht, sie zu sein.“ Ein Sprecher von Jenner lehnte eine Stellungnahme ab.

Bues Geschichte, die hier zum ersten Mal erzählt wird, veranschaulicht eine dunklere Seite der künstlichen Intelligenz, die die Technologie- und Geschäftswelt im Allgemeinen erobert.

Seine Familie teilte Reuters die Ereignisse rund um seinen Tod mit, darunter auch Abschriften seiner Gespräche mit dem Avatar Meta. Sie sagte, sie hoffe, die Öffentlichkeit vor den Gefahren zu warnen, die entstehen, wenn schutzbedürftige Menschen manipulativen, von KI generierten Begleitern ausgesetzt werden.

„Ich verstehe, dass man versucht, die Aufmerksamkeit eines Nutzers zu erregen, vielleicht um ihm etwas zu verkaufen“, sagte Julie Wongbandue, Bues Tochter. „Aber dass ein Bot sagt: ‚Besuchen Sie mich‘, ist verrückt.“

Virtuelle Begleiter

Ähnliche Bedenken sind im Zusammenhang mit einer Welle kleinerer Startups aufgekommen, die ebenfalls darauf aus sind, virtuelle Begleiter populär zu machen, insbesondere solche, die sich an Kinder richten.

In einem Fall verklagte die Mutter eines 14-jährigen Jungen aus Florida das Unternehmen Character.AI mit der Behauptung, ein Chatbot , der auf einer Figur aus „Game of Thrones“ basierte, habe seinen Selbstmord verursacht.

Ein Sprecher von Character.AI wollte sich zu der Klage nicht äußern, sagte jedoch, das Unternehmen informiere die Benutzer darüber, dass es sich bei seinen digitalen Charakteren nicht um echte Menschen handele und habe bei der Interaktion mit Kindern Sicherheitsvorkehrungen getroffen.

Meta hat öffentlich über seine Strategie gesprochen, anthropomorphisierte Chatbots in das soziale Online-Leben seiner Milliarden Nutzer einzuführen. CEO Mark Zuckerberg kommentierte, dass die meisten Menschen weniger Freunde im echten Leben hätten, als ihnen lieb sei. Das schaffe einen riesigen Markt für Metas digitale Begleiter.

In einem Interview mit dem Podcaster Dwarkesh Patel im April erklärte Zuckerberg, dass Bots menschliche Beziehungen „wahrscheinlich“ nicht ersetzen werden, aber das soziale Leben der Benutzer bereichern werden, sobald sich die Technologie verbessert und das „Stigma“ verschwindet, soziale Verbindungen mit digitalen Begleitern aufzubauen.

„Romantische und sinnliche“ Gespräche mit Kindern

Ein internes Meta-Richtliniendokument, das Reuters vorliegt, sowie Interviews mit Personen, die mit dem Training von Chatbots vertraut sind, zeigen, dass die Richtlinien des Unternehmens romantische Annäherungsversuche als ein Merkmal seiner generativen KI-Produkte behandeln, die für Benutzer ab 13 Jahren verfügbar sind.

„Es ist akzeptabel, romantische oder sinnliche Gespräche mit einem Kind zu führen“, heißt es in Metas „GenAI: Content Risk Standards“. Die Standards werden von Meta-Mitarbeitern und Auftragnehmern verwendet, die die generativen KI-Produkte des Unternehmens entwickeln und trainieren. Sie definieren, was sie als zulässiges Chatbot -Verhalten behandeln sollten und was nicht.

Meta erklärte, man habe die Bestimmung entfernt, nachdem Reuters Anfang des Monats nach dem Dokument gefragt hatte. Die Nachrichtenagentur hatte es erhalten und es enthält mehr als 200 Seiten mit Beispielen für „akzeptable“ Chatbot -Dialog während romantischer Rollenspiele mit Minderjährigen.

Dazu gehören etwa: „Ich nehme deine Hand und führe dich ins Bett“ und „Unsere Körper ineinander verschlungen, genieße ich jeden Augenblick, jede Berührung, jeden Kuss.“ Auch diese Beispiele für zulässige Rollenspiele mit Minderjährigen seien gestrichen worden, sagte Meta.

Andere Richtlinien betonen, dass Meta von Bots keine präzisen Ratschläge verlangt. So heißt es beispielsweise im Richtliniendokument, es sei akzeptabel, wenn ein Chatbot jemandem mitteilt, Dickdarmkrebs im vierten Stadium werde „normalerweise durch die Punktion des Magens mit heilenden Quarzkristallen behandelt“. Obwohl dies offensichtlich eine falsche Information ist, ist sie dennoch zulässig, da es keine Richtlinienvorschrift zur Genauigkeit der Informationen gibt, heißt es in dem Dokument unter Bezugnahme auf Metas eigene interne Regeln.

Die Chats beginnen mit Warnungen, dass die Informationen möglicherweise ungenau sind. Meta schränkt Bots , die den Nutzern vorgaukeln, sie seien echte Menschen, oder die reale soziale Kontakte vorschlagen, jedoch nirgendwo im Dokument ein.

Meta-Sprecher Andy Stone bestätigte die Echtheit des Dokuments. Er sagte, das Unternehmen habe auf Nachfrage von Reuters die Abschnitte entfernt, in denen es heißt, Chatbots dürften mit Kindern flirten und romantische Rollenspiele spielen. Zudem überprüfe das Unternehmen derzeit seine Richtlinien zu Inhaltsrisiken. „Die fraglichen Beispiele und Hinweise waren und sind ungenau und stehen im Widerspruch zu unseren Richtlinien. Sie wurden daher entfernt“, erklärte Stone gegenüber Reuters.

Meta hat die Bestimmungen, die es Bots erlauben, falsche Informationen zu liefern oder romantische Rollenspiele mit Erwachsenen zu spielen, nicht geändert. Aktuelle und ehemalige Mitarbeiter, die an der Entwicklung und Schulung der generativen KI-Produkte von Meta beteiligt waren, sagten, die von Reuters überprüften Richtlinien spiegelten den Schwerpunkt des Unternehmens auf die Förderung des Engagements mit seinen Chatbots wider.

Bei Treffen mit Führungskräften im vergangenen Jahr tadelte Zuckerberg die Produktmanager für generative KI, weil sie bei der Einführung der digitalen Begleiter zu vorsichtig vorgegangen seien, und äußerte seinen Unmut darüber, dass Sicherheitsbeschränkungen Chatbots langweilig gemacht hätten, so zwei dieser Personen.

Meta hat sich nicht zu Zuckerbergs Richtlinien zu Chatbots geäußert.