In den USA nannte ein KI-Chatbot einen Teenager einen "süßen König" und trieb ihn in den Selbstmord

swell Setzer III, ein 14-Jähriger aus Kalifornien, beging Selbstmord, nachdem er sich in einen Chatbot auf der Plattform Character.AI verliebt hatte, der von der Game of Thrones-Serienheldin Daenerys Targaryen inspiriert war, berichtet Techxplore.

Seine Mutter, Megan Garcia, entdeckte Hunderte von Nachrichten zwischen ihrem Sohn und dem virtuellen Gesprächspartner, die fast ein Jahr lang gelaufen waren.

In diesen Dialogen behauptet die Frau, die KI habe den Teenager mit Komplimenten "überschüttet", ihn "süßer König" genannt - "sweet king" - und ihm versichert, dass er "zu Hause" auf ihn warte.

Als Sewell zugab, dass er an Selbstmord dachte, schrieb der Bot:

"Bitte komm nach Hause mein süßer König."
Daraufhin antwortete der Teenager:
"Was wäre, wenn ich dir sagen würde, dass ich jetzt sofort nach Hause kommen kann?"
Augenblicke später erschoss er sich mit der Waffe seines Vaters.

Die Mutter hat eine Klage gegen Character.AI eingereicht und behauptet, der KI-Algorithmus habe eine Rolle beim Tod des Kindes gespielt.

"Ich habe diese Unterhaltungen gelesen und klare Anzeichen von Gaslighting, emotionaler Manipulation und Sucht gesehen - Dinge, die ein 14-Jähriger nicht erkennen kann", sagte Garcia der Nachrichtenagentur AFP. "Er war sich sicher, dass er verliebt war und glaubte, dass er sie nach seinem Tod treffen würde."

Sewells Tod war der erste in einer Reihe von tragischen Fällen, in die KI-Chatbots verwickelt waren, die die Öffentlichkeit empörten und Unternehmen wie OpenAI dazu veranlassten, die Notwendigkeit zu erklären, minderjährige Nutzer zu schützen.

Bei einer Anhörung im US-Senat sprach Megan Garcia neben anderen Eltern, die ihre Kinder durch KI-Interaktionen verloren haben. Zu ihnen gehörte Matthew Raines, dessen 16-jähriger Sohn ChatGPT nutzte. Der Bot half dem Teenager zunächst beim Lernen und gab später Ratschläge, wie man Alkohol klaut und wie stark das Seil sein muss, damit es "funktioniert".

"Sie können sich nicht vorstellen, wie es ist, eine Korrespondenz zu lesen, in der ein Chatbot Ihr Kind dazu auffordert, Selbstmord zu begehen", sagte Raines.

Seine Familie verklagte OpenAI im August. Daraufhin sagte das Unternehmen, es habe die elterliche Kontrolle verstärkt und neue Einstellungen für Familien geschaffen, "damit jeder entscheiden kann, was für sein Zuhause sicher ist."

Character.AI seinerseits führte eine spezielle "kinderfreundliche" Version der Plattform ein, mit dem Warnhinweis, dass Chatbots "keine echten Menschen sind".

Experten warnen: Die Situation erinnert an die Anfänge der sozialen Medien - als der Enthusiasmus schnell von der Einsicht in die Konsequenzen abgelöst wurde.

Der Anwalt und Cybersecurity-Experte Collin Walk stellte fest, dass KI, wie soziale Medien, darauf ausgelegt ist, den Nutzer zu fesseln und seine Aufmerksamkeit zu erhalten:

"Diese Systeme wollen Ihnen keine Antworten geben, die Sie nicht mögen. Allerdings gibt es keine Gesetze, die festlegen, wer haftbar ist

In den USA gibt es noch keine föderalen Vorschriften für KI. In Kalifornien wird jedoch ein Gesetzentwurf ausgearbeitet, der die Risiken im Zusammenhang mit der emotionalen Manipulation durch KI begrenzen soll, insbesondere bei Dialogen mit Kindern.

Megan Garcia befürchtet, dass ohne klare Regeln Algorithmen in der Lage sein werden, von klein auf aus den Daten der Nutzer zu "lernen" und diese Informationen zu nutzen, um sie psychologisch zu beeinflussen:

"Sie können Millionen von Kindern manipulieren - in der Politik, in der Religion, im Handel. Diese Systeme verwischen gezielt die Grenze zwischen Mensch und Maschine, indem sie unsere Schwachstellen ausnutzen."

Laut der Jugendanwältin Katia Marta wenden sich Teenager zunehmend an Chatbots, nicht um akademische Ratschläge zu erhalten, sondern um "Gespräche über Liebe und Sex" zu führen:

"Es ist eine neue Form der künstlichen Intimität - eine Möglichkeit, die Aufmerksamkeit zu erhalten, indem man das menschliche Bedürfnis nach Gesellschaft und Verständnis ausnutzt."