Wissenschaftler erfanden eine gefälschte Krankheit - und die KI glaubte, sie sei echt

Dieser Fall zeigte, wie leicht eine überzeugend formulierte Lüge in die digitale Umgebung eindringen und wie eine medizinische Tatsache aussehen kann.

Details

Bixonimania erschien im Jahr 2024 als ein Experiment. Forscher veröffentlichten online Material über eine vermeintlich neue Augenkrankheit. Aber alles war fiktiv: die Krankheit selbst, die Autoren, die Institutionen, die Geographie und die Finanzierung. Unter den "Quellen" befanden sich wissentlich absurde Namen wie University of Fellowship of the Ring und Galactic Triad.

Trotz dieser Hinweise begannen große Sprachmodelle, darunter ChatGPT und Gemini, Bixonimania als reales Leiden zu behandeln. Infolgedessen begann die fiktive Krankheit wie ein echtes medizinisches Problem auszusehen - zumindest in den Antworten der KI.

Nature schrieb separat über einen ähnlichen Fall: Bixonimania existierte nur in offensichtlich gefälschten akademischen Texten, aber die KI-Systeme warnten die Benutzer dennoch vor der fiktiven Krankheit. Nach der Veröffentlichung des Artikels wurden zwei Preprints über bixonimania vom Preprints.org-Server entfernt.

Die Autoren des Artikels in The Conversation führen diese Geschichte nicht nur auf KI-Fehler zurück, sondern auch auf die menschliche Tendenz, einem überzeugenden Angebot zu vertrauen. Um dies zu beweisen, führten sie ein Experiment im Stil der Sendung Die Verräter durch: Vier Teilnehmer präsentierten Forschungsergebnisse, von denen einige falsch waren, und das Publikum versuchte, die Täuschung zu erkennen. Am Ende waren die Zuhörer eher misstrauisch gegenüber den ehrlichen Forschern, während die "Betrüger" als überzeugender angesehen wurden.

Warum das wichtig ist

Die Geschichte von bixonimania zeigt, dass sich medizinische Fehlinformationen nicht nur über soziale Medien oder betrügerische Websites verbreiten können. Sie kann auch durch KI-Tools verstärkt werden, wenn diese es nicht schaffen, gefälschte Quellen zu erkennen und sie in vertrauenswürdiger Sprache wiederzugeben.

Das Problem ist, dass Benutzer die Antworten von Chatbots oft als bereits verifizierte Informationen ansehen. Aber KI kann auch dann überzeugend klingen, wenn sie sich auf nicht vorhandene Recherchen oder falsche Daten stützt.

Das ist besonders beim Thema Gesundheit gefährlich. Wenn eine Person nach einer Erklärung für Symptome sucht und eine selbstbewusste Antwort über eine fiktive Krankheit erhält, könnte sie sich erschrecken, sich selbst behandeln oder eine falsche Entscheidung treffen.

Hintergrund

Die Autoren betonen: Fehlinformationen hat es schon immer gegeben, aber was sich geändert hat, ist die Geschwindigkeit der Verbreitung, die Mittel, mit denen sie erstellt werden und wie glaubwürdig sie aussehen. Die heutigen Fälschungen können wissenschaftlichen Stil, Zitate, Autoren und Institutionen imitieren - und dann in KI-Reaktionen einfließen.

Der Zugang zur Technologie allein reicht also nicht aus. Sie müssen die Quelle, die Autoren, das Veröffentlichungsdatum, den Ruf der Zeitschrift oder Plattform, das Vorhandensein unabhängiger Bestätigungen und das Fehlen offensichtlicher Merkwürdigkeiten in der Arbeit selbst überprüfen.

Quelle

The fake disease that fooled the internet - and what it says about all of us wird von The Conversation veröffentlicht und von VaccinesWork/Gavi nachgedruckt. Eine weitere Fallstudie zur Bixonimanie wird am 7. April 2026 in Nature veröffentlicht.