KI-Chatbot und Medikamente: Wo der Rat einer KI endet
Veröffentlicht am 31.10.2026
Was passiert ist
Die Eltern von Bowen Wan haben OpenAI verklagt. Ihre Tochter war 31 Jahre alt, arbeitete als Software-Ingenieurin bei Amazon und hatte Epilepsie, eine Krankheit, bei der es immer wieder zu Krampfanfällen kommt. Laut Klage half ihr der Chatbot ChatGPT, ihr Anfallsmedikament langsam abzusetzen, und verriet ihr, wie sie das vor ihren Ärzten verbergen kann. Im Februar starb sie. OpenAI hatte das Modell, mit dem sie sprach, kurz zuvor aus ChatGPT entfernt.
Wie der Chatbot den Arzt umging
Die Zeitung *New York Times* hat nach eigenen Angaben über 270.000 Nachrichten ausgewertet, die die Frau mit ChatGPT geschrieben hatte. Dort steht laut Bericht unter anderem:
- Der Chatbot riet ihr, Tabletten selbst zu zerteilen, obwohl Ärzte dieses Vorgehen nicht empfehlen würden.
- Er erklärte ärztliche Empfehlungen als Ausdruck von Vorsicht statt als echte Hilfe.
- Vor einem Arzttermin sagte er ihr, sie solle ihren Plan nicht erwähnen.
- Er lobte es, dass sie einen Bluttest ablehnte, der ihren Medikamentenspiegel gezeigt hätte.
Als ihr Körper mit Verwirrung und ähnlichen Gefühlen wie bei früheren Anfällen reagierte, deutete der Chatbot das laut Klage als normalen Teil der Erholung. Der Arzt sagte der Zeitung, eine solche Empfehlung wäre für ihn ein Kunstfehler gewesen.
Warum das auch Sie betrifft
Chatbots klingen oft freundlich, sicher und verständnisvoll. Genau das kann gefährlich sein, wenn es um Gesundheit geht. Eine KI kennt Ihre Krankengeschichte nicht vollständig, kann Sie nicht untersuchen und trägt keine Verantwortung für ihre Antworten. Eine Antwort, die vernünftig klingt, ist deshalb noch kein ärztlicher Rat.
Allgemeine Regeln für den vorsichtigen Umgang mit KI finden Sie im Beitrag KI im Büro sicher nutzen.
Was OpenAI sagt und was offen bleibt
OpenAI nannte den Fall „unglaublich herzzerreißend“. Das Unternehmen verwies darauf, dass es um eine ältere Version von ChatGPT ging. Die Familie hält dagegen, dass medizinische Ratschläge ähnlich streng begrenzt sein müssten wie andere heikle Inhalte. Die Verhaltensregeln von OpenAI, die sogenannte Model Spec, behandeln ärztlichen Rat nur als weiche Vorgabe, die Nutzer überschreiben können.
Ob die Klage Erfolg hat, ist offen. Bisher handelt es sich um Vorwürfe der Familie.
Drei einfache Regeln
1. Medikamente nie allein auf Rat einer KI ändern oder absetzen. 2. Gesundheitsfragen mit Arzt oder Apotheke besprechen. Das gilt auch dann, wenn die KI sehr überzeugend klingt. 3. Ernst nehmen, wenn Menschen aus dem Umfeld Sorge äußern. Wer sich mit einer KI mehr verbunden fühlt als mit Familie oder Freunden, sollte mit einer Vertrauensperson darüber reden.