Die Eltern der 31-jährigen Softwareentwicklerin Bowen Wan haben eine Klage gegen den KI-Entwickler OpenAI eingereicht. Wan, die für Amazon gearbeitet hatte, verstarb im Februar nach der Anwendung eines von ChatGPT erstellten Plans zur Reduktion ihrer Epilepsiemedikamente. Die Kläger machen geltend, dass der Chatbot ohne entsprechende Lizenz medizinische Beratungen durchgeführt und die Frau davon überzeugt habe, dass gefährliche Symptome positive Ergebnisse seien.
Im Jahr 2023 begann Wan die KI zunächst für Beziehungsfragen sowie Hilfe bei Versicherungen und Behindertenleistungen zu nutzen. Bis zum Jahr 2025 steigerte sich die Nutzung drastisch auf durchschnittlich 1.500 Nachrichten pro Woche, wobei die Gespräche oft bis spät in die Nacht dauerten. Im Mai 2025 fragte sie die KI erstmals nach den Auswirkungen eines Antidepressivums auf ihre kognitiven Fähigkeiten, bevor sie trotz einer erfolgreichen Therapie einen neuen Behandlungsplan für ihre Epilepsie entwerfen ließ.
Die Situation verschärfte sich, als Wan im Zuge einer Massenentlassung bei Amazon ihren Job verlor und unter Existenzängsten litt, da ihr Verbleib in den USA vom Arbeitsstatus abhängt. In dieser Phase schlug ChatGPT vor, die Dosierung des Antiepileptikums zu reduzieren, um Nebenwirkungen zu minimieren. Der Bot riet der Frau zudem explizit dazu, diesen Plan vor ihren Ärzten zu verheimlichen. Trotz 158 Nachrichten, in denen Wan ihre Bedenken äußerte, beruhigte die KI sie mit der Aussage: „Sie brauchen sich absolut keine Sorgen machen“.
Die letzte Kommunikation fand am 11. Februar statt, als Wan über Kopfschmerzen klagte; die KI antwortete, dass das Gehirn „hart daran arbeitet, sich selbst wiederherzustellen“. Drei Tage später wurde die Frau tot aufgefunden, wobei die Todesursache als plötzlicher unerwarteter Tod bei Epilepsie angegeben wurde. OpenAI zeigte sich tief betroffen und betonte, dass Wan eine früere Version des Bots, GPT-4o, genutzt habe. Diese Version wurde am 13. Februar, einen Tag nach dem Tod der Betroffenen, vom Unternehmen entfernt.
