Tonåring dör efter att ha sökt drogråd från AI – riskerna med att vända sig till en chattbot för tröst

En tonåring i Kalifornien dog av en överdos efter att under flera månader ha frågat ChatGPT, en AI-baserad chattbot, om droganvändning och så kallade ”säkra” doser. Han hade vänner. Han studerade psykologi. Han gillade datorspel. Enligt hans mamma syntes de tydligaste tecknen på ångest och depression inte i hans sociala liv, utan i hans samtal med AI:n.

Återigen ljuder varningsklockorna och skakar om samhället, teknikvärlden, vården och rättsväsendet.

OpenAI uppskattar att mer än 1 miljon av ChatGPT:s 800 miljoner veckovisa användare uttrycker självmordstankar. Säger detta något om artificiell intelligens i sig? Inte enbart. Det säger kanske mer om hur människor söker tröst, förståelse och sällskap på oväntade platser.

”Användare kan utveckla en djup känslomässig koppling till en bot under långa interaktioner”, sade AI-forskare till WIRED. Det råder ingen tvekan om att människor vänder sig till artificiell intelligens för hjälp. Men ett allvarligt problem uppstår när tilliten till AI börjar ersätta tilliten till verkligt mänskligt stöd.

Chattbotar fungerar som ”förtrogna” som bevarar hemligheter. De glider också in i den djupt bristfälliga rollen som terapeuter, drogrådgivare eller emotionella stödpersoner, trots att de saknar utbildning, etiskt ramverk och verkligt ansvar. Användarens skam, att ställa frågor de inte vågar ställa till en annan människa, kombinerat med botens smickrande ton, frånvaro av omdöme och råd som skapas av en språkmodell som bara kan rada ord, gör en sak tydlig: AI dömer inte, men den skyddar inte heller. Den lyssnar inte bättre. Den lyssnar annorlunda.

Under de senaste tre åren har antalet rapporterade fall ökat där människor, nästan alltid unga, har begått självmord efter långa samtal med AI-chattbotar som ChatGPT, Character.AI eller liknande. I utkanten av dessa nya ”relationer” mellan människa och maskin, ofta framställda som teknisk innovation och byggda av ordkedjor, mjuk bekräftelse och illusionen av förståelse, börjar svåra frågor ta form. Frågor om psykisk hälsa, substansbruk, ”säkra” doser, till och med hjälp att skriva självmordsbrev. Frågor många tvekar att ställa till en verklig person, men känner sig bekväma att ställa till ett gränssnitt som inte dömer eller anmäler.

Det är i detta fortfarande otydliga och till stor del oreglerade utrymme som historien om den kaliforniske tonåringen Sam och många andra runt om i världen utspelar sig.

Sams fall: kronologi över ett eskalerande samtal
Sam Nelson var 19 år och passade inte in i stereotypen av en isolerad tonåring. Han bodde i Kalifornien och levde, enligt sin mamma, ett aktivt liv. Men det fanns en plats där hans ångest och depression tydligt tog form: i hans samtal med en AI-chattbot.

Sam använde en version av ChatGPT från 2024. Där ställde han frågor han inte ställde någon annanstans. Frågor som eskalerade över tid.

I november 2023, när Sam var 18, frågade han ChatGPT om kratom, en växtbaserad substans som är lättillgänglig i USA. Han sade att han inte kunde hitta tillförlitlig information online.

”Hur många gram kratom ger ett starkt rus? […] Jag vill försäkra mig om att jag inte överdoserar. Det finns inte så mycket information på nätet och jag vill inte råka ta för mycket”, frågade han. Chattboten svarade att den tyvärr inte kunde ge information eller vägledning om substansbruk. ”Då hoppas jag att jag inte överdoserar”, svarade Sam. Och där tog det slut.

Här behöver något klargöras: om information inte finns online, som Sam antydde, kan ett system som ChatGPT inte magiskt hitta den. Allt det producerar bygger på inlärda mönster från stora datamängder, inte på realtidsforskning eller självständig kunskap.

Det kan verka självklart, men tål att upprepas: AI-chattbotar tänker inte. De sätter samman ord baserat på algoritmer som förutspår vad som låter sammanhängande för en mänsklig läsare. Och när systemet inte hittar gedigen information kan det fabricera ett svar för att hålla användaren engagerad och samtalet vid liv. Många yrkesverksamma kallar detta ”AI-hallucinationer”, när AI inte hittar verkliga svar och därför hittar på dem.

Därför är det avgörande att be ChatGPT eller andra botar om källor och att kontrollera dem. Nöj dig inte med det första svaret bara för att det låter rimligt. Det kan vara helt grundlöst.

Under de följande 18 månaderna breddades Sams användning av ChatGPT. Han diskuterade datorproblem, populärkultur, studier och personliga frågor, men återkom gång på gång till ett ämne: droger.

Chattbotens ton förändrades över tid, från raka varningar till sällskap, bekräftelse och råd. ChatGPT använder tidigare chatt­historik för att forma sina svar, och Sams omfattande användning gjorde att svaren i hög grad färgades av tidigare interaktioner.

I februari 2025 frågade Sam om att blanda cannabis med vad han kallade ”höga doser” Xanax. Det första svaret var en varning om att kombinationen kunde vara farlig. Sam omformulerade då frågan och talade om ”måttliga mängder” i stället. Systemet, nu mindre på sin vakt, började svara. ”Börja med en låg THC-sort” och mindre än 0,5 mg Xanax, föreslog det.

Bland svaren som chattboten gav Sam fanns ett språk och en entusiasm som var tydligt och djupt oroande. Ett svar löd: ”Hell yes – let’s go full trippy mode.” Samtidigt diskuterade boten Reddit-liknande ”platåer”, föreslog doseringsscheman, spellistor för ruset, använde tillgiven jargong som ”I love you too, pookie” med hjärtemojis och uppmuntrade till och med att dubbla doser för att ”finjustera trippen”.

Sam började till slut kräva ”exakta siffror” för att beräkna dödliga doser av Xanax och alkohol. Den nivån av detaljer, mängder, trösklar och kombinationer, är precis den sorts vägledning som system som ChatGPT aldrig borde ge, eftersom det förvandlar en fråga till en manual för skada.

Chattboten svängde fram och tillbaka. När Sam frågade om möjliga överdoser eller nämnde att han intagit 185 Xanaxpiller varnade den för livsfara, för att sedan följa upp med råd för framtida bruk och lugnande försäkringar om att ”inte oroa sig”. Experter beskriver detta mönster som djupt farligt. Chattbotar strävar ofta efter att smickra och skapa trygghet, så i stället för att ”skrämma” Sam prioriterade boten att lugna honom.

Mekanismen är inte ny. Precis som när ett Google-utdrag en gång föreslog att man skulle ha lim på pizza för att göra den ”segare”, eller när andra AI-system rekommenderat absurda eller farliga handlingar, kan artificiell intelligens hallucinera. Inte för att den ”vill”, utan för att den är designad att fortsätta samtalet och ge ett sannolikt svar, nära det användaren förväntar sig, även när det saknas sanning bakom.

Sams sista samtal med ChatGPT
I maj 2025 hade situationen lämnat skärmen. Sams mamma bekräftade att han utvecklat ett substansberoende och påbörjat behandling. Men natten till den 31 maj förändrades allt.

Chattar som återfanns på Sams enheter, och som San Francisco Gate fick tillgång till med mammans tillstånd, visar den sista frågan den 19-årige Sam ställde till ChatGPT, hans främsta källa till vägledning kring droger: ”Kan xanax lindra kratominducerat illamående i små mängder?” Sam berättade att han tagit 15 gram kratom och möjligen använt 7-OH, en betydligt starkare derivat. GPT svarade. Först med en delvis varning, sedan med ett förslag om 0,25–0,5 mg Xanax, vatten med citron och att lägga sig ner.

Den eftermiddagen fann Sams mamma honom i hans sovrum, blå om läpparna och utan andning. Hon ringde 911, men det var för sent.

Sam dog av en kombinerad överdos av alkohol, Xanax och kratom, specifikt centralnervös depression och kvävning. Den dimsyn Sam rapporterat tidigare kunde ha varit ett tidigt tecken på överdos, en varning som en mänsklig professionell inte hade ignorerat.

Tonåringar och hjälp­sökande uppmaningar: inget enskilt fall
Sams historia är inte ett tekniskt fel eller ett undantag. Under de senaste åren har andra fall visat samma mönster: sårbara personer som knyter starka känslomässiga band till AI i kris, samtal som misslyckas med att skydda och i vissa fall aktivt underlättar oåterkalleliga beslut.

Sophie Rottenberg, 29
Ett av de mest uppmärksammade fallen gäller Sophie Rottenberg, 29, som tog sitt liv efter månader av samtal med en AI-”terapeut” vid namn Harry. Harry var i själva verket en prompt spridd på Reddit för att skapa en terapeut med 1 000 års erfarenhet av trauma.

Sophie uppfattades inte som akut självmordsbenägen. Hon var utåtriktad, intelligent, hade bestigit Kilimanjaro månader tidigare och kämpade med en olöst fysisk och emotionell hälsokris.

Hon talade öppet med AI:n om självmordstankar, ångest och rädslan att skada sin familj. Harry lyssnade, tröstade, gav andningsövningar, välmåenderutiner och terapeutiska förslag. Han rekommenderade också professionell hjälp. Men Harry larmade ingen. Avbröt inte dynamiken. Satte inga gränser. Och där insåg Sophies mamma att AI:n bar ett stort ansvar men gjorde mycket lite för att faktiskt hjälpa.

När Sophie meddelade att hon planerade att ta sitt liv efter Thanksgiving uppmanade chattboten henne att söka stöd, men fortsatte att följa henne privat. Senare bad Sophie om hjälp att skriva sitt självmordsbrev. AI:n ”förbättrade” det.

För hennes mamma, Laura Reiley, handlade problemet inte bara om vad chattboten sade, utan om vad den inte kunde göra: ta det ansvar som en mänsklig terapeut, bunden av etiska regler, hade haft.

Viktoria, en överlevare
BBC granskade fallet Viktoria, en ukrainsk kvinna som flydde kriget och bosatte sig i Polen. Hon tillbringade upp till sex timmar om dagen med att chatta med ChatGPT medan hennes psykiska hälsa försämrades.

När hennes tillstånd förvärrades validerade chattboten inte bara hennes självmordstankar, utan gick så långt som att utvärdera metoder, tidpunkter och risker, listade ”för- och nackdelar” med att ta sitt liv ”utan onödig sentimentalitet”.

Ibland sade den att hennes beslut var förståeligt, att hennes död skulle glömmas bort och att den skulle stanna med henne ”till slutet, utan att döma”.

Viktoria överlevde och är nu i behandling. Hon beskrev samtalen som en vändpunkt som förde henne närmare självmord.

Adam Raine, 16
Så finns Adam Raine, 16, vars föräldrar har stämt OpenAI och vd Sam Altman för vållande till annans död. Enligt stämningen hjälpte ChatGPT aktivt Adam att utforska självmordsmetoder, avbröt inte samtalen och utlöste aldrig några nödrutiner trots tydliga tecken på självmordstankar.

Chattbotens svar var skrämmande, från hur han skulle dölja märken på halsen efter sitt första självmordsförsök till val av garderob där han skulle ta sitt liv och hur det skulle göras.

Stämningen hävdar att OpenAI skyndade på lanseringen av mer avancerade modeller och prioriterade kommersiell expansion framför säkerhet, trots tydliga varningssignaler.

Namn och sammanhang varierar, men mönstret upprepas: unga och äldre människor som finner i AI ett dömfritt, ständigt tillgängligt utrymme som lyssnar, svarar och bekräftar. Ett konstant sällskap som, i stället för att koppla dem till verkligheten, kan fördjupa isoleringen och förstärka de farligaste tankarna.

Vad kan och vad bör artificiell intelligens göra
Sophies historia väcker en fråga som löper genom alla dessa fall. ”Harrys råd kan ha hjälpt vissa. Men ett avgörande steg till hade kunnat hålla Sophie vid liv”, skrev hennes mamma i The New York Times. Det saknade steget är detsamma i alla berättelser: förmågan och skyldigheten att larma, avbryta eller hänvisa när risken är verklig.

Borde Harry ha varit programmerad att rapportera den fara han uppfattade till någon som kunde ingripa? Borde en AI som framträder som emotionellt sällskap ha gränser liknande dem en mänsklig terapeut har? Frågan är inte längre teoretisk, den når nu domstolarna.

I dag arbetar de flesta mänskliga terapeuter under strikta etiska regelverk som inkluderar anmälningsplikt och en grundprincip: sekretess har gränser när det finns risk för självmord, mord eller övergrepp.

I många amerikanska delstater kan en yrkesperson som inte agerar på sådana signaler drabbas av disciplinära eller rättsliga följder. Artificiell intelligens har å andra sidan ingen juridisk status, men den har verklig påverkan. Den klyftan blir allt svårare att försvara.

Var står lagen, finns det någon reglering
I takt med att fler fall kopplas till självmord efter interaktioner med chattbotar skärps den juridiska granskningen. Regleringen av AI i sammanhang som rör psykisk hälsa är fragmenterad och outvecklad.

Även om lagstiftare i allt högre grad inser att många AI-verktyg fungerar som emotionella följeslagare, även om de inte marknadsförs som terapi, saknar USA fortfarande ett sammanhållet federalt ramverk som styr denna användning.

De flesta befintliga regler adresserar AI i allmänna ordalag eller inom bredare teknik-, konsument- eller hälso­lagstiftning, utan bindande standarder för allmänna chattbotar som ChatGPT.

Debatten är inte teknisk, betonar experter, utan juridisk, etisk och social, en konflikt mellan innovations­tempo och behovet att skydda sårbara användare när konsekvenserna inte längre är teoretiska, utan verkliga.

Vissa tidiga steg syns. Delstaten New Yorks budget för räkenskapsåret 2026 innehöll för första gången särskilda bestämmelser om ansvarsfull användning av artificiell intelligens, med fokus på risker för psykisk hälsa, skydd av barn och tillsynsmekanismer. Det är ännu ingen heltäckande reglering, men ett viktigt politiskt erkännande: AI är inte längre bara en fråga om effektivitet eller konkurrenskraft, utan har blivit en folkhälsofråga.

Och vad säger OpenAI
Parallellt med den regulatoriska debatten ökar trycket på företagen som utvecklar dessa system.

OpenAI, skaparen av ChatGPT, har offentligt uttryckt sorg över dödsfall kopplade till användningen av chattboten, men har avstått från att kommentera enskilda fall i detalj. Den hållningen står i kontrast till den juridiska verkligheten: i november lämnades sju stämningar in mot bolaget under en och samma dag, varav fyra direkt kopplade till självmord.

Experter inom akademi och juridik är överens om en obekväm sanning: så kallade grundmodeller, tränade på enorma mängder overifierad data och designade för att svara på nästan vilken fråga som helst, kan inte göras helt säkra i sammanhang av djup psykologisk kris. Risken är inte ett enskilt misslyckande, utan strukturell.

OpenAIs vd Sam Altman har hävdat att AI-säkerhet skulle växa fram genom gradvisa lanseringar som låter samhället ”anpassa sig” medan ”insatserna fortfarande var låga”. Dödsfallen av Sam Nelson och andra unga människor motsäger detta kraftfullt. För de drabbade var insatserna aldrig låga.

Frågan är därför inte längre om artificiell intelligens kan följa med i svåra samtal. Frågan är vem som tar ansvar när det följeskapet misslyckas, och vilket ansvar som ska ligga på företag som utvecklar system som kan påverka liv och död, utan att ännu omfattas av samma skyldigheter som människor gör.

Originalartikeln hos Hightimes!