Više od milijun korisnika tjedno izražava suicidalne misli chatbotovima
Više od milijun korisnika ChatGPT-a tjedno šalje poruke koje sadrže „izravne pokazatelje mogućeg suicidalnog planiranja ili namjere“, navodi se u blog objavi OpenAI-a.
Ovo otkriće, dio ažuriranja o tome kako chatbot postupa u osjetljivim razgovorima, jedno je od najizravnijih priznanja te tehnološke tvrtke o razmjerima u kojima umjetna inteligencija može pogoršati probleme mentalnog zdravlja, piše Guardian.
Uz procjene o suicidalnim mislima i srodnim interakcijama, OpenAI je također naveo da oko 0,07 % korisnika aktivnih tijekom jednog tjedna – otprilike 560.000 od ukupno 800 milijuna tjednih korisnika – pokazuje „moguće znakove hitnih stanja mentalnog zdravlja povezanih sa psihozom ili manijom“. Tvrtka je pritom upozorila da je takve razgovore teško točno detektirati i mjeriti te da se radi o početnoj analizi.
Objava dolazi u trenutku kada se OpenAI suočava s povećanim nadzorom nakon medijski eksponirane tužbe obitelji tinejdžera koji je počinio samoubojstvo nakon dugotrajnog korištenja ChatGPT-a. Uz to, Američka federalna komisija za trgovinu (FTC) prošlog je mjeseca pokrenula široku istragu o tvrtkama koje razvijaju AI chatbote, uključujući OpenAI, kako bi ispitala kako te kompanije procjenjuju negativne učinke na djecu i adolescente.
OpenAI je u objavi tvrdio da je njegova nedavna nadogradnja GPT-5 smanjila broj neželjenih ponašanja modela i poboljšala sigurnost korisnika u evaluaciji koja je uključila više od tisuću razgovora o samoozljeđivanju i samoubojstvu.
– Naše nove automatizirane evaluacije ocijenile su novi model GPT-5 s 91 % usklađenosti s poželjnim ponašanjima, u usporedbi sa 77 % kod prethodne verzije GPT-5, navodi se u objavi.
Tvrtka je istaknula da je GPT-5 proširio pristup kriznim linijama pomoći te uveo podsjetnike korisnicima da uzmu pauze tijekom dugih sesija. Za daljnje poboljšanje modela, OpenAI je angažirao 170 kliničara iz svoje Global Physician Network – mreže zdravstvenih stručnjaka koji su ocjenjivali sigurnost odgovora modela i pomagali u pisanju odgovora povezanih s pitanjima mentalnog zdravlja, prenosi N1.
– Psihijatri i psiholozi pregledali su više od 1.800 odgovora modela koji su uključivali ozbiljne situacije vezane uz mentalno zdravlje i usporedili odgovore novog GPT-5 modela s prethodnim verzijama, priopćila je tvrtka. „Poželjni“ odgovori definirani su kao oni kod kojih bi se skupina stručnjaka složila da predstavljaju primjeren odgovor u danoj situaciji.
Istraživači umjetne inteligencije i zagovornici javnog zdravlja već dugo upozoravaju na sklonost chatbota da potvrđuju korisnikove odluke ili zablude, čak i kada su potencijalno štetne – problem poznat kao “laskavost” (sycophancy). Stručnjaci za mentalno zdravlje također su zabrinuti zbog sve češće upotrebe AI chatbotova kao zamjene za psihološku podršku, što bi moglo dodatno ugroziti ranjive korisnike.
U objavi OpenAI se nastoji distancirati od bilo kakve uzročne povezanosti između ChatGPT-a i mentalnih kriza koje korisnici proživljavaju:
– Simptomi mentalnog zdravlja i emocionalni stres univerzalno su prisutni u ljudskim društvima, a kako se baza korisnika povećava, dio ChatGPT razgovora prirodno uključuje takve situacije, navodi se u priopćenju.
Izvršni direktor OpenAI-ja Sam Altman ranije ovog mjeseca izjavio je na platformi X da je tvrtka „napravila napredak u rješavanju pitanja mentalnog zdravlja“, te najavio da će ublažiti postojeća ograničenja i uskoro dopustiti odraslim korisnicima stvaranje erotskog sadržaja.
– ChatGPT smo učinili prilično restriktivnim kako bismo bili sigurni da pažljivo pristupamo pitanjima mentalnog zdravlja. Svjesni smo da je to mnogima smanjilo korisnost ili zabavu, ali s obzirom na ozbiljnost teme, željeli smo postupiti odgovorno, napisao je Altman.
– Sada, kad smo uspjeli ublažiti ozbiljne probleme povezane s mentalnim zdravljem i razvili nove alate, moći ćemo u većini slučajeva sigurno popustiti ta ograničenja.
