Zamislite da ljekaru opisujete bolove i gledate kako mu pogled prelazi s vas na ekran. Na ekranu piše da ste niskorizični pacijent. Vaše tijelo govori suprotno. Između ta dva stava neko mora odlučiti kome će vjerovati.
Bolnice širom svijeta ubrzano uvode algoritme u kliničku praksu, od alata za provjeru simptoma koji određuju prioritet pacijenata do alata umjetne inteligencije koji pomažu u postavljanju dijagnoze. Obećanja su efikasnost, bolja koordinacija i veća preciznost.
Međutim, ovi sistemi rade nešto što se rijetko spominje u promotivnim materijalima. Oni tiho odlučuju čijem se znanju može vjerovati, koji su simptomi važni i kako treba tumačiti pacijentove riječi.
Ovu dinamiku nazivam algoritamskim obmanjivanjem.
Obmanjivanje bez onoga ko obmanjuje
„Medicinsko obmanjivanje“ (medical gaslighting) opisuje situacije u kojima ljekari odbacuju ili drugačije tumače simptome pacijenata, često zbog predrasuda povezanih sa spolom, rasom ili hroničnim bolestima.
Kritičari smatraju da se ovaj izraz pogrešno koristi jer obmanjivanje podrazumijeva namjernu prevaru, a većina ljekara koji zanemaruju simptome pacijenata ne djeluje s unaprijed smišljenom namjerom. Njihovo ponašanje proizlazi iz nesvjesnih predrasuda, ustaljenih institucionalnih praksi i ukorijenjenih hijerarhija stručnosti.
Međutim, štetnost se ne određuje prema namjeri, već prema posljedicama po pacijenta, koji na kraju počinje sumnjati u vlastitu percepciju i ostaje bez riječi kojima bi mogao razumjeti i objasniti vlastito iskustvo.
Algoritmi čine ovu činjenicu nemogućom za zanemarivanje. Softver nema namjere. Ne može kovati planove niti svjesno obmanjivati.
Ipak, on može potisnuti svjedočenje pacijenta pozivajući se na autoritet prividne neutralnosti. Može svesti proživljeno iskustvo na krute kategorije. Pacijent zbog toga može steći osjećaj da je njegovo vlastito iskustvo nepouzdano.
To je obmanjivanje bez onoga ko obmanjuje.
Prvi oblik je nasilje podataka. Medicinski skupovi podataka često su pristrasni jer pretežno obuhvataju bijelu mušku populaciju i socioekonomski privilegirane grupe. Pacijenti koji se ne uklapaju u taj obrazac postaju statistički nevidljivi.
Bol u prsima, naprimjer, često se različito manifestira kod žena i muškaraca, a podaci o kardiovaskularnim bolestima ipak nesrazmjerno odražavaju obrasce karakteristične za muškarce.
Pulsni oksimetri, kalibrirani uglavnom na osnovu mjerenja kod osoba svjetlije puti, mogu precijeniti zasićenost krvi kisikom kod crnih pacijenata i prikriti opasno niske vrijednosti. Ako alati za trijažu takva očitanja tretiraju kao pouzdane činjenice, greška se prenosi u naredne faze zdravstvene zaštite.
Drugi oblik je netransparentnost. Možete osporiti obrazloženje ljekara. Međutim, ne možete osporiti rezultat čiji način izračunavanja nije dostupan ni vama, a često ni vašem ljekaru.
Primjer je Epic Sepsis Model, zaštićeni sistem za izdavanje upozorenja koji se koristi u stotinama bolnica u SAD-u. Vanjska studija pokazala je da je njegova uspješnost bila znatno slabija nego što je njegov proizvođač tvrdio: otkrivao je tek oko trećine slučajeva sepse, uz česta lažna upozorenja. Ni ljekari ni pacijenti nisu mogli vidjeti logiku na kojoj se zasnivalo pojedinačno upozorenje.
Treći oblik je automatizirani autoritet. Kada algoritam „govori suprotno“, pacijenti osjećaju pritisak da posumnjaju u vlastiti iskaz, dok ljekari oklijevaju osporiti preporuku koja se smatra objektivnom.
Taj autoritet može nadmašiti dostupne dokaze. Interni dokumenti kasnije su otkrili da je IBM-ov sistem Watson for Oncology, koji je širom svijeta promoviran kao autoritativni alat za podršku u donošenju odluka, davao nesigurne i pogrešne preporuke za liječenje te da je u velikoj mjeri bio obučen na hipotetičkim slučajevima.
Četvrti oblik je povratna sprega. Pacijenti i ljekari uče koji se opisi prepoznaju kao „slučajevi“ koje sistem može obraditi te prilagođavaju način na koji govore. Ti prilagođeni opisi potom postaju novi podaci, čime se učvršćuju upravo one kategorije koje prvobitno nisu uspjele obuhvatiti pacijentovo iskustvo.
S vremenom ljudi prestaju opisivati simptome onako kako ih zaista doživljavaju. Počinju ih opisivati onako kako ih mašina može razumjeti.
Zašto ovo nije tehnička greška
Primamljivo je sve ovo posmatrati kao grešku u sistemu koju će bolji inženjering otkloniti. Međutim, rad nudi drugačije objašnjenje.
Algoritmi ne biraju sami sebe. Bolnice i zdravstveni sistemi odlučuju da ih uvedu, a često daju prednost standardiziranim informacijama zasnovanim na pojedinačnim slučajevima u odnosu na složene ljudske priče, i to zbog efikasnosti, pravne odgovornosti i mogućnosti primjene u velikom obimu.
Riječ je o starom administrativnom obrascu. Institucije su oduvijek davale prednost onome što mogu pročitati, prebrojati i provjeriti u odnosu na ono što ne mogu. Ono što je sistemu nečitljivo, u stvarnom smislu, izmiče njegovoj kontroli.
Zato namjeru treba tražiti u ranijim fazama procesa. Niko ne mora željeti da ne povjeruje određenom pacijentu. Ipak, odluka da se svjedočenje pacijenta zamijeni standardiziranim podacima svjestan je čin u procesu osmišljavanja sistema i neko za njega mora snositi odgovornost.
Budući da su algoritamski rezultati ugrađeni u samu infrastrukturu zdravstvenog sistema, šteta se ne ograničava na jedan loš pregled. Ona se ponavlja u brojnim slučajevima i vremenom se nagomilava kod pacijenata koji istovremeno pripadaju grupama izloženim višestrukoj marginalizaciji, poput crne žene s invaliditetom čije su zdravstveno stanje i identitet nedovoljno zastupljeni u podacima.
Čitave zajednice, čiji se pripadnici iznova pogrešno prepoznaju i tumače, mogu izgubiti povjerenje u sam zdravstveni sistem.
Ovaj problem ima i globalnu dimenziju. U nedavnom kvalitativnom istraživanju provedenom u Turkiye, različiti jezički modeli ponudili su izrazito različite etičke smjernice za iste kliničke slučajeve. Razlikovali su se po kulturnoj osjetljivosti i dubini tumačenja, čak i kada su se pozivali na ista načela.
Referentni okviri koji se ugrađuju u ove sisteme nisu neutralni, posebno kada je riječ o pacijentima koji žive daleko od mjesta na kojima su ti sistemi razvijeni.
Šta treba promijeniti
Rješenje nije zabrana umjetne inteligencije u medicini. Potrebno je prestati posmatrati pacijente kao izvore podataka i početi ih tretirati kao nosioce znanja.
To prije svega znači da pacijenti moraju imati pravo osporiti rezultat algoritma, a ne samo zatražiti drugo mišljenje.
Trebali bi moći preispitati kategorije, zamjenske pokazatelje i vrijednosne sudove na kojima se taj rezultat zasniva. Također bi trebali dobiti objašnjenja koja uzimaju u obzir njihovo vlastito iskustvo, umjesto tehničkog prikaza pondera pojedinačnih parametara.
Drugo, epistemička pravda mora biti ugrađena u same sisteme. To podrazumijeva nezavisnu reviziju podataka za obuku i rezultata sistema, uz učešće stručnjaka za etiku i zastupnika interesa pacijenata.
To također znači uključiti u proces osmišljavanja sistema upravo one ljude čija bi iskustva sistem najvjerovatnije mogao pogrešno protumačiti, i to prije nego što se njegova struktura utvrdi. Prilikom nabavke takvih alata trebalo bi se zapitati omogućavaju li pacijentima da ispričaju svoje iskustvo ili ga svode na niz kućica za označavanje.
Participativni dizajn nije univerzalno rješenje i autor to otvoreno priznaje. Dobavljači vlasničkih sistema opiru se vanjskom nadzoru, u privatiziranim sistemima nema jednog finansijera koji bi preuzeo odgovornost, a u hitnoj medicinskoj pomoći često nema dovoljno vremena za zajedničko osmišljavanje rješenja.
Ovakav pristup najbolje funkcioniše u zdravstvenoj zaštiti hroničnih bolesnika i u okruženjima u kojima već postoje organizacije pacijenata. Tamo gdje ga nije moguće u potpunosti provesti, bolje je uvesti i jednostavnije zaštitne mjere nego ne učiniti ništa.
Treće, odgovornost se mora podijeliti. Programeri bi trebali dokumentirati ograničenja sistema i osmisliti ih tako da se njihovi rezultati mogu osporiti.
Ljekari bi trebali procjenjivati rezultate algoritama u odnosu na ono što im pacijent govori. Institucije bi trebale uspostaviti tijela koja nadziru primjenu ovih sistema i rješavaju sporove. Regulatori bi trebali ugraditi načelo epistemičke pravde u standarde zdravstvene zaštite.
Potrebno je, ipak, naglasiti jedno ograničenje. Moj argument je konceptualne i etičke prirode. Njime se ne nastoji izmjeriti koliko često dolazi do ovakvih štetnih posljedica, a empirijska istraživanja bit će neophodna. Međutim, problem koji ne možemo imenovati ne možemo ni proučavati.
Više nije pitanje hoće li se zdravstvena zaštita odvijati posredstvom digitalnih tehnologija. Hoće.
Pitanje je hoće li takvo posredovanje proširiti ili suziti prostor u kojem se glas pacijenta čuje.
Zdravstveni sistem koji ne može vjerovati osobi koja se nalazi pred njim više nije zdravstveni sistem. Medicina počiva na povjerenju i nijedan model, ma koliko bio precizan, ne može zamijeniti glas pacijenta.
*Mišljenja izražena u ovom članku su autorova i ne odražavaju nužno uređivačku politiku TRT Balkan.
