Орхан Ондер
Орхан Ондер е лекар и етичар на Медицинскиот факултет на Универзитетот Мармара, специјализиран за етика на вештачката интелигенција и нови технологии во здравството, како и филозофија на технологијата
Замислете како ѝ ја опишувате вашата болка на лекарка и гледате како нејзините очи се движат од вас кон екранот. Екранот вели дека сте со низок ризик. Вашето тело вели поинаку. Меѓу двете, некому мора да му верувате.
Болниците низ целиот свет се тркаат да стават алгоритми во клиниките, од проверувачи на симптоми што им прават тријажи на пациентите до алатки за вештачка интелигенција што ја поддржуваат дијагнозата. Поентата е ефикасност, координација и подобра точност.
Но овие системи прават нешто што брошурите ретко го споменуваат. Тие тивко одлучуваат чие знаење е веродостојно, кои симптоми се важни и како треба да се толкуваат зборовите на пациентот.
Јас го нарекувам ова динамичко алгоритамско манипулирање со реалноста.
Манипулирање без манипулатор
Медицинско манипулирање или медицински гаслајтинг (Medical gaslighting) ги опишува пациентите чии симптоми се отфрлени или реинтерпретирани од страна на лекарите, честопати по линија на пол, раса или хронична болест.
Критичарите велат дека зборот се злоупотребува бидејќи гаслајтингот подразбира намерна измама или манипулација, а повеќето лекари кои го отфрлаат тоа не кројат планови. Тие дејствуваат од имплицитна пристрасност, институционална рутина и вкоренети хиерархии на експертиза.
Но штетата не е дефинирана со мотив. Таа е дефинирана со она што му се случува на пациентот, кој е оставен да се сомнева во сопствените перцепции и е отсечен од зборовите што му се потребни за да го разбере своето искуство.
Алгоритмите го прават овој момент невозможно да се избегне. Дел од софтверот нема намери. Не може да заговара или да измамува.
Но сепак, може да го замени сведоштвото на пациентот со авторитетот на очигледна неутралност. Може да го вметне проживеаниот наратив во ригидни категории. И може да остави кај пациентот чувство дека сопственото искуство мора да е несигурно.
Тоа е гаслајтинг без гаслајтер.
Првиот е насилство врз податоците. Медицинските множества податоци честопати се искривуваат кон белите, машките и социоекономски поволните популации. Пациентите надвор од тој калап стануваат статистички невидливи.
На пример, болката во градите често се манифестира различно кај жените отколку кај мажите, но кардиоваскуларните податоци непропорционално ги кодираат машките профили.
Пулсните оксиметри, калибрирани претежно на пациенти со посветла кожа, можат да го преценат кислородот во крвта кај црните пациенти и да сокријат опасно ниски нивоа. Ако алатките за тријажа ги третираат тие мерења како основна вистина, грешката патува надолу по течението.
Вториот е нетранспарентноста. Можете да се расправате со расудувањето на лекарот. Не можете да се расправате со резултат чиешто изведување е затворено за вас, а честопати и за вашиот лекар.
Разгледајте го Епик Сепсис Модел (Epic Sepsis Model), приватен систем за предупредување што се користи во стотици американски болници.
Според надворешна студија, системот се покажал многу полошо отколку што тврдел неговиот развивач, фаќајќи само околу една третина од случаите на сепса, додека произведувал чести лажни аларми.
Ниту лекарите ниту пациентите не можеле да ја видат логиката зад ниту едно поединечно предупредување.
Третиот е автоматизиран авторитет. Кога алгоритмот „вели поинаку“, пациентите чувствуваат притисок да се сомневаат во сопствената изјава, а лекарите се двоумат да ја поништат наводно објективната препорака.
Тој авторитет може да ги надмине доказите. Внатрешните документи подоцна покажаа дека Ватсон фор Онколоџи (Watson for Oncology) на ИБМ (IBM), кој се продава низ целиот свет како авторитативна алатка за поддршка на одлуки, произвел небезбедни и неточни препораки за третман и бил значително обучен за хипотетички случаи.
Четвртиот е повратната јамка. Пациентите и лекарите учат кои описи се регистрираат како читливи „случаи“ и го прилагодуваат начинот на кој зборуваат. Потоа тие прилагодени описи стануваат нови податоци, зацврстувајќи ги токму категориите што не успеале да го опфатат пациентот на прво место.
Со текот на времето, луѓето престануваат да ги опишуваат своите симптоми како што ги доживуваат. Тие ги опишуваат како што машината може да ги чуе.
Зошто ова не е грешка
Примамливо е сето ова да се третира како грешка што подоброто инженерство ќе ја поправи. Трудот тврди поинаку.
Алгоритмите не се избираат сами. Болниците и здравствените системи избираат да ги усвојат и честопати претпочитаат стандардизирани информации базирани на случаи наместо хаотични човечки наративи, од причини поврзани со ефикасност, одговорност и обем.
Ова е стар административен инстинкт. Институциите отсекогаш го претпочитале она што можат да го прочитаат, избројат и ревидираат пред она што не можат. Она што е нечитливо за системот, во вистинска смисла, е неуправливо од него.
Значи, точката во која намерата влегува во приказната е во спротивен правец од текот. Никој не треба да сака да не му верува на одреден пациент. Но изборот да се замени сведочењето на пациентот со стандардизирани податоци е намерен чин на дизајнирање и некој е одговорен за тоа.
Бидејќи алгоритамските резултати се инфраструктурни, штетата не е ограничена само на еден лош закажан преглед. Се повторува низ случаите и се акумулира кај пациенти кои се наоѓаат на пресекот на неколку маргинализации, како што е црна жена со попреченост чија состојба и идентитет се слабо претставени во податоците.
Цели заедници кои постојано погрешно се препознаваат може да почнат да не му веруваат на самиот здравствен систем.
Постои и глобална димензија. Во неодамнешна турска квалитативна студија, различни јазични модели дадоа впечатливо различни етички упатства за истите клинички случаи, разликувајќи се во културната чувствителност и длабочината на толкување дури и кога се повикуваа на истите принципи.
Оние референтни рамки што се кодираат не се неутрални, особено за пациенти далеку од местото каде што се изградени овие системи.
Што треба да се промени
Одговорот не е да се забрани вештачката интелигенција во медицината. Тоа е да се престане да се третираат пациентите како извори на податоци и да се почне да се третираат како познавачи.
Тоа значи, прво, да им се даде на пациентите право да оспорат алгоритамски резултат, а не само да побараат второ мислење.
Тие треба да можат да ги доведат во прашање категориите, заменските фактори и вредносните проценки зад тоа. Тие исто така треба да добијат објаснувања што се поврзуваат со нивното сопствено искуство, наместо техничко отчитување на тежините на карактеристиките.
Второ, епистемолошка правда мора да биде вградена во самите системи. Тоа вклучува независни ревизии на податоците и резултатите од обуката, со етичари и застапници на пациентите на масата.
Подразбира вклучување на луѓето што најверојатно ќе бидат погрешно препознаени во дизајнот, а не откако архитектурата ќе биде поправена. И вклучува прашување, при набавката, дали алатката го повикува наративот на пациентот или ја сведува на полиња за избор.
Партиципативниот дизајн не е лек за сè. Приватните добавувачи се спротивставуваат на надворешната контрола, приватизираните системи не нудат единствен финансиер, а итна медицинска помош остава малку време за заеднички дизајн.
Најдобро функционира во услови на хронична нега и каде што веќе постојат организации на пациенти. Таму каде што не може да се направи целосно, полесните заштитни мерки се подобри од никакви.
Трето, одговорноста мора да се сподели. Развивачите треба да документираат ограничувања и дизајн за оспорување.
Лекарите треба да ги одмерат резултатите добиени од алгоритмите во однос на она што им го кажува пациентот. Институциите треба да формираат тела што ќе го следат спроведувањето и ќе ги решаваат споровите. Регулаторните тела треба да ја вградат епистемичката правда во стандардите за здравствена заштита.
Овде е потребна една напомена. Мојот аргумент е од концептуална и етичка природа. Тој не претендира да ја измери зачестеноста на овие штети, за што ќе бидат неопходни емпириски истражувања. Но проблем што не може да се именува, не може ниту да се проучува.
Прашањето веќе не е дали здравствената заштита ќе биде дигитално посредувана. Таа ќе биде.
Прашањето е дали тоа посредување ќе го прошири или ќе го стесни просторот во кој пациентите се слушаат.
Здравствен систем што не може да му верува на човекот пред себе, веќе не е здравствен систем. Медицината се темели на доверба и ниту еден модел, колку и да е прецизен, не може да го замени гласот на пациентот.
Извор: ТРТ Ворлд
Забелешка: Ставовите изразени во овој напис му припаѓаат на авторот и не ја одразуваат нужно уредувачката политика на ТРТ Балкан
