Φανταστείτε να περιγράφετε τον πόνο σας σε έναν γιατρό και να παρακολουθείτε το βλέμμα του να μεταφέρεται από εσάς στην οθόνη. Η οθόνη δείχνει ότι διατρέχετε χαμηλό κίνδυνο. Το σώμα σας λέει το αντίθετο. Μεταξύ των δύο, κάποιος πρέπει να γίνει πιστευτός.
Νοσοκομεία σε όλο τον κόσμο σπεύδουν να εντάξουν αλγορίθμους στην κλινική πράξη: από εφαρμογές καταγραφής συμπτωμάτων που κάνουν τη διαλογή των ασθενών, έως εργαλεία τεχνητής νοημοσύνης που υποστηρίζουν τη διάγνωση. Η βασική υπόσχεση είναι η αποτελεσματικότητα, ο συντονισμός και η μεγαλύτερη ακρίβεια.
Ωστόσο, αυτά τα συστήματα κάνουν κάτι που τα διαφημιστικά φυλλάδια σπάνια αναφέρουν: αποφασίζουν σιωπηρά ποιανού η γνώση είναι αξιόπιστη, ποια συμπτώματα έχουν πραγματική βαρύτητα και πώς πρέπει να ερμηνευθούν τα λόγια ενός ασθενούς.
Αποκαλώ αυτή τη δυναμική αλγοριθμικό gaslighting.
Gaslighting χωρίς χειραγωγό
Ο όρος «ιατρικό gaslighting» περιγράφει τις περιπτώσεις όπου τα συμπτώματα των ασθενών απορρίπτονται ή επανερμηνεύονται από τους γιατρούς, συχνά με κριτήριο το φύλο, τη φυλή ή την παρουσία χρόνιας νόσου.
Οι επικριτές υποστηρίζουν ότι ο όρος χρησιμοποιείται καταχρηστικά, καθώς το gaslighting προϋποθέτει εσκεμμένη εξαπάτηση, ενώ οι περισσότεροι απαξιωτικοί γιατροί δεν δρουν με δόλο. Ενεργούν παρακινούμενοι από ασυνείδητες προκαταλήψεις, θεσμικές ρουτίνες και βαθιά ριζωμένες ιεραρχίες επιστημονικής αυθεντίας.
Όμως, η βλάβη δεν καθορίζεται από το κίνητρο. Καθορίζεται από αυτό που βιώνει ο ασθενής: ο οποίος μένει να αμφιβάλλει για τις ίδιες του τις αντιλήψεις, αποκομμένος από τις λέξεις που χρειάζεται για να νοηματοδοτήσει την εμπειρία του.
Οι αλγόριθμοι καθιστούν αδύνατο να αγνοηθεί αυτή η πραγματικότητα. Ένα λογισμικό δεν έχει προθέσεις. Δεν μπορεί να συνωμοτήσει, ούτε να εξαπατήσει.
Μπορεί ωστόσο να ακυρώσει τη μαρτυρία του ασθενούς, περιβεβλημένο με την αυθεντία μιας φαινομενικής ουδετερότητας. Μπορεί να στριμώξει μια βιωμένη αφήγηση σε άκαμπτες κατηγορίες. Και μπορεί να οδηγήσει έναν ασθενή στο να αισθανθεί πως το ίδιο του το βίωμα είναι αναξιόπιστο.
Αυτό ακριβώς είναι το gaslighting χωρίς χειραγωγό.
Το πρώτο στοιχείο είναι η βία των δεδομένων. Τα ιατρικά σύνολα δεδομένων συχνά παρουσιάζουν μονομέρεια, γέρνοντας υπέρ των λευκών, ανδρικών και κοινωνικοοικονομικά προνομιούχων πληθυσμών. Οι ασθενείς που αποκλίνουν από αυτό το πρότυπο καθίστανται στατιστικά αόρατοι.
Ο θωρακικός πόνος, για παράδειγμα, εκδηλώνεται συχνά διαφορετικά στις γυναίκες απ' ό,τι στους άνδρες, ωστόσο τα καρδιαγγειακά δεδομένα ενσωματώνουν δυσανάλογα τα ανδρικά προφίλ.
Τα παλμικά οξύμετρα, βαθμονομημένα ως επί το πλείστον σε άτομα με πιο ανοιχτόχρωμο δέρμα, μπορούν να υπερεκτιμήσουν το οξυγόνο στο αίμα των μαύρων ασθενών, αποκρύπτοντας επικίνδυνα χαμηλά επίπεδα. Εάν τα εργαλεία διαλογής εκλάβουν αυτές τις μετρήσεις ως απόλυτη αλήθεια, το σφάλμα μεταφέρεται στα επόμενα στάδια της περίθαλψης.
Το δεύτερο στοιχείο είναι η αδιαφάνεια. Μπορείς να αντιπαρατεθείς στη συλλογιστική ενός γιατρού. Δεν μπορείς όμως να αμφισβητήσεις μια βαθμολογία της οποίας ο υπολογισμός παραμένει απρόσιτος για σένα – και συχνά, εξίσου απρόσιτος για τον ίδιο σου τον γιατρό.
Χαρακτηριστικό παράδειγμα αποτελεί το Epic Sepsis Model, ένα ιδιόκτητο σύστημα προειδοποίησης που χρησιμοποιείται σε εκατοντάδες νοσοκομεία των ΗΠΑ. Μια ανεξάρτητη μελέτη έδειξε ότι η απόδοσή του ήταν πολύ κατώτερη από εκείνη που υποστήριζε η κατασκευάστρια εταιρεία, εντοπίζοντας μόλις το ένα τρίτο περίπου των κρουσμάτων σήψης, ενώ παράλληλα παρήγαγε συχνούς ψευδείς συναγερμούς. Ούτε οι γιατροί ούτε οι ασθενείς είχαν τη δυνατότητα να διακρίνουν τη λογική πίσω από κάθε μεμονωμένη ειδοποίηση.
Το τρίτο στοιχείο είναι η αυτοματοποιημένη αυθεντία. Όταν ο αλγόριθμος «λέει το αντίθετο», οι ασθενείς νιώθουν την πίεση να αμφισβητήσουν τη δική τους μαρτυρία, ενώ οι κλινικοί γιατροί διστάζουν να παρακάμψουν μια υποτιθέμενα αντικειμενική σύσταση.
Αυτή η αυθεντία μπορεί συχνά να υπερβαίνει τις πραγματικές αποδείξεις. Εσωτερικά έγγραφα αποκάλυψαν αργότερα ότι το Watson for Oncology της IBM, το οποίο διαφημίστηκε παγκοσμίως ως ένα έγκυρο εργαλείο υποστήριξης αποφάσεων, παρήγαγε μη ασφαλείς και λανθασμένες θεραπευτικές συστάσεις, έχοντας εκπαιδευτεί σε μεγάλο βαθμό πάνω σε υποθετικές περιπτώσεις.
Το τέταρτο στοιχείο είναι ο βρόχος ανατροφοδότησης. Ασθενείς και γιατροί μαθαίνουν ποιες περιγραφές γίνονται αντιληπτές ως ευανάγνωστα «περιστατικά» και αναπροσαρμόζουν τον τρόπο που μιλούν. Αυτές οι προσαρμοσμένες περιγραφές μετατρέπονται στη συνέχεια σε νέα δεδομένα, παγιώνοντας ακριβώς εκείνες τις κατηγορίες που εξαρχής απέτυχαν να αποτυπώσουν την πραγματικότητα του ασθενούς.
Με την πάροδο του χρόνου, οι άνθρωποι παύουν να περιγράφουν τα συμπτώματά τους όπως τα βιώνουν. Τα περιγράφουν όπως η μηχανή μπορεί να τα ακούσει.
Γιατί δεν πρόκειται για απλή δυσλειτουργία
Είναι δελεαστικό να εκλάβει κανείς όλα αυτά ως ένα τεχνικό σφάλμα (bug) που μπορεί να διορθωθεί με μια καλύτερη μηχανική προσέγγιση. Η μελέτη υποστηρίζει το αντίθετο.
Οι αλγόριθμοι δεν αυτοεπιλέγονται. Τα νοσοκομεία και τα συστήματα υγείας επιλέγουν συνειδητά να τους υιοθετήσουν, προτιμώντας συχνά τυποποιημένες πληροφορίες βασισμένες σε περιπτώσεις, έναντι της χαοτικής ανθρώπινης αφήγησης, για λόγους αποτελεσματικότητας, νομικής ευθύνης και διαχείρισης κλίμακας.
Πρόκειται για ένα παλιό διοικητικό ένστικτο: οι θεσμοί ανέκαθεν προτιμούσαν ό,τι μπορούν να διαβάσουν, να καταμετρήσουν και να ελέγξουν, έναντι εκείνου που αδυνατούν να καταγράψουν. Ό,τι είναι δυσανάγνωστο για το σύστημα, είναι, με την ουσιαστική έννοια του όρου, και μη κυβερνήσιμο από αυτό.
Συνεπώς, το σημείο όπου η πρόθεση υπεισέρχεται στην ιστορία βρίσκεται στην ίδια την πηγή. Κανείς δεν χρειάζεται να επιθυμεί εμπρόθετα να αμφισβητήσει έναν συγκεκριμένο ασθενή. Όμως, η επιλογή να αντικατασταθεί η προσωπική μαρτυρία του ασθενούς από τυποποιημένα δεδομένα αποτελεί μια συνειδητή σχεδιαστική πράξη – και κάποιος φέρει την ευθύνη γι' αυτήν.
Τι πρέπει να αλλάξει
Η λύση δεν είναι ο εξοβελισμός της τεχνητής νοημοσύνης από την ιατρική. Είναι να πάψουμε να μεταχειριζόμαστε τους ασθενείς απλώς ως πηγές δεδομένων και να αρχίσουμε να τους αναγνωρίζουμε ως φορείς γνώσης.
Αυτό σημαίνει, πρώτον, να κατοχυρωθεί για τους ασθενείς το δικαίωμα να αμφισβητούν ένα αλγοριθμικό πόρισμα, και όχι απλώς να ζητούν μια δεύτερη ιατρική γνώμη.
Θα πρέπει να έχουν τη δυνατότητα να θέτουν υπό αμφισβήτηση τις κατηγοριοποιήσεις, τους προσεγγιστικούς δείκτες και τις αξιακές κρίσεις που υπόκεινται σε αυτό. Θα πρέπει επίσης να λαμβάνουν εξηγήσεις συνδεδεμένες με το προσωπικό τους βίωμα, αντί για μια τεχνική αναφορά συντελεστών βαρύτητας.
Δεύτερον, η επιστημική δικαιοσύνη οφείλει να ενσωματωθεί στα ίδια τα συστήματα. Αυτό περιλαμβάνει ανεξάρτητους ελέγχους των δεδομένων εκπαίδευσης και των παραγόμενων αποτελεσμάτων, με τη συμμετοχή βιοηθικολόγων και συνηγόρων των ασθενών στο τραπέζι του διαλόγου.
Περιλαμβάνει την ενεργή συμμετοχή των ομάδων που διατρέχουν τον μεγαλύτερο κίνδυνο υποτίμησης ήδη από τη φάση του σχεδιασμού, και όχι εκ των υστέρων, αφού η αρχιτεκτονική του μοντέλου έχει παγιωθεί. Και προϋποθέτει το να τίθεται το ερώτημα, ήδη από το στάδιο της προμήθειας, εάν ένα εργαλείο υποδέχεται την αφήγηση του ασθενούς ή αν την εξοβελίζει σε απλά κουτάκια επιλογής.
Τρίτον, η ευθύνη οφείλει να είναι επιμερισμένη. Οι δημιουργοί των λογισμικών πρέπει να καταγράφουν τα όρια των συστημάτων τους και να σχεδιάζουν εργαλεία ανοιχτά στην αμφισβήτηση.
Οι κλινικοί γιατροί πρέπει να σταθμίζουν τα αλγοριθμικά αποτελέσματα σε συνάρτηση με όσα τους καταθέτει ο ασθενής. Οι οργανισμοί υγείας οφείλουν να συγκροτήσουν όργανα που θα επιβλέπουν την εφαρμογή των τεχνολογιών και θα επιλύουν διαφορές. Και οι ρυθμιστικές αρχές πρέπει να εντάξουν την επιστημική δικαιοσύνη στα βασικά πρότυπα της ιατρικής φροντίδας.
Χρειάζεται, ωστόσο, μια επισήμανση: το επιχείρημά αυτό είναι εννοιολογικό και ηθικό. Δεν αποπειράται να μετρήσει τη συχνότητα με την οποία καταγράφονται αυτές οι βλάβες – η εμπειρική έρευνα θα είναι καθοριστική. Όμως, ένα πρόβλημα που δεν μπορείς να κατονομάσεις, είναι ένα πρόβλημα που δεν μπορείς να μελετήσεις.
Το ερώτημα δεν είναι πλέον αν η υγειονομική περίθαλψη θα διαμεσολαβείται ψηφιακά. Είναι βέβαιο ότι θα διαμεσολαβείται.
Το κρίσιμο ερώτημα είναι αν αυτή η διαμεσολάβηση θα διευρύνει ή θα συρρικνώσει τον χώρο μέσα στον οποίο οι ασθενείς εισακούγονται.
Ένα σύστημα υγείας που αδυνατεί να πιστέψει τον άνθρωπο που στέκεται απέναντί του, παύει να είναι σύστημα υγείας. Η ιατρική θεμελιώνεται στην εμπιστοσύνη, και κανένα υπολογιστικό μοντέλο, όσο ακριβές κι αν είναι, δεν μπορεί να υποκαταστήσει τη φωνή του ασθενούς.
