Nowy Jork tworzy koalicję, aby skończyć z uprzedzeniami i "normowaniem rasowym" w algorytmach medycznych
Udowodniono, że algorytmy te negatywnie wpływają na opiekę, jaką otrzymują czarnoskórzy i latynoscy mieszkańcy Nowego Jorku.
Miasto Nowy Jork ogłosiło niedawne wysiłki na rzecz zakończenia korekt ras w algorytmach klinicznych używanych przez miejskie szpitale. Eksperci twierdzą, że te zmiany utrwalają rasistowskie założenia w opiece zdrowotnej i mogą prowadzić do niskiej jakości opieki nad mniejszościami.
Placówki opieki zdrowotnej wykorzystują algorytmy kliniczne, aby pomóc w podejmowaniu decyzji o tym, w jaki sposób opieka medyczna jest świadczona pacjentom, a wiele szpitali stosuje proces zwany "normowaniem rasowym" - znanym również jako dostosowanie rasowe. Udowodniono, że ma negatywny wpływ na opiekę, jaką otrzymują czarnoskórzy i latynoscy mieszkańcy miasta.
Ogłoszenie zawiera przykłady rzeczywistych sytuacji mających wpływ na mieszkańców miasta, w tym współczynnik "dostosowawczy" dla czarnoskórych pacjentów w odniesieniu do funkcji nerek. Współczynnik korygujący oblicza poziom czynności czarnej nerki jako zdrowszy niż u białych pacjentów dla tego samego zmierzonego wyniku; Doprowadziło to do opóźnień w opiece nad czarnymi pacjentami.
Normowanie rasowe w opiece nad matkami doprowadziło do tego, że osoby czarnoskóre i latynoskie są bardziej narażone na niepotrzebne cesarskie cięcie - pomimo tego, że mają "ten sam wiek, stan zdrowia i historię porodów co białe kobiety". Algorytmy te bardziej ogólnie doprowadziły do "mniej korzystnych wyników" dla osób czarnoskórych i latynoskich, które rodzą. pogłębiając istniejące nierówności w zakresie matek i zdrowia.
Aby rozwiązać te problemy, Departament Zdrowia Miasta Nowy Jork utworzył koalicję, aby zakończyć włączanie korekty rasowej do algorytmów klinicznych.
"Koalicja na rzecz Zakończenia Rasizmu w Algorytmach Klinicznych (CERCA) pomoże doprowadzić do zdrowszego i bardziej sprawiedliwego miasta" - powiedział komisarz ds. zdrowia dr Dave Chokshi.
Zastępca komisarza i dyrektor medyczny dr Michelle Morse dodała: "Podnoszenie świadomości na temat problematycznej koncepcji i praktyki dostosowania rasy w algorytmach klinicznych może potencjalnie stworzyć bardziej sprawiedliwe wyniki opieki zdrowotnej i doświadczenia dla tych, którzy identyfikują się jako czarni, rdzenni i kolorowi (BIPOC)".
Prezes i dyrektor generalny NYC Health + Hospitals, Mitchell Katz, powiedział, że miejski system zdrowia publicznego nie może się doczekać współpracy z departamentem zdrowia i innymi systemami opieki zdrowotnej.
"Ta koalicja ma moc, aby jeszcze bardziej przyspieszyć pracę i wpływ istniejącej inicjatywy naszego systemu "Erasizm medyczny", która ma również na celu zakwestionowanie status quo algorytmów opartych na rasie... które są powszechnie akceptowane w naszej branży od dziesięcioleci" - powiedział Katz.
Instytucje zaangażowane w CERCA to: NYC Health + Hospitals, Maimonides Medical Center, MountSinai Health System, New-York Presbyterian, Northwell Health, NYU Langone Hospitals, One Brooklyn Health, SBH Health System, SUNY Downstate, Wyckoff Heights Medical Center i Cortelyou Medical Associates.
Każdy z nich zapowiedział, że "zakończy korektę rasową w co najmniej jednym algorytmie klinicznym i stworzy plany oceny nierówności rasowych i zaangażowania pacjentów". Planują również spotykać się co dwa miesiące przez dwa lata i opracować roczny raport, z którego pierwszy pojawi się w czerwcu 2022 r.
Czarnoskórzy eksperci medyczni od dawna zwracają uwagę na rasizm stojący za korektami rasowymi stosowanymi w algorytmach stosowanych przez szpitale do leczenia. Dr Dorothy Roberts, profesor afrykanistyki, prawa i socjologii na Uniwersytecie Pensylwanii, powiedziała, że zmiany rasowe w medycynie "nie tylko opierają się na fałszywych, rasistowskich przekonaniach na temat ludzkiej biologii, ale także wykazano, że szkodzą czarnym pacjentom".
Caitlin Seeley George, dyrektor kampanii w grupie Fight for the Future, powiedziała, że zmiany rasowe są nie tylko "niezwykle godną ubolewania praktyką medyczną opartą na rasistowskich przekonaniach", ale są również doskonałym przykładem tego, jak sztuczna inteligencja wzmacnia te rasistowskie przekonania.
"Koncepcja różnic biologicznych opartych na rasie istniała na długo przed sztuczną inteligencją, ale ta technologia została wykorzystana do zaostrzenia tych rasistowskich praktyk. Istnieje tak wiele algorytmów, które w większości działają w czarnej skrzynce z niewielką lub żadną przejrzystością w zakresie tego, jak podejmują decyzje. Aby zburzyć rasistowskie struktury w naszym społeczeństwie, musimy otworzyć te algorytmy, aby dowiedzieć się, jakie inne rasistowskie przekonania są częścią ich obliczeń" - powiedział Seeley George.
"Potrzebujemy wszystkich naszych systemów opieki zdrowotnej, aby wykonać tę pracę, potrzebujemy legislacji, która powstrzyma szkodliwe algorytmy przed przyjęciem, a w Nowym Jorku musi ona wyjść poza jeden algorytm kliniczny (co jest ich obecnym zakresem). Wysiłki te muszą również obejmować prawdziwych ludzi, którzy zostali skrzywdzeni przez te algorytmy, a także organizacje praw człowieka i ekspertów, którzy mogą udzielić krytycznego wglądu w szkody, jakie te algorytmy wyrządzają prawdziwym ludziom.
Dr Danya Glabau, adiunkt w NYU Tandon School of Engineering i dyrektor Wydziału Nauk i Technologii Technologii, Kultury i Społeczeństwa na uniwersytecie, powiedziała, że "algorytmy" w kontekście medycyny mają znacznie dłuższą historię niż systemy komputerowe, które rada stara się zreformować.
Algorytmy medyczne, według Glabau, są w zasadzie wszelkiego rodzaju drzewem decyzyjnym, którego lekarze używają do podejmowania decyzji dotyczących leczenia, a korzystanie z nieskomputeryzowanych algorytmów medycznych jest kamieniem węgielnym medycyny opartej na dowodach od dziesięcioleci.
Zautomatyzowane algorytmy w mniejszym lub większym stopniu eliminują ocenę lekarza z decyzji dotyczących leczenia, ponieważ decyzje podejmuje komputer. Kiedy wprowadzono algorytmy cyfrowe, sądzono, że usunięcie ludzi usunie ludzki rasizm, wyjaśnił Glabau.
"Ponieważ jednak decyzje zautomatyzowanych algorytmów opierają się na danych pochodzących z wcześniejszych decyzji ludzkich, ludzkie uprzedzenia, takie jak rasizm i klasizm, nadal mają wpływ na te narzędzia. Tak więc tak naprawdę nie rozwiążą problemu rasizmu na własną rękę, ponieważ historia medycyny jest rasistowska" - powiedział Glabau.
"Trudno dokładnie powiedzieć, jak powszechne są algorytmy cyfrowe i jak wiele z nich skupia się w szczególności na rasie. Ale są szanse, że większość dostawców używa kilku na co dzień i może, ale nie musi być tego świadoma".
Naukowcy tacy jak Amy Moran-Thomas wykazali, że nawet proste urządzenia, takie jak pulsoksymetry, mogą mieć rasistowskie skutki.
"W tym przypadku projektanci po prostu nie wzięli pod uwagę, w jaki sposób kolor skóry wpłynie na odczyty podawane przez czujnik optyczny. Wiemy również, że narzędzia takie jak oprogramowanie do planowania mogą mieć rasistowskie skutki, mimo że planowanie nie wydaje się mieć nic wspólnego z rasą. Ale w szczególności czarni pacjenci byli rezerwowani podwójnie lub trzykrotnie, ponieważ wielu z nich miało trudności z dotarciem na wizytę na czas z powodu czynników pozostających poza ich kontrolą" - powiedział Glabau.
"Te przykłady pokazują, jak trudne może być przewidzenie, w jaki sposób algorytmy i inne systemy cyfrowe będą miały rasistowskie skutki. W mieście takim jak Nowy Jork, gdzie COVID mocno uderzył w społeczności BIPOC i gdzie kod pocztowy jest skorelowany z dochodami i segregacją rasową, takie pozornie przyziemne technologie mogą mieć poważne konsekwencje dla zdrowia.
Jednak jedynym sposobem, aby rada odniosła sukces, jest uzyskanie pełnego dostępu do operacji systemu szpitalnego, oprogramowania i dokumentacji technicznej od firm, które produkują algorytmy. Rada musi również otrzymać uprawnienia do wydawania wiążących wytycznych, które mogą być wdrażane w całym mieście.
"Jeśli ta rada nie otrzyma zębów, może znaleźć szokujące informacje lub wydać zalecenia w dobrej wierze, ale niczego nie zmieni dla pacjentów ani nie spełni swojego antyrasistowskiego mandatu" - wyjaśnił Glabau.
Glabau pisał obszernie o tym, jak prozaiczne technologie mogą mieć znaczący wpływ na wyniki zdrowotne.