AI je jednako dobar u dijagnosticiranju bolesti kao i ljudi
Prvi sustavni pregled i metaanaliza ove vrste otkriva da je umjetna inteligencija (AI) jednako dobra u dijagnosticiranju bolesti na temelju medicinske slike kao i zdravstveni radnici. Međutim, potrebno je više visokokvalitetnih studija.
Novi članak istražuje postojeće dokaze pokušavajući utvrditi može li AI dijagnosticirati bolesti jednako učinkovito kao zdravstveni radnici.
Prema saznanjima autora - to jest, ogroman tim istraživača predvođen profesorom Alastairom Dennistonom iz Sveučilišne bolnice Birmingham NHS Foundation Trust u Velikoj Britaniji - ovo je prvi sustavni pregled koji uspoređuje učinak AI s medicinskim stručnjacima za sve bolesti.
Prof. Denniston i tim pretražili su nekoliko medicinskih baza podataka za sve studije objavljene između 1. siječnja 2012. i 6. lipnja 2019. Tim je objavio rezultate svoje analize u časopisu Lancet Digital Health.
AI u rangu sa zdravstvenim radnicima
Istraživači su tražili studije koje su uspoređivale dijagnostičku učinkovitost algoritama dubokog učenja s onom zdravstvenih radnika kada su dijagnozu postavili na temelju medicinske slike.
Ispitivali su kvalitetu izvještavanja u spomenutim studijama, njihovu kliničku vrijednost i dizajn studija.
Nadalje, kada je trebalo procijeniti dijagnostičke učinke AI u usporedbi s onima zdravstvenih radnika, istraživači su promatrali dva ishoda: specifičnost i osjetljivost.
"Osjetljivost" definira vjerojatnost da dijagnostički alat dobije pozitivan rezultat kod ljudi koji imaju bolest. Specifičnost se odnosi na točnost dijagnostičkog testa, koji nadopunjuje mjeru osjetljivosti.
Proces odabira dao je samo 14 studija čija je kvaliteta bila dovoljno visoka da se uključi u analizu. Profesor Denniston objašnjava: "Pregledali smo preko 20.500 članaka, ali manje od 1% njih bilo je dovoljno robusno u svom dizajnu i izvještavanju da su neovisni recenzenti imali veliko povjerenje u njihove tvrdnje."
"Štoviše, samo je 25 studija vanjski potvrdilo modele AI (koristeći medicinske slike iz druge populacije), a samo 14 studija uspoređivalo je učinke AI i zdravstvenih radnika koristeći isti testni uzorak."
„Unutar te pregršt visokokvalitetnih studija otkrili smo da se dubokim učenjem doista mogu otkriti bolesti u rasponu od raka do očnih bolesti jednako precizno kao i zdravstveni radnici. Ali važno je napomenuti da AI nije bitno nadmašio ljudsku dijagnozu. "
Prof. Alastair Denniston
Preciznije, analiza je pokazala da AI može ispravno dijagnosticirati bolest u 87% slučajeva, dok su otkrivanje od strane zdravstvenih radnika dalo 86% točnosti. Specifičnost algoritama dubokog učenja bila je 93%, u usporedbi s ljudskim 91%.
Predrasude mogu pretjerati u izvedbi AI
Profesor Denniston i kolege također skreću pozornost na nekoliko ograničenja koja su otkrili u studijama koje ispituju dijagnostičke učinke na umjetnu inteligenciju.
Prvo, većina studija ispituje dijagnostičku točnost umjetne inteligencije i zdravstvenih radnika u izoliranom okruženju koje ne oponaša redovitu kliničku praksu - na primjer, oduzima liječnicima dodatne kliničke informacije koje bi im obično trebale za postavljanje dijagnoze.
Drugo, kažu istraživači, većina studija uspoređivala je samo skupove podataka, dok bi visokokvalitetna istraživanja u dijagnostičkim performansama zahtijevala takve usporedbe kod ljudi.
Nadalje, sve su studije patile od lošeg izvješćivanja, kažu autori, pri čemu analiza ne uzima informacije koje su nedostajale u navedenim skupovima podataka. "Većina [studija] nije izvijestila nedostaju li neki podaci, koliki je to udio i kako su se podaci koji nedostaju rješavali u analizi", pišu autori.
Dodatna ograničenja uključuju nedosljednu terminologiju, nejasno postavljanje praga za analizu osjetljivosti i specifičnosti i nedostatak validacije izvan uzorka.
"Prisutna je napetost između želje za korištenjem nove dijagnostike koja može spasiti život i imperativa da se razviju visokokvalitetni dokazi na način koji može koristiti pacijentima i zdravstvenim sustavima u kliničkoj praksi", komentira prvi autor dr. Xiaoxuan Liu iz Sveučilište u Birminghamu.
“Ključna lekcija iz našeg rada jest da je u AI - kao i u bilo kojem drugom dijelu zdravstvene zaštite - važan dobar dizajn studije. Bez nje možete lako uvesti pristranost koja iskrivljuje vaše rezultate. Te pristranosti mogu dovesti do pretjeranih tvrdnji o dobrim performansama AI alata koji se ne prevode u stvarni svijet. "
Dr. Xiaoxuan Liu
"Dokazi o tome kako će algoritmi AI promijeniti ishode pacijenta moraju proizaći iz usporedbi s alternativnim dijagnostičkim testovima u randomiziranim kontroliranim ispitivanjima", dodaje koautorica dr. Livia Faes iz očne bolnice Moorfields, London, Velika Britanija.
"Za sada gotovo da nema takvih ispitivanja u kojima se djeluje na dijagnostičke odluke donesene algoritmom AI kako bi se vidjelo što se potom događa s ishodima koji su stvarno važni za pacijente, poput pravovremenog liječenja, vremena za otpust iz bolnice ili čak stope preživljavanja."
