Šta me rad na medicinskom AI-u naučio o domenskom znanju

Radio sam s ljekarima i drugim koautorima na istraživačkom rukopisu o primjeni deep learninga u histopatologiji karcinoma dojke.

Istraživačko pitanje odnosilo se na predikciju i detekciju metastaza u aksilarnim limfnim čvorovima. To je prostor u kojem se susreću whole-slide snimci, patologija, machine learning i odluke sa stvarnim kliničkim posljedicama.

Najvažnija lekcija za mene nije bila određena arhitektura neuronske mreže. Bila je to potvrda da tehnički sofisticiran model i dalje može odgovarati na pogrešno pitanje ako su domenske definicije i porijeklo podataka slabi.

Slika nije samo slika

Histopatološki preparat nosi kontekst koji model ne razumije automatski:

• kako je tkivo uzorkovano i pripremljeno;
• koju regiju patolog smatra relevantnom;
• kako su izvedene oznake;
• pripada li više slika istom pacijentu;
• šta „pozitivno“ znači za konkretno istraživačko pitanje;
• koje razlike dolaze iz biologije, a koje iz skeniranja ili pripreme.

Bez tog konteksta model može naučiti prečice. Može izgledati precizno, a oslanjati se na osobine koje neće preživjeti drugi centar, skener ili grupu pacijenata.

Domenski stručnjaci mijenjaju definiciju problema

Saradnja s ljekarima mijenja razgovor iz „Možemo li trenirati klasifikator?“ u bolja pitanja:

• Je li cilj klinički smislen?
• Predstavlja li oznaka stvarni ground truth ili nesavršen proxy?
• Mogu li informacije jednog pacijenta procuriti u trening i evaluaciju?
• Koja je greška ozbiljnija u ovom kontekstu?
• Koji bi dokazi bili potrebni prije djelovanja na osnovu rezultata?

To su pitanja kvaliteta podataka jednako koliko i pitanja machine learninga.

Evaluacija mora odgovarati jedinici upotrebe

Datasetovi medicinskih slika često sadrže mnogo isječaka ili preparata za znatno manji broj pacijenata. Nasumična podjela na nivou slike može zato dati preoptimističan rezultat ako se materijal istog pacijenta nađe na obje strane.

Dizajn evaluacije mora poštovati stvarnu jedinicu upotrebe: najčešće pacijenta, slučaj ili nezavisnu kohortu. Metrike također trebaju kliničko tumačenje. Jedan broj za tačnost ne objašnjava senzitivnost, specifičnost, neuravnoteženost klasa, kalibraciju niti posljedice greške.

Srodno javno istraživanje

Odvojeni javni BCNB challenge koristan je primjer šire istraživačke oblasti. Sadrži whole-slide snimke core-needle biopsija karcinoma dojke, kliničke karakteristike i zadatke koji uključuju predikciju metastatskog statusa aksilarnih limfnih čvorova.

Link navodim kao kontekst, a ne kao dataset ili publikaciju iz naše saradnje.

Granica dokaza

Imam dokumentaciju o saradnji i slanju rukopisa, ali nisam pronašao javnu publikaciju pod dostavljenim radnim naslovom. Zato rukopis ne predstavljam kao objavljen ili peer-reviewed rad i ne objavljujem privatnu prepisku, podatke pacijenata, metrike modela niti neobjavljene figure.

Ako javni rad postane dostupan, ovaj tekst se može dopuniti konačnim citatom i potvrđenim rezultatima.

Lekcija koju sam prenio na drugi rad

Isti princip vrijedi i izvan medicine.

Ako data tim ne može objasniti odakle je došla oznaka, šta jedan red predstavlja, kako su povezani trening i test zapisi ili kolika je cijena greške, složeniji model neće popraviti temelj.

Počni od porijekla podataka, definicija, kontrole curenja informacija i evaluacije koja liči na stvarnu odluku. Model dolazi poslije toga.