Inteligentni sistem za radiološko diagnostiko in prognostiko na podlagi analize medicinskih slik s strojnim učenjem (InteliRad)

Splošni podatki

Oznaka
InteliRad
Naslov
Inteligentni sistem za radiološko diagnostiko in prognostiko na podlagi analize medicinskih slik s strojnim učenjem
Obdobje
1. 2. 2019 -- 30. 6. 2019
Opomba
Naložbo sofinancirata Republika Slovenija in Evropska unija iz Evropskega socialnega sklada.
Aktivnosti
07 Tehnika, proizvodne tehnologije in gradbeništvo

Povzetek

Veliko bolezni lahko preprečimo z zgodnjim odkrivanjem in čimprejšnjim zdravljenjem ter spremljanjem s tem povezanih učinkov, k čemur pripomorejo predvsem bolj temeljite in večmodalne preiskave bolnikov. Ena od gonilnih parakliničnih preiskav je medicinsko slikanje s tridimenzionalnimi (3D) tehnikami kot so računalniška tomografija, magnetna resonanca (MR), ultrazvok, ipd. Slabost pa je, da je radiološko vrednotenje teh slik večinoma očno in kvalitativno. Ročno vrednotenje v zadnjem času pospešeno in zelo uspešno nadomeščajo avtomatski postopki analize slik, ki nudijo podporo pri vrednotenju in odločanju na podlagi medicinskih slik. Algoritmi strojnega učenja kot so konvolucijske nevronske mreže omogočajo modeliranje delovanja vizualnega zaznavanja in odločanja pri človeku, kar potencialno lahko simulira in nadomesti očno radiološko vrednotenje slik, brez vmesnega nivoja izločanja velikega števila parametrov, kot pri klasični avtomatski analizi medicinskih slik. V projektu smo se osredotočili na razvoj in vrednotenje orodij analize medicinskih slik na osnovi konvolucijskih nevronskih mrež, in sicer za možganske bolezni z visokim socio-ekonomskim vplivom kot so možganska anevrizma, multipla skleroza in Alzheimerjeva demenca. Z računalniško podprto analizo 3D-DSA slik želimo omogočiti: (1) zgodnje odkrivanje anevrizem, kar omogoča zdravljenje pred običajno usodno rupturo anevrizme, (2) s fenotipiranjem multiple skleroze iz T1 MR slik glave omogočiti izbiro najbolj učinkovite terapije in (3) z zaznavanjem blage kognitivne motnje kot predstopnje demence iz T1 MR omogočiti njihovo čimprejšnje zdravljenje z novimi terapijami. Razvili smo inovativno detekcijo možganskih anevrizem iz 3D DSA slik možganskega žilja s projekcijo iz 3D v 2D, detekcijo z nevronsko mrežo U-net in povratno projekcijo v originalno 3D sliko. Dosegli smo občutljivost 80% in 1 lažno zaznavo na sliko. Razvili smo konvolucijske in avtokodirne nevronske mreže za normalizacijo intenzitet T1 MR slik, kot predobdelava za nadaljno analizo, in za kompresijo 3D slike v kompakten 1D vektor. Vektor dolžine 150 je bil zadosten za opis originalne slike. Rojenje teh vektorjev za nabor T1 MR slik glave bolnikov z multiplo sklerozo je dalo štiri smiselne fenotipe te bolezni. Z uporabo konvolucijske nevronske mreže smo razvili postopke parcelacijo T1-utežene MR slike glave v več kot 140 različnih struktur. Ugotovili smo, da je parcelacija uporabna za lokalizacijo in kvantifikacijo možganskih struktur (bazalnih jeder, girusov in sulkusov, hipokampusa, lezij, itd.) iz katerih neposredno ocenimo kvalitativne lestvic MTA in Fazekas, ki jih pri diagnostiki blage kognitivne motnje, demenc in drugih stanj uporabljajo radiologi. Uporabili smo prednaučene in prilagojene nevronske mreže za razvrščanje in regresijo iz slik, in sicer za napovedne spremenljivke kot so tip MR sekvence in naprave, spol, starost ter diagnoza bolezni (demenca, blaga kognitivna motnja). Srednja absolutna napaka regresije starosti je bila 5 let, pri ostalih spremenljivkah pa je bila točnost razvrščanja v območju od 90 do 99 %. Diagnostika in prognostika iz medicinskih slik s prostim očesom je bodisi omejena bodisi nemogoča pri nekaterih stanjih in boleznih. Spodbudni rezultati projekta kažejo, da tehnologija globokega strojnega učenja na posameznih obravanih boleznih z analizo slik dosega točnost več kot 90 %. To daje izjemne možnosti za izboljšanje obravnave bolnikov na podlagi medicinskih slik, ki je neinvazivna, v primeru magnetne resonance pa tudi zdravju neškodljiva in razmeroma poceni preiskava v medicini. Globoko strojno učenje je zanimivo za industrijske aplikacije robotskega in strojnega vida. S to tehnologijo se je tekom projekta spoznalo partnersko podjetje in jo bo preizkusilo na obstoječih izdelkih, da bi izboljšali karakteristike teh izdelkov. To jim bo dalo pomembno tržno prednost pred konkurenti. S takimi visokotehnološkimi podjetji, ki zaposlujejo visoko izobražene kadre in proizvajajo izdelke z visoko dodano vrednostjo bomo lahko postali inovativna in visokotehnološka družba.

Faze projekta in njihova realizacija

Faze projekta in realizacija
Projekt smo izvedli v štirih delovnih paketih. Prvi trije delovni paketi so vključevali razvoj modelov globokega učenja kot orodij za analizo slik in so se izvedli v prvih štirih mesecih. Ta orodja so študenti razvijali, preizkušali in vrednotili na zbirkah MR slik glave zdravih oseb. Izvedba četrtega delovnega paketa je potekala večinoma v zadnjem petem mesecu, kjer smo prej razvita orodja in sisteme uporabili na slikah bolnikov.
2019
Paket 1: Razvoj in vrednotenje konvolucijskih nevronskih mrež za parceliranje normalnih struktur osrednjega živčevja in zaznavanje anevrizem v MR slikah glave
Dokončano
Paket 2: Razvoj in vrednotenje generativnih kontradiktornih in avtokodirnih nevronskih mrež za izločanje kvantitativnih slikovnih značilnic iz MR slik glave
Dokončano
Paket 3: Razvoj in vrednotenje arhitekture za globoko učenje z namenom vzpostavljanja neposrednih kavzalnih razmerij med surovimi MR slikami glave in pokazalniki kliničnega izida
Dokončano
Paket 4: Implementacija v inteligentni sistem za podporo radiološkemu vrednotenju s praktično demonstracijo uporabne vrednosti na dejanskih MR slikah bolnikov
Dokončano

Rezultati

Razvili smo konvolucijske in avtokodirne nevronske mreže (Tensorflow in Keras) za normalizacijo intenzitete T1 MR slik, kot predobdelava za nadaljno analizo, in za kompresijo v kompakten vektor. Vektor dolžine 150 je bil zadosten za opis originalne slike. Nato smo izvedli rojenje vektorjev na podlagi K-tih povprečij, DBSCAN, T-SNE (scikit-learn) za nabor T1 MR slik glave in določili štiri smiselne fenotipe bolezni multiple skleroze, kar je podlaga za izbiro učinkovite terapije.
Z uporabo konvolucijske nevronske mreže HighResNet (NiftyNet) smo razvili modele za parcelacijo T1-utežene magnetno resonančne (MR) slike glave v več kot 140 različnih struktur. Na osnovi treh zbirk T1 MR slik in referenčnih parcelacij smo razvili tri tipe parcelacij (MICCAI-2012, Freesurfer in GIF-v2). Ugotovili smo, da je parcelacija uporabna za lokalizacijo in kvantifikacijo možganskih struktur (bazalnih jeder, girusov in sulkusov, hipokampusa, lezij, itd.) iz katerih neposredno ocenimo kvalitativne lestvice MTA (angl. medial temporal atrophy) in Fazekas, ki jih pri diagnostiki demenc, blage kognitivne motnje in drugih stanj uporabljajo radiologi.

Bibliografski zapisi

1.
Žiga Bizjak, Tim Jerman, Boštjan Likar, Franjo Pernuš, Aichi Chien, Žiga Špiclin: Registration based detection and quantification of intracranial aneurysm growth. SPIE Medical Imaging 2019: Computer-Aided Diagnosis, Feb 16-21, San Diego, ZDA (K. Mori, H. K. Hahn, ur.), 10950:1095007, 2019 [COBISS-ID:12500564 ] [doi:10.1117/12.2512781 ]