Mis on Microsoft MedImageParse?
MedImageParse on Microsofti biomeditsiiniliste kujutiste parsimise mudel, mis on mõeldud tekstijuhiste põhise segmenteerimise, tuvastamise ja äratundmise jaoks. See kuulub BiomedParse'i uurimissuunale ning on loodud biomeditsiinilistel kujutistel olevate objektide tuvastamiseks ja piirjoonte määramiseks loomulikus keeles antud juhiste põhjal.
Praktilises mõttes ühendab mudel kujutise kirjeldusega selle kohta, mida kasutaja soovib leida. Viip võib viidata elundile, kahjustusele, kasvajale, veresoonele, patoloogilisele struktuurile või rakule. Väljundiks on segmenteerimismask, mis näitab, millised pikslid kuuluvad soovitud objektile, koos viibaga seotud siltidega. Segmenteerimine on üksnes kujutise klassifitseerimisest üksikasjalikum: selle eesmärk on määrata objekti asukoht ja kuju.
MedImageParse on saadaval avatud kaaludega uurimismudelina ning seda saab kasutada ka hallatava Microsoft Foundry lõpp-punkti kaudu. Avatud kaaludega väljalase sobib teadlastele ja arendajatele, kes soovivad mudelit uurida või kohandada, samas kui hallatud juurutus pakub Microsofti majutatud võimalust katsetamiseks ja rakenduste arendamiseks.
Kuidas töötab viipade põhine segmenteerimine?
Tavapärane meditsiinilise kuvamise töövoog võib nõuda iga sihtobjekti jaoks eraldi treenitud mudelit, näiteks üht mudelit maksa segmenteerimiseks ja teist kasvaja segmenteerimiseks. MedImageParse kasutab seevastu sihtobjekti määramiseks järeldamise ajal tekstikirjeldusi. Nii saab üks mudel käsitleda ühe ühise liidese kaudu mitut objektikategooriat ja ülesannet.
Näiteks võib töövoog anda mudelile kujutise koos viipadega „kops“, „kahjustus“ ja „veresoon“. Mudel võib tagastada taotletud objektidele vastavad maskikanalid. Ühes päringus võib sisaldada mitut viipa ning juurutusdokumentatsiooni kohaselt eraldatakse need ampersandiga.
Mudeli ühtne ülesehitus hõlmab segmenteerimist, tuvastamist ja äratundmist. Need terminid kirjeldavad omavahel seotud, kuid erinevaid väljundeid: äratundmine tuvastab taotletud biomeditsiinilise kategooria, tuvastamine määrab selle asukoha ja segmenteerimine märgib selle pikslid. Peamine praktiline väljund on segmenteerimismask, mitte kirjalik meditsiiniline aruanne või diagnostiline soovitus.
Toetatud kujutised ja sisendvorming
Microsoft kirjeldab MedImageParse'i kui mudelit, mis toetab laia valikut biomeditsiinilisi kujutisi. Uuringud hõlmavad üheksat kuvamismeetodit, näiteks röntgeni-, KT- ja MRT-kujutisi, ultraheli-, dermatoloogia- ja patoloogiakujutisi. Dokumenteeritud juurutuse töövoos töötab mudel biomeditsiiniliste kujutistega, mis on esitatud kahemõõtmelise sisendina.
Microsoft Foundry juurutus eeldab, et kujutise suuruseks muudetakse 1024 × 1024 pikslit, säilitades selle kuvasuhte. Kui algne kujutis ei ole ruudukujuline, tuleb ülejäänud ala täita mustade pikslitega. Kujutiseandmed edastatakse Base64-kodeeringus koos tekstilise viiba või viipadega päringu andmekoormuses.
Kindlaksmääratud eeltöötlusnõue on rakendamisel oluline. See tähendab, et rakendus ei saa lihtsalt saata iga lähtekujutist algses suuruses ja eeldada, et lõpp-punkt töötleb need kõik ühtemoodi. Arendajad peaksid järgima dokumenteeritud suuruse muutmise ja täitmise käitumist, et sisend vastaks juurutatud mudeli eeldatavatele tingimustele.
Väljundid ja tehnilised piirangud
Dokumenteeritud vastus sisaldab Base64-kodeeringus segmenteerimismaske ja nendega seotud tekstiliste tunnuste silte. Pärast dekodeerimist esitatakse mask NumPy massiivina ning selle puhul kasutatakse mudeli nõutud 1024 × 1024 piksli suurust. Mitut viibaga määratud objekti saab esitada eraldi kanalites.
MedImageParse'i kohta ei ole esitatud autoriteetset kontekstiakna ega väljundi maksimaalse märgimahu spetsifikatsiooni. Need keelemudelite piirangud ei kirjelda seda mudelit kuigi hästi, sest selle peamine väljund on pika tekstilise lõpetuse asemel kujutisemask. Kättesaadavates uuringutes ei määratleta tavapärast märgipõhist konteksti pikkust, väljundi maksimaalset märgimahtu, voogedastusrežiimi, partiiliidest ega funktsioonikutsete liidest.
MedImageParse võtab vastu tekstisisendit, kuid see ei muuda seda üldiseks vestlusmudeliks. Teksti kasutatakse biomeditsiiniliste sihtobjektide kirjeldamiseks kujutise parsimisel. Mudel ei paku üldist meditsiinilist arutlust, veeb otsingut, aruannete koostamist ega autonoomseid kliinilisi soovitusi.
Treening ja mudeli päritolu
MedImageParse on seotud Microsofti BiomedParse'i uurimisprojektiga. Microsoft kirjeldab selle aluseks olevat uurimismudelit baasmudelina, mida treeniti paljudest avalikest segmenteerimisandmekogumitest kogutud biomeditsiiniliste kujutiste, maskide ja tekstikirjelduste andmetel.
Teatatud uurimisandmestik sisaldab enam kui kuut miljonit kujutise, maski ja kirjelduse kolmikut ning hõlmab 82 üksikasjalikku objektitüüpi. See katab üheksa kuvamismeetodit ja on mõeldud toetama biomeditsiiniliste struktuuride laia taksonoomiat, mitte ainult üht elundit või haigust. Arhitektuur ühendab kujutise- ja tekstikodeerijad maskide dekooderi ning ülesandega kohandamise komponentidega, võimaldades loomulikus keeles antud kirjeldustel kujutise parsimist suunata.
Need treeningu üksikasjad selgitavad mudeli positsiooni. See on laiemalt kasutatav kui ühe andmekogumi jaoks kitsalt treenitud segmenteerimismudel, kuid lai katvus ei taga ühtlast jõudlust kõigi skannerite, uuringuprotokollide, populatsioonide, anatoomiliste piirkondade ega kliiniliste keskkondade puhul. Treeningjaotusega sarnane sihtobjekt annab tõenäolisemalt kasulikke tulemusi kui ebatavaline objekt või kujutisetüüp, mis ei olnud andmetes piisavalt esindatud.
Peamised tugevused
- Viipade põhine liides: kasutajad saavad sihtstruktuure tekstiliselt kirjeldada, selle asemel et joonistada käsitsi piirjooni või luua iga kategooria jaoks eraldi ülesandespetsiifilist mudelit.
- Mitu omavahel seotud ülesannet: mudel ühendab segmenteerimise, tuvastamise ja äratundmise üheks biomeditsiiniliste kujutiste parsimise töövooks.
- Lai biomeditsiiniline katvus: teatatud treeningu- ja hindamisulatus hõlmab üheksat kuvamismeetodit ja 82 üksikasjalikku objektitüüpi.
- Paindlikkus teadustöös: avatud kaaludega väljalase toetab katsetamist, kohandamist, märgendamise abistamist ja kohandatud arvutinägemise töövooge.
- Võimalus mudelit kohandada: Microsoft nimetab ühe võimaliku kasutusjuhtuna uute kuvamismeetodite või segmenteerimise sihtobjektidega kohandamist järelhäälestuse abil.
- Hallatud juurutus: Microsoft Foundry pakub majutatud juurutusvõimalust meeskondadele, kes ei soovi uurimisrakendust ise käitada.
Need tugevused muudavad MedImageParse'i eriti huvitavaks olukordades, kus meeskond vajab ühe liidese kaudu mitme biomeditsiinilise sihtobjekti käsitlemist ja soovib uurida tekstijuhiste põhist segmenteerimist, selle asemel et luua rida kitsalt spetsialiseeritud mudeleid.
Piirangud ja ohutusega seotud kaalutlused
MedImageParse'i ei tohiks käsitleda iseseisva kliinilise diagnostikasüsteemina. Microsoft märgib, et selle tervishoiu tehisintellekti mudelid vajavad enne meditsiinitoodetesse või kliinilistesse töövoogudesse kaasamist asjakohast valideerimist, väljundite kontrollimist, regulatiivset hindamist ja kohaldatavate tervishoiuseaduste järgimist.
Segmenteerimismaskid võivad olla valed, ebatäielikud või kavandatud anatoomiaga halvasti joondatud. Jõudlus võib sõltuda viiba sõnastusest, kujutise eeltöötlusest, sihtstruktuurist, kujutise orientatsioonist, kuvamismeetodist ning sellest, kui sarnased on juurutusandmed treeningjaotusega. Ka näiliselt usutav mask tuleks üle vaadata lähtekujutise suhtes ja vajaduse korral kvalifitseeritud valdkonnaeksperdi poolt.
Mudelil on ka kitsas funktsionaalne ulatus. See ei ole üldotstarbeline abiline, mis suudaks tõlgendada patsiendi täielikku haiguslugu, koostada usaldusväärset kliinilist aruannet, soovitada ravi või hankida veebist ajakohast meditsiinilist teavet. Heli- ja videosisendit ei ole toetatud võimalustena nimetatud ning esitatud uuringud ei dokumenteeri üldotstarbelist tööriistakasutust ega funktsioonikutseid.
Veel üks praktiline piirang on nõutav 1024 × 1024 piksli suuruseks ettevalmistamine. Suuruse muutmine ja täitmine võivad mõjutada väikeseid struktuure või kujutise üksikasju, mistõttu peaksid meeskonnad testima kogu eel- ja järeltöötluse torujuhet esinduslikel andmetel. Kõiki järgnevaid mõõtmisi, märgendeid või kliinilisi visualiseeringuid tuleks kontrollida, mitte võtta tagastatud maski ülevaatuseta kasutusele.
Hinnastamine ja juurutus
Esitatud teabes ei ole MedImageParse'i kohta avalikku päringupõhist hinda. Microsoft Foundry juurutustega kaasnevad hallatud Azure'i arvutusressursside tasud, kuid uuringud ei esita üht kindlat hinda, mis kehtiks iga juurutuskonfiguratsiooni puhul. Seetõttu sõltub kogukulu valitud hallatud taristust ja lõpp-punkti kasutamisest.
Avatud kaaludega lahendus võib pakkuda suuremat kontrolli käituskeskkonna ja kohandamisprotsessi üle, kuid annab kasutajale või organisatsioonile suurema vastutuse töökorralduse eest. Hallatud lõpp-punkt võib lihtsustada majutust ja integratsiooni, kuid tähelepanu tuleb siiski pöörata kujutiste kodeerimisele, suuruse muutmisele, täitmisele, viipade koostamisele, juurdepääsu kontrollile ja terviseandmete haldamisele.
Kuna hinnastamist ei ole esitatud standardse päringupõhise tariifina, ei tohiks MedImageParse'i võrrelda otse fikseeritud hinnaga teksti- või nägemis-API-dega, arvestamata taristu-, salvestus-, seire-, valideerimis- ja arenduskulusid. Selle kulueelis või -puudus sõltub juurutuse mahust ning sellest, kas organisatsioon saab ühe mudeli korduvkasutusest paljude biomeditsiiniliste sihtobjektide puhul kasu.
Arutlus, kodeerimine ja tööriistade tugi
MedImageParse ei ole mõeldud avatud otsaga arutluseks. Selle ülesandespetsiifiline „arutlus“ seisneb visuaalses parsimises: mudel seostab tekstilise kirjelduse biomeditsiinilisel kujutisel olevate piirkondadega. See ei paku üldist arutlusrežiimi, mõttekäigu liidest ega laiaulatuslikku kliinilist järeldusvõimet.
Mudelit saab kasutada koodipõhistes kujutiseanalüüsi töövoogudes ning avatud kaaludega repositoorium toetab teaduslikku rakendamist ja kohandamist. Kodeerimisabi ei ole siiski mudeli võimekus samas mõttes nagu programmeerimisele keskendunud keelemudelil. MedImageParse ei genereeri rakendusekoodi oma peamise väljundina ning esitatud teabes ei dokumenteerita autonoomseid tööriistu, veebisirvimist, funktsioonikutseid ega väliseid toiminguid.
Selle väljundid on järgnevaks tarkvaratöötluseks piisavalt struktureeritud, sest maske ja silte saab programmiliselt dekodeerida ja töödelda. Seda ei tohiks segi ajada üldise JSON-režiimi ega laia struktureeritud väljundi lepinguga: dokumenteeritud väljund keskendub konkreetselt maskiandmetele ja nendega seotud siltidele.
Millal valida MedImageParse?
MedImageParse on tugev kandidaat siis, kui keskne probleem on tekstijuhiste põhine biomeditsiiniliste kujutiste segmenteerimine, mitte vestlus või aruannete koostamine. See sobib eriti hästi järgmisteks kasutusjuhtudeks:
- uurimisprototüübid, mis peavad segmenteerima mitut tüüpi biomeditsiinilisi objekte;
- elundite, kasvajate, kahjustuste, veresoonte, rakkude või patoloogiliste struktuuride märgendamise abistamine;
- kujutise ja teksti meetodite uurimine eri kuvamismeetodite puhul;
- kohandatud biomeditsiinilised arvutinägemise töövood, kus maske saab enne kasutamist valideerida;
- uute segmenteerimise sihtobjektide või kuvamismeetodite järelhäälestamise katsed; ja
- Microsoft Foundry juurutused, kus hallatud majutus on eelistatum mudeli otse käitamisele.
Valige tavapärane ülesandespetsiifiline segmenteerimismudel siis, kui sihtobjekt, kuvamismeetod ja andmejaotus on stabiilsed ning kitsa ülesande puhul on maksimaalne prognoositavus tähtsam kui viipade paindlikkus. Valige üldine visuaal-keelemudel siis, kui peamine vajadus on kujutise kirjeldamine, küsimustele vastamine, dokumentide mõistmine või aruannete koostamine, mitte pikslitasandi maskid. Valige üldine keelemudel siis, kui ülesandeks on kodeerimine, veebiuuringud, kliinilise teksti analüüs või tööriistade orkestreerimine.
Võrreldes laia vestlusmudeliga loobub MedImageParse üldisest arutlus- ja suhtlusvõimest spetsialiseeritud biomeditsiiniliste kujutiste parsimise väljundi kasuks. Võrreldes väikese ühe ülesande arvutinägemise mudeliga võib see pakkuda suuremat viipade paindlikkust, kuid selle täpsuse, latentsuse ja arvutuskulu sobivus kavandatud töövoogu vajab endiselt valideerimist.
Üldhinnang
MedImageParse'il on Microsofti tervishoiu tehisintellekti kataloogis spetsialiseeritud roll: see on avatud kaaludega viipade põhine mudel biomeditsiiniliste kujutiste segmenteerimiseks, tuvastamiseks ja äratundmiseks. Selle eripära on võimalus taotleda biomeditsiinilisi struktuure tekstiga ning töötada samal ajal paljude kuvamismeetodite ja objektitüüpidega.
Teadlaste ja arendajate jaoks teeb see mudelist kasuliku aluse märgendamistööriistadele ja eksperimentaalsetele meditsiinilise kuvamise süsteemidele. Planeerimisel on sama olulised selle kindlaksmääratud sisendi ettevalmistus, taristust sõltuv hinnastamine, teadmata tavapärased märgipiirangud ja kliinilise kasutuse piirangud. Mudelit on kõige parem käsitleda teadus- ja arenduskomponendina, mille maske tuleb testida ning mille tulemusi peab kontrollima inimene või rakendus, mitte autonoomse meditsiiniliste otsuste tegijana.