Mida MedImageInsight Premium teeb
MedImageInsight Premium on Microsofti Microsoft Foundry kaudu pakutav meditsiinilise pildinduse embedding-mudel. Embedding on sisu arvuline esitus: sarnase tähendusega pildid või tekst teisendatakse matemaatilises ruumis lähestikku paiknevateks punktideks. Rakendused saavad neid esitusi kasutada sarnasuse mõõtmiseks, kogude otsimiseks, näidete rühmitamiseks või sisendina teisele masinõppesüsteemile.
See eristab mudelit üldotstarbelisest vestlus- või visuaal-keelemudelist. Selle peamine väljund ei ole lõik teksti, pilt, diagnoos ega ravisoovitus. Mudel tagastab embedding'u, mida arendajad ja andmeteaduse meeskonnad saavad kasutada suurema töövoo vaheetapina.
Microsoft kirjeldab MedImageInsight Premiumi teadus- ja mudeliarenduse abivahendina, mitte iseseisva kliinilise rakenduse või meditsiiniseadmena. Seda ei tohiks käsitleda autonoomse diagnostikasüsteemina.
Toetatud sisendid, modaalsused ja väljundid
Mudel võtab vastu kas meditsiinipilte või teksti. Microsofti dokumentatsiooni kohaselt toetab see üheksat meditsiinilise pildinduse modaalsust, sealhulgas röntgenpilte, kompuutertomograafiat, magnetresonantstomograafiat, ultraheli, dermatoloogiat, oftalmoloogiat, patoloogiat ja mammograafiat. Esitatud uurimismaterjal ei loetle kõiki üheksat modaalsust, mistõttu tuleks rakendustes kontrollida kehtivat dokumentatsiooni ja katsetada konkreetset andmetüüpi, mida kavatsetakse kasutada.
Pildi- ja tekstisisendid teisendatakse ühiseks esitusruumiks. See võimaldab piltide omavahelist võrdlemist, teksti põhjal piltide otsimist ning muid töövooge, kus tekstilist kirjeldust saab võrrelda meditsiinipiltidega.
- Meditsiinipiltide vektor-esituste genereerimine
- Teksti vektor-esituste genereerimine
- Piltide sarnasusel põhinev otsing
- Pildi ja teksti otsing ning võrdlemine
- Embedding'utel põhinev klassifitseerimine
- Erandite ja pildikvaliteedi analüüs
- Andmekogumite kureerimine ja triaaž
- Jaotuse nihke ja mudeli triivi jälgimise töövood
Standardne ujukomaarvuline vastus sisaldab iga embedding'u kohta 1 024 väärtust. Teenus toetab ka base64-, binaar- ja märgita binaarvormingut. Need alternatiivid võivad vähendada salvestus- või edastusvajadust, kuigi binaar- ja märgita binaaresitused on kanoonilise ujukomaarvulise väljundiga võrreldes kadudega.
Juurutamine ja päringute käsitlemine
MedImageInsight Premium on hallatav serverita Microsoft Foundry teenus. Aluseks oleva mudeli kaalusid ei saa alla laadida, seega kasutavad meeskonnad mudelit oma taristus käitamise asemel autentitud hallatava lõpp-punkti kaudu. Praegu on juurdepääs kirjeldatud piiratud eelvaatena ning see eeldab registreerimist ja sobivuse kinnitamist.
Teenindatava mudeli identifikaator on MedImageInsight-Premium. Päringud sisaldavad kas massiivi texts või massiivi images. Pildid edastatakse PNG- või JPEG-andme-URI-dena. Päringus tuleks kasutada korraga ainult üht sisendmodaalsust. Microsofti sõnul töötleb lõpp-punkt mõlema välja saatmisel üht neist ja eirab teist, mistõttu ei tohiks rakendused tugineda kombineeritud väljadega päringutele.
Ühes päringus saab saata mitu sisendit. Esitatud uurimismaterjal ei kirjelda asünkroonset pakk-API-t, kontekstiakent, maksimaalset tokenite arvu ega maksimaalset väljundtokenite limiiti. Seetõttu tuleks neid piiranguid käsitleda kinnitamata infona, mitte eeldada nende olemasolu või konkreetset väärtust.
Mahulised uuringud nõuavad spetsiaalset eeltöötlust. KT- või MRT-uuringute puhul soovitab Microsoft teisendada DICOM-uuringud eraldi kahemõõtmelisteks piltideks, valida sobiva lõike ja rakendada enne kodeerimist modaalsusele vastavat aknastamist. See tähendab, et mudeli lõpp-punkt ei kõrvalda vajadust teha pildindustöövoo otsuseid, näiteks valida lõige, normaliseerida andmed ja kontrollida kvaliteeti.
Peenhäälestus ja kohandamine
Microsoft toetab MedImageInsight Premiumi kohandamise ja peenhäälestuse töövooge Microsoft Foundrys. Peenhäälestus kohandab mudeli asutuse andmejaotuse ja märgendamistavadega, säilitades samal ajal selle põhieesmärgi ehk embedding'u loomise. Peenhäälestustööd kasutavad mudelipõhiseid JSONL-vormingus treeningandmeid ja loovad eraldi juurutatavad peenhäälestatud mudelid.
See võib olla kasulik, kui tervishoiuorganisatsiooni kohalik patsiendipopulatsioon, piltide hankimise protokoll, märgendamisstiil või klassifitseerimistaksonoomia erineb alusmudeli treeningandmetes esindatust. See ei tõenda iseenesest kliinilist valiidsust. Ka kohandatud mudelit tuleb hinnata esinduslikel andmetel, jälgida jaotuse nihet ning rakendada asjakohast juhtimist enne selle kasutamist oluliste tagajärgedega töövoos.
Piirkondlik kättesaadavus ja kvoodid erinevad. Microsoft dokumenteerib alusmudeli ja peenhäälestatud mudelite juurutused eraldi. Esitatud dokumentatsioon loetleb ametliku toe piirkondadena muu hulgas East US-i ja East US 2-e, samas on alusmudeli juurutus loetletud ka West US 2-s, Central US-is ja West Central US-is. Organisatsioonid peaksid enne konkreetsele juurutuskohale ülesehitamist kontrollima piirkondlikku sobivust.
Praktilised kasutusjuhud
MedImageInsight Premium on kõige asjakohasem siis, kui meeskond vajab meditsiinipiltide korduvkasutatavat esitust, mitte valmislahendust. Näiteks võib tervishoiuteenuse osutaja luua uuest pildist embedding'u ja otsida arhiivist visuaalselt sarnaseid juhtumeid. Uurimisrühm võib embedding'uid kasutada klastrite tuvastamiseks, valesti märgendatud kirjete kontrollimiseks või ebatavaliste näidete leidmiseks eksperdihinnangu jaoks.
Muud võimalikud töövood on järgmised:
- Sarnasusel põhinev otsing: visuaalselt või semantiliselt seotud uuringute leidmine meditsiinilisest arhiivist.
- Multimodaalne otsing: tekstikirjelduse võrdlemine pildiembedding'utega sobivate juhtumite leidmiseks.
- Andmekogumi kureerimine: duplikaatide, peaaegu identsete kirjete, alaesindatud rühmade või võimalikult valesti märgendatud piltide tuvastamine.
- Erandite analüüs: võrdluspopulatsioonist või eeldatavast pildi hankimise mustrist oluliselt erinevate piltide märgistamine.
- Järgnev klassifitseerimine: embedding'ute kasutamine eraldi treenitud klassifikaatori tunnustena.
- Jälgimine: sisendpiltide jaotuse muutuste otsimine, mis võib viidata andmete triivile või uuele piltide hankimise protsessile.
- Tervishoiutarkvara arendus: hallatava embedding-teenuse kasutamine ilma alusmudeli kaalude majutamise või levitamiseta.
Need on abistavad ja analüütilised kasutusviisid. Embedding'ute sarnasusskoor ei tõesta, et kahel juhtumil on sama diagnoos, ning erandiskoor ei tõesta, et pilt on ebanormaalne. Igasugune kliiniline tõlgendus tuleb eraldi valideerida.
Peamised tugevused ja piirangud
Mudeli selgeim tugevus on spetsialiseerumine. See on loodud meditsiinipiltide ja nendega seotud teksti, mitte üldiste veebipiltide põhjal. Ühine pildi- ja tekstiesitus võimaldab eri modaalsuste vahelist otsingut ja võrdlemist, samas kui hallatav Foundry juurutus kõrvaldab suletud mudelikaalude käitamisega seotud töökoormuse. Peenhäälestus pakub täiendavat võimalust teenuse kohandamiseks kohalike andmetega.
1 024-dimensiooniline väljund on praktiline ka paljude otsingu- ja masinõppekonveierite jaoks. Meeskonnad saavad vektoreid salvestada ühilduvas andmebaasis, arvutada sarnasust või kasutada neid tunnustena, ilma et mudel peaks genereerima pikki vastuseid. Alternatiivsed binaarvormingud võivad aidata vähendada salvestus- ja võrgukulusid.
Olulised piirangud on järgmised:
- Mudel on piiratud eelvaates, mistõttu võivad kättesaadavus, kvoodid, piirkondlik tugi ja käitumine muutuda.
- Mudel on suletud kaaludega ning sellele pääseb ligi hallatava teenusena, mitte seda alla laadides ja ise majutades.
- Mudel genereerib embedding'uid, mitte lõplikku kliinilist järeldust ega üldotstarbelist raportit.
- Jõudlus võib sõltuda pildikvaliteedist, pildi hankimise parameetritest, modaalsusest, eeltöötlusest, populatsioonist, asutusepõhistest tavadest ja jaotuse nihkest.
- KT- ja MRT-töövood nõuavad teisendamist ja lõiketaseme eeltöötlust; ei tohiks eeldada, et kogu mahuline uuring saab olla esitatud ühe pildina.
- Esitatud uurimismaterjalis ei ole kinnitatud avalikku pildipõhist hinda.
- Uurimismaterjal ei esita konteksti pikkuse piirangut, maksimaalset väljundtokenite limiiti, võrdlustulemusi, latentsusgarantiid ega asünkroonset pakk-API-t.
Hind ja võimekuse profiil
Selle lehe jaoks esitatud Microsofti avalikus dokumentatsioonis ei ole MedImageInsight Premiumi kinnitatud pildipõhist hinda. Seetõttu ei tohiks esitada kindlat hinda. Potentsiaalsed kasutajad peaksid kontrollima Microsoft Foundry kataloogi ja oma Azure'i ärilisi tingimusi, et saada teavet kehtiva eelvaatehinna, kvoodi ja taristutasude kohta.
Mudel on sisendi poolest multimodaalne, toetades meditsiinipilte ja teksti, kuid selle otsene väljund on arvuline embedding. See ei genereeri otse teksti, pilte, heli ega videot. Esitatud uurimismaterjal ei dokumenteeri ka tööriistade kasutamist, funktsioonikutseid, veebiotsingut, voogedastust, JSON-režiimis väljundit ega üldotstarbelise arutlemise ja programmeerimise võimekust. Need puuduvad andmed tulenevad mudeli embedding'utele keskenduvast ülesehitusest, mitte puudusest, mida tuleks eeldustega täita.
Kiiruse ja kulude seisukohast on seda mudelit kõige mõistlikum käsitleda keskendunud tunnuste eraldamise teenusena. See võib olla sobivam kui suur generatiivne mudel juhul, kui rakendus vajab otsingu või klassifitseerimise jaoks kompaktseid vektoreid ega vaja vestluslikku väljundit. Tegelik hind, läbilaskevõime ja latentsuse kompromissid ei ole aga esitatud materjalis kinnitatud, mistõttu peaksid meeskonnad enne tootmisarhitektuurile pühendumist mõõtma esinduslike töökoormuste jõudlust.
Millal valida MedImageInsight Premium
Valige MedImageInsight Premium, kui vajate hallatavaid meditsiinivaldkonna pildi- ja tekstembedding'uid otsingu-, leidmis-, kureerimis-, jälgimis- või järgneva klassifitseerimise süsteemi jaoks. See sobib eriti tervishoiuteenuse osutajatele, meditsiinilise pildinduse tarnijatele, süsteemiintegraatoritele, ettevõtete tehisintellektimeeskondadele ja uurimisrühmadele, kes soovivad Microsofti majutatud teenust ning võivad saada kasu peenhäälestusest.
Mõni teine lahendus võib olla sobivam, kui nõutav on valideeritud diagnostikatoode, radioloogiaaruannete koostamise abiline, üldotstarbeline visuaal-keelemudel, mudelikaalude kohalik juurutus või garanteeritud hind ja võimekus. Generatiivne mudel võib sobida paremini narratiivsete selgituste või interaktiivse aruandluse jaoks, samas kui spetsiaalselt loodud kliiniline rakendus võib pakkuda patsiendisuunitlusega kasutuseks vajalikke regulatiivseid kontrolle ja töövoointegratsiooni.
Enne kasutuselevõttu hinnake mudelit esinduslikel kohalikel andmetel. Mõõtke otsingu kvaliteeti ja järgneva klassifitseerimise jõudlust modaalsuse ja populatsiooni kaupa, uurige valepositiivseid ja valenegatiivseid tulemusi, testige jaotusest väljapoole jäävat käitumist ning kehtestage inimkontrolli protseduurid. Käsitlege embedding'uid hallatava süsteemi tehniliste sisenditena, mitte iseseisvate meditsiiniliste otsustena.