Mis on multimodaalsed tehisintellektimudelid?

Mis on multimodaalne tehisintellektimudel?

Multimodaalne tehisintellektimudel on masinõppemudel, mis on treenitud või loodud töötama rohkem kui üht tüüpi andmetega. Levinud modaalsused on järgmised:

• Tekst
• Pildid ja fotod
• Heli ja kõne
• Video
• Dokumendid, diagrammid ja graafikud
• Kood
• Anduridelt või robotitelt pärinevad andmed spetsialiseeritud süsteemides

Mudel võib olla multimodaalne mitmel viisil. See võib vastu võtta mitut tüüpi sisendit, luua mitut tüüpi väljundit või teha mõlemat. Näiteks võib mudel vastu võtta pildi ja kirjaliku küsimuse, kuid anda väljundina ainult tekstilise vastuse. Pildi sisendi toetamine ei tähenda iseenesest, et mudel suudab pilte luua.

Peamine tunnus on modaalsusteülene töötlus: eri modaalsustest pärineva teabe seostamine. Süsteem, mis loeb fotot ja vastab selle kohta esitatud küsimusele, teeb enamat kui töötleb kahte omavahel seotud sisendit eraldi.

Miks multimodaalsed mudelid on olulised?

Suur osa inimeste kasutatavast teabest ei ole vormistatud lihtsa tekstina. Ettevõte võib talletada teadmisi skannitud dokumentides, arvutustabelites, diagrammides, salvestistes, tootefotodel ja videotes. Multimodaalne mudel võib muuta need allikad hõlpsamini otsitavaks, selgitatavaks ja kasutatavaks.

Multimodaalsed mudelid võivad toetada näiteks järgmisi ülesandeid:

• Graafikute, ekraanipiltide ja fotode kohta küsimustele vastamine
• Vormidest, kviitungitest ja muudest dokumentidest teabe väljavõtmine
• Koosolekute või intervjuude transkribeerimine ja kokkuvõtete koostamine
• Sündmuste leidmine videost
• Pildikataloogi otsimine teksti või fotode abil
• Visuaalse või helisisu ligipääsetavuskirjelduste loomine
• Piltide, heli või videoga seotud loomingulise töö toetamine
• Robotite ja muude kehastatud süsteemide aitamine juhiste ning visuaalsete vaatluste seostamisel

Need on kasulikud, sest sisend võib vastata tegelikule probleemile täpsemalt. Kasutaja võib objekti kahjustust näidata, selle asemel et seda kirjeldada, või saata graafiku, selle asemel et kõik väärtused käsitsi sisestada.

Kuidas multimodaalsed tehisintellektimudelid töötavad?

Kõigi multimodaalsete süsteemide jaoks ei ole üht kindlat arhitektuuri. Mudel võib olla üles ehitatud ühtse süsteemina või koostatud mitmest spetsialiseeritud komponendist.

Eraldi kodeerijad ja adapterid

Üks levinud lahendus kasutab iga modaalsuse jaoks spetsialiseeritud kodeerijat. Pildikodeerija teisendab visuaalse teabe masinloetavaks esituseks, kõnekodeerija aga töötleb heli. Seejärel teisendab adapter või projektsioonikiht need esitused kujule, mida teine mudel saab kasutada.

Lihtsustatult öeldes muudavad kodeerijad eri tüüpi teabe omavahel ühilduvateks sisemisteks esitusteks. Seejärel saab mudel seostada pildi küsimusega, transkriptsiooni dokumendiga või videosündmuse kirjeldusega.

Jagatud esitused ja risttähelepanu

Mõni süsteem paigutab eri modaalsused ühisesse esituseruumi. See võimaldab võrrelda või seostada seotud sisu, näiteks fotot ja tekstikirjeldust.

Teised süsteemid kasutavad risttähelepanu (cross-attention) – mehhanismi, mis võimaldab ühest modaalsusest pärineval teabel mõjutada teise modaalsuse töötlemist. Näiteks võib küsimus suunata mudeli tähelepanu pildi asjakohasele piirkonnale.

Põimitud multimodaalne kontekst

Mõni mudel töötleb teksti, pilte, heli või muid sisendeid ühes järjestatud kontekstis. See võimaldab kasutajal esitada näiteks jada, mis koosneb pildist, kirjalikust selgitusest, teisest pildist ja täpsustavast küsimusest.

Täpne rakendus sõltub teenusepakkujast ja mudelist. Toode võib nimetada end multimodaalseks ka siis, kui selle aluseks olev rakendus ühendab mitu spetsialiseeritud mudelit, mitte ei kasuta iga ülesande jaoks üht ja sama mudelit.

Kuidas multimodaalseid mudeleid treenitakse?

Treenimisandmed võivad sisaldada paaritatud, sünkroniseeritud või põimitud näiteid. Pilt võib olla seotud pealdisega, helisalvestis transkriptsiooniga või video ajas toimuvate sündmuste kirjeldustega.

Treenimiseesmärgid võivad hõlmata järgmist:

• Kontrastiivne õppimine: seotud teksti- ning visuaalsete või heliesituste üksteisele lähemale toomine
• Autoregressiivne ennustamine: jada järgmise osa ennustamine
• Pealkirjade loomine ja transkribeerimine: meedia sidumine tekstikirjeldustega
• Rekonstrueerimine: puuduva teabe taastama või esitama õppimine
• Juhiste järgimine: eri modaalsusi hõlmavatele küsimustele ja ülesannetele vastamise õppimine

Need meetodid aitavad mudelil seostada mõisteid eri andmetüüpide vahel. Treenimine ei taga siiski täpset tajumist. Mudel võib endiselt jätta tähelepanuta väikese teksti, saada graafikust valesti aru, ajada kõnelejad segamini või detaile välja mõelda.

Mõistmine ja genereerimine on erinevad võimed

Multimodaalsus ei ole üksainus funktsioon. Seda on parem käsitleda sisendi ja väljundi võimete kogumina.

• Piltide mõistmine: visuaalse sisu tuvastamine või kirjeldamine
• Kõnetuvastus: kõneheli tekstiks teisendamine
• Video mõistmine: stseenide ja sündmuste analüüsimine ajas
• Piltide genereerimine: piltide loomine või muutmine
• Kõne genereerimine: kõneheli loomine
• Video genereerimine: video loomine või muutmine

Mudel võib toetada üht võimet, ilma et toetaks teisi. Nägemis-keelemudel, mis vastab fotode kohta esitatud küsimustele, ei ole automaatselt pildigeneraator, ning kõnest tekstiks teisendav mudel ei ole automaatselt hääleassistent.

See eristus on oluline ka multimodaalse väljundi puhul. Süsteem võib vastu võtta multimodaalset sisendit, kuid tagastada ainult teksti.

Multimodaalne mudel, rakendus ja tööriist: mis neil vahet on?

Sõna „multimodaalne“ võib kirjeldada süsteemi eri kihte.

Multimodaalne mudel

Mudel ise on treenitud või loodud töötlema mitut modaalsust, sageli ühise suhtluse raames.

Multimodaalne rakendus

Rakendus võib ühendada spetsialiseeritud komponente. Näiteks võib see saata pildi optilise märgituvastuse (OCR) süsteemi, heli kõnetuvastajale ja tulemuseks saadud teksti keelemudelile. Kogu rakendus on multimodaalne ka siis, kui keelemudel üksi seda ei ole.

Väline tööriist

Assistent võib kasutada OCR-i, veebiotsingut, pildiotsingut, otsingupõhist teabehankimist või eraldi meediageneraatorit. Tööriistade kasutamine võib luua multimodaalse kasutuskogemuse, kuid see ei ole sama mis loomupärane modaalsusteülene töötlus ühe mudeli sees.

See eristus on süsteemi hindamisel oluline. Tootes näidatav funktsioon võib sõltuda eeltöötlusest, eraldi teenusest või konkreetsest lõpp-punktist, mitte alusmudelist.

Multimodaalse arutlemise näited

Graafik ja küsimus

Kasutaja laadib üles graafiku ja küsib, millises kuus oli langus kõige järsem. Süsteem peab graafikut tõlgendama, lugema silte, tuvastama väärtused ja neid võrdlema. Vead võivad tuleneda visuaalsest tajust, puuduvatest siltidest või võrdlusest endast.

Foto ja veaotsing

Kasutaja pildistab seadme paneeli ja küsib, milline märgutuli on ebatavaline. Süsteemil võib olla vaja paneel ära tunda, lugeda väikest teksti, tuvastada asjakohane tuli ja selgitada, mida see tähendada võib.

Heli ja kokkuvõte

Koosoleku salvestise saab transkribeerida ja tegevuspunktideks kokku võtta. Taustamüra, aktsendid, erialane sõnavara ja kattuv kõne võivad mõjutada transkriptsiooni ning seetõttu ka kokkuvõtet.

Video ja ajaga seotud küsimus

Küsimus „Millal inimene tuppa siseneb ja mis juhtub pärast seda?“ nõuab enamat kui ühe kaadri äratundmist. Süsteem peab analüüsima muutusi ajas. Mõni süsteem võtab kaadreid ja ühendab need transkriptsioonide või heliga, teised aga modelleerivad ajalisi seoseid otsesemalt.

Modaalsusteülene otsing

Jaemüüja võib otsida kataloogist kas kirjaliku kirjelduse või foto abil. Multimodaalne manustusmudel võib paigutada teksti ja pildid ühilduvasse vektorruumi, et seotud tooteid oleks võimalik leida. Manustusmudel toetab sarnasuse tuvastamist ja otsingut; see ei ole tingimata vestlus- või generatiivne mudel.

Olulised piirangud

Multimodaalsed mudelid võivad olla võimekad, kuid täiendavad modaalsused ei muuda süsteemi automaatselt täpsemaks. Sisendid võivad olla mürarikkad, vastuolulised, ebaolulised või eksitavad.

• Tajuvead: Mudelid võivad jätta märkamata väikesed objektid, peenkirja, graafiku üksikasjad, helid või lühiajalised sündmused.
• Resolutsiooni- ja kontekstipiirangud: Faili suurus, pildi resolutsioon, video kestus, kaadrite valimine ja konteksti piirangud mõjutavad seda, mida mudel saab uurida.
• Ebaühtlane jõudlus: Mudel võib toimida fotodel hästi, kuid käekirja, diagrammide, haruldaste keelte, spetsialiseeritud dokumentide või mürarikka heli puhul halvasti.
• Ajalised nõrkused: Videoanalüüs võib jätta kaadrite vahel toimuvad muutused tähelepanuta või tõlgendada sündmuste järjekorda valesti.
• Hallutsinatsioonid: Mudel võib kirjeldada detaile, mida sisendis ei ole, või anda sisendiga põhjendamata selgituse.
• Sünkroniseerimisprobleemid: Heli, video ja tekst võivad olla halvasti joondatud, eriti pikkade või keerukate salvestiste korral.
• Privaatsus- ja turvariskid: Meedia võib sisaldada nägusid, hääli, dokumente, asukohti, isikuandmeid või konfidentsiaalseid äriandmeid.
• Kulu ja viivitus: Kõrge resolutsiooniga, pikk või reaalajas meedia võib nõuda rohkem töötlust kui lühike tekstipäring.

Multimodaalsel mudelil ei ole automaatselt ka reaalajas juurdepääsu veebile, püsivat mälu ega inimese tasemel tajuvõimet. Üles laaditud sisu kuulub tavaliselt praeguse päringu või vestluse konteksti, välja arvatud juhul, kui rakendus talletab teabe eraldi.

Mida enne kasutamist kontrollida?

Võimalused erinevad mudelite, toodete, pakettide, piirkondade ja lõpp-punktide lõikes. Enne multimodaalsele süsteemile tuginemist kontrolli järgmist:

• Milliseid sisendi- ja väljundimodaalsusi toetatakse
• Milliseid failivorminguid, suurusi, resolutsioone, kestusi ja kaadrisagedusi aktsepteeritakse
• Kuidas videot töödeldakse ja kas heli analüüsitakse
• Millised on dokumentide ja meedia konteksti- ning tokeniseerimispiirangud
• Kas ülesanne nõuab üldotstarbelist mudelit või spetsialiseeritud OCR-, kõnetuvastus-, tuvastus-, otsingu- või dokumendisüsteemi
• Millised on voogedastuse, viivituse ja kättesaadavuse nõuded
• Millised on privaatsuse, säilitamise, juurdepääsu kontrolli ja meediaohutuse põhimõtted

Suure mõjuga ülesannete puhul säilita päritoluteave, näiteks leheküljenumbrid, pildipiirkonnad, ajatemplid või allika identifikaatorid. Kontrolli olulised väljavõetud väljad üle ja kasuta inimkontrolli, kui vead võivad põhjustada märkimisväärset kahju.

Lihtne viis katsetamiseks

Alusta graafikust, ekraanipildist või selgest fotost, millel on kujutatud objekt. Palu mudelil esmalt kirjeldada, mida ta näeb, seejärel eraldada konkreetne fakt ja lõpuks selgitada järeldust. Kärbi asjakohast piirkonda ja korda ülesannet, et näha, kas täiendav fokuseerimine parandab tulemust.

Video puhul palu esitada ajatemplid ja kontrolli vastust asjakohaste kaadrite põhjal. Heli puhul võrdle transkriptsiooni salvestisega, eriti taustamüra või mitme kõneleja korral. Tahtlikult keerukate näidete katsetamine annab sageli rohkem teavet kui ainult selgete ja lihtsate sisendite testimine.

Seotud mõisted

Multimodaalne tehisintellekt on seotud mitme mõistega. Tehisintellektimudelite hindamine aitab mõõta, kas süsteem on täpne ja usaldusväärne. Mudeli kvantimine võib mõjutada seda, kuidas mudeleid kohapeal või piiratud ressurssidega riistvaral juurutatakse. Eristus pilve- ja kohalike tehisintellektimudelite vahel on oluline ka siis, kui meedia on tundlik või kui tähtsad on viivitus ja riistvarapiirangud.

Peamine järeldus on, et „multimodaalne“ kirjeldab seda, kuidas süsteem töötab eri tüüpi teabega, mitte ei taga kvaliteeti. Mudeli nõuetekohaseks hindamiseks vaata üle täpsed modaalsused, sisendid, väljundid, töötluspiirangud ja kaitsemeetmed, mis on sinu jaoks olulise ülesande puhul saadaval.