Mida tähendab multimodaalne väljund?
Multimodaalne väljund tähendab tehisintellekti mudeli või mudeli lõpp-punkti võimet luua vahetult üht või mitut mittetekstilist sisutüüpi. Levinud näited on pildid, heli ja video ning mõnikord ka nende kombinatsioonid tekstiga.
Tekstist pilti loov mudel, mis tagastab pildi, tekstist kõnet loov mudel, mis tagastab helifaili, ja videot genereeriv mudel, mis loob videofaili, pakuvad kõik multimodaalset väljundit. Sellesse kategooriasse kuulub ka reaalajas kõnemudel, mis tagastab sünteesitud heli.
Seda terminit ei kasutata kogu tehisintellektitööstuses ühtmoodi. Mõned teenusepakkujad nimetavad mudelit „multimodaalseks” ka siis, kui see suudab mõista mitut sisenditüüpi, kuid tagastab ainult teksti. Seetõttu ei ole võimekuste kataloogi koostamisel oluline mitte see, kas teenusepakkuja nimetab mudelit multimodaalseks, vaid see, mida lõpp-punkt tegelikult tagastab.
Sisend ja väljund on erinevad võimekused
Üks levinumaid vigu on eeldada, et meediat töödelda suutev mudel oskab seda ka genereerida. Need on erinevad võimed.
- Pildimõistmise mudel võib võtta vastu foto ja tagastada selle kirjelduse tekstina.
- Heli transkribeerimise mudel võib võtta vastu salvestise ja tagastada teksti.
- Video mõistmise mudel võib vastata videoklipi kohta esitatud küsimustele, ilma et looks uue video.
- Pildigeneratsiooni mudel võib võtta vastu tekstilise viiba ja tagastada uue pildi.
- Kõnegeneratsiooni mudel võib võtta vastu teksti ja tagastada kõnehelina.
Esimesed kolm näidet kasutavad multimodaalset sisendit, kuid ei pruugi pakkuda multimodaalset väljundit. Viimased näited genereerivad vahetult mittetekstilise tulemuse. Kasulikus mudeli kirjes tuleks sisendi- ja väljundmodaliteedid loetleda eraldi.
Mida mudel tegelikult tagastab?
Meediaväljundit saab edastada mitmel tehnilisel kujul. API võib tagastada binaarandmeid, base64-kodeeringuga sisu, allalaaditava faili, URL-i, faili identifikaatori, struktureeritud sisuosa või väikeste helilõikudena voogedastuse. Vastus võib sisaldada ka teksti, näiteks pealkirja, metaandmeid, ohutusteavet või genereerimise üksikasju.
Pildid
Pildimudelid tagastavad sageli PNG-, JPEG-, WebP- või muus pildivormingus sisu. Olulised omadused võivad olla mõõtmed, kuvasuhe, kvaliteet, tausta käsitlemine, piltide arv ning see, kas pilt genereeriti uuena või redigeeriti esitatud lähtepildi põhjal.
Heli
Heliväljund võib olla täielik fail või väikese viivitusega voog. Tekstist kõnet loovad süsteemid pakuvad sageli juhtnuppe hääle, keele, vormingu, häälduse ja stiili jaoks. Reaalajas süsteemid võivad heli järk-järgult tagastada, samal ajal helisisendit vastu võttes. See erineb valmis salvestise järel ootamisest.
Video
Video genereerimine toimub sageli asünkroonselt. Esialgne päring võib luua töö või toimingu ning rakendus peab enne tulemuseks oleva faili allalaadimist ootama selle lõpetamist. Videoväljund võib sisaldada sünkroonitud või natiivset heli, kuid seda tuleks kontrollida mudeli dokumentatsioonist, mitte eeldada.
Natiivne genereerimine, tööriistad ja rakendused
Natiivne multimodaalne väljund tähendab, et meedia genereerib dokumenteeritud mudeli lõpp-punkt ise. Kui pildi lõpp-punkt loob pildiandmed või kõne lõpp-punkt tagastab sünteesitud heli, kuulub väljundivõimekus otseselt sellele mudelile.
Tööriista vahendatud väljund on midagi muud. Keelemudel võib tagastada funktsioonikutse, mis sisaldab juhiseid välisele pildi-, heli- või videoteenusele. Terve rakendus võib seejärel näidata saadud meediat, kuid keelemudeli otsene vastus oli tööriistakutse või struktureeritud andmed, mitte meedia ise.
Rakendused võivad seda erinevust varjata, ühendades ühe funktsiooni taha tekstimudeli, meediageneratsiooni mudeli, otsingusüsteemi, salvestusteenuse ja kasutajaliidese. Võimekuse hindamisel tuleb kindlaks teha, milline komponent väljundi lõi. Funktsioonikutsed ja JSON-vastused ei ole automaatselt multimodaalne väljund; tavaliselt on need struktureeritud tekst või juhtandmed.
Miks on selline väljund kasulik?
Multimodaalne väljund on väärtuslik siis, kui tekst üksi ei ole inimese või süsteemi jaoks vajalik lõpptulemus. Kasutaja annab juhised, lähtepildid või lähtematerjali ning mudel tagastab meedia, mida saab üle vaadata, redigeerida, esitada, avaldada või töövoo järgmisele etapile edasi anda.
- Visuaalne loomine: Disainer võib esitada kirjaliku lähteülesande ja viitepildid ning saada vastu kontseptsioonikunsti, tootevariatsioone, illustratsioone või tausta muudatusi.
- Ligipääsetavus ja jutustamine: Rakendus võib muuta kirjaliku sisu kõneheliks, et pakkuda ekraanilugeja alternatiive, õppematerjale või käed-vaba kasutust.
- Häälsuhtlus: Reaalajas süsteem võib võtta vastu kõnet ja tagastada suulisi vastuseid assistentide, juhendamise, klienditoe või tõlke jaoks.
- Videotootmine: Looja võib esitada stsenaariumi, viiba või liikumatu pildi ning saada vastu lühikese animeeritud klipi süžeeskeemi, reklaami, õppetunni või sotsiaalmeediapostituse jaoks.
- Meediatöötluse töövood: Üks mudel võib luua pildi, teine seda animeerida ja kõnesüsteem lisada jutustuse. Sellisel juhul on töövoog multimodaalne isegi siis, kui ükski mudel ei soorita kõiki samme.
Väljund vajab tavaliselt täiendavat töötlemist. Rakendus võib olla vaja faili salvestada, vormingut teisendada, seda modereerida, lisada metaandmeid, paigutada see sisuhaldussüsteemi või saata teisele mudelile.
Mida mudelite vahel võrrelda?
Parim mudel sõltub vajalikust väljundist ja sellest, kuidas seda väljundit kasutatakse. Ainult üldise intelligentsuse või viipade kvaliteedi võrdlemisest ei piisa.
Väljundi tüüp ja edastusviis
Esmalt kontrolli, kas lõpp-punkt loob pilte, heli, videot või nende kombinatsiooni. Seejärel vaata, kas tulemus saabub baitide, faili, URL-i, sisuosa või voona. Esitusviis mõjutab salvestamist, taasesitust, latentsust ja integreerimise keerukust.
Juhtimine ja täpsus
Piltide ja video puhul vaata viiba järgimist, lähtepildi toe, maskide, redigeerimisvõimaluste, kuvasuhete, eraldusvõime, võtmekaadrite, kestuse ja põlvkondadevahelise ühtluse olemasolu. Heli puhul arvesta häälevaliku, häälduse, prosoodia, emotsionaalse suunamise, keeletoe ja voogedastuse võimalustega.
Ühtlus ja töökindlus
Meediageneratsiooni tulemused võivad päringust päringusse erineda. Videomudelites võivad esineda värelus, objektide muutumine, identiteedi hajumine või ebatäpne füüsiline liikumine. Pildimudelitel võib olla raskusi täpse paigutuse, väikese teksti, loendamise, käte või logodega. Helimudelid võivad nimesid valesti hääldada või panna rõhu ebaloomulikule kohale. Tugine ainult esitluste asemel realistlikele näidetele.
Latentsus, piirangud ja hind
Mõni väljund tagastatakse kohe, teised nõuavad järjekorras ootavat või asünkroonset tööd. Võrdle genereerimisaega, voogedastuse toimimist, uuesti proovimise vajadust, maksimaalset kestust või eraldusvõimet, failisuuruse piiranguid ja ühe päringuga lubatud väljundite arvu. Hinda võidakse arvutada pildi, päringu, heli kestuse, video kestuse, eraldusvõime või märgi kohta, seega tuleb kulusid võrrelda sama ühiku alusel.
Ohutus, privaatsus ja õigused
Kontrolli sisufiltreid, tagasilükkamise käitumist, vesimärke või päritolumärgiseid, säilitamispõhimõtteid ning kasutaja esitatud piltide, häälte või salvestistega seotud piiranguid. Kommertskasutus võib sõltuda ka teenusepakkuja tingimustest, treeningandmete põhimõtetest, kujutiseõigustest, muusikaõigustest ning genereeritud või üles laaditud materjali staatusest.
Piirangud ja kompromissid
Mittetekstiline väljund nõuab tavaliselt rohkem töötlemist ja salvestusruumi kui tekstivastus. Kõrge eraldusvõimega pildid ja pikemad videod võivad olla aeglasemad ja kallimad, samas kui reaalajas heli vajab stabiilset väikese latentsusega ühendust ning sobivat voogedastustaristut.
Genereeritud meedia ei ole automaatselt täpne. Pilt võib sisaldada vigast teksti või geomeetriat, video võib kaadrite vahel tegelase välimust muuta ning häälsüsteem võib erialatermineid valesti hääldada. Kui oluline on faktiline täpsus, identiteet, ohutus või brändi ühtlus, tuleb meedia üle vaadata.
Ka juhitavus sõltub konkreetsest mudelist. Mudel võib lähtepildi vastu võtta, kuid mitte toetada täpseid maske, fikseeritud algväärtusi, mitut võtmekaadrit või usaldusväärseid muudatusi. Kõnemudel võib pakkuda väljendusrikkaid juhiseid, kuid piiratud kontrolli üksikute foneemide üle. Videomudel võib luua atraktiivseid klippe, kuid pakkuda vähe kontrolli kaamera liikumise või järjepidevuse üle.
Privaatsus on oluline kaalutlus, kui viibad sisaldavad isiklikke salvestisi, nägusid, dokumente või kaitstud kujundusi. Rakendused peaksid teadma, kus sisendeid ja väljundeid töödeldakse, kui kaua neid säilitatakse ning kas genereeritud failid on avalike või ajutiste URL-ide kaudu kättesaadavad.
Ära aja multimodaalset väljundit segi seotud kategooriatega
- Multimodaalne sisend: võime võtta vastu pilte, heli või videot ei tõesta, et mudel oskab neid genereerida.
- Nägemine või meedia mõistmine: foto või video analüüsimine ja teksti tagastamine ei ole pildi- ega videogeneerimine.
- Kõnest tekstiks: heli töötlemine transkriptsiooni loomiseks on helisisend tekstiväljundiga, mitte heli genereerimine.
- Struktureeritud väljund: JSON, XML-i laadne teave ja skeemiga piiratud vastused on tavaliselt tekst või masinloetavad andmed, mitte otsene mittetekstiline meedia.
- Funktsioonikutsed: tööriistakutse annab teisele teenusele juhise tegutsemiseks. See ei ole sama, mis mudeli tagastatud pilt, heli või video.
- Tootetaseme multimodaalsus: rakendus võib ühendada mitu spetsialiseeritud mudelit isegi siis, kui selle keskse keelemudeli väljund on ainult tekst.
Kes vajab multimodaalset väljundit?
See võimekus on kasulik siis, kui lõppkasutaja kogemus vajab meediat, mitte meedia kohta käivat selgitust. Vali see juhul, kui rakendus peab looma visuaale, esitama genereeritud kõnet, võimaldama kõnepõhist suhtlust, tootma videot või saatma genereeritud meedia järgmisse tootmisetappi.
Multimodaalse väljundiga mudelit ei pruugi vaja minna, kui ülesanne piirdub piltide kirjeldamise, salvestiste transkribeerimise, videost teabe eraldamise, JSON-i genereerimise või kasutatava välise tööriista valimisega. Sellisel juhul võib piisata sobiva sisendivõimekusega tekstiväljundiga mudelist.
Praktiline otsus on lihtne: määratle esmalt lõpptulemus ja kontrolli seejärel, kas täpne lõpp-punkt loob selle tulemuse vahetult. Nii väldid toote üldiste funktsioonide segiajamist ühe mudeli natiivsete väljundivõimetega.
Kuidas hinnata selle kategooria mudelit?
- Määra kindlaks täpne mudel, lõpp-punkt ja versioon.
- Pane sisendi- ja väljundmodaliteedid eraldi kirja.
- Kontrolli, kas meedia genereeritakse natiivselt või välise tööriista abil.
- Uuri tegelikku vastusevormingut ja integreerimisnõudeid.
- Testi realistlikke viipasid, lähtepilte, keeli, hääli, eraldusvõimeid ja kestusi.
- Mõõda kvaliteeti, ühtlust, latentsust, tõrkemäära ja uuesti proovimise käitumist.
- Kontrolli juhitavusfunktsioone ja rangeid väljundipiiranguid.
- Vaata üle ohutuse, privaatsuse, päritolu, litsentsimise ja säilitamise tingimused.
- Võrdle kulusid väljunditüübile vastava õige ühiku alusel.
Teenusepakkujate dokumentatsioon näitab, miks need kontrollid on olulised. Pildi-, kõne-, reaalaja- ja videolõpp-punktid pakuvad sageli erinevaid liideseid ja piiranguid isegi siis, kui neid pakutakse sama tooteperekonna raames. Mudelite nimed ja kättesaadavus võivad muutuda, seega on täpse lõpp-punkti dokumentatsioon ja väike tootmiskeskkonda jäljendav test usaldusväärsemad kui lai turunduslik märksõna.