Mida tähendab tehisintellekti mudeli väljunditüüp?
Tehisintellekti mudeli väljunditüüp on selle tagastatava tulemuse peamine vorm või funktsioon. Tulemuseks võib olla tekstilõik, pildifail, heli voog, arvuline vektor, JSON-objekt või taotlus välise tööriista kutsumiseks.
Väljunditüüp kirjeldab tulemust, mitte lihtsalt mudeli üldist mainet või seda, millist teavet see töödelda suudab. Mudel võib vastu võtta pildi ja tagastada selle kirjelduse tekstina. Teine mudel võib vastu võtta teksti ja tagastada pildi. Need on erinevad sisendi- ja väljundivõimalused.
Tehisintellekti kataloogides kasutatavad kategooriad on praktilised nimetused, mitte universaalne valdkonnastandard. Mõned kirjeldavad meediat, näiteks pilte ja heli. Teised kirjeldavad teabe esitamise või kasutamise viisi, näiteks manuseid, struktureeritud väljundit ja tegevusväljundit.
Sisend ja väljund on erinevad võimekused
Üks olulisemaid eristusi seisneb selles, mida mudel suudab vastu võtta ja mida luua.
- Nägemismudel võib vastu võtta foto ja tagastada tekstilise vastuse.
- Helimudel võib vastu võtta salvestise ja tagastada transkriptsiooni.
- Video mõistmisele keskenduv mudel võib vastu võtta video ja tagastada kokkuvõtte.
- Pildigeneratsiooni mudel võib vastu võtta tekstilise viiba ja tagastada pildi.
Esimese kolme näite puhul mõistab mudel mittetekstilist sisendit, kuid toodab teksti. See ei tähenda, et tegemist oleks pildi-, heli- või videoväljundiga mudeliga. Samamoodi ei pruugi pilte loov süsteem üles laaditud pilte mõista.
Tooted võivad seda piiri hägustada. Vestlusrakendus võib vastu võtta pildi, kasutada selle analüüsimiseks üht mudelit, kutsuda eraldi pildigeneraatori ja tagastada mitu tulemust. Konkreetse mudeli kataloogimisel on kasulik eristada algupärast väljundit eraldi tööriista või teenuse loodud meediast.
Üksikute kategooriate põhjalikumad selgitused leiad lehtedelt tekstiväljund, pildiväljund ja heliväljund.
Meediaväljund: tekst, pildid, video ja heli
Tekstiväljund
Tekstiväljund on kirjalik keel, mis tagastatakse märkide või tokenitena. See hõlmab vastuseid, selgitusi, kokkuvõtteid, tõlkeid, genereeritud koodi, sõnaliselt esitatud klassifikatsioone ja tavalist vestlust.
Teksti kuvatakse sageli otse inimesele, kuid tarkvara võib seda ka parsida, indekseerida, valideerida või teisendada. Tekst võib esineda proosa, märgenduse, koodi või serialiseeritud andmetena. Vastus, mis juhuslikult sisaldab JSON-i meenutavat teksti, on endiselt tavaline tekst, välja arvatud juhul, kui masina loetav vorming või skeem on võimekuse oluline osa.
Pildiväljund
Pildiväljund on mudeli loodud või redigeeritud liikumatu visuaalne tulemus. See võidakse edastada pildiandmete, faili või pildiressursi lingina. Levinud näited on illustratsioonid, toote maketid, diagrammid, taustad ja redigeeritud fotod.
Mudel, mis kirjeldab üles laaditud pilti, toodab teksti, mitte pildiväljundit. Seetõttu tuleks pildi mõistmist, optilist märgituvastust ja visuaalset küsimustele vastamist käsitleda piltide genereerimisest või redigeerimisest eraldi.
Videoväljund
Videoväljund on ajaliselt järjestatud visuaalsete kaadrite jada, mida edastatakse tavaliselt videofaili, voo või URI-na. See võib sisaldada sünkroonitud heli, kuid kõik videogenereerimise süsteemid ei loo heli.
Tekstist video genereerimine, piltide animeerimine, video pikendamine ja videotöötlus kuuluvad videoväljundi võimekuste alla. Mudel, mis vaatab videot ja kirjutab selle kohta kokkuvõtte, ei genereeri videot, vaid toodab videosisendi põhjal teksti.
Heliväljund
Heliväljund on genereeritud heli, mida esitatakse lainekuju, voo või kodeeritud helifailina. See on lai kategooria, mis võib hõlmata kõnet, muusikat, heliefekte, keskkonnahelisid või nende kombinatsioone.
Heli genereerimine erineb heli mõistmisest. Transkriptsioon, kõneleja tuvastamine ja heli klassifitseerimine kasutavad helisisendit, kuid võivad uue heli asemel tagastada teksti või märksõnu.
Kõne ja muusika: heli kitsamad vormid
Kõneväljund on genereeritud kõnekeel, näiteks tekstist loodud jutustus, hääleassistendi vastus, ekraanilugeja ette loetud tekst või dubleeritud dialoog. Kõne on seega heli spetsiifilisem vorm. Kõnest tekstiks teisendamine ei ole kõneväljund: see võtab vastu kõne ja tagastab tavaliselt teksti.
Muusikaväljund on genereeritud muusikaline sisu, näiteks laul, instrumentaalpala, saatepartii või muusikaline esitus. Ka muusika on heli, kuid kitsam nimetus on kasulik siis, kui peamine eesmärk on muusika loomine või esitamine. Heliefekt või suuline taskuhääling liigitatakse tavaliselt selle asemel üldise heliväljundi alla.
Mõned süsteemid toodavad esitamisele kuuluva heli asemel sümboolset muusikat, näiteks MIDI-t või noodikirja. Kui kataloog eristab neid esitusi, ei tohiks sümboolset muusikat automaatselt heliväljundiks pidada.
Täpsemad võrdlused leiad eraldi lehtedelt videoväljund, kõneväljund ja muusikaväljund.
Masintele suunatud väljund: manused ja struktureeritud andmed
Manuseväljund
Manus on arvuline vektor, mis esitab sisendist õpitud seoseid või omadusi. Selle asemel et tagastada otse loetav vastus, tagastab manusemudel ühe või mitu arvumassiivi.
Rakendused salvestavad need vektorid ja võrdlevad neid sarnaste üksuste leidmiseks. Levinud kasutusalad on semantiline otsing, otsinguga täiendatud genereerimine, soovitused, klasterdamine, duplikaatide eemaldamine ja klassifitseerimine. Näiteks võib otsingusüsteem teisendada dokumendid ja kasutaja küsimuse vektoriteks ning leida seejärel dokumendid, mille vektorid on küsimuse vektorile lähedal.
Manus ei ole varjatud kokkuvõte, lühike vastus ega tavaline tõenäosusskoor. Selle üksikutel väärtustel ei ole tavaliselt lihtsat inimlikult mõistetavat tähendust. Vektor on kasulik tänu oma asukohale õpitud ruumis ja seostele teiste vektoritega.
Struktureeritud väljund
Struktureeritud väljund on masinloetava vorminguga piiratud vastus, tavaliselt JSON või tüübistatud objekt. Ettearvamatu tekstilõigu tagastamise asemel võidakse mudelil paluda tagastada määratletud skeemi kohaselt sellised väljad nagu name, date ja confidence.
See on kasulik teabe eraldamisel, andmebaaside täitmisel, kasutajaliidese andmete genereerimisel, töövoogude suunamisel ja mudeli tulemuste edastamisel rakenduse koodile. Rakendus saab vastust parsida ja valideerida, selle asemel et proovida tõlgendada vabateksti.
Struktureeritud väljund ei ole sensoorne modaalsus nagu pilt või heli. See on vorming ja võimekus, mis võib sisaldada teksti, arve, massiive, viiteid meediale või muid väärtusi. Samuti ei tohiks seda igas süsteemis samastada JSON-režiimiga. Kehtiv JSON-i süntaks ei tähenda tingimata, et vastus järgib kindlat skeemi, ning skeemile vastavus ei taga faktitäpsust.
Struktureeritud väljund võib kattuda ka tegevusväljundiga. Tööriistakutse võib sisaldada struktureeritud argumente, kuid selle eesmärk on taotleda toimingut, mitte lihtsalt lõppvastust korrastada.
Tegevusväljund ja tööriistade kasutamine
Tegevusväljund on mudeli tulemus, mis taotleb, esitab või käivitab mudelist väljaspool toimuva toimingu. Näited on argumentidega funktsioonikutse, andmebaasipäring, sõnumi saatmise taotlus, arvuti juhtimise käsk või orkestreerimissüsteemile edastatud agendi samm.
Näiteks võib mudel koostada taotluse ilmateate funktsiooni kutsumiseks koos linna nimega. Mudel on genereerinud tegevustaotluse, kuid ilmaandmed loob väline teenus. Taotlust ja tulemust ei tohiks automaatselt pidada samaks väljundiks.
Funktsioonikutsed on üks tegevusväljundi rakendusviis, kuid tegevusväljund on laiem mõiste. See võib hõlmata kohandatud funktsioone, sisseehitatud tööriistu, arvuti kasutamise käske, töövoosündmusi ja muid väliselt täidetavaid toiminguid.
Tegevusväljund erineb ka kirjalikust tegevusplaanist. Lause „saada e-kiri” on tavaline tekst, välja arvatud juhul, kui süsteem väljastab tunnustatud tegevustaotluse, mida volitatud rakendus saab täita. Praktikas peaksid rakendused enne toimingu sooritamist argumente valideerima, õigusi rakendama ja tulemuse salvestama.
Terminoloogia ei ole täielikult standardiseeritud. Mõned teenusepakkujad kirjeldavad neid võimekusi tööriistade, funktsioonikutsete, tegevuste, agendi sammude või arvuti kasutamisena. Oluline küsimus on, kas mudel lihtsalt kirjeldab toimingut või toodab väliseks täitmiseks mõeldud väljundi.
Mis on multimodaalne väljund?
Multimodaalne väljund tähendab, et mudel või lõpp-punkt tagastab otse rohkem kui ühe väljundmodaalsuse. Näited on tekst koos heliga, pildi ja teksti kombinatsioon või sünkroonitud heliga video.
Multimodaalne sisend on sellest erinev. Mudel, mis võtab vastu teksti, pilte ja heli, kuid tagastab ainult kirjalikku teksti, on sisendi või mõistmise poolest multimodaalne, kuid mitte tingimata väljundi poolest. See, et toode pääseb ligi mitmele meediatööriistale, ei tõesta, et üks aluseks olev mudel genereerib neid kõiki algupäraselt.
Seda terminit saab kasutada kahel mõistlikul viisil. Range mudelitasandi taksonoomia arvestab ainult modaalsusi, mille mudel või lõpp-punkt otse tagastab. Tootetasandi taksonoomia võib kirjeldada orkestreeritud süsteemi, mis ühendab mitu mudelit või tööriista. Mõlemad lähenemised võivad olla kasulikud, kuid erinevus tuleks selgelt välja tuua.
Näiteks võib tekstimudel kutsuda eraldi pildigeneratsiooni teenust ja kuvada loodud pildi seejärel oma rakenduses. Terve toode tekitas pildi, kuid tekstimudel ise võis toota ainult tegevustaotluse või tekstilise juhise.
Loe lähemalt multimodaalse väljundi kohta ja sellest, miks seda ei tohiks tuletada üksnes multimodaalsest sisendist.
Miks on väljunditüüp mudeli valimisel oluline?
Väljunditüüp on mudeli valimisel sageli esimene filter. Selgituste kirjutamiseks mõeldud mudel ei sobi automaatselt piltide genereerimiseks, kõne tootmiseks ega otsinguks vajalike vektorite loomiseks.
- Vastuse kirjutamine: vali tugeva tekstigenereerimisega mudel, millel on sinu ülesande jaoks vajalik sisendi tugi.
- Pildi genereerimine: kasuta pildiväljundiga mudelit või teenust, mis pakub selgesõnaliselt piltide genereerimist.
- Kõne tootmine: vali kõne- või tekst-kõneks-süsteem, mis tagastab heli.
- Otsingu manuste loomine: kasuta manusemudelit ja sellega ühilduvat vektoriindeksit.
- Rakenduse andmete tagastamine: eelista struktureeritud väljundi tuge ja skeemi valideerimist.
- Tarkvara juhtimine: otsi usaldusväärseid tegevuste või tööriistade kasutamise võimekusi koos autoriseerimiskontrollidega.
Väljunditüüp on vaid üks valikukriteerium. Sama olulised võivad olla kvaliteet, hind, viivitus, konteksti pikkus, keelte tugi, sisendmodaalsused, privaatsus, litsents, kättesaadavus, tööriistade tugi ja töökindlus. Mudel võib toetada õiget väljunditüüpi, kuid sobida konkreetse töökoormuse jaoks siiski halvasti.
Kuidas liigitada tehisintellekti mudeli väljundit?
Kui teenusepakkuja terminoloogia on ebaselge, küsi, mida süsteem tegelikult tagastab:
- Kas tulemuseks on kirjalik keel, liikumatu pilt, video, heli, arvuline vektor, struktureeritud andmed või täidetav taotlus?
- Kas võimekus on mudelile omane või loob selle eraldi tööriist?
- Kas mudel võtab modaalsuse vastu, ilma et seda ise genereeriks?
- Kas väljund on mõeldud inimestele, tarkvarale või välisele täitmisesüsteemile?
- Kui tagastatakse mitut tüüpi sisu, kas need luuakse otse ühes vastuses või paneb need kokku orkestreerija?
Need küsimused aitavad säilitada kasulikke eristusi, ilma et eeldaksime iga teenusepakkuja kasutatava taksonoomia ühesugusust. Samuti muudavad need mudelite kataloogid hõlpsamini otsitavaks: lugejad saavad tuvastada mitte ainult seda, mida mudel mõistab, vaid ka seda, mida ta tegelikult tagastada suudab ja kuidas seda tulemust kasutada saab.