Unified-IO 2 on Allen Institute for AI (Ai2) avatud kaaludega multimodaalne teadusmudel. Selle keskne idee on käsitleda eri liiki teavet ühe autoregressiivse kodeerija-dekodeerija-transformeri abil, selle asemel et kasutada iga ülesande jaoks eraldi spetsialiseeritud mudelit. Mudel on loodud töötama teksti, piltide, heli, video, ruumilise teabe ja tegevuste esitustega ühtses süsteemis.
Seetõttu on Unified-IO 2 huvitav eelkõige mitte tarbijatele mõeldud vestlusrobotina, vaid avalikult kättesaadava teadusplatvormina. See võib toetada eksperimente piltide mõistmise, piltide genereerimise ja redigeerimise, heli, visuaalse ennustamise ning kehastatud tehisintellekti ja robootikaga seotud ülesannetega. Ai2 avaldas teadustööks lähtekoodi ja kontrollpunktid, kuid kaasasolev teadusmaterjal ei tuvasta mudeli jaoks ametlikku majutatud järeldus-API-t, korduvtellimust, tokenipõhist hinda ega selle ümber loodud tootmisteenust.
Mis on Unified-IO 2?
Unified-IO 2 on Ai2 Unified-IO mudeliperekonna teine põlvkond. Ametlikus teadusartiklis kirjeldatakse seda skaleeritud autoregressiivse multimodaalse mudelina, millel on eri andmetüüpide jaoks ühine esitus. Praktikas tähendab see, et tekstimärke, pildiinfot, heli, tegevuskäske, piirdekaste ja nendega seotud väljundeid saab töödelda ühise modelleerimisraamistiku kaudu.
See avaldati 28. detsembril 2023 avatud kaaludega teadusprojektina. Ametlik hoidla sisaldab T5X-vormingus Large-, XL- ja XXL-kontrollpunkte. Artiklis esitatud ligikaudne parameetrite arv on Large'i puhul 1,1 miljardit, XL-i puhul 3,2 miljardit ja XXL-i puhul 6,8 miljardit. Need on mudelivariandid, mitte tarbijatele mõeldud paketitasemed ega eraldi majutatud tooted.
Oluline eristus seisneb ühises arhitektuuris. Unified-IO 2 on mõeldud õppima eri modaalsuste vahelisi seoseid – näiteks siduma kirjalikku juhist pildi, helisignaali, ruumilise ennustuse või tegevuste jadaga. Selline ülesehitus toetab teadustöövooge, kus taju ja genereerimist tuleb uurida koos.
Võimekused ja toetatud modaalsused
Unified-IO 2 toetab nii multimodaalseid sisendeid kui ka mittetekstilisi väljundeid. Dokumenteeritud võimekuste hulka kuuluvad:
- Tekst: loomuliku keele mõistmine ja genereerimine.
- Pildid: piltide mõistmine, piltide genereerimine, piltide redigeerimine ning ruumiline või tihe visuaalne ennustamine.
- Video: video mõistmine. Kaasasolevad spetsifikatsioonid ei näita, et video genereerimine oleks toetatud väljund.
- Heli: heli mõistmine ja genereerimine, sealhulgas mudeli andmetes sisalduvad kõne- ja muusikaga seotud väljundikategooriad.
- Tegevused: tegevuste ennustamine ja robotmanipulatsioonide uurimine, sealhulgas kehastatud tehisintellekti jaoks olulised esitused.
- Struktureeritud visuaalne teave: piirdekastid ja muud ruumilised ennustused.
Mudelist on kasulik mõelda kui teadussüsteemist, mis suudab modaalsuste vahel teisendada. Näited hõlmavad pildi kirjeldamist tekstina, pildi redigeerimist juhise põhjal, video tõlgendamist, heli genereerimist, visuaalse struktuuri ennustamist või tegevustele suunatud väljundite loomist manipulatsioonikatseteks. Täpne ülesanne sõltub kontrollpunktist, ülesande konfiguratsioonist, andmevormingust ja järelduskoodist, mitte ühest universaalsest vestlusliidesest.
Arhitektuur ja mudeli suurused
Mudel kasutab autoregressiivset kodeerija-dekodeerija-transformerit. Kodeerija töötleb saadaolevat sisendi esitust, dekodeerija aga genereerib soovitud väljundjada. Unified-IO 2 puhul võib jada esitada enamat kui sõnu: süsteem kasutab tokeniseeritud esitust piltide, heli, tegevuste, piirdekastide ja muude modaalsuste jaoks.
Kolm dokumenteeritud suurust võimaldavad teadlastel valida arvutusnõudluse ja mudeli võimekuse vahel. Large on väikseim loetletud kontrollpunkt, umbes 1,1 miljardi parameetriga. XL suurendab selle arvu ligikaudu 3,2 miljardini ja XXL jõuab umbes 6,8 miljardini. Kaasasolev teadusmaterjal ei esita nende variantide jaoks standardset kontekstiakna suurust ega väljundtokenite maksimaalset arvu, mistõttu ei tohiks neid väärtusi eeldada.
Hoidla on suunatud treenimisele, peenhäälestusele ja teaduslikule järeldusele. See tugineb vanemale JAX-i, T5X-i, TensorFlow' ja TPU-dele suunatud tarkvaravirnale. See võib olla kasulik teadlastele, kes soovivad teost uurida või muuta, kuid tähendab ka suuremat seadistuskoormust kui tänapäevase kommertsmudeli kasutamine lihtsa veebi-API kaudu.
Milles Unified-IO 2 on teadustöös tugevaim?
Unified-IO 2 peamine tugevus on laiaulatuslikkus avatud teadusraamistikus. Paljud multimodaalsed süsteemid keskenduvad peamiselt tekstile ja piltidele, samas kui Unified-IO 2 hõlmab selgesõnaliselt heli, video mõistmist, piltide genereerimist, ruumilist ennustamist ja tegevustega seotud uuringuid. Üks arhitektuur võimaldab uurida nende võimekuste omavahelist mõju, käsitlemata iga modaalsust täiesti eraldiseisva projektina.
Praktiline eelis on ka mudeli avatus. Ai2 pakub avalikult juurdepääsetavaid kontrollpunkte ja lähtekoodi ning ametlik hoidla dokumenteerib treenimise ja peenhäälestuse töövooge. Hoidla teabe kohaselt kehtib Apache-2.0 litsents. Seega saavad teadlased rakendust uurida, käitada eksperimente oma taristul ja kohandada mudelit akadeemiliseks või prototüübitööks, järgides projektile kehtivaid tingimusi ning arvestades olemasolevaid ressursse.
Mudel sobib hästi ka kehastatud tehisintellekti uurimiseks. Selle tegevustega seotud väljundid ja robotmanipulatsioonidele keskendumine ulatuvad tavapärasest pildi kirjeldamisest või visuaalsest küsimustele vastamisest kaugemale. Projekt, mis uurib, kuidas agent seob visuaalseid vaatlusi, keelelisi juhiseid, ruumilist teavet ja manipulatsioonitegevusi, võib pidada seda ühtset esitust eriti asjakohaseks.
Piirangud ja puuduvad tootmisfunktsioonid
Unified-IO 2 ei ole esitatud kasutusvalmis üldotstarbelise assistendina. Tuvastatud ei ole ametlikku kommerts-API-t, majutatud lõpp-punkti, standardset tokenihinda, tootmiskeskkonna voogedastusliidest, veebiotsingu integratsiooni, partiitöötluse API-t ega garanteeritud JSON-režiimi. Tööriistade kasutamist ja funktsioonikutseid ei ole toetatud võimekustena dokumenteeritud. Neid funktsioone vajavad rakendused peaksid looma teaduslike kontrollpunktide ümber täiendava taristu või valima juurutamiseks mõeldud teenuse.
Avaldatud konteksti pikkuse ja väljundi maksimaalse pikkuse puudumine on samuti oluline. Kasutajad ei saa kaasasolevate allikate põhjal usaldusväärselt kavandada juhiseid ega genereeritud jadasid dokumenteeritud universaalse akna järgi. Piirangud võivad sõltuda valitud variandist, ülesande konfiguratsioonist, teostusest, riistvarast ja järelduse ajal saadaolevast mälust.
Teine piirang on juurutamise keerukus. T5X-i ja TPU-dele suunatud tarkvaravirn võib olla võõras meeskondadele, kes on harjunud tänapäevaste pilvepõhiste järeldus-SDK-dega. Suuremate XL- või XXL-kontrollpunktide käitamine võib samuti nõuda märkimisväärset riistvara ja inseneritööd, kuigi kaasasolev teadusmaterjal ei täpsusta universaalset riistvaranõuet ega järelduse kiirust.
Seetõttu ei tohiks Unified-IO 2 käsitleda majutatud multimodaalse assistendi otsese asendusena. Selle väljundikvaliteet, latentsus ja töökindlus võivad ülesande ja kontrollpunkti järgi erineda. Mudeli avatus annab kasutajale kontrolli ja võimaluse rakendust uurida, kuid samal ajal langeb rakendajale vastutus majutamise, optimeerimise, seire, turvakontrollide ja kasutajale suunatud tootedisaini eest.
Arutlemine, programmeerimine ja tööriistade kasutamine
Unified-IO 2 suudab täita multimodaalse teisendamise ja genereerimise ülesandeid, kuid seda ei ole dokumenteeritud spetsiaalse arutlusmudelina. Selle autoregressiivne arhitektuur suudab järgida ülesandejuhiseid ja ühendada eri modaalsustest pärit teavet, kuid kaasasolev teadusmaterjal ei esita standardiseeritud arutlusvõimekuse võrdlustesti ega spetsiaalset arutlusrežiimi.
Samuti ei ole see eelkõige programmeerimismudel. Teksti genereerimine võimaldab teha koodiga seotud eksperimente, kuid programmeerimine ei ole väljalaske kirjeldatud keskne eesmärk. Selle andmebaasi jaoks koostatud toimetuslik programmeerimishinnang on 4 punkti 10-st ja toimetuslik arutlushinnang 5 punkti 10-st; need on ettevõttesisesed hinnangud, mitte Ai2 avaldatud tulemused ega ülesandespetsiifiliste võrdlustestide asendajad.
Tööriistade kasutamist ja funktsioonikutseid ei ole toetatud funktsioonidena tuvastatud. Robotite tegevuste ennustamist ei tohiks segi ajada üldotstarbeliste tarkvaratööriistadega: tegevusväljundid kuuluvad mudeli kehastatud tehisintellekti uurimisvõimekuse juurde ega tõenda sisseehitatud veebisirvimist, väliste API-de kutseid või autonoomset rakenduste juhtimist.
Hind ja juurdepääs
Unified-IO 2 ametlikku majutatud API hinda ega tarbijatele mõeldud tellimuse hinda ei ole tuvastatud. Mudelit levitatakse avatud teadusväljaandena koos allalaaditavate kontrollpunktide ja lähtekoodiga, seega on mudeli otsest hinda kõige täpsem kirjeldada kui ei kohaldu, mitte kui tasuta majutatud järeldust.
Enda taristul majutamisega kaasnevad siiski kulud. Kasutajad võivad vajada sobivaid kiirendeid, salvestusruumi, inseneritöö aega ja ühilduvaid tarkvarasõltuvusi. Need taristukulud sõltuvad mudeli suurusest ja juurutuse ülesehitusest ning ei sisaldu teenusepakkuja API hinnas. Kuna ametlikku majutatud lõpp-punkti ei ole tuvastatud, puudub ka kontrollitud sisendtokeni hind, väljundtokeni hind või standardne teenusetaseme kohustus.
Millal valida Unified-IO 2?
Vali Unified-IO 2 siis, kui avatus ja multimodaalse uurimistöö paindlikkus on mugavusest olulisemad. See sobib hästi järgmisteks eesmärkideks:
- Ühtse visiooni-, keele-, heli- ja tegevusmodelleerimise akadeemiline uurimine.
- Eksperimendid, mis nõuavad uuritavaid kontrollpunkte ja lähtekoodi.
- Piltide mõistmise, genereerimise ja redigeerimise prototüübid.
- Video või heli mõistmise uuringud.
- Ruumilise ennustamise, piirdekastide ja tiheda visuaalse ennustamise ülesanded.
- Kehastatud tehisintellekti ja robotmanipulatsioonide eksperimendid.
- Multimodaalse mudeli peenhäälestamine või muutmine enda hallataval taristul.
Teine lahendus võib olla sobivam siis, kui prioriteediks on stabiilne majutatud API, väikese latentsusega järeldus, tänapäevane SDK-tugi, garanteeritud struktureeritud väljund, sisseehitatud tööriistad, veebiühendus, tootmiskeskkonna seire või lihtne kulude prognoosimine. Väiksem või spetsialiseeritud mudel võib olla eelistatavam ka siis, kui üks ülesanne – näiteks kõnetuvastus, piltide genereerimine või programmeerimine – on olulisem kui modaalsusteülene ulatus. Seevastu meeskonnad, kes vajavad mudeliartefaktide ja teaduskäitumise üle maksimaalset kontrolli, võivad eelistada Unified-IO 2 suletud kommertsteenusele, isegi kui juurutamine on aeglasem ja keerulisem.
Kokkuvõte
Unified-IO 2 on kõige mõistlikum määratleda avatud multimodaalse teadusplatvormina, mitte valmis assistendi või API-tootena. Selle Large-, XL- ja XXL-kontrollpunktid toovad teksti, pildid, heli, video mõistmise, ruumilised ennustused ja tegevustega seotud väljundid ühte autoregressiivsesse raamistikku. See ulatus koos avaliku koodi ja kaaludega muudab mudeli väärtuslikuks multimodaalsete ja kehastatud tehisintellekti katsete jaoks.
Kompromiss puudutab eelkõige kasutamist, mitte ainult tehnilist ülesehitust: kasutajad peavad ise haldama teadustööle suunatud tarkvara, riistvara, ülesande konfiguratsiooni ja juurutamist. Kuna tuvastatud ei ole ametlikku API-hinda, konteksti spetsifikatsiooni, voogedastusteenust ega tööriistakutsete liidest, sobib Unified-IO 2 kõige paremini teadlastele ja kogenud arendajatele, kes hindavad avatust ja kohandatavust rohkem kui kohest tootmiskasutuse mugavust.