Mis on Molmo-72B?
Molmo-72B on 72 miljardi parameetriga visiooni-keelemudel, mille töötas välja Allen Institute for AI ehk Ai2. Visiooni-keelemudel ühendab pilditöötluskomponendi keelemudeliga, et tõlgendada visuaalset sisu ja vastata tekstina. Molmo-72B kanooniline avaldatud kontrollpunkt on allenai/Molmo-72B-0924.
Mudel on mõeldud eelkõige piltide mõistmiseks, mitte meedia genereerimiseks. Pildi ja kirjaliku viiba põhjal saab see vastata küsimustele, kirjeldada nähtut, tõlgendada dokumente ja diagramme, loendada objekte ning tuvastada pildi piirkondi või neile osutada. Osutamist ja visuaalset maandamist väljendatakse tekstipõhise koordinaatinfona, mitte eraldi genereeritud pildi või interaktiivse visuaalse kihina.
Molmo-72B avaldati 24. septembril 2024 Ai2 esimese Molmo mudeliperekonna osana. Sellesse perekonda kuulusid ka väiksemad või teistsuguse konfiguratsiooniga kontrollpunktid, näiteks MolmoE-1B, Molmo-7B-O ja Molmo-7B-D. Ai2 praegused Molmo materjalid keskenduvad uuemale Molmo 2 perekonnale, mistõttu on Molmo-72B kõige täpsem käsitleda kättesaadava varasema teaduskontrollpunktina, mitte Ai2 praeguse juhtiva multimodaalse mudelina.
Arhitektuur ja treenimisviis
Molmo-72B ühendab Qwen2-72B keelelise põhikomponendi ja OpenAI CLIP ViT-L/14 336px visioonikodeerija. Praktikas teisendab visioonikodeerija pildi sisu esitusteks, mida keelemudel saab kasutada, samal ajal kui keelekomponent koostab lõpliku tekstilise vastuse.
Avaldatud arhitektuur kasutab mitmeskaalalist ja mitme kärpega piltide eeltöötlust. See tähendab, et sisendpilti võib enne visuaalse info keelemudelile edastamist uurida eri skaaladel ja erinevate kärbetena. Süsteem sisaldab ka ühenduskomponenti, mis teisendab visuaalsed tunnused keelemudeli esitlusruumi, ning ainult dekooderiga transformer-keelemudelit vastuste genereerimiseks.
Ai2 avaldatud treenimiskirjelduses on välja toodud kaks peamist etappi: pealkirjade genereerimisele keskenduv multimodaalne eeltreenimine, millele järgneb juhendatud peenhäälestus. Kaasasoleva uuringu kohaselt ei kasutatud treenimisretseptis RLHF-i. Treenimisel kasutati Ai2 PixMo andmekogumeid, mis sisaldasid andmeid üksikasjalike pildikirjelduste, visuaalsetele küsimustele vastamise, osutamise, loendamise, dokumentide ja kellade kohta. Need materjalid on olulised Molmo-72B keskendumisel üksikasjalikule visuaalsele tõlgendamisele, mitte ainult tekstipõhisele genereerimisele.
Sisendid, väljundid ja toetatud võimekused
Molmo-72B võtab vastu teksti ja pilte. See tagastab teksti, sealhulgas tavapäraseid loomuliku keele vastuseid ja visuaalsete asukohtade tekstilisi esitusi. Mudel ei genereeri algupäraselt pilte, heli ega videot.
- Tekstisisend: toetatud.
- Pildisisend: toetatud.
- Helisisend: kaasasoleva mudelispetsifikatsiooni kohaselt ei ole toetatud.
- Videosisend: kaasasoleva mudelispetsifikatsiooni kohaselt ei ole toetatud.
- Tekstiväljund: toetatud.
- Pildi-, heli-, video- ja muusikaväljund: ei ole toetatud.
Tüüpiliste kasutusviiside hulka kuuluvad küsimine, mida fotol näidatakse, diagrammist teabe eraldamine, dokumendilehe kirjeldamine, nähtavate objektide loendamine või mudelilt küsimine, kus mingi objekt asub. Kesksed kasutusjuhud on piltide kirjeldamine ja visuaalsetele küsimustele vastamine. Märkimisväärsed on ka maandamine ja osutamine, sest mudel suudab edastada visuaalseid ligikaudseid asukohti, mitte üksnes kirjeldada objekti sõnadega.
Kaasasolevas uuringus ei ole kontrollitud teenusepakkuja avaldatud maksimaalset väljundtokenite arvu. Avaldatud konfiguratsioon määrab maksimaalseks positsioonipikkuseks 4 096 tokenit. See kontekstiväärtus kehtib mudeli seadistatud sisendi ja genereerimise jada kogumahule ning seda ei tohiks esitada eraldi garanteeritud väljundimahuna.
Arutlemine, kodeerimine ja tööriistade tugi
Molmo-72B suudab praktilises mõttes teha kasulikku visuaalset arutlust, ühendades pildil nähtava teabe kirjaliku küsimusega. Näiteks võib see siduda diagrammi või dokumendi kohta esitatud küsimuse nähtava infoga ja anda selgituse. Kaasasolevas uuringus ei määratleta siiski eraldi mõttekäigu režiimi, formaalset arutlusrežiimi ega teenusepakkuja määratud arutluskontrolli. Seetõttu ei ole toimetuslik arutlusskoor tarnija spetsifikatsioon ning seda ei tohiks käsitleda võrdlustesti tulemusena.
Kodeerimine ei ole selle mudeli peamine eesmärk. Kuna mudel genereerib teksti, võib see potentsiaalselt kirjeldada pildil näidatud koodi või genereerida viiba põhjal koodilaadset teksti, kuid kaasasolevas uuringus ei dokumenteerita spetsiaalset kodeerimisvõimekust ega kodeerimise võrdlustesti. Mudelit ei tohiks valida spetsiaalse kodeerimismudeli asemel üksnes seetõttu, et selle aluseks olev keelemudel on suur.
Mudelil ei ole dokumenteeritud algupärast veebotsingut, funktsioonikutseid ega agenditööriistu. Seda levitatakse allalaaditavate kaalude ja järelduskoodi, mitte sisseehitatud sirvimise või väliste toimingutega ühtse assistendina. Arendajad võivad luua ümbritseva tarkvara, mis saadab mudeli tekstiväljundi teistele süsteemidele, kuid see oleks rakendustaseme integratsioon, mitte Molmo-72B kontrollitud algupärane tööriistafunktsioon.
Juurutamine ja kasutusnõuded
Molmo-72B on mõeldud kasutajatele, kes suudavad hallata mahukat mudeliinfrastruktuuri. Hugging Face'i repositoorium on ligikaudu 293 GB, mistõttu on kontrollpunkt paljude tavaliste sülearvutite või ühe tagasihoidliku GPU jaoks liiga suur. Praktiline järeldamine nõuab üldjuhul suurt GPU-mälu, kvantimist, mudeli tükeldamist või majutatud taristut.
Mudelit saab lokaalselt laadida Transformersi teegi ja Ai2 kohandatud mudelikoodi abil. Seda saab pakkuda ka ühilduvate järeldussüsteemide, näiteks vLLM-i kaudu, sõltuvalt teenindussüsteemi toest ja operaatori konfiguratsioonist. Kuna kaalud on allalaaditavad, saavad organisatsioonid mudelit kontrollida, kohandada, kvantida ja peenhäälestada vastavalt litsentsi tingimustele ning enda kasutuskorraldusele.
Selline juurutusmudel annab Molmo-72B-le majutatud kommertsliku visiooni-API-ga võrreldes teistsuguse profiili. Ise majutamine võib pakkuda suuremat kontrolli andmekäitluse, versioonide, taristu ja kohandamise üle, kuid operaator peab ise tagama riistvara, tarkvara hoolduse, seire, skaleerimise ja jõudluse optimeerimise. Selle kontrollpunkti jaoks ei ole dokumenteeritud ametlikku Ai2 hallatavat tokenipõhist API-t.
Hind, litsents ja kättesaadavus
Kaasasolevas uuringus ei ole Molmo-72B kohta kontrollitud tokeni- ega tellimusepõhist hinda. Ai2 levitab kontrollpunkti allalaaditavate avatud kaaludena, mitte ametliku tasulise järeldus-API kaudu. See ei tähenda, et juurutamine oleks tasuta: kasutajatel võivad tekkida kulud GPU-de, salvestusruumi, elektri, pilveinstantside, arenduse ja hoolduse eest.
Kaasasoleva uuringu kohaselt levitatakse mudeli kaalusid ja tugimaterjale Apache 2.0 litsentsi alusel. Enne ärilist või suure mõjuga kasutuselevõttu peaksid kasutajad siiski üle vaatama täpsed repositooriumi tingimused, seotud andmekogumite tingimused ja vastutustundliku kasutuse nõuded.
Molmo-72B on endiselt saadaval kontrollpunkti nimega allenai/Molmo-72B-0924. Ai2 tähelepanu on nihkunud Molmo 2-le, mis on uuema Ai2 multimodaalse mudeli otsimisel asjakohasem perekond. Molmo-72B on endiselt kasulik juhul, kui reprodutseeritavus, juurdepääs algsele avatud kontrollpunktile või ühilduvus olemasoleva Molmo-põhise teadustöövooga on uuema mudeli kasutamisest olulisem.
Tugevused ja piirangud
Millistes valdkondades on Molmo-72B tugev
- Avatud levitamine: allalaaditavad kaalud ja tugimaterjalid võimaldavad mudelit uurida ning katsetada ise majutatud keskkonnas.
- Üksikasjalik pildimõistmine: treenimise fookus hõlmab piltide kirjeldamist, visuaalsetele küsimustele vastamist, dokumente, loendamist, osutamist ja maandamist.
- Visuaalsete asukohtade väljund: tekstipõhised koordinaadid võivad olla kasulikud objektide lokaliseerimise või piltidega suhtlemise uuringutes.
- Teadustöö läbipaistvus: Ai2 pakub mudeli, koodi, treenimise ja andmekogumitega seotud materjale, mille eesmärk on toetada reprodutseeritavat teadustööd.
- Kohandatavus: lokaalsed operaatorid saavad uurida kvantimist, kohandamist, peenhäälestust ja juurutuskonfiguratsioone, selle asemel et toetuda ainult muutumatule majutatud lõpp-punktile.
Millistes valdkondades on selle võimalused piiratud
- Väga suur riistvaranõudlus: ligikaudu 293 GB suurune repositoorium muudab lokaalse kasutamise paljude meeskondade jaoks keeruliseks.
- Lühike seadistatud kontekst: avaldatud konfiguratsioon määrab mahuks 4 096 tokenit, mis piirab pikki multimodaalseid vestlusi ja mahukaid dokumenditöövooge.
- Ametliku hallatava API hinnastuse puudumine: arendajad peavad mudelit ise käitama või leidma sobiva välise taristu.
- Algupärase meediageneratsiooni puudumine: mudel ei genereeri pilte, heli ega videot.
- Dokumenteeritud algupärase tööriistakihi puudumine: veebotsingut, funktsioonikutseid ja väliseid toiminguid ei ole sisseehitatud võimekustena määratletud.
- Vanem positsioon mudeliperekonnas: hilisemad Molmo 2 mudelid on Ai2 praeguses multimodaalses valikus selle asendanud ning väidetavalt parandavad mõningaid visuaalse maandamise ja videoga seotud ülesandeid.
Millal valida Molmo-72B?
Vali Molmo-72B siis, kui peamine vajadus on avatud ja ise majutatud piltide mõistmine ning sinu meeskond suudab toetada väga suurt kontrollpunkti. See on mõistlik kandidaat visuaalsetele küsimustele vastamise, piltide kirjeldamise, dokumentide või diagrammide tõlgendamise, loendamise, maandamise ja osutamise uurimiseks. Samuti on see atraktiivne juhul, kui juurdepääs mudeli artefaktidele ning võimalus süsteemi uurida või muuta on olulisem kui valmislahendusena majutatud teenus.
Võrreldes väikese majutatud visioonimudeliga eelistab Molmo-72B kontrolli ja mudeli suurust kiirusele, lihtsusele ja taristukuludele. Majutatud teenus või väiksem kontrollpunkt võib olla sobivam interaktiivsetes rakendustes, mis vajavad väikest latentsust, prognoositavat päringupõhist hinda, automaatset skaleerimist või minimaalset haldustööd. Uuem Molmo 2 kontrollpunkt võib olla eelistatavam juhul, kui prioriteediks on Ai2 praegune mudeliarendus, täiustatud visuaalne maandamine või videoga seotud võimekused, kuigi kaasasolev uuring ei paku nende mudelite kohta üksikasjalikku funktsioonide võrdlust.
Molmo-72B ei sobi hästi rakendustesse, mis vajavad piltide genereerimist, kõnet, video genereerimist, sisseehitatud veebisirvimist, pika kontekstiga dokumendianalüüsi või toetatud tootmis-API-t koos avaldatud teenusetaseme garantiidega. Samuti ei ole see loomulik valik spetsiaalse kodeerimistöövoo jaoks. Sellistel juhtudel võib sobivam olla mudel, mis on loodud konkreetselt vajaliku modaalsuse, konteksti pikkuse, kodeerimisülesande või majutatud kasutusmudeli jaoks.
Kokkuvõte
Molmo-72B on suur avatud kaaludega visiooni-keelemudel, mille peamine väärtus seisneb läbipaistvas ja ise majutatud piltide mõistmises. Qwen2-72B, CLIP-i visioonikodeerija, PixMo treeningandmete ja visuaalse maandamise toe kombinatsioon muudab selle asjakohaseks multimodaalsetes uuringutes ja spetsialiseeritud juurutustes. Sama ülesehitus tekitab ka selle peamise puuduse: ligikaudu 293 GB suuruse kontrollpunkti käitamine 4 096 tokeni pikkuse kontekstiga nõuab tõsist taristut. Meeskondadele, kes soovivad kontrollitavat Ai2 mudelit ja suudavad selle kulu katta, on Molmo-72B endiselt kasulik teaduskontrollpunkt. Enamiku väikese latentsuse, vähese hooldusvajaduse või tänapäevase tootmiskasutuse puhul on tõenäoliselt praktilisem väiksem, uuem või majutatud alternatiiv.