Molmo2-4B

Mis on Molmo2-4B?

Molmo2-4B on Allen Institute for AI ehk lühidalt Ai2 loodud avatud kaaludega visiooni-keele mudel. Visiooni-keele mudel ühendab visuaalse sisendi keelemudeliga, et vastata piltide või videote kohta esitatud küsimustele teksti kujul. Molmo2-4B on loodud enama kui lihtsate pildikirjelduste jaoks: see suudab võrrelda mitut pilti, vastata video kohta käivatele küsimustele, määrata asukohti punktkoordinaatide abil, objekte loendada ning jälgida objekte videokaadrite vahel.

Mudel on Ai2 Molmo 2 perekonna väiksem ja tõhususele suunatud liige. Selle ametlik kontrollpunkt on saadaval kujul allenai/Molmo2-4B. Väljalase kasutab avatud kaalude mudelit ja on loetletud Apache 2.0 litsentsi all, kuid enne mudeli ärilist kasutamist peavad kasutajad eraldi üle vaatama treeningus kasutatud kolmandate osapoolte andmekogumite tingimused.

Molmo2-4B on eelkõige visuaalse mõistmise mudel. See genereerib teksti ja koordinaatidel põhinevat maandamisinfot; see ei genereeri pilte, videot, heli ega kõnet.

Molmo2-4B koht Ai2 mudelivalikus

Molmo 2 laiendab Ai2 varasemat multimodaalset tööd piltide mõistmiselt videote mõistmise, ajalise maandamise, punktide määramise ja jälgimiseni. Molmo2-4B on mõeldud kasutajatele, kes vajavad neid võimeid, kuid soovivad väiksemat kontrollpunkti, millega on kohapeal lihtsam katsetada kui suurema Molmo2-8B-ga.

Tähis „4B” viitab mudeliperekonna ligikaudsele suurusele, samas kui majutatud repositooriumis märgitakse välja antud kontrollpunkti suuruseks ligikaudu 5 miljardit parameetrit. Seda erinevust tasub mäluvajaduse hindamisel või repositooriumi spetsifikatsioonide võrdlemisel arvesse võtta. Praktiline positsioneerimine on siiski selge: Molmo2-4B eelistab väiksemat ressursivajadust ja kiiremat katsetamist, mitte maksimaalset saadaolevat multimodaalset jõudlust.

Arhitektuur ja treenimine

Molmo2-4B kasutab keelemudeli alusena Qwen3-4B-Instructi ja nägemise alusena SigLIP 2. Lihtsustatult toodab keelekomponent vastuse, samal ajal kui nägemiskomponent teisendab pildi- või videosisu infoks, mida keelekomponent suudab tõlgendada.

Ai2 sõnul kasutati Molmo 2 treeninguprogrammis avalikult kättesaadavaid kolmandate osapoolte andmekogumeid ning äsja kureeritud pildi-teksti ja video-teksti kogumeid. Dokumentatsioonis rõhutatakse tihedat pildiallkirjastamist, pikkadele küsimustele vastamist, mitme pildi põhist arutlemist, videotes punktide määramist ja jälgimist. Need treeningueesmärgid selgitavad, miks on mudel kasulik ülesannete puhul, mis nõuavad enamat kui ühe staatilise pildi kirjeldamist.

Kättesaadavates uurimismaterjalides kirjeldatakse mudelit ja selle materjale avatud teadustöö ning reprodutseeritavuse toetajana. Samas ei avaldata materjalides mudelipõhist teadmiste lõppkuupäeva, kindlat konteksti pikkust ega väljundi maksimaalset tokenite arvu. Seetõttu peaksid rakendused vältima selliste piirangute eeldamist, mida mudelikaardil ei ole dokumenteeritud.

Toetatud sisendid ja väljundid

Molmo2-4B toetab teksti koos ühe või mitme visuaalse sisendiga. Dokumenteeritud sisendmodaliteedid on järgmised:

• Tekstipäringud
• Üksikud pildid
• Mitu pilti võrdlemiseks või kombineeritud arutlemiseks
• Video küsimustele vastamiseks, ajalise mõistmise ja jälgimise jaoks

Tavaline väljund on genereeritud tekst. Maandamisülesannete korral võib tekst sisaldada struktureeritud koordinaadiinfot, mida rakendus töötleb objekti või piirkonna asukoha määramiseks. See muudab punktide määramise ja jälgimise kasulikuks tarkvarale, mis peab teisendama mudeli vastuse visuaalseks märkuseks või järgmise etapi toiminguks.

Sobivate ülesannete näited on küsimine, kumb kahest pildist sisaldab rohkem objekte, lühivideos toimuvate sündmuste kirjeldamise palumine, küsimine, kus konkreetne objekt asub, nähtavate objektide loendamine või objekti jälgimine järjestikustes videokaadrites. Esitatud spetsifikatsioonides liigitatakse multimodaalne väljund tekstiks ja struktureeritud tekstiliseks maandamisinfoks, mitte otseseks pildi- või videoväljundiks.

Milles Molmo2-4B hea on?

Piltide mõistmine ja visuaalsetele küsimustele vastamine

Mudel suudab vastata pildi sisu kohta käivatele küsimustele ja koostada pildiallkirju. See sobib visuaalsete kirjelduste eraldamiseks, nähtavate objektide vaheliste seoste tuvastamiseks ning pildil põhinevatele küsimustele vastamiseks, mitte ainult päringus esitatud teabe kasutamiseks.

Mitme pildi võrdlemine

Molmo2-4B suudab töödelda ühes ülesandes mitut pilti. See võimaldab näiteks tuvastada erinevusi, hinnata, kumb pilt vastab kirjeldusele paremini, või ühendada mitmest vaatest pärit tõendeid. Mitme pildi põhine arutlemine on eriti kasulik visuaalse kontrolli ja teadustöö töövoogudes, kus üks pilt ei sisalda kogu asjakohast teavet.

Video ja ajaline mõistmine

Videotugi võimaldab mudelil vastata aja jooksul toimuvate sündmuste kohta, mitte ainult ühe kaadri põhjal. Ai2 andmetel toimib Molmo 2 sarnase suurusega avatud multimodaalsete mudelite seas eriti hästi lühivideote mõistmises, loendamises ja pildiallkirjade koostamises. Mudel suudab väljastada ka ajalise maandamise ja jälgimisega seotud teavet.

Punktide määramine, loendamine ja jälgimine

Punktiväljundid määravad objekti või piirkonna asukoha koordinaatide abil. Loendamisülesannetes peab mudel nähtavad objektid kokku lugema, jälgimisülesannetes aga seostama objekti videokaadrite vahel. Need funktsioonid muudavad Molmo2-4B visuaalse uurimistöö ja märgendamise jaoks kasulikumaks kui mudel, mis tagastab ainult vabas vormis pildiallkirja.

Koordinaadid genereeritakse mudeli tekstilise vastuse osana, mistõttu peavad arendajad neid töötlema ja valideerima, mitte käsitlema eraldi loomuliku graafikaväljundina. Täpsus võib samuti varieeruda sõltuvalt eraldusvõimest, objekti suurusest, varjatusest ja stseeni keerukusest.

Jõudluse, kiiruse ja kulude kompromissid

Ai2 mudelikaardi andmetel saavutas Molmo2-4B 15 akadeemilise võrdlustesti keskmiseks tulemuseks 62,8 ning võrdles end soodsalt mitme sarnase suurusega avatud visiooni-keele mudeliga. Ai2 tõstab suhteliste tugevustena esile lühivideote mõistmist, loendamist ja pildiallkirjade koostamist. Need on teenusepakkuja esitatud võrdlustesti väited, mitte garantii jõudluse kohta iga rakenduse andmetel.

Peamine kompromiss seisneb võimekuse ja ressursikasutuse vahel. Väiksem mudel pakub üldjuhul suuremast multimodaalsest kontrollpunktist praktilisemat lähtekohta kohapealseteks katsetusteks ning esitatud hinnangus on Molmo2-4B alternatiividega võrreldes kiiruse ja kulude osas kõrgelt hinnatud. Need hinnangud on toimetuslikud hinnangud, mitte Ai2 avaldatud tulemused. Neid tuleks tõlgendada juurutamisele suunatud hinnanguna, mitte standardiseeritud mõõdikuna.

Mudel sobib vähem olukordadesse, kus prioriteediks on võimalikult tugev arutlusvõime, keerukas pikkade videote analüüs, keerulised juhised või laialdased teadmised maailma kohta. Video võib sõltuvalt eraldusvõimest, kaadrisagedusest ja järjestuse pikkusest siiski nõuda märkimisväärselt mälu ja arvutusvõimsust. Tõhususe eelis ei tähenda seega, et iga videotöötlusülesanne töötab tavalisel riistvaral odavalt.

Arutlusvõime, kodeerimine ja tööriistade tugi

Molmo2-4B kasutab multimodaalset arutlemist selle praktilises tähenduses, ühendades visuaalsed tõendid tekstilise juhisega. See suudab võrrelda pilte, vastata sündmuste kohta käivatele küsimustele, objekte loendada ja kasutada visuaalset teavet koordinaatide genereerimiseks. Dokumentatsioonis ei ole kirjeldatud eraldi arutlusrežiimi ega teenusepakkuja hallatavat arutlustokenite eelarvet.

Kodeerimine ei ole selle mudeli peamine eesmärk. See võib genereerida programmeerimistöövoos kasulikku teksti, näiteks visuaalse sisu kirjelduse või töödeldud koordinaatide selgituse, kuid seda ei tohiks valida eelkõige tarkvaraarenduseks. Esitatud hinnangus on selle kodeerimisskoor madal ehk 3; tegemist on toimetusliku hinnanguga, mitte teenusepakkuja avaldatud võrdlustesti tulemusega.

Esitatud spetsifikatsioonides ei ole dokumenteeritud loomulikku tööriistade ega funktsioonikutsete süsteemi. Arendajad saavad mudeli ümber tööriistu ehitada — näiteks koordinaate töötlevat koodi, videokaadrite hankimist või jälgimistulemuste salvestamist —, kuid need on rakenduse taseme integratsioonid, mitte sisseehitatud majutatud tööriistad.

Juurutamine, hinnastamine ja litsents

Molmo2-4B levitatakse allalaaditavate mudelikaaludena Ai2 Hugging Face'i organisatsiooni kaudu. Mudelikaardil kirjeldatakse selle laadimist Transformersiga, kasutades käske AutoProcessor ja AutoModelForImageTextToText, ning käsitletakse ka juurutamist vLLM-i ja ühilduvate kohaliku järeldamise tööriistadega.

Esitatud uurimismaterjalides ei ole ametlikku majutatud API hinnakirja tokenipõhise tasu kohta. Praktiline hinnastusmudel on seega ise majutamine: kasutajad hangivad kaalud ja maksavad oma arvutusinfrastruktuuri eest või kasutavad kolmanda osapoole majutusteenust, kui see kontrollpunkti kättesaadavaks teeb. Kolmandate osapoolte majutuse hindu ei tohiks esitada Ai2 hinnakirjana.

Kontrollpunkt on loetletud Apache 2.0 litsentsi all. See litsents kehtib välja antud mudeli suhtes, kuid mõnel treeningus kasutatud andmekogumil võivad olla eraldi akadeemilise kasutuse, mitteärilise kasutuse või muud piirangud. Organisatsioonid peaksid enne ärilist juurutamist või tundliku materjaliga kasutamist kontrollima lähteandmekogumeid, mudelikaardi tingimusi ja Ai2 vastutustundliku kasutuse juhiseid.

Olulised piirangud

Molmo2-4B on mõistmise mudel, mitte generatiivne meediasüsteem. See ei suuda loomupäraselt luua pilte, videot, heli, muusikat ega kõnet. Selle väljund on tekst, sealhulgas tekstina kodeeritud asukoha- ja jälgimisinfo.

Esitatud materjalides ei ole kinnitatud kontekstiakna suurust ega väljundi maksimaalset tokenite arvu. Avaldatud väärtuse puudumine ei tähenda, et mudelil oleks piiramatu kontekst või väljund; see tähendab, et konkreetse piirangu järgi töökoormuste kavandamisel tuleb tutvuda juurutamisspetsiifilise dokumentatsiooniga.

Suhteliselt väikese multimodaalse mudelina võib sellel olla raskusi keerulise arutluse, pikkade videote, mitmetimõistetavate visuaalsete tõendite, väikeste või varjatud objektide ning ulatuslikke üldteadmisi nõudvate ülesannetega. Ka koordinaadiväljundid vajavad valideerimist, sest süntaktiliselt korrektne asukoht ei pruugi olla õige. Oluliste visuaalsete otsuste puhul on endiselt asjakohane inimkontroll ja rakenduse taseme kontrollide kasutamine.

Millal valida Molmo2-4B?

Vali Molmo2-4B siis, kui vajad avatud mudelit, mis suudab pilte ja videoid analüüsida, ning kui kohapealne kontroll, läbipaistvad materjalid või väiksem ressursivajadus on olulisemad kui maksimaalne multimodaalne võimekus. See on tugev kandidaat järgmisteks kasutusjuhtudeks:

• Piltide ja videote kohta küsimustele vastamine kohapeal
• Visuaalne uurimistöö ja reprodutseeritavad katsed
• Pildiallkirjade koostamine ja visuaalse sisu tihe kirjeldamine
• Loendamine ja ruumiline arutlemine
• Piltide võrdlemine
• Visuaalse punktide määramise ja märgendamise töövood
• Lühivideote mõistmine ja objektide jälgimine
• Rakendused, mis vajavad allalaaditavaid kaalusid, mitte kohustuslikku majutatud API-t

Suurema multimodaalse mudeli kasutamine võib olla sobivam nõudliku arutlemise, keerukate juhiste, pikkade videote või töökoormuste puhul, kus võrdlustestide jõudlus on kohapealsest tõhususest olulisem. Kui nõutakse täpse tuvastamise või jälgimise garantiisid, võib eelistada spetsiaalset arvutinägemissüsteemi. Majutatud kommertsmudel võib olla mugavam siis, kui prioriteediks on hallatav API, prognoositav teenuse kättesaadavus ja teenusepakkuja hallatav skaleerimine.

Molmo2-4B-d tuleks seega käsitleda kompaktse, avatud ja visuaalselt võimeka uurimis- ning juurutamismudelina. Selle väärtus seisneb piltide ja videote mõistmise ning maandamisfunktsioonide ühendamises kontrollpunktis, mida saab alla laadida ja kohandada, arvestades samal ajal väiksema mudeli ja enda hallatava taristu tavapäraseid kompromisse.