Molmo 2-O 7B

Mis on Molmo 2-O 7B?

Molmo 2-O 7B on Ai2 ehk Allen Institute for AI multimodaalne visiooni-keelemudel. Praktilises mõttes võtab see vastu tekstipäringuid koos visuaalsete sisenditega ning tagastab tekstipõhiseid vastuseid või visuaalse paiknemise teavet. See on loodud töötama üksikute piltide, pildirühmade ja videoga, mitte ainult tekstiga.

Mudel kuulub Ai2 Molmo 2 perekonda ja on täielikult avatud variant, mille aluseks on Ai2 enda Olmo keelemudelite tehnoloogia. Esitatud uuringu kohaselt avaldas Ai2 Molmo 2 11. detsembril 2025. Mudeli kanooniline hoidlaidentifikaator on allenai/Molmo2-O-7B ning mudelikaardil on hoidla litsentsiks märgitud Apache 2.0.

Tähis „7B” viitab ligikaudu 7 miljardi parameetri suurusele mudelile. Seetõttu on seda iseseisvaks katsetamiseks märksa praktilisem kasutada kui väga suuri multimodaalseid süsteeme, kuigi videotöötlus ja visuaalsete tokenitega seotud töökoormus võivad siiski nõuda märkimisväärselt mälu ja arvutusvõimsust.

Arhitektuur ja avatud kaalud

Molmo 2-O 7B ühendab kolm olulist komponenti:

• Olmo 3 7B Instruct: keeleline põhikomponent, mida kasutatakse päringute tõlgendamiseks ja vastuste koostamiseks.
• SigLIP 2: visioonikodeerija, mis teisendab visuaalse teabe esitusteks, mida keelemudel saab töödelda.
• Molmo 2 mudel ja treeningukomponendid: ühenduskomponent, avaldatud kood, mudeli artefaktid ja seotud ressursid, mis seovad visuaalse töötlemise keele genereerimisega.

See arhitektuur on oluline, sest mudel pole saadaval ainult majutatud demona. Teadlased ja arendajad saavad avaldatud artefakte uurida, mudelit kohapeal käitada, koodi kohandada ja analüüsida, kuidas süsteem visuaalset teavet töötleb. See erineb kommertslikust multimodaalsest API-st, mille puhul teenusepakkuja haldab kaalusid, taristut, uuendusi ja kasutuspiiranguid.

Avatud kättesaadavus ei tähenda, et juurutamine oleks lihtne. Kasutajad vastutavad ise riistvara, paigalduse, järeldamise optimeerimise, mäluhalduse, turbe ja rakenduse tasandi kaitsemeetmete eest. Enne kommertslikku või tundlike andmetega juurutamist tuleks kontrollida ka ametlikus hoidlas ja mudelikaardil esitatud litsentsi- ja kasutustingimusi.

Toetatud sisendid ja väljundid

Molmo 2-O 7B toetab sisendina teksti, pilte, mitut pilti ja videot. Selle visioonivõimalused hõlmavad nii ruumilist mõistmist pildi piires kui ka ajalist mõistmist videokaadrite lõikes.

Mudel võib koostada kirjeldusi ja vastuseid, teha loendusi, määrata asukohti ning anda muid tekstipõhiseid tulemusi. Osutamis- ja paiknemisväljund võib tuvastada, kus objekt asub, samal ajal kui ümbritsev tarkvara saab need koordinaadid või viited esitada pildi või videokaadri peale kantud märkustena. Mudel ei genereeri loomupäraselt pildifaile, videot, muusikat, kõnet ega muud mittetekstilist meediat.

Mida Molmo 2-O 7B suudab teha

Mudeli peamine eesmärk on visuaalne mõistmine, mitte sisu genereerimine. Toetatud või dokumenteeritud kasutusjuhtude hulka kuuluvad:

• Visuaalne küsimustele vastamine: vastamine küsimustele pildil või videos näidatud objektide, tegevuste, paigutuste ja sündmuste kohta.
• Piltide ja videote kirjeldamine: stseenide kirjelduste koostamine, sealhulgas üksikasjalikumad kirjeldused, mis sisaldavad rohkem teavet kui lühike pealdis.
• Loendamine: pildil või stseenis nähtavate objektide või objektikogumite arvu hindamine.
• Osutamine ja paiknemise tuvastamine: objekti või piirkonna ruumilise asukoha määramine pildil või objekti seostamine videol oleva punktiga.
• Jälgimine: objektide jälgimine videokaadrite kaupa või nende asukoha muutumise kirjeldamine.
• Ajaline arutlemine: videol toimuvate sündmuste järjekorra, ajastuse või arengu kohta käivatele küsimustele vastamine.
• Mitme pildi põhine arutlemine: ühe ülesande raames esitatud mitme pildi võrdlemine või ühine tõlgendamine.

Näiteks võib rakendus paluda mudelil tuvastada fotol kõik nähtavad kaitsekiivrid, näidata nende asukohad, võrrelda kahte pilti samast ruumist, kirjeldada lühikese video jooksul toimuvaid muutusi või luua visuaalse andmestiku jaoks märkusi. Need ülesanded on pigem seotud tajumise ja analüüsi kui piltide loomisega.

Kontekst, juurutamine ja ressursinõuded

Esitatud konfiguratsioon määrab teksti poolel maksimaalseks positsioonisuuruseks 65 536 tokenit. See on kontrollitud konfiguratsiooniväärtus, mitte garantii, et iga juurutus suudab töödelda sellise pikkusega päringut mis tahes visuaalse sisuga. Tegelik suutlikkus sõltub videokaadrite arvust, pildi eraldusvõimest, visuaalsete tokenite jaotusest, eeltöötluse valikutest, saadaolevast mälust ja järeldamise teostusest.

Video nõuab tavaliselt rohkem ressursse kui üksik pilt, sest süsteem peab töötlema teavet mitmest kaadrist. Kaadrite arvu suurendamine võib parandada ajalist katvust, kuid suurendab ka visuaalsete tokenite hulka, mälukasutust ja töötlemisaega. Tootmislahenduste arendajad peaksid seetõttu katsetama tüüpiliste videotega, mitte hindama suutlikkust ainult teksti poole piirangu põhjal.

Molmo 2-O 7B on mõeldud kohapealseks või iseseisvalt hallatavaks järeldamiseks, kasutades avaldatud mudeliartefakte ja koodi. Ametlik teostus on seotud tänapäevaste Pythoni masinõppevahenditega, sealhulgas Transformersil põhinevate töövoogude ja Molmo 2 koodibaasiga. Esitatud uuringus ei täpsustatud riistvara täpseid nõudeid, läbilaskevõimet ega latentsust, mistõttu tuleks neid mõõta sihtriistvaral ja tegeliku töökoormusega.

Esitatud materjalidest ei leitud maksimaalset väljundtokenite piirangut. Seetõttu ei tohiks eeldada, et mudelil on dokumenteeritud teenusepakkuja määratud väljundlagi, mis ületaks konfiguratsiooni ja juurutustarkvara seatud piiranguid.

Hinnastus ja API kättesaadavus

Esitatud uuringus ei tuvastatud Molmo 2-O 7B ametlikku majutatud API tokenipõhist hinnastust. Mudel on avatud kaaludega, mitte tavapärane tasuline teenusepakkuja majutatud API-toode. Avaldatud artefaktide allalaadimine või kasutamine võib vältida tokenipõhiseid mudelitasusid, kuid isemajutusega kaasnevad endiselt taristukulud GPU-de, salvestusruumi, elektri, arenduse ja halduse eest.

Ai2 võib Ai2 Playgroundi kaudu pakkuda brauseripõhist juurdepääsu valitud mudelitele, kuid mänguväljaku kaudu kättesaadavust ei tohiks tõlgendada Molmo 2-O 7B garanteeritud kommerts-API-na. Kasutajad, kes vajavad hallatavaid lõpp-punkte, prognoositavat jõudlust, arvelduse juhtimist, teenusetaseme kohustusi või lihtsat tootmisintegratsiooni, võivad eelistada majutatud multimodaalset API-t.

Arutlemine, kodeerimine ja tööriistade tugi

Molmo 2-O 7B on eelkõige visuaalse arutlemise mudel. See saab ühendada päringu visuaalsete tõenditega, et vastata küsimustele, võrrelda stseene, loendada objekte ning arutleda asukohtade või sündmuste üle. Esitatud uuring kirjeldab neid võimekusi, kuid ei esita standardiseeritud teenusepakkuja avaldatud arutlemisskoori ega garantiid, et mudel toimib usaldusväärselt iga arutlusülesande puhul.

See ei ole eelkõige kodeerimismudel. See võib päringu peale koodi genereerida, nagu paljud keeleoskusega mudelid, kuid kodeerimine ei ole selle põhieesmärk ning teenusepakkuja avaldatud kodeerimise võrdlustesti tulemusi ei esitatud. Toimetuslikud hinnangud peavad selle sobivust kodeerimiseks väiksemaks kui visuaalanalüüsiks.

Sisseehitatud veebotsingut, funktsioonikutsunguid, tegevuste täitmist ega üldist tööriistakasutuse võimekust ei tuvastatud. Arendajad võivad paigutada mudeli suuremasse rakendusse, mis pakub otsingut, arvutinägemise töövooge, märgendustööriistu või muid väliseid teenuseid, kuid need funktsioonid pärineksid ümbritsevast rakendusest, mitte Molmo 2-O 7B-st endast.

Peamised tugevused ja piirangud

Tugevused

• Avatud uurimine ja kohandamine: avaldatud kaalud, kood ja teadusartefaktid toetavad kohapealset katsetamist ja kohandamist.
• Lai visuaalsete sisendite tugi: mudel töötleb üksikuid pilte, mitut pilti ja videot.
• Paiknemisele suunatud väljundid: osutamine, loendamine, jälgimine ja asukoha määramine on kasulikud olukordades, kus lihtsast stseeni kirjeldusest ei piisa.
• Teadustööks sobiv ülesehitus: Olmol põhinev arhitektuur ja Ai2 avatud teadustöö lähenemine sobivad korratavateks eksperimentideks.
• Puudub kohustuslik tokenipõhine API-mudel: sobiva taristu olemasolul saavad meeskonnad vältida sõltuvust teenusepakkuja hallatavast järeldamise lõpp-punktist.

Piirangud

• Isemajutu koormus: kasutajad peavad hankima ja hooldama arvutuskeskkonda ning juurutustarkvara.
• Video hind: pikemad videod, suurem kaadrite arv või põhjalikum visuaalne töötlemine võivad suurendada mälukasutust ja latentsust.
• Loomupärane meediageneratsioon puudub: mudel ei loo pilte, videot, heli, muusikat ega kõnet.
• Hallatava API tuvastatud juhtelemendid puuduvad: ametlikku tokenihinnastust, garanteeritud jõudlust, voogedastuse käitumist ega teenusepakkuja hallatavat tööriistakutsungit ei tuvastatud.
• Tajuvigu võib esineda: mudel võib objekte mitte märgata, neid valesti loendada, nende asukohta ebatäpselt määrata või ajalistest sündmustest valesti aru saada.
• Pidevalt uuenevad teadmised puuduvad: see ei ole veebotsingusüsteem, välja arvatud juhul, kui juurutaja lisab välise otsingutöövoo.

Need piirangud on eriti olulised ohutuskriitiliste rakenduste puhul. Väljundeid tuleks kontrollida ülesandespetsiifilise hindamisega ning vajaduse korral teise mudeli, deterministliku arvutinägemismeetodi või inimese ülevaatusega.

Millal valida Molmo 2-O 7B?

Valige Molmo 2-O 7B siis, kui avatus, kohalik kontroll ja visuaalanalüüs on tähtsamad kui kohe kasutusvalmis API mugavus. See sobib hästi multimodaalseks teadustööks, pildi- ja videopõhiseks küsimustele vastamiseks, andmestike märgendamiseks, visuaalseks loendamiseks, objektide asukoha määramiseks, robootika tajukatseteks ning rakendusteks, kus on vaja mudelipinu uurida või muuta.

Avatud kaaludega ülesehitus võib olla eelistatud ka siis, kui andmeid ei saa saata kolmanda osapoole hallatavasse teenusesse, eeldusel et juurutuskeskkond on nõuetekohaselt turvatud ja kohaldatav litsents lubab kavandatud kasutust. Masinõppeoskustega meeskonnad võivad väärtustada võimalust katseid korrata või avaldatud süsteemi täiendavalt treenida, selle asemel et käsitleda mudelit läbipaistmatu lõpp-punktina.

Teistsugune lahendus võib olla sobivam siis, kui esmatähtsad on väike halduskoormus, garanteeritud latentsus, lihtne arveldamine, sisseehitatud veebiotsing, funktsioonikutsungud või tootmistugi. Majutatud kommertslik multimodaalne mudel võib olla eelistatud ka rakendustes, mis vajavad viimistletud API-dokumentatsiooni ja hallatavat skaleerimist. Seevastu väiksem, ainult piltidele mõeldud mudel võib olla lihtsamate klassifitseerimis- või tuvastusülesannete puhul kiirem ja odavam, kui video, mitme pildi põhine arutlemine või keeleliselt rikkalikud selgitused pole vajalikud.

Toimetuse hinnang

Esitatud võrdlushinnangud peavad Molmo 2-O 7B kulude poolest tugevaks, kuna mudel on avatud kaaludega, kuid annavad kiirusele mõõduka ja kodeerimisele madalama hinnangu. Need on toimetuslikud hinnangud, mitte Ai2 avaldatud võrdlustesti tulemused. Tegelik kulu ja kiirus sõltuvad riistvarast, kvantimisest, pakktöötlusest, pildi eraldusvõimest, videokaadrite arvust ja tarkvara optimeerimisest.

Kokkuvõttes on Molmo 2-O 7B kõige parem käsitus avatud visuaalse mõistmise süsteemina inimestele, kes soovivad multimodaalset mudelit ise käitada, uurida või kohandada. Selle peamine eelis on pildi- ja videovõimekuse ühendamine uuritava Ai2 mudelipinuga. Peamine kompromiss seisneb selles, et kasutaja peab ise vastutama taristu, jõudluse häälestamise, valideerimise ja tootmistoimingute eest.