Molmo-7B-O-0924

Mis on Molmo-7B-O-0924?

Molmo-7B-O-0924 on Allen Institute for AI ehk Ai2 7 miljardi parameetriga avatud kaaludega visuaal-keelemudel. Visuaal-keelemudel töötleb visuaalset sisu koos kirjalike juhistega ja annab tekstilise vastuse. Praktiliselt tähendab see, et saate esitada pildi ja küsida selle kohta küsimuse, paluda kirjeldust või lasta mudelil tõlgendada diagrammil, dokumendis, ekraanipildil või tabelis sisalduvat teavet.

Kanooniline kontrollpunkt on allenai/Molmo-7B-O-0924. Mudel avaldati 24. septembril 2024 Molmo mudelite pere esimese väljalaske osana. Ai2 positsioneerib O-varianti oma kõige avatumate 7B-mudelina, mille juurde kuuluvad allalaaditavad kaalud, lähtekood, hindamisressursid ja täiendavad uurimismaterjalid. Seetõttu on see eelkõige mõeldud kohapealseks juurutamiseks, katsetamiseks, uurimistööks ja kohandatud multimodaalsete rakenduste loomiseks, mitte valmis tarbijatele suunatud assistendiks.

Arhitektuur ja treenimisviis

Molmo-7B-O-0924 ühendab OLMo-7B-1024-preview keelemudeli ja OpenAI CLIP-i nägemisanduri. Nägemisandur teisendab pildiinfo esitusteks, mida keelemudel saab vastuse genereerimisel kasutada. See kombinatsioon võimaldab kontrollpunktil vastata viipadele, mis sisaldavad nii teksti kui ka pilti.

Ai2 Molmo uurimistöös kirjeldatakse treenimist kureeritud pildi- ja tekstiandmete kogumiga PixMo. Avaldatud materjalide kohaselt sisaldab see ligikaudu miljonit pildi-teksti paari, sealhulgas andmeid piltide pealkirjastamise, visuaalsetele küsimustele vastamise, dokumentide mõistmise, objektidele osutamise, loendamise ja muude seotud visuaalsete ülesannete jaoks. Need treenimisvalikud aitavad selgitada, miks mudel sobib eelkõige pildianalüüsiks ja visuaalsetele küsimustele vastamiseks, mitte üldotstarbeliseks tööriistade automatiseerimiseks.

Mudelikaardil on kontrollpunkt määratletud pilt-tekstilt-tekstile mudelina ning selle litsentsiks on märgitud Apache 2.0. Repositoorium ja mudeli dokumentatsioon sisaldavad järeldusmeetodeid käsitlevaid juhiseid, allalaaditavaid kontrollpunkte, hindamisressursse ning näiteid Transformersi ja ühilduvate serveerimistööriistade jaoks.

Mida Molmo-7B-O-0924 teha suudab?

Mudel võtab sisendina vastu teksti ja pilte ning tagastab teksti. Dokumenteeritud kasutusjuhtude hulka kuuluvad:

• Pildi sisu kohta küsimustele vastamine.
• Piltidele pealkirjade ja kirjelduste kirjutamine.
• Diagrammide, tabelite, skeemide, dokumentide ja ekraanipiltide tõlgendamine.
• Visuaalne loendamine ja muud pildipõhised arutlusülesanded.
• OCR-ile suunatud ja dokumentide mõistmise töövoogude toetamine.
• Kohapeal juurutatava alusena kasutamine multimodaalsetes uuringutes ja rakendustes.

Näiteks võib arendaja esitada diagrammi koos küsimusega selles kujutatud suundumuse kohta, anda ekraanipildi ja küsida, milline liideseelement on nähtav, või saata dokumendipildi ning paluda selle sisu kirjeldada. Vastus on tekstiline, seega saab mudel oma tõlgendust selgitada, kuid ei tagasta uut genereeritud pilti, heliklippi ega videot.

Molmo-7B-O-0924 ei ole dokumenteeritud veebiotsingu-, kõne-, manustamis-, tegevuste genereerimise ega loomuliku tööriistakutsumise mudelina. Seetõttu tuleks seda käsitleda visuaalse mõistmise ja teksti genereerimise mudelina, mitte täieliku agendiplatvormina.

Tehnilised andmed ja piirangud

Avaldatud konfiguratsioon määrab maksimaalseks positsioonimanuste arvuks 4096. Tokenisaatori konfiguratsioonis on eraldi mudeli maksimaalseks pikkuseks märgitud 8192, mistõttu on 4096 mudeli kasutatava konteksti hindamisel konservatiivsem arhitektuuritaseme väärtus. Esitatud uurimismaterjalides ei ole kindlaks määratud fikseeritud maksimaalset väljundtokenite arvu, seega ei tohiks rakendused eeldada muud piirangut peale selle, mille seavad valitud järeldusraamistik ja saadaolev kontekst.

Arendajad saavad mudeli laadida Transformersi teegi abil, kasutades mudeli kohandatud koodi, või serveerida seda ühilduvate kohalike järeldussüsteemide kaudu. Mudeli dokumentatsioon toetab vLLM-i, kuid sisaldab versioonispetsiifilisi eeltöötlusjuhiseid. Kõik, kes juurutavad mudelit vLLM-i kaudu, peaksid järgima mudelikaardi juhiseid, mitte eeldama, et iga praegune versioon käitub identselt.

Toetatud modaalsused

Molmo-7B-O-0924 toetab pildi- ja tekstisisendit ning väljastab teksti. See ei genereeri loomupäraselt pilte, heli ega videot. Seetõttu on seda kõige täpsem käsitleda pildilt tekstile ja pildi-pluss-teksti pealt tekstile süsteemina.

See erinevus on oluline, kui võrrelda mudelit laiemate multimodaalsete platvormidega. Teenus, mis suudab pilte vastu võtta ning lisaks pilte luua, vastuseid kõneks muuta, veebis sirvida või väliseid funktsioone kutsuda, pakub laiemat võimaluste valikut. Molmo-7B-O-0924 pakub selle asemel arendajatele keskendunumat ja paremini kontrollitavat visuaalse arutluse komponenti, mida saab nende enda tarkvarasse integreerida.

Arutlus, programmeerimine ja jõudlusprofiil

Mudel suudab praktilises mõttes multimodaalselt arutleda, tõlgendades visuaalseid tõendeid ja koostades nende kohta esitatud küsimusele vastuse. Dokumenteeritud ülesannete hulka kuuluvad visuaalsetele küsimustele vastamine, diagrammide ja dokumentide mõistmine, OCR-iga seotud ülesanded, loendamine ning seotud hindamised. Mudelikaardi kohaselt on Molmo-7B-O 11 võrdlustesti keskmine tulemus 74,6. See on avaldatud hindamistulemus, mitte garantii, et mudel toimib samamoodi iga pildi või valdkonna puhul.

Esitatud tõendid ei näita, et Molmo-7B-O-0924 oleks optimeeritud programmeerimismudeliks. Viipamise korral võib see genereerida teksti, mis sisaldab koodi, kuid programmeerimine ei ole selle põhivõimekus. Samuti ei paku see dokumenteeritud loomulikku funktsioonikutsumist ega struktureeritud väljundi jõustamist. Rakendused, mis vajavad usaldusväärset JSON-i või tööriistade käivitamist, peavad valideerimise ja orkestreerimise korraldama mudelist väljaspool.

Selle mudeli kohta esitatud toimetajahinnang annab arutlusvõimele 6 punkti 10-st, programmeerimisele 5 punkti 10-st, kiirusele 6 punkti 10-st ja kulule 9 punkti 10-st. Need on toimetuslikud võrdlevad hinnangud, mitte Ai2 avaldatud hinnangud. Kuluhinnang kajastab hostitud tokenitasude puudumist ja isehostimise võimalust, kuid tegelik kasutuskulu sõltub riistvarast, hostimisest, samaaegsusest ja optimeerimisest.

Juurutamine ja hinnastamine

Täpselt Molmo-7B-O-0924 kontrollpunkti jaoks ei ole tuvastatud ametlikku hostitud API hinnastamist. Ai2 levitab seda allalaaditavate kaaludena, mis tähendab, et arendajad peavad üldjuhul ise tagama arvutuskeskkonna või kasutama kolmanda osapoole hostimisteenuse pakkujat. Sellest tulenev kulu võib ulatuda kohaliku riistvara kasutamisest renditud GPU-taristuni, kuid esitatud uurimismaterjalides ei ole kindlaks määratud standardset tokenipõhist hinda.

Kohapealne juurutamine pakub mitmeid praktilisi eeliseid. Arendajad saavad mudeli artefakte uurida, kontrollida piltide töötlemise asukohta, kohandada järelduskeskkonda ja integreerida kontrollpunkti uurimistöövoogudesse, sõltumata ühest hostitud lõpp-punktist. Samal ajal lisanduvad kohustused, mida hallatud API tavaliselt enda kanda võtab, sealhulgas riistvara valik, mäluhaldus, tarkvara ühilduvus, skaleerimine, seire ja turvalisus.

Mudel ühildub Transformersi ja dokumenteeritud serveerimistööriistadega, kuid seda ei esitleta valmis tarbijarakendusena. Brauseripõhist kasutuskogemust otsivad kasutajad võivad vajada Ai2 liidest, kui mudel seal saadaval on, samas kui prognoositavat tootmisteenust otsivad arendajad peaksid kontrollima, kas kolmanda osapoole host toetab seda konkreetset kontrollpunkti ja selle kohandatud töötlemisnõudeid.

Peamised tugevused ja piirangud

Tugevused

• Avatud levitamine: Allalaaditavad kaalud ja tugimaterjalid muudavad kontrollpunkti suletud hostitud mudeliga võrreldes hõlpsamini uuritavaks ja muudetavaks.
• Paindlik litsents: Apache 2.0 litsents toetab mitmesuguseid uurimis- ja arenduskasutusi, lähtudes litsentsi ja konkreetse projekti kohaldatavatest tingimustest.
• Keskendumine visuaalsele mõistmisele: Dokumenteeritud ülesanded hõlmavad piltide kirjeldamist, visuaalseid küsimusi, diagramme, dokumente, OCR-iga seotud töid, loendamist ja muid pildianalüüsi kasutusjuhtumeid.
• Kohalik kontroll: Arendajad saavad mudelit juurutada Transformersi või ühilduva järeldustaristu abil, selle asemel et sõltuda ametlikust Ai2 tokenipõhisest API-st.
• Uurimistöö läbipaistvus: Ai2 pakub Molmo projektiga seotud mudeli-, koodi-, hindamis- ja treenimisressursside teavet.

Piirangud

• Vanem kontrollpunkt: Tegemist on 2024. aasta põlvkonna 7B-mudeliga ning seda ei tohiks automaatselt käsitleda tänapäevase tipptasemel multimodaalse süsteemina.
• Kasutamisega kaasnev koormus: Isehostimine nõuab sobivat riistvara ja ühilduvat tarkvara ning jõudlus sõltub valitud juurutuskeskkonnast.
• Meedia loomine puudub: Mudel genereerib teksti, kuid ei loo pilte, heli ega videot.
• Dokumenteeritud sisseehitatud tööriistad puuduvad: Selle kontrollpunkti puhul ei ole tõendatud veebiotsingut, funktsioonikutsumist, tegevuste käivitamist ega struktureeritud väljundi garantiisid.
• Piltidega seotud hoiatus: Mudelikaart märgib, et läbipaistvad pildid võivad anda halbu tulemusi, ning soovitab need paigutada ühevärvilisele taustale.
• Serveermise ühilduvus: vLLM-i kasutajad peavad järgima mudelipõhiseid eeltöötlus- ja versioonijuhiseid.

Millal valida Molmo-7B-O-0924?

Valige Molmo-7B-O-0924, kui vajate avatud ja kohapeal juurutatavat mudelit pildi- ja tekstisisu mõistmiseks ning soovite pääseda ligi mudeli artefaktidele, mitte ainult kasutada kaug-API-t. See sobib mõistlikult visuaalsetele küsimustele vastamiseks, dokumentide ja diagrammide analüüsiks, piltide pealkirjastamiseks, multimodaalsete prototüüpide loomiseks, korratavaks uurimistööks ja rakendusteks, kus Apache 2.0 litsents ning juurutamise kontroll on olulised.

Selle avatud kaaludega ülesehitus võib olla eelistatud ka siis, kui piltide saatmine kolmanda osapoole hostitud teenusesse ei ole soovitav või kui meeskond peab mudelit oma keskkonnas uurima, kohandama või võrdlema. Kompromiss seisneb selles, et kohalik kontroll ei kaota taristukulusid, vaid annab arvutusvõimsuse, skaleerimise, uuendamise ja töökindluse eest vastutamise juurutajale.

Teist tüüpi lahendus võib olla sobivam siis, kui esmatähtis on viimistletud assistent, garanteeritud hostitud kättesaadavus, reaalajas veebiühendus, loomulik tööriistakutsumine, püsiv mälu, kõneinteraktsioon, piltide genereerimine või tipptasemel üldine arutlusvõime. Hallatud multimodaalne API võib olla eelistatud ka meeskondadele, kes soovivad prognoositavat latentsust ja kasutuspõhist hinnastamist ilma järeldustaristut haldamata. Seevastu suurem või uuem visuaal-keelemudel võib sobida paremini nõudlike visuaalsete arutlusülesannete jaoks, kuigi esitatud uurimismaterjalides ei ole kindlaks määratud otsest võrdlust konkreetse alternatiiviga.

Kättesaadavus ja litsents

Molmo-7B-O-0924 on saadaval Ai2 ametlikus Hugging Face'i repositooriumis aadressil allenai/Molmo-7B-O-0924 koos Molmo lähtekoodi repositooriumi ja seotud uurimismaterjalidega. Esitatud kättesaadavusandmete kohaselt on kontrollpunkt 25. septembri 2026 seisuga endiselt allalaaditav ja kohapealseks järeldamiseks kasutatav. Kättesaadavus, projekti staatus ja kolmanda osapoole hostimise tugi võivad muutuda, seega peaksid kasutajad enne juurutamist kontrollima ametlikku mudelikaarti.

Apache 2.0 litsents on mudeli positsioneerimisel oluline, kuid kasutajad peaksid siiski tutvuma mudelikaardi, vastutustundliku kasutamise juhiste, andmekogumite tingimuste ja konkreetse rakendusega seotud piirangutega. Mudel võib anda visuaalse materjali kohta kasulikke tõlgendusi, kuid suure tähtsusega töövoogudes tuleks vastused üle kontrollida, eriti kui pildid on mitmetimõistetavad, madala kvaliteediga, läbipaistvad või sisaldavad erialast teavet.