Molmo-7B-D-0924

Mis on Molmo-7B-D-0924?

Molmo-7B-D-0924 on Allen Institute for AI ehk Ai2 välja töötatud avatud kaaludega visuaal-keelemudel. Visuaal-keelemudel töötleb visuaalset teavet koos loomulikus keeles antud juhistega. Praktilises kasutuses saab mudelile esitada pildi ja küsida selle kohta küsimuse, paluda pilti kirjeldada, lasta nähtavaid objekte loendada või paluda tõlgendada dokumendis, diagrammil või graafikul esitatud teavet.

Mudel genereerib teksti ega loo uut pilti ega muud tüüpi meediat. Nimi viitab nii Molmo mudeliperekonnale kui ka 2024. aasta septembris loodud konkreetsele kontrollpunktile. Tegemist on Ai2 esialgse Molmo väljalaske demonstratsioonidele suunatud 7 miljardi parameetriga mudeliga, mis on mõeldud eelkõige hõlpsasti juurdepääsetavaks multimodaalseks katsetamiseks ja kohapealseks kasutuselevõtuks, mitte suure hallatava ettevõtteteenusena.

Molmo-7B-D-0924 avaldati koos teiste Molmo perekonna kontrollpunktidega, sealhulgas MolmoE-1B, Molmo-7B-O ja Molmo-72B. Need nimed annavad perekonna kohta taustateavet, kuid sellel lehel keskendume 7B-D kontrollpunktile: selle arhitektuurile, kasutusjuhtudele, kasutuselevõtunõuetele ja piirangutele.

Arhitektuur ja treenimisviis

Mudel ühendab Qwen2-7B keelemudeli OpenAI CLIP ViT-L/14 visioonikooderiga, mis töötab 336 piksli suuruse eraldusvõimega. Keelemudel tegeleb tekstilise arutluse ja vastuste genereerimisega, visioonikooder aga teisendab pildiinfo esituseks, mida keelekomponent saab kasutada.

Ai2 treenis mudelit Molmo-7B-D-0924 kureeritud pildi- ja tekstiandmete kogumiga PixMo. Avaldatud uurimismaterjalide kohaselt sisaldab PixMo andmeid üksikasjalike pildikirjelduste, visuaalsete küsimuste ja vastuste paaride, osutamismärkuste, loendamise ning dokumentidega seotud näidete jaoks. See aitab selgitada, miks mudel on mõeldud enamaks kui lihtsaks pildiallkirjade genereerimiseks: selle treeningmaterjalid loodi ülesannete jaoks, mis nõuavad täpsemat visuaalset suhtlust ja kirjeldamist.

Avaldatud väljalase sisaldab mudeli kaalusid ning järelduseks, hindamiseks ja treenimiseks vajalikke tugiressursse. Kontrollpunkt on saadaval Ai2 ametlikes väljalaskematerjalides ja Hugging Face'i allenai/Molmo-7B-D-0924 repositooriumis. Apache 2.0 litsents on organisatsioonidele ja teadlastele, kes hindavad kohapealset kasutust, oluline praktiline eelis, kuid kasutajad peaksid siiski tutvuma mudeli dokumentatsiooni ning konkreetsete andmekogumite või kasutuselevõtukeskkondadega seotud piirangutega.

Sisendid, väljundid ja toetatud modaalsused

Molmo-7B-D-0924 toetab teksti- ja pildisisendit. Selle väljund on tekst. Seetõttu sobib see fotode, ekraanipiltide, skannitud lehekülgede, graafikute, diagrammide ja muu visuaalse materjali kohta küsimuste esitamiseks, eeldusel et valitud järeldusmeetod suudab pildi edastada oodatud vormingus.

Mudel suudab osutamis- ja visuaalse maandamise ülesannete jaoks genereerida tekstilisi koordinaatvastuseid. See erineb punktide otsesest joonistamisest või pildimärkuse tagastamisest: väljund on endiselt tekst, mille koordinaate või kirjeldusi tõlgendab ümbritsev rakendus.

Mida see teha suudab?

Molmo-7B-D-0924 on eelkõige pildimõistmise mudel. Selle dokumenteeritud ja kavandatud ülesanded hõlmavad järgmist:

• Visuaalsetele küsimustele vastamine: vastamine küsimustele pildil nähtavate objektide, stseenide, seoste ja üksikasjade kohta.
• Piltide kirjeldamine: pildi kirjelduste loomine, sealhulgas üksikasjalikumate kirjelduste koostamine, kui viip seda nõuab.
• Dokumentide mõistmine: pildistatud või renderdatud dokumentidest teabe eraldamine või selle selgitamine.
• Graafikute ja diagrammide tõlgendamine: graafikutel, diagrammidel ja nendega seotud visuaalidel esitatud struktuuri ja teabe käsitlemine.
• Loendamine: pildil nähtavate objektide arvu hindamine või teatamine.
• Osutamine ja visuaalne maandamine: objekti või piirkonna asukoha tuvastamine tekstiliste koordinaatvastuste abil.
• Üldine pildist tekstiks suhtlus: pildi kohta antud tekstilise juhise järgimine ja loomulikus keeles vastuse esitamine.

Need võimekused muudavad mudeli pildiallkirjadele keskenduvast süsteemist kasulikumaks rakendustes, mis vajavad visuaalse materjali kohta küsimuste ja vastuste liidest. Esitatud teave ei tõesta siiski universaalset täpsust kõigi dokumenditüüpide, graafikustiilide, pildikvaliteetide ega loendusolukordade puhul. Arendajad peaksid kontrollpunkti enne selle kasutamist oluliste otsuste tegemisel või automaatsel andmete eraldamisel katsetama esinduslike näidetega.

Konteksti- ja väljundipiirangud

Seadistatud keelekonteksti pikkus on 4096 tokenit. Token on ühik, mida mudel kasutab teksti töötlemiseks; see võib tähistada tervet sõna, sõnaosa või kirjavahemärki. Kontekstipiirang hõlmab järelduspäringu käigus töödeldavat teksti ja mudelivestluse sisu, kuid tegelikku praktilist mahtu mõjutab ka see, kuidas rakendus pilti ja viipa esitab.

Esitatud uurimismaterjalides ei ole dokumenteeritud maksimaalset väljundtokenite arvu. Mudel suudab teksti genereerida, kuid kasutajad ei tohiks eeldada, et selle väljundi juhtimise võimalused või teenusetaseme piirangud on samad mis kommertslikul hostitud API-l. Kohapealse teenindamise tarkvara võib pakkuda oma genereerimisparameetreid, mälupiiranguid ja peatamiskäitumist.

Tegemist on 2024. aasta ajast pärit kontrollpunktiga, mistõttu ei tohiks seda käsitleda pika kontekstiga süsteemina. Pikkade dokumentide puhul võib praktiline töövoog nõuda materjali jagamist osadeks ja keskendunud küsimuste esitamist. See aitab 4096-tokenilist keelekonteksti paremini hallata, kuid ei kõrvalda vajadust kontrollida, kas eeltöötluse käigus läks olulist visuaalset või tekstilist teavet kaduma.

Arutlemine, programmeerimine ja tööriistade tugi

Molmo-7B-D suudab pildi ja viiba põhjal teha ülesandekeskset järeldamist, näiteks võrrelda nähtavaid objekte, järgida loendamisjuhist või selgitada graafikut. Esitatud toimetuslikus hinnangus sai see arutlemise eest 6 punkti 10-st, kuid tegemist on võrdleva toimetusliku hinnanguga, mitte Ai2 avaldatud võrdlustesti tulemuse ega ametliku võimekuse hinnanguga.

Seda ei ole dokumenteeritud eraldi arutlusrežiimiga spetsiaalse arutlusmudelina. Mudel väljendab oma arutlemist tavalise tekstigeneerimise kaudu, tuginedes esitatud pildile ja viibale. Seetõttu peaksid kasutajad eristama kasulikku visuaalset järeldamist garanteeritud faktilisest õigsusest.

Programmeerimine ei ole selle mudeli peamine eesmärk. Toimetuslik programmeerimishinne on 4 punkti 10-st, mis on samuti sisemine võrdlev hinnang, mitte teenusepakkuja spetsifikatsioon. Mudel võib viiba korral koodi genereerida või seda käsitleda, kuid esitatud uurimismaterjalides ei esitata Molmo-7B-D-0924 spetsiaalse programmeerimismudelina.

Natiivset tööriista- ega funktsioonikutsete tuge ei ole dokumenteeritud. Mudeli saab integreerida suuremasse rakendusse, mis teeb pärast tekstivastuse tõlgendamist toiminguid, kuid see on rakenduse taseme ümbris, mitte sisseehitatud tööriistakasutuse tugi. Uurimismaterjalides on tööriistakasutus märgitud kättesaamatuks ja struktureeritud väljund märgitud mittetoetatuks. Arendajad, kes vajavad usaldusväärseid masinloetavaid vastuseid, peaksid mudeli ümber rakendama valideerimise ja parsimise, mitte eeldama teenusepakkuja hallatava JSON-režiimi olemasolu.

Kasutuselevõtt ja hinnakujundus

Ai2 ei avalda Molmo-7B-D-0924 ametlikku hostitud hinnastust tokeni kohta. Seetõttu ei ole võimalik võrrelda kontrollitud sisend- ega väljund-API hinda kommertslike multimodaalsete teenustega. Tavapärane kasutusviis on avatud kontrollpunkt alla laadida ja käitada seda kasutaja hallatavas taristus või kasutada kolmanda osapoole hosti, kui mõni selline teenus mudelit pakub.

Kohapealne kasutuselevõtt annab kontrolli andmekäitluse, järelduskonfiguratsiooni ja integratsiooni üle. Samal ajal kanduvad kulud ja käitamisvastutus kasutajale. Riistvaranõuded sõltuvad arvulise täpsuse seadistusest, pildi eraldusvõimest, pakktöötlusest, kvantimisest ja valitud teeninduskomplektist. Kõrge eraldusvõimega hindamine võib nõuda märkimisväärselt GPU-mälu ning jõudlust tuleks mõõta riistvaral ja töökoormusel, mida rakendus tegelikult kasutama hakkab.

Ai2 dokumenteerib näiteid või integratsioone, mis hõlmavad Transformersit, vLLM-i, SGLangi, Docker Model Runnerit ja kvanditud kasutuselevõtu töövooge. Need võimalused võivad parandada teeninduse tõhusust või lihtsustada integratsiooni, kuid ei muuda kontrollpunkti garanteeritult hallatavaks API-ks. Saadavus, ühilduvus ja jõudlus sõltuvad nende väliste tööriistade hetkeversioonidest.

Peamised tugevused ja kompromissid

Molmo-7B-D-0924 kõige selgem tugevus on avatus. Kaalud ja toetavad uurimisressursid muudavad selle suletud multimodaalse API-ga võrreldes hõlpsamini uuritavaks, taasesitatavaks, peenhäälestatavaks ja kohandatavaks. Apache 2.0 litsents ning allalaaditav kontrollpunkt muudavad selle atraktiivseks ka katsetamiseks olukordades, kus piltide saatmine välisele teenusele ei ole soovitav või praktiline.

Selle 7 miljardi parameetri suurune maht paigutab mudeli avatud mudelite maastikul paremini ligipääsetavasse kategooriasse kui väga suured multimodaalsed kontrollpunktid. See võib muuta kohaliku testimise ja kasutuselevõtu realistlikumaks, kuigi väiksem mudel ei pruugi keerukate ülesannete puhul suuremate süsteemidega visuaalses arutlemises, juhiste järgimises või usaldusväärsuses võrdväärne olla. Toimetuslik kiirusehinne on 6 punkti 10-st ja kuluhinne 9 punkti 10-st; need on subjektiivsed võrdlevad hinnangud, mitte mõõdetud garantiid. Kuluhinnang kajastab teenusepakkuja kasutuspõhiste tasude puudumist ja isehostimise võimalikku ökonoomsust, kuid taristul on siiski tegelik kulu.

Kompromissiks on käitamise keerukus. Hostitud multimodaalne API pakub üldjuhul lõpp-punkti, skaleerimist, autentimist ja hallatavat taristut. Molmo-7B-D puhul peavad kasutajad seevastu valima riistvara, paigaldama ühilduva järelduskomplekti, haldama mudelifailide kasutust, kohandama genereerimisseadeid ja jälgima ressursikasutust. Sellel puudub ka natiivne tööriistade orkestreerimine, püsiv mälu, veebisirvimine ning lai meediageneratsiooni võimekus, mida pakuvad mõned kommertslikud assistendiplatvormid.

Piirangud, millega arvestada

• Mudelil on seadistatud 4096-tokeniline keelekontekst, mis piirab pikkade dokumentide ja vestluste töövooge.
• Ai2 ei ole selle kontrollpunkti jaoks esitanud ametlikku hostitud API hinnastust.
• Natiivset heli-, video-, kõneväljundi- ega pildigeneratsiooni võimekust ei ole dokumenteeritud.
• Natiivset tööriistakutsete ja struktureeritud väljundi tuge ei ole dokumenteeritud.
• Riistvara- ja teenindusnõuded varieeruvad oluliselt sõltuvalt täpsusest, eraldusvõimest, pakktöötlusest ja kvantimisest.
• Visuaalseid vastuseid, loendustulemusi, koordinaate ja dokumenditõlgendusi tuleb enne nende kasutamist olulistes töövoogudes vigade suhtes kontrollida.
• Mudelipõhist teadmiste lõpptähtaega ei ole usaldusväärselt avaldatud. 2024. aasta septembris avaldamise kuupäeva ei tohiks käsitleda teadmiste lõpptähtajana.

Need piirangud ei muuda mudelit sobimatuks; need määratlevad selle rolli. Molmo-7B-D-0924 on kõige parem käsitleda kohapeal kasutusele võetava pildimõistmise kontrollpunktina, mitte täieliku üldotstarbelise agendi või täielikult hallatava multimodaalse platvormina.

Millal valida Molmo-7B-D-0924?

Vali Molmo-7B-D-0924, kui vajad avatud kaaludega mudelit, mis suudab pilte uurida ja teksti tagastada, eriti juhul, kui oluline on kohalik kontroll, reprodutseeritavus või paindlikkus teadustöös. See on mõistlik kandidaat visuaalsete küsimuste ja vastuste prototüüpide, piltide ja dokumentide kirjeldamise, graafikute uurimise, loendamiskatsete, visuaalse maandamise uurimise ning rakenduste jaoks, kus meeskond soovib mudelit peenhäälestada või uurida, mitte täielikult suletud teenusele tugineda.

See võib sobida ka meeskondadele, kes saavad pakkuda oma GPU-taristut ja eelistavad isehostimisel põhinevat kasutusökonoomikat tokenipõhisele arveldusele. Mudeli avatud väljalase muudab kontrollpunkti ümber spetsiaalse töövoo loomise lihtsamaks, kuigi peenhäälestus ja kasutuselevõtt nõuavad endiselt inseneriteadmisi.

Mõni teine lahendus võib olla sobivam, kui vajad hallatavat API-t prognoositava skaleerimise, garanteeritud teenuse toimimise, natiivsete funktsioonikutsete, pika konteksti, värske veebiteabe või tootmiskvaliteediga multimodaalse abi jaoks ilma taristu haldamise kohustuseta. Eriti keeruka arutlemise või visuaalanalüüsi puhul võib eelistada suuremat visuaal-keelemudelit, samas kui kitsalt määratletud ülesannete jaoks võib paremini sobida spetsiaalne OCR-, dokumenditöötlus- või programmeerimissüsteem. Kui rakendus vajab piltide, videote, heli või kõne genereerimist, on Molmo-7B-D-0924 vale tüüpi mudel, sest selle dokumenteeritud väljund on ainult tekst.

Kokkuvõte

Molmo-7B-D-0924 on praktiline avatud visuaal-keelekontrollpunkt, mis muudab pildid ja tekstiviibad tekstilisteks vastusteks. Qwen2-7B, CLIP ViT-L/14 visioonikooderi, PixMo treeningandmete, allalaaditavate kaalude ja Apache 2.0 litsentsi kombinatsioon annab teadlastele ja arendajatele paindliku aluse kohapealseks multimodaalseks tööks. Mudel on kõige väärtuslikum siis, kui avatus ja kontroll on olulisemad kui valmislahendusena pakutav hostimine.

Sama ülesehitus seab ka selged piirid: 4096-tokeniline kontekst, ametliku Ai2 tokenipõhise API puudumine, natiivse meediageneratsiooni puudumine ning dokumenteerimata sisseehitatud tööriistad ja struktureeritud väljundi režiim. Nende tingimuste põhjal hinnatuna sobib Molmo-7B-D-0924 kõige paremini pildimõistmiseks ja multimodaalseks uurimistööks, mitte täielikult hallatava üldotstarbelise AI-assistendi asendamiseks.