Mis on MolmoE-1B-0924?
MolmoE-1B-0924 on Allen Institute for AI ehk Ai2 välja töötatud avatud kaaludega visioon-keelemudel. Visioon-keelemudel töötleb nii visuaalset materjali kui ka tekstilisi viipasid ning genereerib seejärel tekstilise vastuse. Praktikas tähendab see, et mudelile saab esitada pildi koos küsimuse või juhisega ning paluda sellel pilti kirjeldada, tõlgendada, loendada või leida sealt midagi konkreetset.
Kontrollpunkt avaldati 24. septembril 2024 Ai2 Molmo mudelipere osana. Seda kirjeldatakse eelversioonimudelina, mitte täielikult hallatud kommertsteenusena. Kaalud on Apache 2.0 litsentsi alusel Hugging Face'ist allalaaditavad, mistõttu sobib mudel kohalikuks katsetamiseks ja enda hallatavas keskkonnas kasutamiseks, järgides litsentsi ning Ai2 vastutustundliku kasutamise juhiseid.
MolmoE-1B-0924 põhineb mudelil OLMoE-1B-7B-0924 ning ühendab selle keelemudeli põhja OpenAI CLIP ViT-L/14@336 visioonikodeerijaga. Selle ekspertide segu ehk MoE-arhitektuur sisaldab kokku ligikaudu 7,2 miljardit parameetrit, kuid ühe arvutuse korral kasutatakse umbes 1,5 miljardit aktiivset parameetrit. See võib pakkuda sama parameetrite koguarvuga tavapärasest mudelist kompaktsemat töökeskkonda, kuigi tegelik mälukasutus ja kiirus sõltuvad järeldusmootori tarkvarast ning riistvarast.
Mida mudel teha suudab?
MolmoE-1B-0924 võtab vastu teksti ja pilte ning genereerib teksti. Mudeli dokumentatsioonis kirjeldatud kasutusjuhtumid hõlmavad järgmist:
- Piltide pealkirjastamine ja üldine kirjeldamine
- Visuaalsetele küsimustele vastamine
- Dokumentide ja diagrammide tõlgendamine
- Piltidel sisalduva teksti lugemine
- Stseenis olevate objektide või elementide loendamine
- Visuaalne lokaliseerimine, näiteks viidatud objekti asukoha tuvastamine
- Üldine pildi mõistmine kirjaliku juhise alusel
Näiteks võib kasutaja esitada diagrammi ja küsida selle peamise suundumuse kohta, laadida üles foto ning küsida, mitu nähtavat objekti vastab kindlale kirjeldusele, või esitada dokumendipildi ja uurida, millist teavet see sisaldab. Mudeli väljund on tekst, mitte genereeritud pilt, heliklipp ega video. Esitatud spetsifikatsioonides ei ole dokumenteeritud heli- ega videosisendit, kujutiste, videote ega heli loomist.
Seotud Molmo projekt avaldas ka PixMo pildi-teksti andmestiku ning muid treeningu-, hindamis- ja andmeressursse. Need ressursid on olulised teadlastele, kes soovivad mudeliperet mõista või edasi arendada, kuid need ei muuda MolmoE-1B-0924 majutatud rakenduseks, millel oleks ühtne komplekt kommertsfunktsioone.
Arhitektuur, parameetrid ja kontekstilimiit
Mudelil on ligikaudu 1,5 miljardit aktiivset parameetrit ja kokku 7,2 miljardit parameetrit. MoE-mudeli puhul hõlmab parameetrite koguarv mitut spetsialiseeritud alamvõrku, millest konkreetse märgi või arvutuse jaoks aktiveeritakse ainult osa. Aktiivsete parameetrite arv aitab seega mõista arvutuste suunamist, kuid seda ei tohiks käsitleda mudeli täieliku salvestusvajadusena.
MolmoE-1B-0924 kasutab visuaalse teabe teisendamiseks OpenAI CLIP ViT-L/14@336 pildikodeerijat, mille loodud esitusi saab keelemudel kasutada. Avaldatud Transformersi konfiguratsioon määrab 4 096 maksimaalset positsioonimanust. See on avaldatud konfiguratsiooni dokumenteeritud kontekstilimiit ning viipade kavandamisel tuleb arvestada nii pildiga seotud esituste kui ka tekstimärkidega. Esitatud uurimismaterjalides ei ole määratud eraldi väljundmärkide maksimaalset arvu.
Läbipaistvad pildid võivad mudeli dokumentatsiooni kohaselt vajada eeltöötlust. Kohalik juurutamine eeldab ka ühilduvat riistvara, järeldusmootori pinu, mis toetab hoidlas olevat kohandatud mudelikoodi, ning piisavalt mälu allalaaditud kaalude ja käituskeskkonna jaoks.
Jõudlus ja praktilised kompromissid
Ai2 avaldatud võrdluses saavutas MolmoE-1B 11 akadeemilise võrdlustesti keskmiseks tulemuseks 68,6 ning inimeste eelistustel põhinevaks Elo-reitinguks 1032. Need on teenusepakkuja avaldatud võrdlustulemused, mitte iga pildi või rakenduse puhul garanteeritud näitajad. Tulemuste kohaselt konkureeris mudel sarnase suurusega avatud multimodaalsete mudelitega, samal ajal kui Molmo suuremad variandid ja juhtivad kommertssüsteemid saavutasid paremad koondtulemused.
Peamine praktiline eelis on visuaalse sisendi, avatud kaalude ja suhteliselt väikese aktiivsete parameetrite arvu kombinatsioon. Enda hallatav mudel võib olla kasulik, kui organisatsioon peab pilte hoidma oma keskkonnas, soovib mudelit uurida või muuta või eelistab vältida majutatud järeldusteenuse märgipõhiseid tasusid. Piiratud riistvaravõimaluste korral võib sellega olla lihtsam katsetada kui palju suurema multimodaalse mudeliga.
Nende eelistega kaasnevad ka kompromissid. Kohalik majutus tähendab, et riistvara, paigalduse, uuenduste, seire, skaleerimise ja turvakontrollide eest vastutab kasutaja. Kompaktne avatud mudel võib keerukate piltide või mitmeastmeliste küsimuste puhul pakkuda ebausaldusväärsemat arutluskäiku kui suuremad tipptasemel süsteemid. Esitatud uurimismaterjalides hinnatakse kiirust suhteliselt heaks ja kulu avatud allalaaditava mudeli puhul soodsaks, kuid need on praktilised hinnangud, mitte garantiid. Tegelik jõudlus sõltub suuresti valitud GPU-st või CPU-st, kvantimisest, pakktöötlusest ja järeldusraamistikust.
Arutlus, programmeerimine ja tööriistade tugi
MolmoE-1B-0924 on peamiselt piltide mõistmise ja teksti genereerimise mudel. Seda ei ole dokumenteeritud spetsiaalse arutlusrežiimi, varjatud mõttekäigu funktsiooni, funktsioonikutsete liidese ega agentsete tööriistade süsteemiga. See suudab vastata visuaalset tõlgendamist ja mitut mõtlemisetappi nõudvatele küsimustele, kuid seda ei tohiks segi ajada ametlikult toetatud arutlusvõimekusega.
Samuti ei esitleta mudelit programmeerimisele spetsialiseerunud mudelina. Kuna see suudab teksti genereerida, võib kasutaja paluda sellel kirjutada lihtsat koodi või koodi selgitada, kuid esitatud dokumentatsioon ei tõenda programmeerimise võrdlusteste, programmeerimisele optimeeritud treeningurežiimi ega koodi käivitamise võimalust. Dokumenteeritud ei ole ka sisseehitatud veebiotsingut, brauseriühendust, funktsioonikutseid ega väliseid tegevusi. Neid võimalusi vajavad rakendused peavad need mudeli ümber ise rakendama ega tohiks eeldada, et kontrollpunkt suudab tööriistu iseseisvalt usaldusväärselt kasutada.
Esitatud toimetajahinnang annab arutlusvõimele tulemuseks 5 punkti 10-st ja programmeerimisvõimele 4 punkti 10-st. Need on subjektiivsed hindamisväljad, mitte Ai2 avaldatud võrdlustestide tulemused. Need näitavad, et MolmoE-1B-0924 mõistlikum käsitlus on kompaktse visuaalanalüüsi mudelina, mitte tipptasemel arutlus- või tarkvaraarendussüsteemina.
Juurutamine, litsents ja hinnastamine
Kanooniline hoidla identifikaator on allenai/MolmoE-1B-0924. Mudelit saab laadida Transformersiga, kuid hoidla nõuab kasutajatelt usaldust selle kohandatud mudelikoodi vastu. Projekti dokumentatsioon käsitleb ka juurutamist selliste tööriistadega nagu vLLM ja SGLang, sõltuvalt kontrollpunkti ning iga tööriista valitud versiooni ühilduvusest.
MolmoE-1B-0924 levitatakse Apache 2.0 litsentsi alusel. Tegemist on avatud kaaludega väljalaskega, mitte teenusepakkuja hallatava tasulise API-ga. Esitatud uurimismaterjalides ei ole tuvastatud ametlikku majutatud kasutusmärkide hinnastust, korduva maksega tellimustaset ega teenusepakkuja hallatavat pakktöötluse API-t. Seetõttu tulenevad kasutamise rahalised kulud peamiselt mudeli käitamiseks vajalikust riistvarast, pilveinstantsist, salvestusruumist ja haldustööst. Välised majutusteenuse pakkujad võivad kehtestada oma tasud, kuid need ei ole mudeli enda hinnad.
Kuna tegemist on eelversiooni kontrollpunktiga, peaksid kasutajad enne selle kasutamist tootmisvoos katsetama täpset hoidla versiooni, järeldusraamistikku, piltide eeltöötluse viisi ja viiba vormingut. Samuti tuleks kavandatava rakenduse jaoks üle vaadata litsentsi- ja vastutustundliku kasutamise nõuded, eriti tundlike dokumentide või piltide töötlemisel.
Millal seda mudelit valida?
MolmoE-1B-0924 on mõistlik valik siis, kui prioriteediks on avatud ja allalaaditav visuaalanalüüsi mudel, mitte viimistletud majutatud assistent. See on eriti asjakohane järgmistes olukordades:
- Kohalik piltidele küsimuste esitamine ja piltide pealkirjastamine
- Avatud multimodaalsete mudelite ja ekspertide segu arhitektuuride uurimine
- Dokumentide, diagrammide ja piltide analüüs enda hallatavas keskkonnas
- Prototüübid, mis vajavad esitatud piltidega seotud tekstivastuseid
- Katsetused, mille puhul on oluline kaalude kontrollitavus ja Apache 2.0 litsents
- Rakendused, mis saavad kasu suuremate multimodaalsete mudelitega võrreldes väiksemast aktiivsete parameetrite arvust
See ei pruugi olla õige valik teenuse jaoks, mis vajab garanteeritud tööaega, hallatud API-t, automaatset skaleerimist, sisseehitatud veebiankurdamist, struktureeritud JSON-väljundi jõustamist, funktsioonikutseid, püsivat mälu või meedia loomist. Suurem multimodaalne mudel võib olla sobivam, kui keerukas visuaalne arutlus ja vastuste kvaliteet on olulisemad kui kohalikud ressursivajadused. Majutatud kommertsmudel võib olla eelistatavam siis, kui meeskond soovib integreeritud API-t ega taha mudeli taristut ise hallata.
Piirangud, mida enne kasutamist teada
Mudeli dokumenteeritud piirangud on tootmisotsuste tegemisel olulised. Tegemist on eelversiooni kontrollpunktiga, mistõttu tuleb selle käitumist ja ühilduvust kontrollida, mitte eeldada. Mudeli väljund on ainult tekst ning dokumenteeritud ei ole heli- või videointeraktsiooni, piltide loomist ega videote genereerimist. Samuti puudub dokumenteeritud loomulik tugi struktureeritud väljundi jõustamisele, viipade vahemällu salvestamisele, pakktöötluse API-dele, veebiotsingule ja funktsioonikutsetele.
Piltide tõlgendamine võib endiselt olla ebatäpne, eriti väikeste detailide, mitmetähenduslike stseenide, tihedate dokumentide, diagrammide või loendamisülesannete puhul. Seetõttu tuleks genereeritud vastust kontrollida, kui täpsusel on praktilised, rahalised, õiguslikud või ohutusega seotud tagajärjed. Läbipaistvad pildid võivad vajada eeltöötlust ning 4 096 positsiooni konfiguratsioonipiirang võib piirata pikki viipasid või töövooge, milles kombineeritakse palju visuaalset ja tekstilist konteksti.
Kokkuvõttes on MolmoE-1B-0924 kõige parem käsitleda kompaktse avatud uurimis- ja juurutuskomponendina: see on kasulik piltide mõistmiseks ja teksti genereerimiseks, kui olulised on kontroll, läbipaistvus ja kohalik käitamine. See sobib vähem terviklikuks assistendiplatvormiks või suuremate mudelite asendajaks, kui vaja on tugevamat arutlusvõimet, hallatud juurdepääsu ja laiemat tööriistade integreerimist.