Mida MolmoPoint-Vid-4B teeb
MolmoPoint-Vid-4B on avatud kaaludega mudel, mis on loodud siduma loomulikus keeles antud juhise videos kindlate asukohtadega. Kasutaja võib paluda mudelil tuvastada kõik kindlat värvi kandvad inimesed, lugeda objekte nende ilmumise järgi või jälgida objekti mitme kaadri vältel. Väljund ei ole lihtsalt kirjalik kirjeldus: mudel tuvastab punktid, mis on seotud ajatemplite ja objektide identifikaatoritega.
See teeb mudelist visual grounding’u ehk visuaalse sidumise süsteemi. Selles kontekstis tähendab sidumine sõnade, näiteks „punane sõiduk” või „iga ruumi sisenev inimene”, ühendamist konkreetsete visuaalsete asukohtadega. Seetõttu on mudel mõeldud ülesanneteks, kus oluline on teada, kus ja millal miski ilmub, mitte anda lihtsalt ladusat üldist vastust.
Ai2 paigutab MolmoPoint-Vid-4B oma avatud Molmo uurimismudelite perekonda. Tegemist on spetsialiseeritud uurimismudeliga, mitte ühtse tarbijatele mõeldud assistendi ega majutatud kommerts-API-ga. Mudelit levitatakse allenai/MolmoPoint-Vid-4B Hugging Face’i repositooriumi kaudu.
Kuidas grounding’u tokenite ülesehitus töötab
Tavaliste tekstiliste koordinaatide otse genereerimise asemel toodab MolmoPoint-Vid-4B spetsiaalseid grounding’u tokeneid. Need tokenid valivad esmalt jämedama visuaalse piirkonna, täpsustavad valiku väiksemaks alampiirkonnaks ja tuvastavad seejärel täpse asukoha täpsustatud piirkonnas. Dekodeerimisutiliidid teisendavad tulemuse kasutatavaks punktandmestikuks, mis sisaldab ajatempleid, objektide ID-sid ja pikslikoordinaate.
Selle lähenemise eesmärk on muuta punktide ennustamine tõhusamaks ja siduda see tihedamalt mudeli visuaalse esitusega. Spetsiaalne klass „rohkem punkte pole” võimaldab mudelil peatuda, kui kõik asjakohased objektid on tuvastatud, selle asemel et asukohti lõputult juurde genereerida.
Arendaja jaoks on see erinevus oluline: kontrollpunkti laadimisest ja selle genereeritud teksti lugemisest ei piisa lõplike punktitulemuste saamiseks. Spetsiaalsete tokenite koordinaatideks ja ajalisteks metaandmeteks teisendamiseks on vaja video eeltöötlust ning mudeli punktide eraldamise utiliite.
Peamised võimalused ja praktilised kasutusjuhud
- Keelest juhitud videos punktide määramine: tekstijuhisega kirjeldatud objektide asukoha tuvastamine.
- Objektide loendamine: mitme sobiva objekti tuvastamine ja neile vastavate punktide tagastamine.
- Ajaline jälgimine: punktide seostamine objektide identifikaatoritega video kaadrite lõikes.
- Ruumilis-ajaline sidumine: juhise ühendamine nii asukoha kui ka videos oleva hetkega.
- Videomõistmise uurimine: toe pakkumine jälgimise, visuaalse arutlemise, robootika ja seotud interaktsiooni katsetele.
Praktiline näide oleks paluda mudelil osutada kõigile klipis nähtavatele jalgratturitele ja säilitada nende identiteet nende liikumise ajal. Teine näide oleks tuvastada iga konveierilindile asetatud pakk ning näidata ajatemplite abil, millal pakid ilmuvad. Need ülesanded sarnanevad rohkem visuaalse mõõtmise ja annoteerimise kui avatud videovestlusega.
Ai2 avaldatud hindamise kohaselt saavutas MolmoPoint-Vid-4B Molmo2-VideoCounti võrdlustestis close-accuracy skoori 58,7. See on pakkuja esitatud võrdlustulemus mudeli kavandatud videoloenduse ülesande kohta; seda ei tohiks tõlgendada vestlus- või multimodaalse jõudluse üldise mõõdikuna.
Sisendid, väljundid ja töötlemispiirangud
Dokumenteeritud sisendikombinatsioon on tekst ja video. Tekst annab juhise, video aga visuaalse ja ajalise teabe. Mudel ei paku loomupärast pildi-, heli- ega videogenereerimist ning esitatud spetsifikatsioonid ei kinnita helisisendi tuge.
Konfiguratsioonis on konteksti pikkuseks märgitud 35 200 tokenit. Olemasolev uurimismaterjal ei täpsusta eraldi maksimaalset väljundtokenite arvu. Mudeli tegelikku videomahutavust mõjutab ka eeltöötlus: avaldatud konfiguratsioon toetab kuni 384 ühtlaselt valitud kaadrit kiirusega kuni 2 kaadrit sekundis. Need seaded määravad, kui suur osa lähtevideost on järelduste tegemisel esindatud, ja võivad mõjutada ajalist detailsust.
Peamine tulemus on tekstiga ühilduv mudeliväljund, mis sisaldab spetsiaalset grounding’u teavet ja dekodeeritakse punktideks, ajatempliteks ning objektide identifikaatoriteks. Mudel ei genereeri otse pilti, monteeritud videot, helifaili ega muud meediafaili. Mudeli väärtus seisneb struktureeritud visuaalses lokaliseerimises, mitte meedia sünteesis.
| Spetsifikatsioon | Kinnitatud teave |
|---|---|
| Pakkuja | Allen Institute for AI (Ai2) |
| Mudeliperekond | MolmoPoint |
| Mudeli tüüp | Avatud kaaludega videole keskenduv visuaal-keele- ja grounding’u mudel |
| Tekstisisend | Jah |
| Videosisend | Jah |
| Helisisend | Esitatud spetsifikatsioonides toetamata |
| Konteksti pikkus | 35 200 tokenit |
| Avaldatud video eeltöötlus | Kuni 384 ühtlaselt valitud kaadrit kiirusega kuni 2 FPS |
| Loomupärane meediagenereerimine | Pildi-, heli- ega videoväljundit ei ole |
| Maksimaalne väljundtokenite arv | Ei ole täpsustatud |
Rakendamine ja kättesaadavus
MolmoPoint-Vid-4B on mõeldud kohalikuks või ise hallatavaks järelduste tegemiseks, mitte pakkuja arveldusega hallatavaks lõpp-punktiks. Avalik kontrollpunkt on saadaval Apache 2.0 litsentsi alusel. Mudeli dokumentatsioon märgib siiski, et mõne treeningandmestiku suhtes võivad kehtida akadeemilised, mitteärilised või muud piirangud. Kontrollpunkti litsents ei kõrvalda automaatselt kohustusi, mis kaasnevad kolmandate osapoolte andmestike või konkreetsete juurutuskontekstidega.
Kohalik kasutamine eeldab ühilduvat keskkonda, mudeli kontrollpunkti, Ai2 kohandatud mudelikoodi ja videotöötluskomponenti. Mudelikaardi kohaselt on Hugging Face’i kontrollpunkt mõeldud järelduste tegemiseks ega toeta treenimist otse selle kontrollpunkti kaudu. Kasutajad, kes soovivad mudelit kohandada, peaksid tutvuma projekti lähtekoodi ja dokumentatsiooniga, mitte eeldama, et tavalised peenhäälestuse töövood toimivad muutmata kujul.
Kuna tegemist on avatud uurimismudeliga, võivad kättesaadavus ja rakenduse üksikasjad sõltuda repositooriumi versioonist, riistvarast, eeltöötluse konfiguratsioonist ja tarkvarasõltuvustest. Seda ei tohiks hinnata nii, nagu pakuks see kommertsliku majutatud mudeli töökindlust, käideldavuse garantiisid, tugilepingut või standardiseeritud API-käitumist.
Arutlemine, kodeerimine ja tööriistade tugi
MolmoPoint-Vid-4B teostab suunatud visuaalset arutlemist: tõlgendab keelelist juhist, tuvastab asjakohase visuaalse sisu ja seostab selle aja jooksul asukohtadega. See ei tee mudelist üldotstarbelist arutlusmudelit. Esitatud spetsifikatsioonid ei kirjelda laiaulatuslikku planeerimist, pika vormiga analüüsi ega iseseisvat maailma-alaste teadmiste põhist arutlemist mudeli peamiste võimetena.
Kodeerimine ei ole mudeli eesmärk. Programm võib kasutada mudeli dekodeeritud punkte suuremas arvutinägemise või robootika töövoos, kuid mudel ise ei ole mõeldud koodi genereerimiseks ega tarkvaraarenduseks. Samuti ei ole dokumenteeritud veebiotsingu, funktsioonikutsete, pluginate ega väliste tööriistade kasutamise võimekust. Kõik pärast punkti tuvastamist tehtavad toimingud tuleb rakendada ümbritsevas rakendusekoodis.
Kiirus, kulu ja töökorralduslikud kompromissid
Sisend- ega väljundtokenite hindu ei ole loetletud, sest MolmoPoint-Vid-4B levitatakse hinnastatud majutatud järeldusteenuse asemel avatud kontrollpunktina. Selle rahaline kulu sõltub mudeli käitamiseks kasutatavast riistvarast, salvestusruumist, elektrist ja taristust. Ise majutamine võib olla atraktiivne uurimisrühmadele, kes vajavad kontrolli videoandmete või korduva järelduste tegemise üle, kuid see annab seadistamise, optimeerimise, skaleerimise ja hoolduse eest vastutuse kasutajale.
Mudeli märkmete kohaselt on sellel ligikaudu 5 miljardit parameetrit ning avaldatud teabes mainitakse F32 kaalusid. Ka videotöötlus võib olla arvutuslikult nõudlik, eriti suure hulga kaadrite kasutamisel. Praktikas võib kitsalt keskendunud kohalik mudel olla punktide lokaliseerimise puhul eelistatavam suuremale üldotstarbelisele videomudelile, kuid läbilaskevõime sõltub juurutamise riistvarast ja eeltöötluse valikutest. Esitatud uurimismaterjal ei kinnita universaalset latentsuse võrdlust.
Tugevused ja piirangud
Mudeli peamine tugevus on spetsialiseeritus. MolmoPoint-Vid-4B toodab väljundit, mis on ruumilise ja ajalise annoteerimise jaoks otse kasutatav: punktid, ajatemplid ja objektide identiteedid. Grounding’u tokenite mehhanism pakub ka eesmärgipärast alternatiivi sellele, kui paluda üldisel visuaal-keelemudelil kirjeldada koordinaate vabas tekstis. Avatud kaalud ja Apache 2.0 mudelilitsents võimaldavad mudelit uurida, katsetada ja ise hallata.
Sama spetsialiseeritus seab ka selged piirid. Tegemist ei ole üldotstarbelise vestlusliku visuaalmudeliga ning see ei ole mõeldud pildi- ega videogenereerimiseks. Mudel ei sisalda hallatavat veebiühendust, funktsioonikutseid, helitöötlust ega kommerts-API hinnastamiskihti. Kasutajad peavad ise tegelema mudeli paigaldamise, video ettevalmistamise, dekodeerimise ja taristuga. Tulemusi võivad mõjutada ka kaadrite valimine, objektide mitmetimõistetavus, kaamera liikumine ja antud juhise kvaliteet.
Millal valida MolmoPoint-Vid-4B
Valige MolmoPoint-Vid-4B siis, kui peamine vajadus on siduda keel videos täpsete asukohtadega. See sobib hästi uurimisprototüüpide jaoks, mis hõlmavad objektide loendamist, ajalist jälgimist, seotud videoanalüüsi, robootikakatseid või automaatset annoteerimist ning mille puhul on olulised avatud mudeli artefaktid ja kohalik kontroll.
Teist tüüpi mudel võib olla sobivam, kui eesmärk on üldine videoküsimustele vastamine, pikem vestluslik analüüs, audio-visuaalne mõistmine, koodi genereerimine, meedia loomine või garanteeritud kättesaadavuse ja lihtsa API-ga tootmisteenus. Majutatud kommertsmudel võib olla eelistatavam ka siis, kui töökorraldusliku koormuse vähendamine on olulisem kui kontroll kontrollpunkti üle ja andmete kohalik töötlemine.
Lühidalt tuleks MolmoPoint-Vid-4B-d hinnata kui spetsialiseeritud videopunktide määramise vahendit. Selle eripäraks ei ole viimistletud vestlusvastus ega genereeritud meedia, vaid seotud visuaalsete viidete kogum, mida rakendus saab kasutada mõõtmiseks, jälgimiseks ja järgnevate toimingute tegemiseks.