Mis on MolmoMotion-FM?
MolmoMotion-FM on MolmoMotioni flow-matching-variant, mis pärineb Allen Institute for AI (Ai2) avatud teadusuuringute süsteemist. See prognoosib, kuidas objektidel valitud punktid võivad pärast visuaalsete vaatluste ja kavandatud tegevust kirjeldava loomuliku keele juhise saamist 3D-ruumis liikuda.
Näiteks võib süsteemile anda lühikese jada RGB-pilte, määrata objektil punktid koos nende esialgsete 3D-asukohtadega ning kirjeldada tegevust, näiteks objekti liigutamist, avamist või käsitsemist. Seejärel prognoosib MolmoMotion-FM nende punktide tulevased 3D-trajektoorid meetrilises kaamerakoordinaatide süsteemis. Tulemuseks on liikumisandmed, mitte tavaline tekstivastus.
Mudel tutvustati 17. juunil 2026 koos autoregressiivse variandi MolmoMotion-AR, treeningkorpuse MolmoMotion-1M ja hindamiskogumiga PointMotionBench. Need seotud väljalasked positsioneerivad MolmoMotion-FM-i pigem keelejuhitud 3D-liikumise mõistmise ja genereerimise uurimiskomponendina, mitte üldotstarbelise tarbijaassistendina.
Kuidas flow-matching-kujundus töötab
MolmoMotion-FM ühendab mitut liiki teavet. Selle sisendid hõlmavad lühikest RGB-vaatluste ajalugu, loomulikus keeles esitatud tegevuse kirjeldust, 2D-päringupunktide tunnuseid ja päringuga seotud punktide esialgseid 3D-asukohti. Molmo 2 nägemise ja keele alusmudel seob visuaalse sisu keelega, et soovitud tegevust saaks seostada asjakohaste objektide ja punktidega.
Eristuvaks osaks on flow-matching-trajektooride generaator. Lihtsustatult alustab see mürast ja õpib pideva teisenduse, mis loob tulevase liikumise trajektoori. See erineb autoregressiivsest mudelist, mis genereerib jada samm-sammult, ning süsteemist, mis esitab koordinaate kvantiseeritud tekstimärkidena.
Pidev esitus on mõeldud selleks, et aidata mudelil ebakindlust väljendada. Kui objekt võib usutavalt liikuda mitmel eri viisil, ei peaks liikumise prognoosija olema alati sunnitud valima üht näiliselt kindlat trajektoori. Esitatud teadustöös kirjeldatakse MolmoMotion-FM-i mudelina, mis on loodud mitme võimaliku tuleviku esitamiseks, kuid kättesaadavad materjalid ei kinnita selle konkreetse variandi jaoks standardiseeritud ebakindluse mõõdikut ega avaldatud võrdlustesti tulemust.
Sisendid ja väljundid
MolmoMotion-FM on multimodaalne selles mõttes, et kasutab visuaalset teavet koos keele ja 3D-punktide infoga. Dokumenteeritud sisendid on järgmised:
- Lühikesed RGB-vaatluste jadad.
- Kavandatud tegevuse kirjeldus loomulikus keeles.
- Visuaalsetes vaatlustes valitud 2D-päringupunktid.
- Päringuga seotud punktide esialgsed 3D-asukohad.
Selle väljund on nende punktide pidevate tulevaste 3D-trajektooride kogum. Need trajektoorid kirjeldavad liikumist 3D-koordinaadiruumis; need ei ole genereeritud pildid, videod, heli ega vestlustekst. Seetõttu saab mudelit kasutada liikumise prognoosimise komponendina suuremas robootika- või visuaalse genereerimise süsteemis, kuid seda ei tuleks hinnata tavalise tekstigeneratsiooni mudelina.
Esitatud esimese osapoole teadustöös ei avaldata tavapärast kontekstiakna suurust, teksti maksimaalse väljundi piirangut ega märgipõhist väljundi spetsifikatsiooni. Need mõõdikud ei ole mudeli peamise trajektooriväljundi puhul otseselt kohaldatavad ning eeldada ei tohiks ühtki kontrollitud väärtust.
Milleks MolmoMotion-FM-i kasutatakse?
Mudel sobib kõige paremini rakendusteks, kus prognoositav objektide liikumine on kasulikum kui tekstiline selgitus.
- Keelejuhitud 3D-liikumise prognoos: Prognoosida, kuidas jäikade, liigenduvate või deformeeruvate objektide punktid võivad pärast juhise kohast tegevust liikuda.
- Robootika planeerimine: Anda liikumisprognoos, mis aitab järgmistel süsteemidel käsitsemise või võimalike objektitrajektooride üle arutleda. Mudel on prognoosikomponent, mitte täielik roboti juhtseade.
- Liikumisega tingitud video genereerimine: Anda visuaalseid jadasid genereerivatele või muutvatele süsteemidele soovitud tegevuse kohane selge 3D-liikumisteave.
- Multimodaalse füüsikalise arutlemise uurimine: Uurida, kuidas visuaalseid vaatlusi, keelejuhiseid, punktide jälgimist ja tulevase liikumise ebakindlust saab ühendada.
Need kasutusjuhud eeldavad mudeli ümber täiendavat tarkvara ja riistvara. Esitatud dokumentatsiooni põhjal ei paku MolmoMotion-FM täielikku hostitud robootikaplatvormi, veebiotsinguagenti ega valmislahendusena video genereerimise toodet.
Milline on selle koht MolmoMotioni mudelite valikus?
MolmoMotion-FM on MolmoMotion-AR-i flow-matching-vastand. Erinevus on oluline: FM-i kirjeldatakse kui süsteemi, mis teisendab müra pidevateks trajektoorideks, samal ajal kui AR genereerib trajektoori teavet autoregressiivselt. FM-lähenemine on eriti asjakohane siis, kui prioriteediks on mitme võimaliku tuleviku esitamine.
Praegused avalikud väljalaskematerjalid ei nimeta siiski eraldi allalaaditavat MolmoMotion-FM-i kontrollpunkti. Ametlik hoidla ja avalikult loetletud MolmoMotioni kollektsioon nimetavad praegu allalaaditavate kontrollpunktidena autoregressiivseid mudeleid MolmoMotion-4B-H3-F30 ja MolmoMotion-4B-H1-F32. Seetõttu tuleks MolmoMotion-FM-i praegu käsitleda dokumenteeritud teadusvariandina, mille teostus või kättesaadavus ei pruugi vastata hõlpsamini juurdepääsetavatele AR-kontrollpunktidele.
See erinevus on praktilise planeerimise seisukohast oluline. Teadlane, kes otsib mudelit, mida saab kohe alla laadida ja käivitada, võib vajada selle asemel avaldatud autoregressiivsete kontrollpunktide hindamist, lähtudes nende enda dokumentatsioonist ja litsentsitingimustest. See ei muuda FM-vormistust ebaoluliseks; see tähendab, et dokumenteeritud arhitektuur ja praegu tuvastatav avalik artefakt ei pruugi olla üks ja sama.
Tugevused ja kompromissid
MolmoMotion-FM-i peamine tehniline tugevus on selle fookus. Selle asemel et käsitleda liikumist tekstis ebamäärase kirjeldusena, prognoosib see visuaalsete tõendite ja keele põhjal pidevaid 3D-punktitrajektoore. Seetõttu sobib selle väljund geomeetriliseks järeldamiseks paremini kui üldise nägemise ja keele mudeli proosavastus.
Selle flow-matching-vormistus sobib hästi ka probleemidele, mille puhul tulevik on mitmetähenduslik. Tassi liigutamine, deformeeruva objekti käsitsemine või liigenduva objekti konfiguratsiooni muutumine võib hõlmata mitut usutavat trajektoori. Mudel on loodud seda ebakindlust arvestades, selle asemel et käsitleda iga prognoosi ühe deterministliku tekstijadana.
Kompromissiks on spetsialiseeritus. Mudelit ei ole dokumenteeritud üldise vestlusmudeli, programmeerimisassistendi, veebiotsingusüsteemi, kõnemudeli, pildigeneraatori ega hostitud API-tootena. Samuti vajab see struktureeritud sisendeid, näiteks päringupunkte ja esialgseid 3D-asukohti, mistõttu ei ole see ainult pilti ja küsimust vastuvõtva mudeli otsene asendus.
Kiirust ja hinda tuleks samuti tõlgendada juurutamise, mitte märgipõhise hinnastamise kaudu. Tuvastatud ei ole teenusepakkuja märgihinda, hostitud järelduse hinda ega standardset kommertsteenuse paketti. Esitatud teadustöö ei anna kontrollitud alust ühe päringu maksumuse võrdlemiseks kommerts-API-dega. Tegelik hind sõltub kättesaadavast kontrollpunktist, riistvarast, teostusest ning seda ümbritsevast robootika- või videotöötluskonveierist.
Võimalused ja avaldamata spetsifikatsioonid
| Valdkond | Praegused tõendid |
|---|---|
| Teenusepakkuja | Allen Institute for AI (Ai2) |
| Mudeli tüüp | Flow-matching-meetodil töötav multimodaalne 3D-liikumise prognoosija |
| Visuaalne sisend | RGB-vaatlused; dokumenteeritud ülesanne toetab videolaadseid vaatlusjadasid |
| Keeleline sisend | Tegevusjuhised loomulikus keeles |
| Peamine väljund | Pidevad tulevased 3D-punktitrajektoorid |
| Üldine tekstiväljund | Ei ole dokumenteeritud eesmärk |
| Tööriista- või funktsioonikutsed | Ei ole tuvastatud |
| Veebiotsing | Esitatud mudelikirje kohaselt ei ole toetatud |
| Hinnastamine | Kontrollitud märgi- või hostitud teenuse hinda ei ole tuvastatud |
| Konteksti pikkus | Selle variandi kohta avaldamata |
| Väljundi maksimaalne märgikogus | Trajektooriväljundi puhul ei kohaldu või ei ole avaldatud |
| Eraldiseisev FM-kontrollpunkt | Praegustes esimese osapoole väljalaskematerjalides ei ole tuvastatud |
Avaldatud väärtuse puudumist ei tohiks tõlgendada tõendina, et vastav võimalus on olemas või puudub. Eelkõige ei ole esitatud esimese osapoole allikate põhjal kindlaks tehtud MolmoMotion-FM-i täpset parameetrite arvu, toetatud jadade piire, päringupunktide maksimaalset arvu, mälunõudeid ega järeldamise kiirust.
Arutlemis- ja programmeerimisvõimalused
MolmoMotion-FM teeb ülesandespetsiifilist multimodaalset arutlemist: see seostab tegevusjuhise visuaalsete punktidega ja prognoosib nende tulevast liikumist. See on kasulik füüsikaline ja geomeetriline arutlemine, kuid seda ei tohiks segi ajada avatud ahelaga mõttekäiguarutluse ega laiapõhjalise teadmistepõhise probleemilahendusega.
Programmeerimine ei ole MolmoMotion-FM-i puhul dokumenteeritud mudelivõimekus ega väljundrežiim. Arendajad võivad kirjutada koodi teadusliku teostuse kasutamiseks või kohandamiseks, kuid mudelit ennast ei esitleta koodigeneratsiooni assistendina. Samuti ei ole tuvastatud tööriistakasutuse ega funktsioonikutsete liidest.
Millal valida MolmoMotion-FM?
Vali MolmoMotion-FM siis, kui keskne probleem on objektipunktide liikumise prognoosimine 3D-s ning sisendid sisaldavad loomulikul viisil visuaalseid vaatlusi, punktide asukohti ja keelejuhist. See on eriti asjakohane teadustöös, kus võrreldakse deterministlikke ja multimodaalseid liikumisprognoose, robootikasüsteemides, mis vajavad keelepõhist prognoosietappi, ning videogenereerimise töövoogudes, millele on kasulik selge liikumisjuhtimine.
Kui prioriteediks on vahetu juurdepääs avalikule kontrollpunktile, võib sobivam olla mõni muu liikumismudel või avaldatud MolmoMotioni autoregressiivne variant. Piltide kohta küsimuste esitamiseks, dokumentide analüüsiks, programmeerimiseks või vestlusabiliseks sobib paremini üldotstarbeline nägemise ja keele mudel. Kommertslik videogenereerimise platvorm on asjakohasem siis, kui eesmärk on valmis video loomine, mitte vahepealse 3D-trajektoori esitamine. Kui prognoosid tuleb muuta ohututeks ja käivitatavateks tegevusteks, on endiselt vaja spetsiaalset robootikaplaneerijat või juhtseadet.
Kättesaadavus ja kokkuvõte
Ai2 dokumenteerib MolmoMotion-FM-i avalikult MolmoMotioni teadusuuringute perekonna osana, kuid praegustes esimese osapoole kontrollpunktide loendites nimetatakse avaldatud allalaaditavate mudelitena autoregressiivseid variante, mitte eraldi allalaaditavat FM-kontrollpunkti. Esitatud materjalides ei ole MolmoMotion-FM-i jaoks kontrollitud hostitud API-t, tellimuspaketti, märgipõhist hinnastamist, standardset kontekstiakent ega üldotstarbelist vestlusliidest.
Selle väärtus on seega eelkõige teaduslik. MolmoMotion-FM pakub selgelt määratletud lähenemist keelejuhitud pidevale 3D-liikumise prognoosimisele ning on loodud modelleerima rohkem kui üht võimalikku tulevikku. Sama olulised on selle piirangud: juurdepääs konkreetsele FM-artefaktile on ebaselge, juurutusspetsifikatsioonid on puudulikud ning selle väljund on spetsialiseeritud trajektooriandmed, mitte valmis vastus, pilt, video ega roboti tegevus.