MolmoAct-7B-D

Mis on MolmoAct-7B-D?

MolmoAct-7B-D on Allen Institute for AI ehk Ai2 välja töötatud avatud kaaludega visioon-keel-tegevus-mudel. Visioon-keel-tegevus-mudel ühendab visuaalse taju ja keele mõistmise füüsilise käitumisega. Sel juhul on mudel mõeldud aitama robotil mõista, mida ta näeb, tõlgendada juhist, kavandada tegevust ja ennustada objektide käsitsemiseks vajalikke liigutusi.

Mudel on seega suunatud robootikauuringutele ja edasisele kohandamisele, mitte tavapärasele vestlemisele. Tüüpiline kasutusjuht võib hõlmata kaamerapildi ja sellise juhise edastamist nagu objekti liigutamine kindlasse asukohta. Mudel on loodud stseeni üle arutlema ning genereerima struktureeritud roboti tegevuste ennustusi, mida ümbritsev juhtsüsteem saab kasutada või edasi täpsustada.

Peamine avaldatud kontrollpunkt on allenai/MolmoAct-7B-D-0812. Ai2 nimetab D-varianti parimaks või demonstratsioonidele suunatud kontrollpunktiks edasiseks peenhäälestuseks. Eraldi MolmoAct-7B-D-Pretrain-0812 kontrollpunktil on teistsugune eesmärk, sealhulgas järeldamine ja null-laskmisega hindamine, mistõttu ei tohiks neid käsitleda sama artefakti vahetatavate nimedena.

Milline on selle koht Ai2 mudelivalikus?

MolmoAct-7B-D kuulub Ai2 avatud mudelite uurimisökosüsteemi ning laiendab Molmo suunda füüsilistele tegevustele. Erinevalt üldotstarbelisest keelemudelist on see üles ehitatud robotmanipulatsiooni vajadustest lähtudes: visuaalsed vaatlused, ruumilised suhted, trajektoorid, tegevusruumid ja kohandamine konkreetse robotiplatvormiga.

Algselt esitleti seda eelvaatena avaldatud uurimismudelina. Ai2 on sellest ajast välja andnud uuema MolmoAct2 põlvkonna, mistõttu on MolmoAct-7B-D varasem avatud kontrollpunkt, mitte perekonna uusim liige. See võib siiski olla kasulik teadlastele, kes vajavad juurdepääsu algsele mudelile, selle treeningu- ja hindamismaterjalidele või katsetamiseks ja peenhäälestuseks sobivale kontrollpunktile.

Arhitektuur ja sisendpiirangud

Mudel kasutab Qwen2.5-7B keelelist põhikomponenti koos SigLIP2 visioonipõhise põhikomponendiga. Praktikas töötleb keelekomponent juhiseid ja vahepealset arutluskäiku, visioonikomponent aga teisendab kaamerapildid esitusteks, mida mudel saab kasutada. Avaldatud konfiguratsioon määrab pildi sisendi suuruseks 378 × 378 pikslit.

Selle keelemudeli konteksti pikkus on 4096 tokenit. See piirang hõlmab interaktsiooni käigus edastatavat teksti- ja mudelipõhist konteksti; see ei tähenda, et robot suudaks säilitada piiramatult varasemate vaatluste ajalugu. Juurutus, mis saadab korduvalt pilte, juhiseid, vaheolekuid või tegevusteavet, peab haldama saadaolevat konteksti ja ümbritsevat juhtimistsüklit.

Konfiguratsioon määrab ka 256-osalise tegevuste esituse. See tähendab, et mudel teisendab tegevuse dimensioonid diskreetseteks osadeks, mitte ei väljasta otse piiramatut pidevat juhtsignaali. Nende tegevuste täpne tõlgendus sõltub mudeli eeltöötlusest, tegevuskonventsioonidest, roboti kehastusest ja juurutuskoodist.

Kuidas toimub tegevuste üle arutlemine?

MolmoAct-7B-D on loodud paigutama tajumise ja käitumise vahele vahepealse ruumilise arutluskäigu. Selle asemel et käsitleda juhist lihtsa tekstigeneratsiooni päringuna, peaks mudel ühendama stseenis nähtava objektide paiknemisega, võimaliku trajektoori kulgemisega ning vajalike madala taseme manipulatsioonitegevustega.

See ülesehitus on oluline ülesannete puhul, kus robot peab tegema enamat kui objekti tuvastama. Näiteks võib juhis nõuda eseme leidmist, selle suhte mõistmist teise objektiga, liikumistee kavandamist ning tegevusjada ennustamist, mida roboti käsi ja haarats suudavad sooritada. MolmoAct-7B-D on mõeldud seda ahelat toetama ühe visioon-keel-tegevus-süsteemina.

Väljund ei piirdu loomulikus keeles tekstiga. Mudel on loodud genereerima struktureeritud roboti tegevuste ennustusi, sealhulgas madala taseme manipulatsioonitegevusi. Seda ei tohiks siiski käsitleda täieliku robotijuhtimissüsteemina. Riistvaradraiverid, kalibreerimine, ohutuskontrollid, tegevuste täitmine, tagasiside ja ülesandespetsiifiline kohandamine jäävad ümbritseva süsteemi osaks.

Toetatud modaalsused ja võimalused

Tegevuste väljundi võimekus erineb tavapärasest multimodaalsest vestlusest. MolmoAct-7B-D ei kirjelda lihtsalt pilti ega vasta selle kohta esitatud küsimusele. Selle eesmärk on ühendada visuaalsed ja keelelised sisendid roboti käitumise struktureeritud esitusega. Konkreetse kontrollpunkti kasutamisel tuleks täpse eeltöötluse ja tegevuste dekodeerimise töövoo osas lähtuda mudelikaardist ja hoidlast.

Treening, hindamine ja juurutamine

Ai2 avaldab mudeli kaalud, treeningukoodi, andmestikud ja hindamismaterjalid. Projekt sisaldab töövooge simulatsiooni- ja pärisrobotikeskkondade jaoks ning avaldatud katsetes on kasutatud SimplerEnv-i, LIBERO-t ja füüsiliste robotite hindamisi. Need on konkreetsete keskkondade ja seadistuste uurimistulemused. Neid ei tohiks tõlgendada garantiina, et mudel töötab ilma kohandamiseta teistsuguse roboti, kaamerapaigutuse, haaratsi, kalibreerimisskeemi või ülesannete jaotuse korral.

Kohalikul järeldamisel kasutatakse Transformers-ökosüsteemi koos kohandatud mudelikoodiga. Avaldatud kontrollpunkt on salvestatud FP32-vormingus, samas kui dokumentatsioon kirjeldab sobivuse korral järeldamise ajal BF16-vormingusse teisendamist. Tegelikud mälu- ja kiirusnõuded sõltuvad täpsusest, GPU-riistvarast, pilditöötlusest, pakisuurusest ja robotijuhtimistsükli sagedusest.

Kuna mudelit levitatakse kontrollpunktina, mitte ametliku majutatud järeldamisteenusena, tuleb juurutamisel tavaliselt ise hallata mudeli käituskeskkonda ja robotsüsteemi või kasutada kolmanda osapoole taristut. MolmoAct-7B-D jaoks ei ole avaldatud ametlikku tokenipõhist majutatud API hinda. Kasutamise maksumus sõltub kohalikust riistvarast, pilve-GPU rentimisest, tarkvarataristust, salvestusruumist ja füüsilisest robotiplatvormist. Avatud kaalud võivad vähendada litsentsi- ja päringupõhise API kulusid, kuid need ei muuda riistvara, arendustööd ega käitamist tasuta.

Peamised tugevused ja kompromissid

• Robootikakeskne ülesehitus: Mudel on loodud manipulatsiooni, ruumilise arutlemise, trajektooride ja tegevuste ennustamise jaoks, mitte üldiseks tekstigeneratsiooniks.
• Avatud uurimismaterjalid: Avaldatud on kaalud, kood, andmestikud ja hindamisressursid, mistõttu on mudel suletud majutatud juhtsüsteemiga võrreldes paremini uuritav ja kohandatav.
• Kasulik lähtekoht peenhäälestuseks: D-kontrollpunkt on suunatud robotipõhiste andmete ja ülesannetega edasisele kohandamisele.
• Multimodaalne tegevuste üle arutlemine: See ühendab visuaalsed vaatlused ja keelelised juhised struktureeritud tegevuste esitusega.
• Paindlik juurutamine: Teadlased saavad kontrollpunkti kohapeal käitada või integreerida selle oma robootikapakki, sõltumata omandilisest API-st.

Nende eelistega kaasnevad märkimisväärsed tehnilised kompromissid. Kohalik avatud mudel võimaldab andmete, kaalude ja järeldamise üle suuremat kontrolli, kuid kasutaja peab ise tegelema paigaldamise, GPU-ressursside, mudeliintegratsiooni, kalibreerimise, ohutuse ja jälgimisega. Majutatud üldotstarbelisele mudelile võib olla lihtsam ligi pääseda, samas kui väiksem ülesandespetsiifiline juhtsüsteem võib kindlalt piiritletud robotikäitumise korral olla kiirem ja lihtsam.

Piirangud ja ohutusega seotud kaalutlused

MolmoAct-7B-D ei ole üldotstarbeline keelemudel. Selle koodikirjutamise võimekus on kõrvaline, mitte mudeli põhieesmärk, ning seda ei tohiks valida tarkvaraarenduseks, üldiseks vestluseks, kõnerakendusteks, piltide genereerimiseks ega videote genereerimiseks. Esitatud dokumentatsioonis ei ole tuvastatud ametlikku JSON-režiimi, vahemällu salvestamise funktsiooni, voogedastusliidest, pakktöötluse API-t ega tööriistade kutsumise liidest.

Esitatud uurimismaterjalides ei ole mudeli maksimaalset väljundtokenite arvu avaldatud. Selle 4096 tokeni pikkust konteksti ei tohiks segi ajada eraldi dokumenteeritud väljundipiiranguga. 256-osaline tegevuste esitus kirjeldab tegevuste kodeeringut, mitte universaalset maksimaalset kestust ega robotiliigutuste arvu igas juurutuses.

Füüsiline jõudlus sõltub kontrollpunktist väljapoole jäävatest teguritest: kaamera paigutusest, sügavus- või ruumilistest sisenditest, kalibreerimisest, roboti kehastusest, haaratsi ülesehitusest, tegevuste skaleerimisest, eeltöötlusest, tagasisidepõhisest juhtimisest ja ülesandespetsiifilistest andmetest. Simulatsioonis usutavana näiv ennustus võib pärisrobotil ebaõnnestuda varjestuse, viivituse, hõõrdumise, objektide varieeruvuse või vale koordinaaditeisenduse tõttu.

Seetõttu tuleks mudelit enne füüsilise seadmega ühendamist hinnata simulatsioonis ja kontrollitud testkeskkondades. Ohutuslukustused ja sõltumatu täitmiskihi kasutamine on eriti oluline, sest mudelit ei tohiks käsitleda järelevalveta toimimise või ohutu käitumise garantiina.

Millal valida MolmoAct-7B-D?

Valige MolmoAct-7B-D siis, kui projekt vajab teadustööks, korratavuseks või järgnevaks peenhäälestuseks avalikult kättesaadavat visioon-keel-tegevus-kontrollpunkti. See sobib mõistlikult meeskondadele, kes uurivad nägemise abil juhitud manipulatsiooni, ruumilist arutlemist, trajektooride kavandamist või tegevuste ennustamist ning suudavad käitada kohalikku mudelit ja ehitada selle ümber vajaliku robootikataristu.

See sobib vähem juhul, kui esmatähtsad on viimistletud vestlusassistent, hallatud multimodaalne API, vähese vaevaga integreerimine, sisseehitatud veebijuurdepääs, kõnetöötlus või garanteeritud tootmiskeskkonna töökindlus. Kitsa tootmisülesande korral võib väiksem tavapärane juhtsüsteem või ülesandespetsiifiline poliitika pakkuda paremat kiirust ja prognoositavust. Uuema MolmoActi-alase uurimistöö jaoks võib Ai2 MolmoAct2 olla asjakohasem lähtekoht, kuigi esitatud teave ei tõenda, et see oleks MolmoAct-7B-D-ga asendatav või iga ülesande puhul parem.

Lühidalt öeldes on MolmoAct-7B-D kõige mõistlikumalt käsitletav avatud robootika alusmudeli kontrollpunktina: see on väärtuslik uurimiseks ja kohandamiseks, kuid ei ole täielikult valmis robotitoode. Selle peamine eelis on visuaalse ja keelelise arutlemise ühendamine struktureeritud tegevuste ennustamisega; peamine puudus on arendustöö, mida on vaja nende ennustuste muutmiseks konkreetse roboti puhul töökindlaks ja ohutuks käitumiseks.