MolmoAct 7B-D Pretrain

Mis on MolmoAct 7B-D Pretrain?

MolmoAct 7B-D Pretrain on Allen Institute for AI (Ai2) pakutav avatud kaaludega robootikamudel. Selle eesmärk on üldotstarbelise vestlusmudeliga võrreldes kitsam: mudel on loodud ühendama visuaalsed vaatlused ja loomulikus keeles antud juhised roboti manipuleerimistegevusteks.

Tüüpilise kasutusjuhtumi korral jälgib kaamera lauda või kodust keskkonda ning kasutaja või programm annab näiteks juhise mõnda eset liigutada. Mudel tõlgendab stseeni, mõtleb vajaliku liikumise üle ning genereerib väljundi, mis sisaldab tekstilist põhjenduskäiku, sügavusega seotud teavet, trajektooriandmeid ja tegevuse esitust, mida ühilduv robootikakood saab parsida.

Kanooniline avaldatud kontrollpunkt on Hugging Face'is allenai/MolmoAct-7B-D-Pretrain-0812. Mudelikaart kirjeldab seda kui järelduskontrollpunkti, millega saab reprodutseerida SimplerEnvi nullkaadri tulemusi, sealhulgas Google Roboti keskkonnas, ning kui baaskontrollpunkti edasiseks vahepealseks treenimiseks. Seetõttu tuleks seda käsitleda eelkõige uurimis- ja kohandamise lähtekohana, mitte suvaliste füüsiliste robotite jaoks valmis kontrollerina.

Milline on selle koht Ai2 kataloogis?

MolmoAct kuulub Ai2 avatud mudelite uurimistöö hulka ning laiendab Molmo suunda nägemise, keele ja tegevuse ühendamisele robootikas. Selle roll erineb üldisest keelemudelist, visuaalse küsimustele vastamise mudelist või tarbijatele mõeldud assistendist. Kontrollpunkt on mõeldud laadimiseks ja käitamiseks koos uurimiskoodiga, tavaliselt ühilduvas simuleeritud või füüsilises robootikakeskkonnas.

Seotud MolmoActi perekonda kuuluvad kontrollpunktid, mis on mõeldud robootikatöövoo eri etappideks. See eelõppe kontrollpunkt on eriti asjakohane teadlastele, kes soovivad treenimist jätkata või avaldatud eelõppest hindamiseni kulgevat töövoogu korrata. Kaasasoleva uurimistöö põhjal võivad süsteemi pärisrobotile kohandavad kasutajad eelistada võimaluse korral ülesandespetsiifilist MolmoActi kontrollpunkti, mitte käsitleda eelõppeversiooni valmis juurutusmudelina.

Arhitektuur ja treenimisandmed

MolmoAct 7B-D Pretrain põhineb mudelil Qwen2.5-7B, mis on seitsme miljardi parameetriga keelemudeli alus, ning kasutab nägemise alusmudelina mudelit SigLIP2. Nägemiskomponent lähtestatakse Molmo eelõppe meetodi abil. Praktikas tegeleb keelekomponent juhiste tõlgendamise ja struktureeritud arutlusega, nägemiskomponent aga teisendab kaamerapildid teabeks, mida mudel saab tegevuse kavandamisel kasutada.

Mudel treeniti eelnevalt MolmoActi eelõppemiksiga. Kaasasoleva uurimistöö kohaselt ühendab see segu robootikaandmestikest tuletatud tegevuse üle arutlemise andmeid robotite ja veebi lisaandmetega. MolmoActi laiem andmetöö hõlmab ligikaudu 10 000 kvaliteetset trajektoori, mis pärinevad ühe haaratsiga Franka robotilt ja hõlmavad 93 manipuleerimisülesannet kodu- ning lauakeskkondades. Need üksikasjad aitavad mõista mudeli kavandatud kasutusulatust, kuid neid ei tohiks tõlgendada tõendina, et mudel töötab ilma kohandamiseta iga roboti, kaamerapaigutuse või ülesande korral.

Avaldatud kontrollpunkti levitatakse FP32-vormingus. Ametlik järeldusnäide võib laadimise ajal kaalud BF16-vormingusse teisendada, mis võib vähendada mälunõudeid ja parandada praktilist järelduskiirust BF16 toetaval riistvaral. Kaasasolev materjal ei kinnita kindlat arhitektuurset kontekstiakent ega genereerimise maksimaalset pikkust.

Sisendid, väljundid ja tegevuse üle arutlemine

Kinnitatud sisendimuster on multimodaalne: mudel võtab vastu tekstijuhiseid koos pildiliste vaatlustega. Avaldatud töövoos kasutatakse Transformersi teeki ning pildi ja teksti põhist tekstiväljundi mudeliliidest. Mudelil palutakse arutleda muu hulgas sügavuse, lõppseadme trajektoori ja manipuleerimisjuhise täitmiseks vajaliku tegevuse üle.

Väljund ei ole lihtsalt vestlusvastus. MolmoAct genereerib nii tekstilise põhjenduskäigu kui ka sügavustaju märgendid ja trajektooriinfo. Seejärel teisendavad kohandatud parsijad genereeritud tegevuse esituse roboti tegevusteks. Uurimistöös on toodud seitsme väärtusega tegevusnäide, mis sisaldab asukoha, pööramise ja haaratsiga seotud väärtusi. Nende väärtuste täpne tõlgendus sõltub ühilduvast robootikaseadistusest ning selle normaliseerimis- ja juhtimiskonventsioonidest.

See on arendajate jaoks oluline erinevus: tegevuse esitus ei ole tavaline funktsioonikutse ega üldine tööriistakasutus. Kaasasolevate spetsifikatsioonide põhjal ei paku mudel kontrollitud üldotstarbelist tööriista-API-t. Selle asemel genereerib see robootikale suunatud väljundi, mida MolmoActi kood ja sobiv keskkond saavad tõlgendada.

Kinnitatud võimekused ja teadmata asjaolud

Mudeli arutlusvõimet on kõige parem kirjeldada operatiivses mõttes: see genereerib sügavust ja trajektoore käsitlevaid ruumiliselt asjakohaseid jälgi ning seejärel tegevuse esituse. See muudab vahepealse väljundi jälgitavaks, kuid põhjenduskäiku ei tohiks käsitleda garantiina, et kavandatud tegevus on õige või ohutu.

Peamised tugevused

• Spetsiaalselt robootikale suunatud: Mudel on treenitud ühendama visuaalseid stseene ja keelelisi juhiseid manipuleerimistegevustega, mitte lihtsalt pilti kirjeldama.
• Avatud juurdepääs uurimistööks: Kontrollpunkt, lähtekoodihoidla ja uurimisdokumentatsioon on avalikult kättesaadavad, mistõttu sobib mudel reprodutseerimiseks ja katsetamiseks.
• Jälgitav vahepealne väljund: Sügavuse ja trajektooriga seotud jäljed võivad aidata teadlastel uurida, mida mudel enne tegevuse käivitamist genereeris.
• Kohandamisvõimalus: Eelõppe kontrollpunktina on see kasulik edasiseks vahepealseks treenimiseks uute robotite, andmestike või ülesannete jaotuste jaoks.
• Väljakujunenud multimodaalne alus: Qwen2.5-7B ja SigLIP2 pakuvad dokumenteeritud keele ja nägemise arhitektuuri, mitte ainult madala taseme andurisisenditel põhinevat robootikakontrollerit.

Need on praktilised tugevused uurimisrühmade jaoks, kes vajavad avatud lähtekohta. See ei tähenda, et mudel oleks täpsem kui kõik suletud või ülesandespetsiifilised robootikasüsteemid, sest kaasasolev uurimistöö ei esita otsest võrdlevat võrdlustabelit.

Piirangud ja ohutuskaalutlused

MolmoAct 7B-D Pretrain on spetsialiseeritud mudel. Seda ei tohiks käsitleda üldise vestlusassistendi, koodimudeli ega suvalise riistvara jaoks mõeldud kohe kasutatava kontrollerina. Selle õpitud tegevusruumi piiravad treeningandmed ning ümbritsevas tarkvaras kasutatud robotikehad, kaamerakonfiguratsioonid, normaliseerimisstatistika ja tegevusesitused.

Mudeli visuaalset arutluskäiku saab kontrollida, kuid kontrollimine ei kõrvalda ebatäpse tajumise ega ohtliku liikumise riski. Igasugust füüsilist juurutamist tuleks alustada simulatsioonis või rangelt kontrollitud tingimustes ning kasutada robotile sobivaid hädaseiskamisi, liikumispiiranguid, kokkupõrgete jälgimist, inimjärelevalvet ja kaitsemeetmeid. Enne kui mudelil lubatakse riistvara liigutada, peab juhtsüsteem selle väljundi valideerima.

Kaasasolevas uurimistöös nimetatakse kontrollpunkti eelvaateversiooniks ja öeldakse, et see on teadus- ja õppetööks litsentsitud Apache 2.0 alusel. Enne ärilist või ohutuskriitilist kasutuselevõttu peaksid teadlased siiski kontrollima mudelikaardi kehtivaid tingimusi, andmestike piiranguid ja projektipõhiseid nõudeid.

Hind ja juurdepääs

MolmoAct 7B-D Pretraini ametlikku majutatud API hinda ei ole esitatud. Kontrollpunkt on avatud kaaludega levitamise kaudu mõeldud ise hostimiseks, mistõttu ei ole mudelil otsest korduvtasu ega märgendipõhist tellimishinda. Tegelik kulu sõltub teadlase riistvarast, salvestusruumist, elektrist, arendusajast ning kasutatavast välisest arvutus- või majutusteenuse pakkujast.

See juurdepääsumudel pakub majutatud robootika- või multimodaalse API-ga võrreldes teistsugust kulude kompromissi. Ise hostimine võimaldab paremini kontrollida kaalusid, järelduskoodi ja andmekäitlust, kuid nõuab keskkonna seadistamist ja ühilduvat arvutusvõimsust. Mudelikirje annab toimetusliku kuluskoori 9, kuid see skoor on andmebaasi hinnang, mitte pakkuja avaldatud hind ega võrdlustulemus, ning seda ei tohiks tõlgendada väikeste tegevuskulude garantiina.

Kiiruse, programmeerimise ja tööriistakasutuse kompromissid

MolmoAct ei ole eelkõige tarkvara programmeerimiseks mõeldud mudel. Kaasasolevas kirjes antud programmeerimisskoor 2 on toimetuslik hinnang, mitte pakkuja väide, ning mudeli dokumenteeritud eesmärk on manipuleerimisega seotud tegevuse üle arutlemine. Arendajad vajavad siiski tõenäoliselt tavalisi programmeerimisoskusi, et ühendada kontrollpunkt kaamerate, simulatsioonikeskkondade, robotikontrollerite, ohutussüsteemide ja tegevuste parsijatega.

Ka järelduskiirus sõltub riistvarast. Kirje annab mudelile mõõduka toimetusliku kiirusskoori 4, kuid autoriteetset latentsuse võrdlustulemust ei ole esitatud. FP32-kaalude teisendamine BF16-vormingusse võib sobival riistvaral parandada mälu- ja käitusaega, kuid saavutatud kiirus ja tegevuste kvaliteet sõltuvad rakendusest ja seadmest. Kuna mudel genereerib vahepealset arutluskäiku ja trajektooriinfot, peab töövoog võib-olla tasakaalustama arutlemisele kuluvat aega ja juhtimistsükli reageerimisnõudeid.

Millal valida MolmoAct 7B-D Pretrain?

Vali see kontrollpunkt, kui vajad avatud uurimisalust nägemise, keele ja tegevuse ühendamise katseteks ning sul on üks või mitu järgmist eesmärki:

• Avaldatud SimplerEnvi nullkaadri katsete reprodutseerimine.
• Robootikaandmetel eelõppe või vahepealse treenimise jätkamine.
• Uurimine, kuidas visuaalseid vaatlusi ja keelelisi juhiseid ruumilisteks tegevusplaanideks teisendada.
• Avatud mudeli kohandamine uue roboti, kaamerapaigutuse või manipuleerimisandmestikuga.
• Vahepealse sügavuse ja trajektooriga seotud väljundi kontrollimine enne tegevuse käivitamist.

Teine lahendus võib olla sobivam, kui vajad viimistletud üldassistenti, sisseehitatud veebijuurdepääsu, tavapäraseid funktsioonikutseid, garanteeritud majutatud teenuse latentsust või konkreetse kommertsroboti jaoks valmis kontrollerit. Konkreetse juurutuse lähtekohana võib sellest eelõppe kontrollpunktist parem olla ka ülesandespetsiifiline või peenhäälestatud MolmoActi versioon. Ohutuskriitilise füüsilise töö korral võib otse uurimiskontrollpunktist tegevuste käivitamisele eelistada valideeritud tavapärast juhtimisvirna koos kitsalt testitud tajumudeliga.

Kokkuvõte

MolmoAct 7B-D Pretrain on kõige väärtuslikum avatud ja kohandatava robootilise tegevuse üle arutlemise uurimiskontrollpunktina. Selle pildisisendi, keeleliste juhiste, ruumiliste jälgede ja parsitud manipuleerimistegevuste kombinatsioon muudab mudeli asjakohaseks teadlastele, kes ehitavad või hindavad nägemise, keele ja tegevuse süsteeme. Sama olulised on ka piirangud: majutatud API hinda ega kontrollitud konteksti piirangut ei ole, 256 märgendi näide ei ole kinnitatud maksimum, tööriistakutsed ei ole tõendatud ning pärisrobotil kasutamine nõuab ulatuslikku kohandamist ja ohutustehnilist tööd. Neile, kes soovivad katseid reprodutseerida või avatud robootikamudeli treenimist jätkata, on see sihipärane alus; üldise tehisintellekti abi või kohese riistvara kasutuselevõtu jaoks on see vale tüüpi toode.