MolmoAct2

Mis on MolmoAct2?

MolmoAct2 on Allen Institute for AI (Ai2) välja töötatud avatud nägemis-keelemudel, mis on mõeldud robotite juhtimiseks. Nägemis-keele-tegevuse mudel ühendab tajumise ja keele mõistmise füüsiliste tegevustega: see suudab tõlgendada seda, mida robot näeb, töödelda ülesande juhist, arvestada roboti olekuga ja koostada roboti täidetava tegevuste jada.

See eristab MolmoAct2 üldotstarbelisest keelemudelist. Mudeli väljund on mõeldud roboti juhtimiseks, mitte lihtsalt kirjaliku vastuse andmiseks. Mudel on suunatud kehastatud tehisintellekti uurimisele, manipulatsioonipoliitikate arendamisele, simulatsioonidele ning toetatud või nendega seotud riistvara kasutuselevõtu katsetele.

Väljalaskeinfo kirjeldab MolmoAct2 kui tänapäevast avatud kaaludega alusmudeli kontrollpunkti. Ai2 avaldas selle koos mudeli kaalude, treeningukoodi, robootikaandmestike, hindamisjälgede ja avatud tegevuste tokeniseerijaga. Mudel on saadaval selle Hugging Face’i mudelihoidlas ja kaasasolevas ametlikus lähtekoodihoidlas.

Kuidas mudel tajumise ja tegevuse ühendab

MolmoAct2 võtab vastu visuaalseid vaatlusi, loomulikus keeles antud juhise ja roboti oleku teabe. Visuaalsed vaatlused võivad kirjeldada roboti ees olevat keskkonda, samal ajal kui roboti olek võib sisaldada teavet, mida on vaja roboti hetkeseisundi mõistmiseks. Seejärel genereerib mudel masinaga täidetavaid roboti tegevusi.

Selle arhitektuur ühendab kehastatud arutluseks mõeldud nägemis-keele põhikomponendi Molmo2-ER pideva voovastavuse tegevuseksperdiga. Praktilises mõttes aitab nägemis-keele komponent ülesannet ja keskkonda tõlgendada, samal ajal kui tegevuskomponent teisendab selle arusaama trajektooriks või liikumiste jadaks. Ai2 kirjeldab nende komponentide ühendust kihtideülese võtme-väärtuse tingimisena.

Välja antud MolmoAct2 tööriistad toetavad pidevat ja diskreetset tegevuste järeldamist. See on integreeritud Hugging Face’i LeRobotiga, et toetada treenimise, hindamise, simulatsiooni ja kasutuselevõtu töövooge. See integratsioon on oluline, sest mudeli kasutamine hõlmab üldjuhul enamat kui tekstigenereerimise kontrollpunkti laadimist: teadlastel tuleb töötada vaatluste, roboti olekute, tegevuste esituste, andmestike, simulaatorite või füüsilise riistvaraga.

MolmoAct2 paiknemine mudeliperekonnas

MolmoAct2 baaskontrollpunkt on mitme kehastusega alusmudel. Seda ei esitleta ühe konkreetse roboti jaoks valmis poliitikana. Ai2 pakub ka spetsialiseeritud kontrollpunkte DROID Franka, kahekäelise YAM-i, SO-100/SO-101 ja LIBERO keskkondade jaoks. Need variandid on kasulikud juhul, kui projekt vastab mõnele neist roboti konfiguratsioonidest või võrdlusülesannetest paremini kui üldine alusmudel.

Ai2 kirjeldab ka seotud varianti MolmoAct2-Think, mis lisab adaptiivse sügavustokenitel põhineva arutluse. See on mõeldud ülesannete jaoks, mis saavad kasu üksikasjalikumast kolmemõõtmelisest ruumianalüüsist. Tegemist on mudelite positsioneerimise erinevusega, mitte tõendiga, et iga MolmoAct2 juurutus teostab automaatselt üksikasjalikku 3D-arutlust.

Ai2 laiemas avatud mudelite ökosüsteemis on MolmoAct2 Molmo perekonna robootikale keskendunud liige. Seda ei tohiks segi ajada üldise multimeediaassistendi ega mudeliga, mis on peamiselt mõeldud piltide kirjeldamiseks, dokumentide analüüsimiseks või vestluspõhiseks kasutuseks.

Võimekused ja toetatud andmed

Mudelipõhises kirjes on konteksti pikkuseks märgitud 16 384 tokenit. Maksimaalset väljundtokenite arvu ei tuvastatud. Seda kontekstimahtu ei tohiks tõlgendada garantiina, et kõiki robootikavaatlusi, trajektoore, kujutiste esitusi ja tarkvarakihte saab ilma täiendava eeltöötluseta ühendada; tegelik töökoormus sõltub teostusest ja toetatud sisendi vormingust.

MolmoAct2 tegevusväljund ei ole sama mis otsene pildi-, heli- või videogenereerimine. See toodab robootikapinu kaudu roboti juhtimise tegevusi. Seetõttu liigitab mudeli kirje standardiseeritud väljundivälja puhul multimeediaväljundi tekstipõhiseks, tuues samal ajal eraldi välja, et tegevuste väljund on toetatud.

Treening ja avatud väljalase

Väljalase on mõeldud uurimiseks ja kohandamiseks, mitte ainult majutatud lõpp-punkti kaudu kasutamiseks. Esitatud dokumentatsioonis nimetatakse väljalaske osadena mudeli kaalusid, treeningukoodi, robootikaandmestikke, hindamisjälgi ja avatud tegevuste tokeniseerijat. Treeningandmed hõlmavad mitut kehastust, kaamerakonfiguratsiooni, juhtimisskeemi ja ülesandetüüpi.

Esitatud andmeallikate hulka kuuluvad kahekäelise YAM-i demonstratsioonid, DROID Franka andmed, SO-100/SO-101 andmed, BC-Z, Bridge, RT-1 ja varasemad MolmoActi andmed. See ulatus aitab selgitada, miks baasmudelit esitletakse lähtekohana eri kehastuste üleseks peenhäälestuseks. See ei tähenda, et mudel kandub ilma kalibreerimise, ühilduvate sensorite ja täiendava treeninguta otse üle suvalisele robotile.

Peenhäälestust nimetatakse toetatud tegevuseks. Avatud teostus ja LeRoboti integratsioon võivad olla kasulikud teadlastele, kes peavad treeninguprotseduure uurima, hindamisi korrata, poliitikat kohandada või ühendada selle toetatud simulatsiooni- või riistvaraseadistusega.

Peamised tugevused ja piirangud

Tugevused

• Avatud juurdepääs uurimistööks: Kaalud, kood, andmestikud, hindamismaterjalid ja tegevuste tokeniseerija muudavad süsteemi suletud roboti juhtimise teenusega võrreldes paremini uuritavaks ja kohandatavaks.
• Kehastatud arutlus: Mudel ühendab visuaalse ja keelelise mõistmise roboti oleku teabega, selle asemel et käsitleda ülesannet üksnes tekstigeneratsioonina.
• Mitme kehastuse tugi: Treeningandmed ja spetsialiseeritud kontrollpunktid hõlmavad mitut roboti konfiguratsiooni ja võrdlusülesannet.
• Tegevuste genereerimise ülesehitus: Pideva voovastavuse tegevusekspert on kavandatud roboti juhtimise väljundite jaoks ning tööriistad toetavad pidevat ja diskreetset tegevuste järeldamist.
• Integratsioon uurimistöö töövoogudega: LeRoboti tugi ühendab mudeli treeningu-, hindamis-, simulatsiooni- ja kasutuselevõtu töövoogudega.

Piirangud

• See ei ole valmis universaalne juhtimissüsteem: Baaskontrollpunkt on mõeldud peenhäälestuseks konkreetse kehastuse või võrdlusülesande jaoks. Ei tohiks eeldada, et see töötab kohe mõnel teistsugusel robotil.
• Tegevuste partiid ei tähenda pidevat ümberplaneerimist: Esitatud uuringu kohaselt planeerib mudel tegevuste partiisid, mitte ei planeeri pärast iga liigutust uuesti. Seetõttu võib ootamatu takistus nõuda uut järeldamistsüklit.
• Riistvara ülekandmine on endiselt keeruline: Oluliselt teistsugune robot, sensorite paigutus, kaamerasüsteem või juhtimisskeem võib nõuda täiendavaid andmeid, treeningut ja kalibreerimist.
• Üldise pilve-API positsioneerimine puudub: Väljalaset levitatakse avatud kaalude ja koodina, mitte tavapärase majutatud API-na, mille sisendi ja väljundi hinnad on avaldatud.
• Ohutuse valideerimine on hädavajalik: Roboti tegevusi genereerivat mudelit ei tohiks pidada sobivaks ohutuskriitiliseks autonoomseks tööks ilma põhjaliku testimise, seire ja riistvarapõhiste kaitsemeetmeteta.

Arutlus, kodeerimine ja tööriistade tugi

MolmoAct2 roll kehastatud arutluses on tugev: see peab seostama visuaalset teavet, keelejuhiseid, roboti olekut ja kavandatud liikumist. Mudeli kirje annab sellele toimetusliku arutlusskooriks 8 punkti 10-st, kuid see on võrdlev toimetuslik hinnang, mitte Ai2 avaldatud reiting. Teenusepakkuja dokumentatsioon toetab täpsemat väidet, et MolmoAct2 kasutab Molmo2-ER-i kehastatud arutluse põhikomponenti ja et MolmoAct2-Thinki variant lisab adaptiivse sügavustokenitel põhineva arutluse.

Kodeerimine ei ole mudeli peamine eesmärk. Mudeli kirje annab sellele toimetuslikuks kodeerimisskooriks 2 punkti 10-st, sest see on loodud tarkvara asemel roboti tegevuste genereerimiseks. Seda võib siiski kasutada kodeerimise töövoos, kus arendaja kirjutab selle ümber treeningu-, hindamis- või kasutuselevõtukoodi, kuid seda ei tohiks selle robootikaväljalaske põhjal valida üldiseks programmeerimisassistendiks.

Teenusepakkuja toetatud tööriista- ega funktsioonikutseid, veebotsingut ega üldotstarbelist agentide raamistikku ei ole tuvastatud. LeRoboti integratsioon pakub tuge robootika töövoogudele, kuid see erineb mudeli API-st, mis kutsuks autonoomselt suvalisi väliseid tööriistu.

Hind ja juurdepääs

MolmoAct2 jaoks ei ole tuvastatud tokeni-, päringu- ega korduva tellimusepõhist hinda. Mudelit kirjeldatakse avatud kaaludega väljalaskena, millele pääseb ligi Hugging Face’i ja GitHubi kaudu. See ei tähenda, et kasutamise kogukulu oleks null: kasutajad võivad endiselt vajada GPU-võimsust, salvestusruumi, robootikariistvara, simulatsioonitaristut, andmekogumist, inseneritööd ja ohutustestimist.

Avatud väljalase võib olla kommertsliku robootikaplatvormiga võrreldes säästlikum meeskondadele, kes juba haldavad oma taristut ning vajavad süsteemi peenhäälestamist või selle sisemuse uurimist. Seevastu organisatsioonidele, kellel puuduvad robootikainsenerid, võib hallatav poliitikateenus või robotispetsiifiline kommertslahendus olla lihtsamini kasutatav, isegi kui see pakub mudeli sisemusele vähem juurdepääsu.

Millal valida MolmoAct2?

Valige MolmoAct2, kui vajate avatud robootika alusmudelit, mida saab konkreetse kehastuse jaoks kohandada, ning kui teie meeskond suudab hallata treeningut, hindamist, järeldamise taristut ja füüsilise süsteemi valideerimist. See on eriti asjakohane järgmistes valdkondades:

• robootika ja kehastatud tehisintellekti uuringud;
• nägemise abil juhitav manipulatsioon;
• poliitikate peenhäälestamine toetatud või lähedaste robotiplatvormide jaoks;
• katsed, mis nõuavad uuritavaid kaalusid, koodi, andmestikke ja hindamisartefakte;
• simulatsioonist tegelikkusse või tegeliku maailma manipulatsiooni uuringud LeRoboti ökosüsteemis.

Teine lahendus võib olla sobivam, kui vajate konkreetse roboti jaoks kohe kasutusvalmis juhtimissüsteemi, prognoositava hinna ja töökindlusega majutatud API-t, üldotstarbelist kodeerimist või vestlust, laialdast tööriistakutsete tuge või süsteemi, mis planeerib dünaamiliste takistuste korral pidevalt uuesti. Spetsialiseeritud MolmoAct2 kontrollpunkt võib olla eelistatav ka siis, kui teie riistvara või võrdlusülesanne vastab rohkem DROID Frankale, kahekäelisele YAM-ile, SO-100/SO-101-le või LIBERO-le.

Kokkuvõte

MolmoAct2-t on kõige parem mõista kui kohandatavat avatud alusmudelit roboti juhtimise uurimiseks, mitte kui universaalset kohe kasutusvalmis roboti aju. Selle peamine väärtus seisneb kehastatud visuaalse arutluse ühendamises tegevuste genereerimisega ning vajalike kaalude ja tööriistade pakkumises peenhäälestuseks ja uurimiseks. Peamine kompromiss on kasutamisega seotud vastutus: kasutajad peavad ise tegelema kehastuse kohandamise, arvutusressursside, kalibreerimise, hindamise ja ohutusega. Meeskondadele, kes on valmis seda tööd tegema, pakub see suletud robootikateenusega võrreldes avatumat ja paremini kohandatavat võimalust; meeskondadele, kes otsivad kohest kasutuselevõttu või üldist tehisintellekti assistenti, sobib tõenäoliselt paremini teistsugune süsteem.