Mis on MolmoAct 7B-O?
MolmoAct 7B-O on Allen Institute for AI (Ai2) välja töötatud avatud kaaludega nägemise-keele-tegevuse mudel. Nägemise-keele-tegevuse mudel ühendab kolm võimekust: visuaalsete vaatluste tõlgendamise, loomulikus keeles antud juhise järgimise ja robotile mõeldud tegevuse esituse loomise. Praktikas võib kasutaja anda mudelile kaamerapildid ja juhise, näiteks objekti liigutamiseks, ning mudel genereerib arutlusteabe ja roboti tegevusväljundid, mida juhtsüsteem saab töödelda.
Ametlikult välja antud kontrollpunkt on allenai/MolmoAct-7B-O-0812. Järelliide -0812 tähistab 12. augusti 2025. aasta kontrollpunkti. Mudelit tuleks käsitleda eelkõige teadus- ja peenhäälestuse alusena, mitte universaalse robotikontrollerina, mille saab ilma lisatööta mis tahes riistvarale paigaldada.
Milline on selle koht Ai2 mudelikataloogis?
MolmoAct laiendab Ai2 avatud mudelite uurimistööd kehastunud tehisintellekti ja robotmanipulatsiooni valdkonda. See erineb üldotstarbelisest vestlusmudelist, sest selle väljund sisaldab robotile mõeldud tegevussignaale, mitte ainult teksti. Välja antud 7B-O mudelit kirjeldatakse eelversiooni ja peenhäälestuse kontrollpunktina. Selle eesmärk on anda teadlastele lähtekoht tegevuspõhise arutlemise kohandamiseks konkreetse roboti, kaamerate paigutuse, ülesannete komplekti või andmejaotuse jaoks.
See positsioneerimine on mudeli hindamisel oluline. Allalaaditavad kaalud ja avatud repositoorium muudavad MolmoActi kasulikuks reprodutseeritavateks uuringuteks ja kohandamiseks, kuid samal ajal jäävad juurutamise, kalibreerimise, järelõppe, ohutuskontrollide ja riistvaraintegratsiooni eest vastutama kasutajad.
Arhitektuur ja treenimine
MolmoAct 7B-O põhineb mudelil OLMo-2-1124-7B ja kasutab nägemise alusmudelina OpenAI CLIP-i. Ai2 sõnul treeniti mudelit esmalt MolmoActi andmesegu abil ning seejärel jätkati vahetreeninguga MolmoActi andmestikul. Mudeli 7 miljardi parameetri suurus on oluline kohalike katsetuste jaoks, kuid kaasasolev uurimistöö ei täpsusta universaalset riistvaranõuet ega garanteeritud järelduskiirust.
MolmoActi andmestik sisaldab ligikaudu 10 000 kvaliteetset trajektoori, mis pärinevad ühe haaratsiga Franka robotilt ja hõlmavad 93 manipulatsiooniülesannet kodu- ning lauakeskkondades. Need trajektoorid ühendavad visuaalsed vaatlused, keelelised juhised, ruumilise arutlemise teabe ja tegevuste esitused. Kuna andmed keskenduvad kindlale riistvarale ja ülesannetele, pakuvad need kohandamiseks kasulikku alust, kuid ei tõesta usaldusväärset null-laskmise jõudlust teiste robotitega.
Sisendid ja väljundid
Mudel võtab vastu tekstijuhiseid ja pildilisi vaatlusi. Ametlik näide kasutab kahte kaameravaadet, sealhulgas külgvaadet ja randmele kinnitatud kaamera pilti. Nii saab mudel ühendada laiema vaate kogu stseenile lähemalt nähtava vaatega roboti tööalast.
Genereeritud vastused võivad sisaldada tekstilist visuaalse arutluse jälge, sügavustaju tokeneid ja tegevuse esitust. Tegevusväljundit saab parsida ja normaliseerida enne selle edastamist roboti kontrollerile. „Normaliseerimata” tähendab siin mudeli õpitud tegevusesituse teisendamist tagasi väärtusteks, mis sobivad sihtjuhtsüsteemile.
MolmoAct 7B-O ei genereeri algupäraselt pilte, heli ega videot. Selle multimodaalne väljund on tegevusele suunatud: mudel toodab meediafailide asemel teksti ja roboti tegevussignaale. Olemasolevad spetsifikatsioonid toovad välja tekstisisendi, pildisisendi, tekstiväljundi ja tegevusväljundi. Heli- ja videosisendit ei ole selle kontrollpunkti toetatud modaalsustena nimetatud.
Kontrollitud võimekused ja piirangud
| Spetsifikatsioon | Saadaolev teave |
|---|---|
| Mudeli tüüp | Avatud kaaludega multimodaalne nägemise-keele-tegevuse mudel |
| Parameetrid | 7 miljardit |
| Tekstisisend | Toetatud |
| Pildisisend | Toetatud; ametlik näide kasutab mitut kaameravaadet |
| Tekstiväljund | Toetatud, sealhulgas arutluse sisu |
| Roboti tegevusväljund | Toetatud |
| Pildi-, heli- ja videoväljund | Algupäraste väljunditüüpidena ei toetata |
| Konteksti pikkus | Esitatud allikates täpsustamata |
| Maksimaalne väljund | Ametlik kiirkäivituse näide kasutab väärtust max_new_tokens=256; see on genereerimisseade, mitte kontrollitud arhitektuuriline maksimum |
| Majutatud API hinnastus | Ametlikku majutatud API tokenihinda ei ole tuvastatud |
| Peenhäälestus | Toetatud ja kavandatud kasutuse keskne osa |
| Tööriista- või funktsioonikutse | Algupärast tööriistakasutuse ega funktsioonikutsumise võimekust ei ole tuvastatud |
Konteksti pikkuse spetsifikatsiooni puudumine on juurutamise kavandamisel oluline. Kasutajad ei tohiks eeldada, et mudel võtab vastu piiramatu hulga pilte, juhiseid, arutlustokeneid või tegevusajalugu. Samuti ei tohiks 256-tokenist kiirkäivituse seadet käsitleda dokumenteeritud range väljundipiiranguna.
Juurutamine ja peenhäälestus
Kontrollpunkti saab ametliku kohandatud mudeliimplementatsiooni abil Transformersiga kohalikult laadida. Mudelikaardil on määratud AutoProcessor ja AutoModelForImageTextToText koos väärtusega trust_remote_code=True. See tähendab, et juurutamine põhineb allalaaditavatel mudeliartefaktidel ning kohalikul või isehallataval järeldamisel, mitte dokumenteeritud Ai2 majutatud lõpetamis-API-l.
Ametlik repositoorium sisaldab järeldamise, andmetöötluse, peenhäälestuse ja hindamise töövooge. Uue roboti puhul võib praktiline protsess hõlmata andmeformaadi kohandamist, kaamerasisendite ühildamist, tegevusesituste kalibreerimist ja sihtkehast pärinevate demonstratsioonide põhjal järelõpet. Mudeli tegevusruumi piiravad treeningandmed, mistõttu teistsuguse kinemaatika, andurite või juhtimiskonventsioonidega robot võib vajada ulatuslikku kohandamist.
Kuna repositoorium kasutab kohandatud mudelikoodi, peaksid juurutusmeeskonnad enne kontrollpunkti tootmislaadses keskkonnas kasutamist asjakohase koodi ja sõltuvused fikseerima ning üle vaatama. Esitatud uurimistöö kinnitab laadimisviisi, kuid ei anna universaalset latentsuse, mälukasutuse ega riistvara võrdlustesti.
Arutlemine, kodeerimine ja tööriistade kasutamine
MolmoActi arutlusvõime on spetsialiseeritud, mitte üldotstarbeline. See võib enne tegevusesituse loomist avaldada visuaalse arutluse jälje ja sügavusega seotud teavet. See aitab teadlastel uurida, kuidas mudel stseeni tõlgendab, ning võimaldab sekkuda enne tegevuse jõudmist füüsilise riistvarani. Arutluse jälge ei tohiks käsitleda tõendina, et sellest tulenev tegevus on ohutu või õige.
Kodeerimine ei ole mudeli kavandatud tugev külg. See võib välise tarkvaraga ühendatuna olla robotiarenduse töövoos kasulik, kuid kontrollpunkti ei positsioneerita koodi genereerimise mudelina. Samuti ei ole tuvastatud algupärast tööriistakasutuse ega funktsioonikutsumise liidest. Roboti juhtimine tuleb seega rakendada ümbritseva rakenduse, parseri, kontrolleri ja ohutuskihi kaudu, mitte eeldada, et see on standardsesse tööriistakutsumise API-sse sisse ehitatud.
Peamised tugevused ja kompromissid
- Avatud ja kontrollitav: Kaalud, repositoorium ja uurimismaterjalid pakuvad alust reprodutseeritavateks katseteks ja kohandamiseks.
- Tegevusele keskendunud: Erinevalt ainult teksti või pildi mõistmise mudelist on MolmoAct treenitud manipulatsiooni jaoks mõeldud roboti tegevusesitusi looma.
- Kasulikud visuaalsisendid: Mitme kaameravaate, sealhulgas ametlikus näites külg- ja randmekaameraga tehtud piltide toetamine sobib levinud manipulatsiooniuuringute seadistustega.
- Loodud kohandamiseks: Treeningu- ja repositooriumimaterjalid toetavad otseselt kohandatud robotiandmetel põhinevat järelõpet ja peenhäälestust.
- Piiratud valmislahendusena kasutatavus: Kontrollpunkt on spetsialiseeritud ega paku majutatud API-t, algupärast tööriistakutsumise kihti ega garanteeritud ühilduvust suvaliste robotitega.
- Juurutamisnõuded on teadmata: Esitatud spetsifikatsioonid ei määra kontekstilimiiti, minimaalset riistvarakonfiguratsiooni ega standardiseeritud latentsust.
Arutlemise, kodeerimise, kiiruse ja hinna kohta antud toimetuslikke hindeid tuleks käsitleda võrdlevate hinnangutena, mitte Ai2 avaldatud võrdlustestidena. Need iseloomustavad MolmoActi suhteliselt tugevana oma spetsialiseeritud arutlus- ja avatud robootika eesmärgi jaoks, kuid vähem sobivana kodeerimiseks ja üldotstarbelise assistendina kasutamiseks. Näiline hinnaeelis tuleneb allalaaditavatest avatud kaaludest ja tuvastatud tokenihindade puudumisest, kuid kasutaja kanda jäävad endiselt taristu- ja arenduskulud.
Hind ja saadavus
MolmoAct 7B-O on allalaaditavate avatud kaaludena saadaval Allen AI Hugging Face'i organisatsiooni kaudu. Mudel on välja antud Apache 2.0 litsentsi alusel ning esitatud materjalides kirjeldatakse seda eelversiooni kontrollpunktina, mis on mõeldud teadustööks, hariduseks, peenhäälestuseks ja järgnevaks järelõppeks.
Selle konkreetse mudeli ametlikku majutatud API tokenihinda ega korduva tellimuse hinda ei ole tuvastatud. See ei tähenda, et juurutamine oleks tasuta: kasutajad võivad vajada sobivat arvutusvõimsust, salvestusruumi, robootikariistvara, arendusaega ja ohutustaristut. Seega tuleb kulusid võrrelda isehallatava avatud mudeli juurutamise ja hüpoteetilise majutatud robootikateenuse vahel, mitte avaldatud tokenipõhiste pakettide vahel.
Millal valida MolmoAct 7B-O?
Vali MolmoAct 7B-O siis, kui vajad avatud lähtekohta visuaalseks robotmanipulatsiooniks ja oled valmis mudelit oma riistvara ning andmetega kohandama. See sobib hästi järgmisteks kasutusjuhtudeks:
- Akadeemilised ja tööstuslikud uuringud nägemise-keele-tegevuse süsteemide vallas.
- Kehastunud arutlemise ja lauapinnal toimuva manipulatsiooniga seotud katsed.
- Meeskonnad, kes vajavad allalaaditavaid kaalusid ja kontrollitavaid uurimisartefakte.
- Kohandatud roboti või ülesannete jaotuse demonstratsioonidel põhinev peenhäälestus.
- Töövood, kus nähtav arutluse jälg ja tegevuse esitus on enne täitmist kontrollimiseks kasulikud.
Teistsugune lahendus võib olla sobivam, kui vajad valmiskujul kontrollerit, toetatud majutatud API-t, garanteeritud latentsust, laia robotite ühilduvust, püsivat tootetuge või üldotstarbelist vestlus- ja kodeerimisvõimekust. Üldine multimodaalne assistent võib olla parem piltide tõlgendamiseks või robootikatarkvara kirjutamiseks, samas kui tavapärane robotipoliitika või tootjaspetsiifiline kontroller võib olla eelistatav juhul, kui riistvara ja ohutusnõuded on täpselt määratletud.
Ohutus ja juurutamise piirangud
Genereeritud tegevusi tuleb enne füüsilisele riistvarale saatmist valideerida simulatsioonis või kontrollitud keskkonnas. Kaamera paigutus, kalibreerimine, roboti kehastus, tegevuskonventsioonid, ülesande sõnastus ning treening- ja juurutusandmete erinevused võivad kõik jõudlust mõjutada.
Mudeli treeninghõlmavus on tegeliku maailma manipulatsioonide mitmekesisusega võrreldes piiratud. Mudelit treeniti ühe haaratsiga Franka seadistuse ja kindla kodu- ning lauakeskkondade ülesannete kogumi põhjal, mistõttu ei tohiks eeldada edu teistsuguse roboti või tundmatu ülesande korral. Repositoorium soovitab järgida riistvaratootja ohutusjuhiseid ning eraldi ohutuskontroller peaks suutma mudelist sõltumatult liikumise peatada või seda piirata.
Kokkuvõttes on MolmoAct 7B-O kõige väärtuslikum avatud robootika uurimiskontrollpunktina: see ühendab visuaalse vaatluse ja keelejuhised roboti tegevustega, jättes kohandamise ja ohutu täitmise juurutusmeeskonna ülesandeks. Selle avatuse ja spetsialiseerituse peamised eelised selgitavad ka seda, miks ei ole tegemist hallatava robootikaplatvormi või üldotstarbelise tehisintellekti assistendi otsese asendusega.