Mis on MolmoAct2-Think?
MolmoAct2-Think on Allen Institute for AI (Ai2) välja töötatud avatud kaaludega visiooni-keele-tegevuse mudel. Selle eesmärk on ühendada visuaalne tajumine ja keelelised juhised füüsilise roboti käitumisega. Selle asemel et genereerida peamiselt vestlusteksti, töötleb see stseeni ja ülesande juhist, arutleb keskkonna üle ning genereerib tegevusi, mida roboti juhtpoliitika saab kasutada.
Mudel kuulub Ai2 MolmoAct2 perekonda ning seda kirjeldatakse järeltreenitud, mitme robotikehaga baas-mudeli kontrollpunktina. Praktikas on see lähtekoht teadlastele ja arendajatele, kes soovivad kohandada robootikapoliitikat konkreetse roboti, andmestiku, simulatsioonikeskkonna või võrdlusülesande jaoks. Seda ei esitleta universaalse juhtseadmena, mille saab ilma täiendava kohandamiseta ühendada mis tahes robotiga.
Selle kõige eripärasem omadus on „Thinki” variandi sügavustokenitel põhinev arutlus. Enne roboti tegevuste genereerimist ennustab mudel kompaktset 10×10 diskreetset sügavuse esitust. Saadud sügavusteavet kasutab seejärel pidev tegevusekspert, mis genereerib roboti juhtimistegevused. Nii luuakse enne tegevuste genereerimist stseeni suhtelist ruumilist struktuuri kajastav vahe-esitus.
Kuidas mudel töötab
MolmoAct2-Think ühendab mitu eri eesmärkidega etappi:
- Visuaalne ja keeleline töötlemine: Mudel saab visuaalseid vaatlusi ja loomulikus keeles antud juhise ning poliitika seadistusest sõltuvalt ka robotiga seotud olekuteavet.
- Sügavustokenitel põhinev arutlus: See ennustab kompaktset 10×10 diskreetset sügavuse esitust. Need tokenid annavad sügavust arvestava vahe-signaali, mitte täielikku tavapärast sügavuspilti.
- Tegevuste genereerimine: Pidev tegevusekspert kasutab visuaal-keelelist esitust ja sügavust arvestavat vahemälu, et genereerida roboti juhtimistegevusi.
Tegevusekspert on loodud suletud ahelaga manipuleerimiseks. Robot võib korduvalt oma keskkonda jälgida ja ülesande edenemise käigus uuendatud tegevusi genereerida, kuid täpne juhtimistsükkel, sensorid, kalibreerimine, tegevuste vorming ja ohutusmehhanismid sõltuvad sihtrobotist ja konkreetsest teostusest.
Sügavuse esitust ei tohiks segi ajada pildigeneratsiooni ega üldotstarbelise visuaalse väljundiga. MolmoAct2-Think võtab vastu visuaalset sisendit ja väljastab masinale mõeldud roboti tegevusi, kusjuures sügavustokenid toimivad sisemise või vahepealse arutlussignaalina. Selle peamine väljund ei ole valmis pildi-, video- ega helifail.
Koht Ai2 mudelivalikus
MolmoAct2-Think on Ai2 spetsialiseerunud MolmoAct2 robootikaperekonna liige. Ai2 laiem avatud mudelite ökosüsteem hõlmab keele-, multimodaalsuse, kõne-, dokumenditöötluse ja teadusuuringute projekte, kuid see kontrollpunkt keskendub konkreetselt kehastunud tehisintellektile ja robotite juhtimisele.
MolmoAct2 perekonnas lisab Thinki kontrollpunkt tegevuste genereerimise arhitektuurile sügavustokenitel põhineva arutluse. Ai2 nimetab ka MolmoAct2-Think-LIBEROt peenhäälestatud kontrollpunktiks, mis on mõeldud sügavusarutlusega otsejärelduseks toetatud LIBERO võrdlusülesande seadistuses. See erinevus on oluline: põhiline MolmoAct2-Thinki mudel on üldine baas-mudeli kontrollpunkt edasiseks kohandamiseks, samas kui peenhäälestatud variant võib olla konkreetse võrdlusülesande või robotiseadistuse jaoks praktilisem lähtekoht.
Tehnilised andmed ja toetatud sisendid
| Spetsifikatsioon | Saadaolev teave |
|---|---|
| Pakkuja | Allen Institute for AI (Ai2) |
| Mudelite perekond | MolmoAct2 |
| Ligikaudne suurus | 5 miljardit parameetrit |
| Mudeli tüüp | Visiooni-keele-tegevuse robootikamudel |
| Peamised sisendid | Visuaalsed vaatlused, tekstijuhised ja robotiga seotud olekuteave |
| Peamised väljundid | Pidevad roboti juhtimistegevused |
| Vahepealne arutlus | Kompaktne 10×10 diskreetne sügavuse esitus |
| Pildisisend | Toetatud |
| Tekstisisend | Toetatud |
| Heli- või videosisend | Selle kontrollpunkti puhul pole tuvastatud |
| Otsene pildi-, video- või heliväljund | Mudeli dokumenteeritud väljundrollina ei ole toetatud |
| Majutatud API | Ametlikku majutatud API-t ei ole tuvastatud |
| Konteksti pikkus | Esitatud allikates pole avaldatud |
| Maksimaalne väljundtokenite arv | Robootika tegevusliidese puhul ei kohaldu või pole avaldatud |
Mudeli kaardil on kanoonilise kontrollpunkti ID-na märgitud allenai/MolmoAct2-Think. Kontrollpunkti levitatakse F32-vormingus ja sellel on ligikaudu 5 miljardit parameetrit. Esitatud dokumentatsioonis ei avaldata tavapärast keelemudeli kontekstiakent, maksimaalset väljundtokenite arvu ega teadmiste lõppkuupäeva. Need puuduvad andmed on tõenäoliselt vähem olulised kui robotipõhised piirangud, näiteks vaatluse suurus, tegevuste horisont, juhtimissagedus, riistvarapiirangud ja peenhäälestusandmestiku vorming.
Arutlus, tegevuste genereerimine ja programmeerimise tugi
MolmoAct2-Thinki arutlusvõime on spetsialiseerunud, mitte vestluspõhine. Selle sügavustokenite etapp annab mudelile enne tegevuste genereerimist kasutamiseks kompaktse ruumilise signaali. See võib olla kasulik ülesannetes, kus objektide asukoht, kaugus või suhteline paigutus mõjutab õiget manipuleerimiskäitumist.
Selle dokumenteeritud tegevusväljund on pidev roboti juhtimine, mitte tavaline programmeerimiskood. Seetõttu võib mudel olla kasulik robootikapoliitika konveieris, kuid seda ei tohiks hinnata programmeerimisabilise ega üldise vestlusmudelina. Ai2 mudelikirjes ei nimetata toetatud tootefunktsioonidena tööriistade või funktsioonide kutsumist, veebotsingut, voogedastust, JSON-režiimi, pakktöötlust ega vahemällu salvestamist. Esitatud teave ei kinnita ka standardset funktsioonikutsete liidest.
Kuna tegemist on avatud kaaludega kontrollpunktiga, saavad arendajad väljalaset uurida, seda oma keskkonnas käitada ja peenhäälestada, selle asemel et sõltuda arvelduspõhisest teenusepakkuja lõpp-punktist. Selle paindlikkusega kaasnevad insenertehnilised kohustused: kasutajad peavad tagama ühilduva riistvara või arvutusinfrastruktuuri, kohandama mudeli oma robotiga ja rakendama töökindluse tagatisi.
Peamised tugevused
- Sügavust arvestav tegevusarutlus: Vahepealne 10×10 sügavuse esitus annab tegevuspoliitikale enne pidevate tegevuste genereerimist selge ruumilise signaali.
- Spetsialiseerumine robootikale: Arhitektuur on suunatud manipuleerimisele ja kehastunud juhtimisele, mitte üldabilisele, mida on robootika jaoks ümber kohandatud.
- Avatud kaaludega kasutus: Mudeli kaalud on saadaval Ai2 Hugging Face’i organisatsiooni kaudu ning seotud MolmoAct2 kood on avaldatud GitHubis.
- Suunitlus peenhäälestusele: Baas-mudeli kontrollpunkti ülesehitus toetab kohandamist konkreetse roboti, andmestiku, simulatsiooniseadistuse või võrdlusülesande jaoks.
- Kontrollpunkti enda puhul puudub majutatud järelduse tasu: Ai2 ei avalda tavapärast sisend- ega väljundtokeni hinda, sest seda levitatakse avatud kaaludega mudelina, mitte arvelduspõhise majutatud API tootena.
Need on praktilised tugevused robootikateadlastele, kes peavad mudelit kohapeal uurima, muutma ja hindama. Need on vähem olulised kasutajatele, kes otsivad kohe kättesaadavat tarbijatele mõeldud abilist või valmiskujul pilvepõhist lõpp-punkti.
Piirangud ja juurutamisel arvestatavad asjaolud
Suurim piirang on see, et baas-kontrollpunkt ei ole ühe konkreetse roboti jaoks valmis kasutatav poliitika. Roboti käitumine sõltub roboti kehast, kaamerate paigutusest, kalibreerimisest, tegevuste kokkulepetest, juhtimisliidesest, riistvarapiirangutest ja ülesannete jaotusest. Ühes keskkonnas pärast peenhäälestust hästi toimivat mudelit ei tohiks eeldada teises keskkonnas otse ülekantavana.
Mudeliga ei kaasne ka avaldatud majutatud API hinda, kontekstiakent, maksimaalset väljundtokenite piiri ega üldist teadmiste lõppkuupäeva. Seetõttu ei sobi tavapärased keelemudelite võrdlused, mis põhinevad tokenitel, vestluse latentsusel või API maksumusel. Selle praktilist hinda kujundavad hoopis kohalik arvutusvõimsus, andmete kogumine, peenhäälestus, hindamine, simulatsioon ja füüsiline riistvara.
Sügavusarutlus ei kaota vajadust usaldusväärse sensoorika ega ohutustehnika järele. Enne füüsilist kasutuselevõttu peaksid arendajad poliitikat katsetama simulatsioonis ja kontrollitud keskkondades, kehtestama tegevuspiirangud, jälgima ootamatut käitumist ning tagama hädaseiskamise protseduurid. Need ettevaatusabinõud on eriti olulised, sest genereeritud tegevused võivad mõjutada füüsilisi seadmeid ja objekte, mitte üksnes tekitada teksti.
Enne edasilevitamist või ärilist kasutuselevõttu tuleks kontrollida ka litsentsi ja projekti staatust. Esitatud mudeliteave viitab Apache 2.0 litsentsiga väljalaskele ja Ai2 vastutustundliku kasutuse juhistele, märkides samal ajal, et rakenduda võivad projektipõhised tingimused ja piirangud.
Hind ja juurdepääs
Esitatud allikates ei ole MolmoAct2-Thinki kohta avaldatud sisendtokeni hinda, väljundtokeni hinda, tellimustaset ega standardset majutatud järelduse hinda. Seda levitatakse avatud kaaludega mudelina Ai2 Hugging Face’i organisatsiooni kaudu ning teostuskood on saadaval MolmoAct2 GitHubi repositooriumis.
„API hinna puudumine” ei tähenda, et juurutamine oleks tasuta. Kasutajad võivad vajada GPU-infrastruktuuri, salvestusruumi, robootikariistvara, andmete kogumist, peenhäälestusaega ja insenertehnilist tuge. Rahaline eelis seisneb juurutamise kontrollis ja avaldatud kontrollpunkti puhul dokumenteeritud päringupõhise tasu puudumises, mitte kõigi käituskulude kadumises.
Parimad kasutusjuhud
MolmoAct2-Think sobib eriti hästi järgmisteks eesmärkideks:
- Sügavust arvestavate visiooni-keele-tegevuse poliitikate uurimine.
- Roboti manipuleerimiskatsed, mis hõlmavad visuaalseid juhiseid ja ruumisuhteid.
- Baas-mudeli kontrollpunkti peenhäälestamine konkreetse roboti jaoks.
- Kehastunud tehisintellekti töö simulatsioonis ja toetatud robootika võrdlusülesannetes.
- Projektid, mis saavad kasu uuritavatest kaaludest, koodist ja kohapealsetest katsetest.
- Võrdlevad uuringud visuaalsete või sügavuse vahe-esituste kasutamise kohta robotite juhtimisel.
Peenhäälestatud kontrollpunkt, näiteks MolmoAct2-Think-LIBERO, võib olla sobivam, kui eesmärk on otsehindamine või järeldus toetatud LIBERO seadistuses. Baasmudel sobib paremini kasutajatele, kes on valmis tegema kohandamis- ja integratsioonitööd.
Millal valida MolmoAct2-Think
Vali MolmoAct2-Think siis, kui sügavust arvestav kehastunud arutlus ja avatud kaaludega kohandatavus on olulisemad kui valmislahendusena juurutamine. See sobib eriti hästi robootikameeskonnale, kes suudab poliitikat peenhäälestada, oma järelduskeskkonda kontrollida ja hinnata käitumist sihtroboti järgi.
Teistsugune lahendus võib olla eelistatavam siis, kui esmatähtsad on majutatud API, prognoositav päringupõhine arveldamine, lai tööriistade integratsioon, kiired üldotstarbelised vastused või vestluspõhine programmeerimine. MolmoAct2-Thinki ei esitleta üldise keelemudeli, programmeerimismudeli ega tarbijatele mõeldud abilisena. Samuti ei pruugi see olla parim valik, kui projekt vajab konkreetse robotiga juba ilma täiendava peenhäälestuseta töötavat poliitikat.
Selle kiiruse ja hinna kompromissi tuleks samuti mõista robootika kontekstis. Kontrollpunkt väldib sõltuvust majutatud tokenipõhisest teenusest, kuid ligikaudu 5 miljardi parameetriga F32-vormingus avatud mudel võib vajada väikese ülesandespetsiifilise poliitikaga võrreldes märkimisväärset kohalikku arvutusvõimsust. Teisalt võivad kohapealne käitamine ja peenhäälestus pakkuda kaugteenusest suuremat kontrolli ja reprodutseeritavust.
Kokkuvõte
MolmoAct2-Think on spetsialiseerunud avatud robootika baas-mudel, mille peamine eripära on kompaktsetel sügavustokenitel põhinev arutlus enne pidevate tegevuste genereerimist. See on suunatud teadlastele ja arendajatele, kes loovad või peenhäälestavad visiooni-keele-tegevuse poliitikaid, mitte kasutajatele, kes otsivad üldist vestlusrobotit või kohe juurutatavat universaalset roboti juhtseadet.
Selle peamine väärtus seisneb avatud juurdepääsu, Ai2 MolmoAct2 robootikaarhitektuuri ja selge sügavust arvestava vahe-esituse kombinatsioonis. Peamised piirangud on sama selged: juurutamine nõuab robotikehast sõltuvat kohandamist, mudelil puuduvad dokumenteeritud majutatud API hinnad ja tavapärased tokenipiirangud ning ohutu füüsiline kasutus eeldab kontrollpunkti ümber põhjalikku testimist ja insenertehnilist tööd.