Gemini Robotics ER 2

Mis on Gemini Robotics ER 2?

Gemini Robotics ER 2 on Google DeepMindi kehastatud süsteemide jaoks mõeldud visuaal-keeleline arutlusmudel. See võtab vastu teksti, pilte, videot ja heli ning loob tekstipõhist arutluskäiku, plaane ja juhiseid, mida saavad kasutada robotitarkvara, tööriistad või teised mudelid.

Mudel on mõeldud toimima roboti kõrgetasemelise planeerimiskihina. Praktikas aitab see kindlaks teha, mis füüsilises keskkonnas toimub, otsustada, milliseid samme eesmärgi saavutamiseks vaja on, jälgida, kas need sammud õnnestusid, ning taotleda uut tegevust, kui mõni samm ebaõnnestub. Eraldi robotikontroller, visuaal-keeleline-tegevusmudel või riistvarasüsteem vastutab üldjuhul endiselt nende juhiste muutmise eest ohututeks mootoriliigutusteks.

See eristus on oluline. ER 2 ei ole esitatud üldotstarbelise asendusena liikumise planeerimisele, riistvaraintegratsioonile, tajutorustikele ega ohutussüsteemidele. Selle roll sarnaneb pigem intelligentse koordinaatoriga, mis ühendab pikemate töövoogude jooksul taju, arutlemise, tööriistad ja roboti tegevused.

Kuhu ER 2 Google DeepMindi robootikavalikus sobitub?

Gemini Robotics ER 2 kuulub Gemini Robotics 2 perekonda ja on mõeldud spetsiaalselt kehastatud süsteemide arutlusmudeliks. See saab töötada koos madalama taseme visuaal-keeleliste-tegevussüsteemidega, mitte neid asendada. Visuaal-keeleline-tegevusmudel on loodud visuaalse ja keelelise teabe otsesemaks teisendamiseks füüsilisteks tegevusteks, samal ajal kui ER 2 keskendub planeerimisele, ülesannete osadeks jagamisele, edenemise jälgimisele ja töövoo koordineerimisele.

Selline arhitektuur võimaldab robootikasüsteemil kohustused eri komponentide vahel jaotada. ER 2 võib tõlgendada näiteks palvet töökoha ettevalmistamiseks, määrata kindlaks alamülesannete järjekorra, kutsuda iga sammu jaoks roboti või tööriista, uurida videot, et teha kindlaks, kas samm õnnestus, ning vajaduse korral käivitada taastamistoimingud. Madalama taseme kontroller saab seejärel tegeleda üksikasjalike liigutustega, mida on vaja eseme võtmiseks, asetamiseks, avamiseks või käsitsemiseks.

Mida Gemini Robotics ER 2 suudab teha?

Ruumiline ja füüsiline arutlemine

ER 2 on loodud arutlema esemete ja nendevaheliste suhete üle füüsilises ruumis. See võib toetada esemete lokaliseerimist, ruumiliselt põhjendatud planeerimist, trajektoori üle arutlemist ja muutuva ümbruse tõlgendamist. Näidisülesanded on kindla eseme leidmine, sihtmärgile kõige lähemal asuva eseme tuvastamine, mõõteriista näidu lugemine või esemete paigutuse muutumise kindlakstegemine.

Need võimekused on kasulikud siis, kui robot peab reageerima keskkonnale, mida ei ole täielikult ette teada. Ainult kindla järjestuse järgimise asemel saab süsteem kasutada uut visuaalset või tekstilist teavet järgmise sammu muutmiseks. Enne tegevuse lubamist peab ümbritsev robootikasüsteem mudeli väljundit siiski kontrollima.

Video mõistmine ja edenemise jälgimine

Mudel toetab videos oluliste hetkede leidmist ja edenemise klassifitseerimist. See aitab tuvastada, millal toimub pidevas salvestises oluline sündmus, teha kindlaks, kas ülesanne on alanud või lõppenud, ning märgata, millal tuleb mõnda sammu korrata.

Mitmeastmelise töövoo puhul tähendab see, et ER 2 suudab teha enamat kui esialgse plaani koostamine. See võib uurida ka toimunu kohta olemasolevaid tõendeid ja aidata otsustada, kas süsteem peaks jätkama, alamülesannet kordama või ootamatust tulemusest taastuma. See on eriti oluline kodu-, labori-, lao- ja tööülesannete puhul, kus füüsiline seisund võib täitmise ajal muutuda.

Pikaajaliste ülesannete koordineerimine

ER 2 saab ühendada arutlemise funktsioonikutsete, koodi käivitamise ja kohandatud roboti-API-dega. Need funktsioonid võimaldavad koordineerida mitut toimingut, selle asemel et käsitleda iga päringut ühe eraldiseisva vastusena. See võib delegeerida mootorite juhtimise madalama taseme mudelile, säilitades samal ajal vastutuse suurema ülesandeplaani eest.

Näiteks võib robotirakendus pakkuda funktsioone kaamera kontrollimiseks, eseme liigutamiseks, anduri näidu lugemiseks või teise roboti ülesande täitma kutsumiseks. ER 2 saab nende tööriistade vahel valida ja kasutada saadud tulemusi järgmise planeerimissammu osana. Lõpptulemuse kvaliteet ei sõltu ainult mudelist, vaid ka sellest, kui hoolikalt on kavandatud tööriistad, õigused, veaseisundid ja ohutuskontrollid.

Mitme roboti koostöö

ER 2 üks tähelepanuväärseid fookusi on eri robotite koordineerimine. See võib aidata süsteemidel suhelda, arvestada robotite erinevate võimekustega, tööd jaotada ning ühise eesmärgi nimel koordineeritult tegutseda. See võib olla kasulik olukorras, kus üks robot pääseb asukohta, teine saab eset käsitseda ja kolmas süsteem tulemust kontrollida või transportida.

Mudel ei kaota vajadust ajastamise, sideprotokollide, kokkupõrgete vältimise ega riistvarataseme koordineerimise järele. Selle asemel pakub see keele- ja nägemispõhist arutluskihti, mis aitab neid tegevusi korraldada.

Sisendid, väljundid ja mudeli piirangud

Standardne eelvaatemudel võtab vastu teksti, pilte, videot ja heli. Selle väljund on tekst, sealhulgas arutlusele keskenduvad vastused, plaanid, tööriistakutsed ja juhised. See ei paku mudeli loomuliku väljundina otse pilti, heli, videot, kõnet ega mootoritegevust.

Suur sisendlimiit on oluline siis, kui robootikarakendus peab ühendama juhised, visuaalse konteksti, varasemad vaatlused, tööriistade tulemused ja ülesande ajaloo. See ei taga, et iga pikka konteksti tõlgendatakse täiuslikult. Robootikasüsteemid peaksid endiselt konteksti hoolikalt haldama, säilitama kõige olulisema oleku ja tähtsaid vaatlusi valideerima.

Tööriistade ja API-de tugi

ER 2 standardne eelvaateotspunkt toetab funktsioonikutseid, koodi käivitamist, arvuti kasutamist, failiotsingut, Google Searchi maandamist, Google Mapsi maandamist, URL-i konteksti ja struktureeritud väljundeid. Mudeli jaoks on dokumenteeritud ka Batch API kasutamine ja konteksti vahemällu salvestamine.

Funktsioonikutsed on robootika seisukohast eriti olulised, sest need võimaldavad rakendusel pakkuda kontrollitud toiminguid, selle asemel et paluda mudelil kirjeldada iga tegevust tavalises proosas. Tööriist võib edastada anduriinfot, nõuda kaamera abil kontrollimist, saata käsu madalama taseme kontrollerile või pärida teise roboti olekut. Struktureeritud väljundid võivad hõlbustada vastuste tarkvaralist töötlemist, kuid need ei muuda kavandatud füüsilist tegevust iseenesest ohutuks.

Google dokumenteerib ka voogedastuse eelvaatejuurutuse väikese latentsusega kahesuunaliseks suhtluseks Live API kaudu. See on seotud juurutusvariant, mitte eraldi aluseks oleva mudeli identiteet. Arendajad peaksid standardset eelvaateotspunkti voogedastusotspunktist eristama, kui nad hindavad latentsust, integratsiooninõudeid ja hindu.

Hind ja saadavus

Gemini Robotics ER 2 on avaliku eelvaatena saadaval Google AI Studio ja Gemini API kaudu. Google Cloudi Gemini Enterprise Agent Platformi jaoks on dokumenteeritud ka privaatne või varajase eelvaate juurdepääs.

Standardse Gemini API eelvaateotspunkti puhul on esitatud hinnaks $1.00 ühe miljoni sisendtokeni kohta ja $5.00 ühe miljoni väljundtokeni kohta, sealhulgas arutlustokenid, kuni 31. detsembrini 2026. Google loetleb alates 1. jaanuarist 2027 kõrgemad hinnad: $2.00 ühe miljoni sisendtokeni kohta ja $10.00 ühe miljoni väljundtokeni kohta. Google AI Studio võib oma kehtivate limiitide piires pakkuda kasutust tasuta, samal ajal kui tasuline API-kasutus toimub Gemini API hinnakirja alusel.

Need hinnad kehtivad tokenite töötlemisele, mitte roboti käitamise kogukulule. Kaamerad, andurid, salvestusruum, võrguühendus, roboti riistvara, madalama taseme kontrollerid, seire ja ohutustaristu võivad kõik kulusid märkimisväärselt suurendada. Mudel on eelvaateväljalase, mistõttu võivad hind, päringulimiidid, piirkonnad, käitumine ja saadavus muutuda.

Tugevused ja kompromissid

ER 2 peamine tugevus on keskendumine robootika osadele, mis jäävad otsesest mootorijuhtimisest kõrgemale. See on loodud ruumiliseks arutlemiseks, mitmeastmeliseks planeerimiseks, videopõhiseks edenemise hindamiseks, tööriistade kasutamiseks ning robotite või väliste süsteemide vaheliseks koordineerimiseks. Suure kontekstilimiidi ja mitmeliigilise sisendi kombinatsioon võib aidata rakendusel säilitada ülesandest ja muutuvast füüsilisest keskkonnast tervikliku ülevaate.

Kompromiss seisneb selles, et selline arutlusele keskenduv disain võib kaasa tuua suurema latentsuse ja süsteemi keerukuse kui kitsalt piiritletud kontroller. Robot vajab endiselt lisakomponente, et muuta tekstipõhised otsused usaldusväärseks füüsiliseks käitumiseks. Mudeli väljund vajab ka sõltumatuid kontrolle, sest näiliselt hea plaan võib konkreetses keskkonnas olla teostamatu, puudulik või ohtlik.

Esitatud toimetuslikus hinnangus saab ER 2 kõrge arutlusvõime hinnangu, keskmise taseme hinnangu kodeerimisele, madalama kiiruse hinnangu ja mõõduka hinna hinnangu. Need on toimetuse hinnangud, mitte Google'i avaldatud võrdlustulemused. Need kajastavad mudeli kavandatud rolli: siin on hoolikas koordineerimine ja kehastatud süsteemide arutlus olulisemad kui maksimaalse vastusekiiruse saavutamine või iga API-kutse hinna minimeerimine.

Millal valida Gemini Robotics ER 2?

Vali ER 2 siis, kui robootikarakendus vajab kõrgetasemelist mudelit, mis tõlgendab mitmeliigilisi vaatlusi ja haldab mitme sammuna kulgevat ülesannet. See sobib hästi järgmisteks eesmärkideks:

• Kodu-, labori-, lao- või töökoha töövoogude planeerimine
• Esemete asukohtade, ruumiliste suhete ja muutuvate stseenide üle arutlemine
• Ülesande edenemise või lõpetatuse tuvastamine video põhjal
• Tööriistade, kohandatud roboti-API-de ja madalama taseme kontrollerite koordineerimine
• Töö jaotamine erinevate võimekustega robotite vahel
• Inimoperaatoritele loomuliku keele liidese pakkumine

Mõni teine lahendus võib olla sobivam siis, kui vaja on otsest madala taseme mootorijuhtimist, väga prognoositavat latentsust või kompaktset kontrollerit kindlalt piiritletud liigutuse jaoks. Selle virna osa jaoks võivad paremini sobida spetsiaalne liikumisplaneerija, tavapärane juhtimissüsteem või visuaal-keeleline-tegevusmudel. ER 2 saab nende komponentide kohal siiski töötada, kui vaja on ulatuslikumat planeerimist või taastamisloogikat.

Piirangud ja ohutuskaalutlused

ER 2 ei tohiks käsitleda täieliku robootikasüsteemi ega ohutuse eest vastutava autoriteedina. See ei asenda taju valideerimist, liikumise planeerimist, kokkupõrgete vältimist, riistvarapõhiseid blokeeringuid, hädaseiskamisi ega inimjärelevalvet. Selle tekstiväljund ei taga, et kavandatud tegevus on füüsiliselt võimalik või ohutu.

Google soovitab robootikamudelite kasutamisel tootmis-, äri-, avalikus või ohutuskriitilises keskkonnas olla ettevaatlik. Juurutustes tuleks kasutada konservatiivseid tööriistaõigusi, sõltumatuid ohutussüsteeme, riistvarataseme kaitsemeetmeid, selget tõrgete käsitlemist ja vajaduse korral inimjärelevalvet. Testimine peaks hõlmama ebatavalisi esemete asukohti, puudulikke vaatlusi, ebaõnnestunud tegevusi, mitmetimõistetavaid juhiseid, sidekatkestusi ning olukordi, kus andurid ja mudeli eeldused lähevad vastuollu.

Eelvaatemudelina võib ER 2 aja jooksul muutuda. Meeskonnad peaksid valideerima selle käitumist oma riistvara ja töökeskkonna suhtes, mitte eeldama, et dokumenteeritud võimekus toimib järjepidevalt kõigi robotite, stseenide, keelte või ülesandetüüpide puhul.

Kokkuvõte

Gemini Robotics ER 2 on kõige parem mõista kui kehastatud süsteemidele mõeldud arutlus- ja koordineerimismudelit. See ühendab mitmeliigilise mõistmise planeerimise, edenemise jälgimise, tööriistade kasutamise ja mitme roboti koordineerimisega, jättes otsese füüsilise teostuse teiste komponentide ülesandeks. Selle suur kontekstiaken ja ulatuslik tööriistade tugi muudavad selle sobivaks keerukate ja muutuvate töövoogude jaoks, kuid eelvaateolek, vastuse latentsus ja vajadus sõltumatute ohutuskontrollide järele muudavad hoolika süsteemiintegratsiooni hädavajalikuks.