Mis on NVIDIA Isaac GR00T N1.7?
NVIDIA Isaac GR00T N1.7 on avatud nägemise-keele-tegevuse mudel üldotstarbeliseks humanoidrobotikaks. Nägemise-keele-tegevuse mudel ühendab tajumise ja keele mõistmise füüsilise juhtimisega: tekstivastusega piirdumise asemel ennustab see, mida robot peaks järgmisena tegema.
Praktikas võib robotirakendus anda mudelile juhise, näiteks asetada ese anumasse, tööala kaamerapildid ning roboti hetkeseisundi. Seejärel genereerib GR00T N1.7 tulevaste tegevuste jada. Sõltuvalt roboti konstruktsioonist võivad need tegevused kirjeldada liigeste asendeid, tööorgani liikumist, haaratsi käske või muid robotispetsiifilisi juhtsignaale.
Kanooniline baaskontrollpunkt on nvidia/GR00T-N1.7-3B, mis sisaldab ligikaudu 3 miljardit parameetrit. NVIDIA avaldab mudeli kaalud, viiteimplementatsiooni, järeldusvahendid, peenhäälestuse töövood, hindamistööriistad ja juurutusvõimalused Isaac-GR00T projektis.
Kuhu see NVIDIA praeguses tehisintellekti tootevalikus sobitub?
GR00T N1.7 on NVIDIA robootika ja füüsilise tehisintellekti töö suunitletud mudel, mitte üldotstarbeline juturobot ega tavapärane teksti genereerimise API-mudel. See on mõeldud integreerimiseks roboti juhtimissüsteemi, kus tajumine, poliitika järeldamine, kalibreerimine, ohutuse jälgimine ja madala taseme täitmine toimivad koos.
Mudelit levitatakse allalaaditava kontrollpunkti ja avatud lähtekoodiga implementatsioonina, mitte peamiselt tarbijatele mõeldud tellimustootena. NVIDIA pakub ka seotud N1.7 peenhäälestatud kontrollpunkte keskkondade ja andmekogumite jaoks, sealhulgas LIBERO, DROID, SimplerEnv Bridge ja SimplerEnv Fractal. Need on sama mudeliperekonna tuletised või ülesandespetsiifilised versioonid, mitte eraldiseisvad üldotstarbelised assistendid.
Esialgu avaldati N1.7 varajase juurdepääsuga versioonina 18. aprillil 2026 ning supplied release information'i kohaselt jõudis see üldise kättesaadavuseni 7. juulil 2026. Mudel kasutab nägemise-keele alusmudelina NVIDIA Cosmos-Reason2-2B-d. Selle alusmudeli kasutamiseks Hugging Face'is on vaja juurdepääsuluba, kuigi GR00T projekt ise sisaldab asjakohaseid mudeli- ja tarkvaramaterjale.
Sisendid, väljundid ja tegevuste horisont
GR00T N1.7 võtab vastu kolm laia sisendikategooriat:
- Keel: loomulikus keeles juhis, mis kirjeldab ülesannet.
- Visuaalsed vaatlused: kaamerapildid või videolõigud roboti keskkonnast.
- Roboti seisund: roboti konstruktsioonist sõltuv teave, näiteks liigeste, tööorgani või muu juhtimisseisundi kohta.
Iga toetatud roboti konstruktsioon määratleb eeldatavad seisundi-, tegevus-, video- ja keeleväljad. See on oluline, sest ühe roboti jaoks treenitud poliitikat ei saa automaatselt käsitleda iga teise roboti jaoks sobiva juhtseadmena. Sisendi ja väljundi konfiguratsioon peab vastama roboti konstruktsiooni märgendile ja liidesele.
Peamine väljund on tulevaste roboti tegevuste massiiv või tensor. Baaspoliitika N1.7 ennustab kuni 40 tulevast tegevussammu, mida on rohkem kui mudeliliidese varasemalt kirjeldatud 16-sammuline horisont. Esitatud dokumentatsioon määratleb N1.7 liidese jaoks ka 132 seisundi- ja tegevusmõõdet. Seega on väljund struktureeritud juhtimisjada, mitte tekst, pilt, heli ega inimestele mõeldud video.
Esitatud allikates ei ole avaldatud tavapärast märgendikonteksti pikkust ega teksti maksimaalset väljundmärgendite limiiti. 40-sammulist tegevuste horisonti ei tohi segi ajada keelemudeli konteksti pikkusega: see kirjeldab poliitika ennustatavate tulevaste roboti juhtimissammude arvu.
Mis muutus N1.7 väljalaskes?
N1.7 asendab varasema Eagle'il põhineva nägemise-keele alusmudeli NVIDIA Cosmos-Reason2-2B-ga, mis kasutab Qwen3-VL-i arhitektuuri. Esitatud uuringus peetakse uue alusmudeli olulisteks omadusteks paindlikku pildiresolutsiooni ning algse pildiformaadi säilitamist ilma fikseeritud täidiseta.
Väljalase tutvustab ka suhtelist tööorgani tegevusruumi. Selle asemel et kirjeldada iga liikumist ainult absoluutse sihtasendina, saab poliitika väljendada muutusi roboti tööorgani praeguse asendi suhtes. Selle eesmärk on parandada ülekannet erinevate robotikonstruktsioonide vahel ja muuta robotinäidete kombineerimine inimvideote andmetega praktilisemaks.
NVIDIA andmetel treeniti N1.7 eeltreeningu käigus 20 000 tunni ulatuses EgoScale'i inimvideoid koos mitmekesiste robotinäidetega. Inimvideo ei sisalda otseselt kogu juhtimisteavet, mis on robotinäites olemas, mistõttu sõltub nende andmete väärtus sellest, kui tõhusalt seovad treening ja tegevuste esitus visuaalse käitumise käivitatava robotiliikumisega. Seda tuleks käsitleda eeltreeningu sisendina, mitte usaldusväärse juhtimise garantiina igas keskkonnas.
Peamised tugevused ja praktilised võimalused
- Robotitele suunatud väljund: mudel ennustab otse robotipoliitika töövoogu sobivaid tegevusjadasid, mistõttu ei ole vaja eraldi teksti juhtimiskäskudeks tõlgendamise etappi.
- Keskendumine eri konstruktsioonidele: suhtelised tööorgani tegevused ja roboti konstruktsioonist sõltuvad liidesed on loodud toetama ülekannet erinevate robotite vahel.
- Multimodaalne vaatlus: keelt, pilte, videot ja roboti seisundit saab ühendada ühes poliitika töövoos.
- Inimvideo kasutamine eeltreeningus: N1.7 treeningulahendus hõlmab lisaks robotinäidetele ka suurel hulgal inimvideoid.
- Peenhäälestuse tugi: arendajad saavad mudelit kohandada kohandatud ülesannete, robotite, andmekogumite ja keskkondade jaoks, kasutades robotinäiteid ja LeRobotiga ühilduvaid andmekogumeid.
- Paindlik juurutus: NVIDIA dokumenteerib lokaalset järeldamist, kaugpoliitikaserveri lahendust, PyTorchi käitamist, ONNX-i eksporti ja TensorRT kiirendust.
- Pakktöötlus: poliitika tööriistad toetavad mitme järeldusnäite töötlemist, mis võib olla kasulik hindamise ja treeningu töövoogudes.
Need tugevused muudavad GR00T N1.7 kõige asjakohasemaks robootikauurijatele, robotitootjatele, süsteemiintegraatoritele ja manipuleerimissüsteeme arendavatele arendajatele. Need on vähem olulised inimese jaoks, kes otsib kohe kasutatavat vestlusassistenti.
Peenhäälestuse ja juurutuse nõuded
Peenhäälestus võimaldab arendajal kohandada eeltreenitud poliitikat konkreetse roboti või ülesande näidete abil. Kombineeritud treeningu jaoks saab seadistada mitu andmekogumi teed ja segu kaalu. NVIDIA dokumenteeritud minimaalne peenhäälestuse konfiguratsioon nõuab vähemalt 40 GB videomäluga GPU-d, mistõttu ei ole mudeli kohandamine lihtne sülearvutiülesanne.
Juurutamisel saab roboti poolel töötav klient suhelda kaugpoliitikaserveriga. See eraldab suure arvutusvõimsusega närvivõrgupõhise järeldamise süsteemi sellest osast, mis suhtleb robotiga otse. Selline lahendus võib riistvara paigutamist lihtsustada, kuid võrgu töökindlus ja latentsus muutuvad juhtimislahenduse osaks.
ONNX-i ja TensorRT ekspordi abil saab kasutada optimeeritud järeldamist. TensorRT on eriti asjakohane juhul, kui poliitika peab suletud ahelaga süsteemis kiiresti reageerima: robot vaatleb korduvalt keskkonda, ennustab tegevusi, viib need ellu ja vaatleb tulemust uuesti. Täpne läbilaskevõime ja latentsus sõltuvad riistvarast, täpsusest, vaatluse konfiguratsioonist ja juurutuse seadetest; esitatud uuring ei määra üht universaalset jõudlusnäitajat.
Arutlus, programmeerimine ja tööriistade tugi
GR00T N1.7 kasutab nägemise-keele alusmudelit, mis suudab töödelda visuaalset ja keelelist teavet, kuid seda ei esitata üldotstarbelise arutlusmudelina, millel oleks avaldatud arutlusvõimekuse võrdlustest või kasutajale nähtav samm-sammulise mõttekäigu funktsioon. Selle praktiline arutlusvorm on ülesandest sõltuv poliitika järeldamine: vaatluste ja juhiste ühendamine tõenäoliseks roboti tegevuste jadaks.
Programmeerimine ei ole selle mudeli eesmärk. Arendajad kasutavad poliitika treenimiseks või juurutamiseks Pythonil põhinevaid projektitööriistu ja mudelikoodi, kuid mudel ise ei ole mõeldud tarkvara genereerimiseks samal viisil nagu programmeerimisassistent. Samuti ei määratle esitatud spetsifikatsioonid üldist tööriistade kutsumist, veebiotsingut, funktsioonide kutsumist ega pistikprogrammide tuge. Roboti juhtimisliides on mudeli peamine integreerimismehhanism.
Hinnakujundus ja kulude kompromissid
Esitatud uuringu kohaselt ei reklaami NVIDIA allalaaditava GR00T N1.7 kontrollpunkti jaoks korduvat märgendi- ega päringupõhist hinda. Seetõttu ei kohaldu hinnastamine mudeli kaaludele samal viisil nagu majutatud keelemudeli API puhul. Mudeli kaaludele kehtib NVIDIA Open Model License ja viitekoodile Apache 2.0 litsents.
Kaalude tasuta kasutamine ei tähenda, et juurutamine oleks kuludeta. Kasutajal võib vaja minna piisava mäluga GPU-d, mudelifailide salvestusruumi, ühilduvat tarkvara ja täiendavat robotiriistvara. Peenhäälestuse dokumenteeritud miinimum on 40 GB GPU videomälu. Järeldamist saab teha lokaalselt või serveri kaudu ning TensorRT võib toetatud NVIDIA riistvaral kiirust parandada, kuid tegelik taristukulu sõltub juurutuse ülesehitusest.
Võrreldes väikese tavapärase poliitikamudeliga võib GR00T N1.7 vajada rohkem arvutusvõimsust, sest ühendab multimodaalse alusmudeli tegevuste ennustamisega. Võrreldes majutatud robootikateenusega võib lokaalne juurutus pakkuda suuremat kontrolli andmete ja latentsuse üle, kuid riistvara, hoolduse ja ohutuse eest vastutamine jääb rakendajale. Esitatud allikad ei paku standardiseeritud tegevusehinda ega kiirusevõrdlust.
Piirangud ja ohutuskaalutlused
GR00T N1.7 ei taga roboti autonoomset võimekust. Tulemused sõltuvad roboti konstruktsioonist, kaamerate paigutusest, pildikvaliteedist, kalibreerimisest, treeningandmetest, tegevuste esitusest, järeldamise latentsusest ja füüsilisest keskkonnast.
NVIDIA dokumenteerib väiksema jõudluse muu hulgas segamini paiknevate objektidega stseenides, pika tegevuste horisondiga pakkimisel, täpsel riiulile paigutamisel ning järjestustes, mis nõuavad pärast ebaõnnestunud haaramist taastumist. Need piirangud on olulised, sest tuttavate näidete puhul hästi toimiv poliitika võib siiski ebaõnnestuda, kui objektid on paigutatud teisiti, nähtavus on takistatud või varasem tegevus tekitab ootamatu seisundi.
Mudel ei ole ilma täiendavate kaitsemeetmeteta mõeldud missioonikriitiliste funktsionaalse ohutuse rakenduste jaoks. Tegelik juurutus peaks hõlmama kokkupõrgete ennetamist, tööala piiranguid, hädaseiskamisi, tegevuste valideerimist, jälgimist, taasteloogikat ja robotispetsiifilisi ohutuskontrolle. Poliitika väljundit tuleks käsitleda kontrollitud robootikasüsteemi ühe komponendina, mitte iseseisvalt usaldusväärse ohutuskontrollerina.
Millal valida NVIDIA Isaac GR00T N1.7?
Vali GR00T N1.7 juhul, kui peamine probleem on üldistatud humanoidroboti manipuleerimine ning vajad kohandatavat nägemise-keele-tegevuse poliitikat, mida saab peenhäälestada või oma taristus juurutada. See sobib eriti hästi uuringuteks, mis käsitlevad ülekannet eri robotikonstruktsioonide vahel, robotinäiteid, inimvideote kasutamist eeltreeningus, multimodaalset vaatlust ja tegevusjadade ennustamist.
See võib olla sobiv ka siis, kui olulised nõuded on TensorRT või ONNX-i kasutav juurutus, lokaalne järeldamine ja kaugpoliitikaserveri arhitektuur. Avatud kontrollpunkt ja viitekood pakuvad suletud majutatud teenusest suuremat kontrolli, kuid nõuavad ka rohkem arendustööd.
Teine lahendus võib olla sobivam juhul, kui eesmärk on üldine vestlus, tarkvara programmeerimine, piltide genereerimine, helitöötlus, veebiotsing või lihtne tarbijatele mõeldud assistent. Väiksem või spetsialiseeritum robootikapoliitika võib olla eelistatum ka siis, kui riistvara on piiratud, ülesanne kitsas või prognoositav väikese latentsusega käitumine on olulisem kui lai multimodaalne üldistusvõime. Ohutuskriitilises töös ei tohiks ükski mudel asendada eraldi kavandatud ohutussüsteemi.