Mis on NVIDIA Alpamayo 1.5 Nano?
NVIDIA Alpamayo 1.5 Nano on autonoomsetele sõidukitele mõeldud avatud nägemis-keele-tegevuse mudel. Lihtsustatult öeldes suudab see analüüsida sõidupilti, arvestada sõiduki hiljutise liikumisega, järgida navigeerimisega seotud juhiseid ja koostada kavandatava tulevase sõidutrajektoori. Samuti võib see esitada teksti, mis selgitab prognoosi põhjuseid, ning vastata sündmuskohta puudutavatele küsimustele.
Mudel kuulub NVIDIA füüsilise tehisintellekti süsteemide Alpamayo perekonda. Selle ametlik allalaaditav repositoorium kannab nime nvidia/Alpamayo-1.5-10B, samas kui NVIDIA tootedokumentatsioon nimetab mudelit Alpamayo 1.5 Nanoks. Need nimetused tähistavad sama praegust mudelipaketti, mitte kahte omavahel seotud süsteemi.
Erinevalt tavalisest keelemudelist, mis tagastab peamiselt teksti, on Alpamayo 1.5 Nano loodud sõiduki juhtimise töövoo jaoks. Selle kõige olulisem väljund on tulevaste teepunktide jada, mis esindab kavandatavat liikumisteekonda. Arutluskäigu tekst on kasulik kontrollimiseks ja analüüsiks, kuid see ei asenda autonoomse sõidu ülejäänud tarkvarapinu, sõiduki ohutuskontrolle ega valideerimisprotseduure.
Kuidas mudel töötab
Alpamayo 1.5 Nano ühendab 8,2 miljardi parameetriga Cosmos-Reason2 nägemis-keele põhja 2,3 miljardi parameetriga tegevuseksperdiga. Põhiinterpreet tõlgendab visuaalset ja keelelist teavet, samal ajal kui tegevusekspert kasutab füüsikalisel difusioonil põhinevat trajektoori dekodeerimist, et luua füüsiliselt struktureeritud tulevikutee. Siin kasutatakse difusioonipõhist dekodeerimist trajektoori, mitte pildi loomiseks.
NVIDIA kirjeldab mudelit tugevõppe abil järeltreenituna. Esitatud mudeliteabe kohaselt kuuluvad treeningandmete hulka Chain-of-Causationi arutluskäigu jäljed, Cosmose füüsilise tehisintellekti andmed, NVIDIA autonoomse sõidu andmed ja avalikud sõiduandmed. Need üksikasjad pärinevad tootja või mudelikaardi kirjeldustest ega kujuta endast sõltumatut hinnangut tegeliku sõidujõudluse kohta.
Chain-of-Causationi vormingu eesmärk on muuta teeolukorra, sõidupõhjenduse ja prognoositud tegevuse vaheline seos hõlpsamini kontrollitavaks. See võib olla väärtuslik, kui teadlased vaatavad läbi haruldasi olukordi või uurivad, miks valiti konkreetne trajektoor. Loetavat arutluskäigu jälge ei tohiks siiski automaatselt pidada tõendiks, et prognoos on ohutu, õige või täielik.
Sisendid ja väljundid
Mudel võtab vastu mitut tüüpi sõidukonteksti:
- Mitme sõidukikaamera pildid või video
- Ego-liikumise ajalugu ehk teave sõiduki hiljutise liikumise kohta
- Navigeerimisjuhised või muud tekstilised juhised
- Vabas vormis keeles esitatud küsimused sõidustseeni kohta
Esitatud dokumentatsiooni kohaselt toetab Alpamayo 1.5 Nano paindlikku kaamerate arvu, võimaldades arendajatel kasutada erinevaid mitme kaamera konfiguratsioone. Navigeerimistekst võib anda marsruudikonteksti või käitumisjuhiseid, kuid seda tuleks käsitada soovitusliku tingimusena, mitte sõiduki juhtimise deterministliku käsuna.
Trajektoori genereerimisel tagastab mudel 64 tulevast teepunkti, mis katavad 10 Hz sagedusel ligikaudu 6,4 sekundit, koos sõiduki orientatsiooniandmete ja Chain-of-Causationi arutluskäigu tekstiga. Mudeli visuaalsele küsimustele vastamise võime võimaldab vastata sündmuskohta puudutavatele küsimustele, mistõttu sobib sama mudel lisaks teekonna prognoosimisele ka analüüsiks ja hindamiseks.
| Võimekus | Toetatud või dokumenteeritud käitumine |
|---|---|
| Tekstisisend | Jah, sealhulgas navigeerimisjuhised ja küsimused |
| Pildisisend | Jah, sealhulgas mitme kaamera vaatlused |
| Videosisend | Jah, sõidustseenide vaatlemiseks |
| Helisisend | Dokumenteerimata |
| Tekstiväljund | Jah, sealhulgas arutluskäigu jäljed ja visuaalsetele küsimustele antud vastused |
| Tegevusväljund | Jah, prognoositud sõidutrajektooride ja teepunktide kaudu |
| Piltide, heli või video genereerimine | Ei |
Tegevustrajektoor on autonoomse sõidu tarkvara jaoks mõeldud spetsiaalne masinloetav väljund, mitte genereeritud pilt, heliklipp ega video. Laiemat kontekstiakna piirangut ei ole avaldatud. NVIDIA NIM-i dokumentatsioon loetleb VLM-i genereerimise vaikimisi maksimaalseks genereerimisseadeks 256 tokenit, kuid seda ei tohiks segi ajada mudeli avaldatud üldise konteksti pikkusega.
Juurdepääs ja juurutamise nõuded
NVIDIA pakub Alpamayo 1.5 Nanot allalaaditavate avatud kaaludena oma Hugging Face'i organisatsiooni kaudu ning näidisjärelduskood on saadaval NVlabsi Alpamayo 1.5 repositooriumis. NVIDIA dokumenteerib ka Alpamayo 1.5 NIM-i, mis pakub trajektoori prognoosimiseks ja visuaalsetele küsimustele vastamiseks HTTP- ja gRPC-liideseid.
Allalaaditav mudel on mõeldud Linuxi keskkonda ja vajab esitatud mudelikaardi ning näidisrepositooriumi kohaselt vähemalt 24 GB VRAM-iga NVIDIA GPU-d. NVIDIA on mudelit testinud muu hulgas H100 riistvaral, samas loetletakse mudeliteabes piisava mäluga süsteemide näidetena ka RTX 3090, RTX 3090 Ti, RTX 4090 ja A5000-klassi GPU-d. Tegelik jõudlus sõltub kogu tarkvarakeskkonnast, sisendkoormusest ja riistvara konfiguratsioonist.
See nõue muudab Alpamayo 1.5 Nano põhimõtteliselt erinevaks majutatud üldotstarbelisest tehisintellektiteenusest, mida saab kasutada brauseri kaudu. Avatud kaalusid ise käitades peavad kasutajad tagama sobiva arvutusvõimsuse või NIM-i paketti kasutades kasutama nõuetekohaselt konfigureeritud NVIDIA juurutust.
Peamised tugevused ja piirangud
Tugevused
- Spetsiaalselt sõiduks loodud väljundid: Mudel genereerib tulevasi teepunkte ja orientatsiooniinfot, mitte ei piirdu sündmuskoha suulise kirjeldusega.
- Mitmeliigiline sõidukontekst: See ühendab kaameravaatlused, liikumisajaloo ja keelelised juhised ühes sõidule suunatud töövoos.
- Kontrollitavus: Chain-of-Causationi arutluskäigu jäljed võivad aidata teadlastel uurida olukorra ja kavandatava tegevuse vahelist seost.
- Juurdepääs avatud kaaludele: Arendajad saavad mudeli ja näidiskoodi alla laadida, selle asemel et toetuda ainult suletud tarbijaliidesele.
- Navigeerimistingimused: Marsruudiga seotud teksti saab kasutada juhiste järgimise ja erinevates sõidukontekstides käitumise uurimiseks.
- Mitu juurutusviisi: Mudel on saadaval nii avatud kaaludena kui ka eraldi dokumenteeritud NIM-liidese kaudu.
Piirangud
- Spetsialiseeritud ulatus: See ei ole üldotstarbeline assistent, programmeerimismudel, pildigeneraator ega kõnemudel.
- Sõltuvus riistvarast: Mudeli kohalik käitamine nõuab esitatud nõuete kohaselt Linuxit ja vähemalt 24 GB VRAM-iga NVIDIA GPU-d.
- Puuduv täielik sõidukipinu: See ei asenda tajutaristut, sõiduki juhtseadmeid, ohutussüsteeme, simulatsiooni, testimist ega käitamisvalideerimist.
- Avaldamata konteksti pikkus: NVIDIA ei ole esitanud mudeli laiema kontekstiakna spetsifikatsiooni.
- Piiratud tööriistatoetus: Üldist tööriista- ega funktsioonikutsete võimekust ei ole dokumenteeritud.
- Kaubandusliku litsentsi kaalutlused: Mudelikaardi kohaselt on kaalud valmis mitteäriliseks kasutuseks ning kommertslitsentsi saab taotleda.
Esitatud kataloogis toodud mudeli arutlus- ja programmeerimisskoorid on toimetuse hinnangud, mitte NVIDIA võrdlustestide tulemused. Toimetuse hinnangul on arutlusvõime tugev, sest arutluskäigu jäljed ja trajektoori genereerimine on mudeli ülesehituse keskmes. Programmeerimissobivus on aga väike, sest tarkvaraarendus ei kuulu mudeli kavandatud kasutusvaldkonda.
Hinnastamine ja litsentsimine
Alpamayo 1.5 Nano jaoks ei ole avaldatud tokenipõhist hinda, tellimustasu ega korduvat majutatud teenuse hinda. Peamine juurdepääsuviis on avatud kaalude allalaadimine ja nende käitamine ühilduval riistvaral või eraldi pakendatud Alpamayo 1.5 NIM-i juurutamine. Sellisel juhul tulenevad kulud GPU-riistvarast, taristust, käitamisest ja võimalikest NVIDIA litsentsitasudest, mitte avaldatud tarbija-API hinnakirjast.
Esitatud mudeliteabes nimetatakse kaalude litsentsiks OpenMDW-1.1 ja näidiskoodi litsentsiks Apache License 2.0. Mudelikaardi kohaselt on kaalud valmis mitteäriliseks kasutuseks ning kommertslitsentsi saab taotleda. Organisatsioonid peaksid enne tootmis- või kommertssüsteemi loomist kontrollima kehtivaid litsentsitingimusi ja hankima vajalikud ärilised õigused.
Arutlus-, programmeerimis- ja tööriistavõimekus
Arutlus on mudeli keskne võimekus, kuid see on spetsialiseerunud sõidustseenide ja -tegevuste analüüsile. Mudel suudab siduda visuaalsed tõendid, sõiduki oleku, navigeerimisjuhised ja kavandatava trajektoori ning seejärel esitada Chain-of-Causationi teksti või vastata sündmuskohta puudutavale küsimusele. See muudab mudeli autonoomse sõidu analüüsis üldisest tekstimudelist asjakohasemaks, kuigi see ei ole mõeldud suvaliste arutlusülesannete lahendamiseks.
Alpamayo 1.5 Nano ei ole mõeldud tarkvaraarenduseks. Üldotstarbelist programmeerimise töövoogu ei ole dokumenteeritud ja esitatud toimetuse programmeerimisskoor on väike. Samuti ei ole dokumenteeritud veeb otsingut, väliste tööriistade kasutamist, funktsioonikutseid, helitöötlust ega üldist agendiraamistikku. Arendajad saavad integreerida selle trajektoori- ja VQA-väljundid suuremasse süsteemi, kuid see integratsioon on mudeli enda loomulikust tööriistatoest eraldiseisev.
Kiiruse ja kulude kompromissid
Esitatud kataloog annab Alpamayo 1.5 Nanole keskmise toimetusliku kiirusskoori ja kõrge toimetusliku kuluskoori. Need on subjektiivsed kataloogihinnangud, mitte tootja avaldatud latentsus- või hinnastamisvõrdlused. Need peegeldavad praktilist asjaolu, et ligikaudu 10 miljardi parameetriga mudel, mis töötleb mitme kaamera sisendit ja teeb trajektoorianalüüsi, vajab märkimisväärseid GPU-ressursse.
Võrreldes väikese ainult teksti töötleva mudeliga vajab Alpamayo 1.5 Nano üldjuhul rohkem spetsialiseeritud arvutusvõimsust ja keerukamat sisenditöötluse toru. Lisakulu on põhjendatud siis, kui rakendus vajab sõiduspetsiifilist visuaalset arutlust ja trajektooriväljundit. Seda on keeruline põhjendada tavalise vestluse, koodi lõpetamise, dokumentide kokkuvõtete või lihtsa klassifitseerimise puhul, kus väiksem või majutatud mudel võib olla kiirem ja lihtsamini hallatav.
Parimad kasutusjuhud
Alpamayo 1.5 Nano sobib kõige paremini meeskondadele, kes tegelevad järgmisega:
- Autonoomse sõidu uurimis- ja arendustöö
- Navigeerimistingimustega trajektoori prognoosimine
- Liikumise planeerimise katsed ja hindamine
- Visuaalsetele küsimustele vastamine sõidustseenide põhjal
- Haruldaste või pika saba jaotuse alla kuuluvate liiklusolukordade ohutusanalüüs
- Simulatsioon, andmete märgendamine ja stsenaariumide uurimine
- Tõlgendatavate füüsilise tehisintellekti süsteemide uurimine
Näiteks võib uurimisrühm edastada sünkroniseeritud kaameravaatlused, sõiduki hiljutise liikumise ja navigeerimisjuhise ning seejärel uurida nii kavandatud 6,4-sekundilist teed kui ka mudeli selgitust sündmuskoha kohta. Teine meeskond võib esitada visuaalse küsimuse liikleja või takistuse kohta ning võrrelda vastust prognoositud trajektooriga.
Millal valida Alpamayo 1.5 Nano?
Vali Alpamayo 1.5 Nano siis, kui rakendus vajab avatud ja sõiduspetsiifilist nägemis-keele-tegevuse mudelit, mis suudab muuta visuaalse ja liikumiskonteksti tulevasteks teepunktideks ning pakub analüüsiks ka arutluskäigu teksti. See on eriti atraktiivne juhul, kui kohalik juurutus, paindlikkus teadustöös või NVIDIA GPU-taristuga lõimimine on olulisem kui lihtne brauseripõhine kasutuskogemus.
Vali teist tüüpi mudel siis, kui prioriteediks on üldine vestlus, programmeerimine, veebiuuringud, kõne, piltide genereerimine või väikese kuluga pilvepõhine järeldamine. Tavaline keelemudel sobib paremini teksti- ja programmeerimisülesannete jaoks, samas kui spetsiaalne tajumise, planeerimise või juhtimise komponent võib olla eelistatum, kui süsteem vajab kitsalt valideeritud käitumist, mitte ühtainsat mitmeliigilist arutlusmudelit.
Kõige olulisem on käsitada Alpamayo 1.5 Nanot arendus- ja teaduskomponendina. Selle trajektoore ja selgitusi tuleb enne nende kasutamist päris sõidukisüsteemis katsetada kasutusjuhupõhiste andmete, simulatsiooni ja ohutustehnika abil. Mudeli avatud kättesaadavus laiendab eksperimenteerimisvõimalusi, kuid ei kaota vajadust sõltumatu valideerimise järele ega muuda autonoomset sõitu iseenesest ohutuks.