Mis on NVIDIA StreamPETR?
StreamPETR on kaamerapõhine mitme vaatega 3D-objektituvastusmudel autonoomse sõidu tajusüsteemide jaoks. Selle ülesanne on tuvastada ümbritsevatest kaameravoogudest selliseid objekte nagu sõidukid ja teised liiklejad, hinnata nende asukohta kolmemõõtmelises ruumis ning jälgida objekte stseeni muutudes ajas.
Nimetus peegeldab mudeli lähenemisviisi: see kasutab hõredatel objektipäringutel põhinevat objektikeskset ajalist modelleerimist. Praktikas ei pea StreamPETR iga kaadri puhul kogu stseeni mõistmist algusest peale uuesti üles ehitama. Selle asemel edastab see tuvastatud objektide kompaktsed esitused järjestikuste kaadrite vahel. Selle lahenduse eesmärk on muuta voogedastuspõhine mitme kaameraga taju tõhusamaks, säilitades samal ajal teabe objektide liikumise ja identiteedi kohta.
StreamPETR esitleti 2023. aasta teadusartiklis Exploring Object-Centric Temporal Modeling for Efficient Multi-View 3D Object Detection. NVIDIA loetleb selle nüüd oma NIM-i kataloogis spetsialiseeritud järeldusena mudeli nimega streampetr.
Peamine eesmärk ja positsioon
StreamPETR kuulub autonoomse sõidusüsteemi tajukihi. Tajumudelid muudavad andurite vaatlused struktureeritud teabeks ümbritseva keskkonna kohta. StreamPETR-i puhul on sisendiks mitme vaatega kaameravideo, mitte lidar ega keelelised päringud.
Seetõttu on see mudel märksa kitsam kui üldotstarbeline arvutinägemis- või multimodaalne mudel. See on mõeldud sõidustseenide analüüsimiseks, 3D-objektide tuvastamiseks, mitme objekti jälgimiseks ja pealtvaatevisualisatsiooniks. See ei ole vestlusmudel, koodimudel, piltide genereerimise süsteem ega üldotstarbeline video mõistmise abiline.
NVIDIA praegune majutatud teenus on samuti piiratum kui tavapärane suvalise video API. Dokumenteeritud liides võtab vastu eelmääratletud scene_id koos valikulise konfiguratsiooniga ning tagastab selle stseeni töödeldud tulemused. Esitatud uurimistöö ei määra üldist lepingut suvaliste toorkaadrite või kasutaja valitud video otse avalikku lõpp-punkti üleslaadimiseks.
Kuidas StreamPETR sõidustseene töötleb
Mitme vaatega 3D-tuvastus on keeruline, sest iga kaamera näeb maailmast ainult kahemõõtmelist projektsiooni. Tajusüsteem peab vaated ühendama, tuletama sügavuse ja 3D-asukoha ning säilitama sõidukite ja teiste objektide liikumisel stseenis nende identiteedi järjepidevuse.
StreamPETR lahendab selle probleemi ajalise osa, kandes hõredaid objektipäringuid ühest kaadrist järgmisse. Objektipäringut võib mõista kui võimaliku tuvastatud objektiga seotud kompaktset sisemist esitust. Nende päringute edastamine võimaldab mudelil varasemate kaadrite teavet taaskasutada, selle asemel et iga ajaloolist pilditunnust korduvalt töödelda.
Tulemuseks on voogedastusele suunatud lähenemisviis mitme vaatega tajule. Algne uurimistöö rakendus toetab 3D-objektide tuvastamist ja jälgimist ning NVIDIA lõpp-punkt toodab lisaks järeldusmetaandmetele ka märgenditega kaameravaate- ja pealtvaate-MP4-videoid. Pealtvaate-esitus on kasulik, sest näitab stseeni ülalt, muutes tuvastatud objektide hinnangulise asukoha ja liikumise hõlpsamini kontrollitavaks.
Võimalused ja toetatud modaalsused
StreamPETR-i toetatud sisendi- ja väljunditüübid on spetsialiseeritud:
| Valdkond | Mida toetatakse või on dokumenteeritud |
|---|---|
| Sisend | Kaamerapõhised mitme vaatega sõidustseeniandmed dokumenteeritud stseenipõhise NIM-liidese kaudu |
| Video | Voogedastusvideo töötlemine ja sõidustseeni analüüs |
| Taju | 3D-objektide tuvastamine ja mitme objekti jälgimine |
| Väljund | Märgenditega kaameravaatevideod, märgenditega pealtvaatevideod ja järeldusmetaandmed |
| Heli | Ei ole toetatud |
| Teksti genereerimine | Ei ole toetatud |
| Piltide genereerimine | Ei ole toetatud |
| Tööriista- või funktsioonikutsed | Mudeli võimalusena ei ole toetatud |
Seega on mudelil arvutinägemise mõttes multimodaalseid omadusi, kuid seda ei tohiks segi ajada üldotstarbelise multimodaalse abilisega. Selle väljund on visuaalne märgendus ja tajumetaandmed, mitte loomulikus keeles vastused. Esitatud spetsifikatsioonides nimetatakse videoväljundit, kuid neis ei määrata üldist maksimaalset väljundi kestust, kaadrite arvu piirangut, kontekstiakent ega maksimaalset tokenite arvu.
Uurimistöö tulemused
StreamPETR-i algne uurimistöö rakendus esitab tulemused autonoomse sõidu võrdlusandmestikul nuScenes. ViT-Large'i konfiguratsiooni puhul testandmestikul teatab artikkel tulemusteks 62.0 mAP-i ja 67.6 NDS-i. Need on uurimistöö võrdlustulemused, mitte garantii, et iga NVIDIA majutatud konfiguratsioon saavutab täpselt sama jõudluse.
Läbilaskevõime sõltub muu hulgas visuaalsest tugivõrgust, objektipäringute arvust, riistvarast ja järelduskonfiguratsioonist. Uurimismaterjalid kinnitavad mudeli keskendumist tõhusale ajalisele töötlusele, kuid ei määra praeguse avaliku lõpp-punkti jaoks üht universaalset kaadrite arvu sekundis. Seetõttu tuleks kasutuselevõtu võrdluses mõõta täpselt kasutatavat mudelikonfiguratsiooni ja riistvara.
NVIDIA lõpp-punkt ja hinnastamine
NVIDIA loetleb StreamPETR-i oma NIM-i kataloogis tasuta lõpp-punktina. Juurdepääsuks on vaja NVIDIA API-võtit. Esitatud uurimistöös ei määrata selle lõpp-punkti jaoks korduva tellimuse hinda, päringupõhist tasu ega eraldi väljunditasu.
Dokumenteeritud päring on stseenipõhine: klient edastab scene_id ja valikulise konfiguratsiooni ning teenus tagastab märgenditega kaamera- ja pealtvaate-MP4-videod koos järeldusmetaandmetega. API viite kohaselt võidakse vastus edastada ZIP-failina või ümbersuunatud objektisalvestuse vastusena.
„Tasuta lõpp-punkti” ei tohiks tõlgendada täieliku kirjeldusena kõigi võimalike kasutuselevõtukulude kohta. Majutatud päring võib siiski nõuda NVIDIA kontot ja API-juurdepääsu, samal ajal kui uurimistöö rakenduse kohalik käitamine või kohandamine võib kaasa tuua GPU-, salvestus-, arendus- ja taristukulusid. Esitatud allikad ei paku kõigi isemajutatud kasutusviiside jaoks eraldi kommertslitsentsi hinnakirja.
Peamised tugevused ja piirangud
Tugevused
- Fokuseeritud ülesehitus: StreamPETR on loodud spetsiaalselt mitme vaatega 3D-tajuks sõidustseenides, mitte kohandatud üldotstarbelisest nägemismudelist.
- Ajaline tõhusus: Hõredate objektipäringute edastamine võimaldab kaadrite vahelist teavet taaskasutada ning toetab voogedastuspõhist tuvastamist ja jälgimist.
- Töö ainult kaameratega: Mudel on suunatud mitme kaameravaate põhisele tajule, mis on kasulik visuaalsetele anduritele keskenduvates süsteemides.
- Kontrollitavad tulemused: Märgenditega kaamera- ja pealtvaatevideote abil on tuvastusi lihtsam üle vaadata kui ainult toor-numbrilise väljundi põhjal.
- Hõlpsasti kättesaadav hindamine: NVIDIA pakub tasuta kataloogilõpp-punkti, mis võimaldab API-võtmega kasutajatel majutatud liidest proovida ilma eraldi loetletud mudelitasuta.
Piirangud
- Kitsas valdkond: See on spetsialiseeritud autonoomse sõidu stseenidele ega sobi üldise pildi-, video-, keele- või helimudelina.
- Stseenipõhine avalik liides: Dokumenteeritud lõpp-punkt ei kinnita piiramata suvalise video või toorkaadrite üleslaadimist.
- Üldised piirangud on avaldamata: Autoriteetset konteksti pikkust, sisendi või väljundi maksimaalset kestust ega tokenipõhist väljundipiirangut ei ole esitatud.
- Puudub keeleline või arendajale suunatud arutlus: StreamPETR ei paku vestluslikku arutlemist, koodi genereerimist, funktsioonikõnesid ega veebiotsingut.
- Konfiguratsioonist sõltuv jõudlus: Kiirus ja täpsus varieeruvad sõltuvalt tugivõrgust, päringute arvust, GPU riistvarast ja järeldusseadetest.
- Uurimistöö ja teenuse erinevus: Avaldatud nuScenes-i tulemused kirjeldavad uurimistöö rakendust ning neid ei tohiks automaatselt käsitada majutatud teenuse garanteeritud tulemustena.
Kiiruse, hinna ja võimaluste kompromissid
StreamPETR-i peamine kompromiss seisneb spetsialiseerumises. Võrreldes laia otstarbega video mõistmise mudeliga pakub see 3D-teetajuks otsesemalt sobivat arhitektuuri ja väljundvormingut. See suudab videost toimuvaid struktuure kaudselt tuletava üldmudeli asemel väljastada tuvastusi, jälgi ja pealtvaatevisualisatsioone.
Ka hinna poolest on see katsetamiseks atraktiivne, sest NVIDIA loetleb NIM-i lõpp-punkti tasuta teenusena. Tasuta juurdepääs ei muuda seda siiski universaalselt odavaks asenduseks igale tajutöötluse konveierile. Lõpp-punkt on piiratud dokumenteeritud stseenipõhise töövooga ning tootmiskasutus võib nõuda spetsiaalset riistvara, integratsioonitööd, seiret ja valideerimist.
Kiirust tuleks hinnata empiiriliselt. Mudeli ajaliste päringute ülesehitus on mõeldud tarbetu korduva töötluse vähendamiseks, kuid tegelik läbilaskevõime sõltub valitud tugivõrgust ja juurutuskonfiguratsioonist. Kui määravaks nõudeks on latentsus või riistvaraeelarve, võib eelistada väiksemat või tugevamalt optimeeritud tajumudelit; kui ülesanne hõlmab loomulikus keeles tõlgendamist või avatud küsimusi video kohta, võib sobivam olla laiem videomudel.
Millal valida StreamPETR?
Vali StreamPETR siis, kui peamine ülesanne on kaamerapõhine autonoomse sõidu taju ning soovitud tulemuseks on sõidustseenis struktureeritud 3D-tuvastus või jälgimine. See on eriti mõistlik valik järgmisteks eesmärkideks:
- mitme vaatega 3D-objektituvastuse hindamine sõiduandmetel;
- tuvastatud objektide visualiseerimine kaamera- ja pealtvaatevormingus;
- kaamerapõhiste taju- ja ajalise jälgimise töövoogude prototüüpimine;
- objektikeskse ajalise modelleerimise uurimine;
- NVIDIA majutatud NIM-i lõpp-punkti katsetamine enne kontrollituma juurutuse loomist.
Teistsugune mudelitüüp võib olla sobivam, kui nõutav on suvalise kasutajavideo analüüs, video kirjeldamine, küsimustele vastamine, loomulikus keeles arutlemine, piltide genereerimine, heli töötlemine või koodi genereerimine. StreamPETR ei ole samuti õige valik juhul, kui süsteem vajab dokumenteeritud üldotstarbelist toorvideo üleslaadimise API-t, sest esitatud lõpp-punkti dokumentatsioon kirjeldab selle asemel eelmääratletud stseenipõhist töövoogu.
Üldhinnang
StreamPETR-i tuleks käsitleda fokuseeritud autonoomse sõidu tajumudelina, mitte üldise tehisintellektiabilisena. Selle eripärane väärtus tuleneb mitme vaatega kaamerasisendi ühendamisest ajalise objektipäringute edastamisega 3D-tuvastuses ja -jälgimises. NVIDIA tasuta NIM-i lõpp-punkt muudab mudeli hindamise praktiliseks, samas kui selle stseenipõhine liides ja kitsas valdkond määravad selle lahenduse piirid.
Lugejatele, kes vajavad sõidustseenide tuvastusi, objektijälgi ja pealtvaateväljundeid, on StreamPETR asjakohane spetsialiseeritud tööriist. Laiema video mõistmise või keelepõhise suhtluse korral muudab teksti genereerimise, arutlemise, tööriistade ja suvalise video toe puudumine sobivamaks mõne teise mudelikategooria.