WildDet3D

Mis on WildDet3D?

WildDet3D on Allen Institute for AI ja akadeemiliste koostööpartnerite välja töötatud avatud kaaludega mudel viibastatava monokulaarse 3D-objektituvastuse jaoks. Selle põhiülesanne on järeldada ühe RGB-pildi põhjal, kus objekt kolmemõõtmelises ruumis paikneb. Väljund võib sisaldada 2D-piirdekasti, 3D-piirdekasti, sügavusteavet, usaldusskoore, klassitunnuseid ja prognoositud kaamera sisemisi parameetreid.

„Monokulaarne” tähendab, et mudel alustab ühe kaameravaatega, mitte ei eelda stereokaamerate paari või täielikku 3D-anduri seadistust. See on kasulik rakendustes, kus on olemas tavalised fotod või videokaadrid, kuid puudub täielikult kalibreeritud tajusüsteem. Mudel võib kasutada ka valikulist geomeetrilist teavet, sealhulgas kaamera sisemisi parameetreid ning hõredat või tihedat sügavusteavet, kui see on saadaval.

WildDet3D ei ole vestlusassistent ega üldotstarbeline generatiivne mudel. Tegemist on spetsialiseeritud nägemissüsteemiga, mis tuvastab viipadega määratud objekte ja hindab nende 3D-geomeetriat.

Kuidas viipade kasutamine toimib

Mudel toetab mitut viisi, kuidas määrata, mida tuleks tuvastada. Tekstiviibaga saab paluda tuvastada objekte kategooria järgi, samas kui punkt või kast võib tähistada konkreetset pildil juba nähtavat objekti.

• Tekstiviibad: Paluge mudelil leida nimetatud objektikategooria eksemplare.
• Punktiviibad: Kasutage positiivseid või negatiivseid pildipunkte huvipakkuva objekti tähistamiseks või valiku täpsustamiseks.
• Geomeetrilised kastiviibad: Esitage 2D-piirdekast ja paluge mudelil teisendada see 3D-kujule.
• Visuaalsed näidiskastid: Kasutage näidisobjekti ümber olevat kasti, et aidata leida visuaalselt sarnaseid objekte.

Selline viipadel põhinev ülesehitus eristab WildDet3D-d tavapärasest detektorist, mis töötab alati ette määratud sildiloendi alusel. Seda saab kasutada konkreetse objekti uurimiseks, olemasoleva 2D-tuvastuse taaskasutamiseks või selliste kategooriate uurimiseks, mis ei kuulu rangelt fikseeritud tuvastusliidesesse. Esitatud uurimistöö kirjeldab hindamist enam kui 700 objektikategooria puhul.

Sisendid ja väljundid

Põhisisend on RGB-pilt. Kui need on teada, saab esitada kaamera sisemised parameetrid, mis kirjeldavad näiteks fookuskaugust ja kaamera optilist keskpunkti. Kui need pole saadaval, võib WildDet3D need ise hinnata. Samuti võib esitada valikulise hõreda või tiheda sügavusinfo. Näideteks on LiDAR-i, lennuaja, RGB-D- või stereopõhine sügavusinfo.

Täiendav sügavusteave võib parandada mudeli 3D-lokalisatsiooni, kuid põhilise ühe pildi kasutusjuhtumi puhul pole see nõutav. Mudeli väljundid on tajutulemused, mitte genereeritud tekst või meedia:

• 2D-piirdekastid
• 3D-piirdekastid
• sügavuskaardid
• tuvastusskoorid
• klassitunnused
• prognoositud kaamera sisemised parameetrid

WildDet3D võtab vastu visuaalseid sisendeid ning teksti- või ruumilisi viipasid, kuid ei loo põhiväljundina pilte, videot, heli ega loomulikus keeles vastuseid. Avaldatud keelemudeli kontekstiakent ega väljundi maksimaalset märgipiirangut ei ole, sest tegemist pole teksti genereeriva mudeliga.

Arhitektuur ja avaldatud kontrollpunktid

Avaldatud WildDet3D süsteem ühendab SAM 3 Vision Transformeri põhise tüvemudeli ja DINOv2 ViT-L/14-l põhineva LingBot-Depthi geomeetriataustaprogrammi. Esitatud spetsifikatsioonide kohaselt on mudelil ligikaudu 1,2 miljardit parameetrit. Praktikas ühendab arhitektuur viipadega määratud objektide äratundmiseks visuaal-semantilised tunnused geomeetria hindamisega, et tuletada objektide ruumilised omadused.

Ai2 avaldas kolm kontrollpunkti etappi. Lõpliku teadusartikli kontrollpunkt on wilddet3d_alldata_all_prompt_v1.0.pt. Selle treenimisel kasutati Omni3D andmeid koos pärismaailmast pärit ja inimeste kontrollitud viipade kombinatsioonidega. Varasemad 1. ja 2. etapi kontrollpunktid on saadaval kasutajatele, kes soovivad treeningu osalist taasesitamist või arendusetappide võrdlemist.

Lõplik kontrollpunkt on ligikaudu 4,7 GB suurune, seega vajab kohalik kasutamine piisavalt salvestusruumi ning ühilduvat tark- ja riistvarakeskkonda. Esitatud uurimistöös nimetatakse eeldatava kohaliku juurutuskeskkonna osana konkreetselt PyTorchi ja CUDA seadistust.

Avaldatud jõudlus

Esitatud Ai2 uurimistöö kohaselt saavutab WildDet3D Omni3D andmestikul tekstiviipadega 34,2 AP3D ja orakli kastiviipadega 36,4 AP3D. Kui mudelile antakse hõre sügavusinfo, kasvavad avaldatud tulemused tekstiviipade puhul 41,6 AP3D-ni ja orakli viipade puhul 45,8 AP3D-ni.

null-kaadri hindamistes teatab Ai2 Argoverse 2 andmestikul tulemuseks 40,3 ODS-i ja ScanNeti puhul 48,9 ODS-i. Need on teenusepakkuja avaldatud võrdlustulemused, mitte sõltumatud garantiid jõudluse kohta iga pildi või juurutuskeskkonna puhul. Tulemused võivad varieeruda sõltuvalt kaamera vaatenurgast, pildikvaliteedist, objektikategooriast, viiba kvaliteedist, saadaolevast sügavusinfost ja sihtandmestikust.

Tekstiviipade ja orakli kastiviipade erinevus on oluline. Orakli kast annab mudelile hindamisseadistuse kaudu väga informatiivse 2D-lokalisatsiooni, samas kui tekstiviip nõuab süsteemilt asjakohase objekti leidmist pildilt. Seetõttu kirjeldavad need kaks arvu erinevaid töötingimusi ega ole omavahel vahetult võrreldavad mõõdikud.

Peamised tugevused ja kompromissid

WildDet3D peamine tugevus on avatud maailma viipade ja 3D-lokalisatsiooni ühendamine. Kasutaja ei pea tuginema ainult suletud detektorile, mille kategoorialoend on fikseeritud, ning süsteem võib töötada ühe RGB-pildi põhjal. Teksti-, punkti- ja kastiviipade kombineerimise võimalus muudab selle sobivaks ka interaktiivseteks tajutöövoogudeks, kus huvipakkuva objekti määrab inimene või mõni teine nägemissüsteem.

• Avatud kaaludega juurdepääs teadustööks: Esitatud uurimistöö kohaselt on saadaval kontrollpunktid, kood, hindamistööriistad, treeningumaterjalid, interaktiivne demo ja iOS-i rakendus.
• Mitu viibatüüpi: Teksti- ja ruumilised viibad toetavad nii kategooriapõhist otsingut kui ka üksikobjekti valimist.
• 3D-väljundid piltidelt: Mudel hindab ruumilisi kaste ja sügavusega seotud teavet, mitte ei piirdu 2D-tuvastusega.
• Valikuline geomeetriline abi: Kui need on saadaval, saab lokalisatsiooni parandamiseks kasutada kaamera kalibreerimist ja sügavusinfot.
• Paindlikkus teadustöös: Kohalikud kontrollpunktid võimaldavad teadlastel süsteemi uurida ja kohandada, selle asemel et sõltuda suletud teenusepakkuja hallatavast lõpp-punktist.

Kompromissid on sama olulised. WildDet3D on suur spetsialiseeritud kontrollpunkt, mitte väike ja väikese latentsusega teenus. Selle kohalik käitamine eeldab ligikaudu 4,7 GB suuruse mudeli allalaadimist ning vajaliku PyTorchi ja CUDA keskkonna seadistamist. Esitatud teave ei sisalda standardiseeritud latentsusnäitajat, riistvarasoovitust, majutatud teenuse tööaja garantiid ega ametlikku API lõpp-punkti.

Ka mudeli võimekus ongi kavandatult kitsas. See ei paku vestluste genereerimist, koodi genereerimist, piltide genereerimist, heli töötlemist, video sünteesimist, funktsioonikutseid, veebotsingut, voogedastusvastuseid ega struktureeritud teksti genereerimist. Need puudused ei ole 3D-detektori puhul probleem, kuid muudavad teist tüüpi mudelid sobivamaks assistendi-, sisu genereerimise või API-automaatika ülesannete jaoks.

Hind ja saadavus

WildDet3D ametlikku majutatud API hinnastust ei ole avaldatud. Mudel on saadaval allalaaditava kontrollpunktina, mitte korduva tarbijatellimuse või kasutuspõhise järeldus-API-na. Seetõttu tuleks peamiste tegevuskuludena arvestada kohaliku taristu, salvestusruumi, GPU kättesaadavuse ja arendusajaga.

Mudel on mõeldud peamiselt teadus- ja hariduslikuks kasutuseks SAM-i litsentsi ning Ai2 vastutustundliku kasutuse juhiste alusel. Enne ärilist juurutamist või edasi levitamist tuleks litsentsitingimused ja võimalikud piirangud üle vaadata. Saadavus võib projekti arenedes samuti muutuda, sest teadusmudelid, demod ja allalaaditavad materjalid võivad liikuda eksperimentaalse ja stabiilsema etapi vahel.

Järeldamine, kodeerimine ja tööriistade tugi

WildDet3D-d ei tule hinnata samade kriteeriumide alusel nagu keelemudelit. See ei tegele üldise tekstilise järeldamisega, ei kirjuta koodi, ei kutsu väliseid tööriistu, ei sirvi veebi ega tagasta JSON-i mudelipõhise struktureeritud väljundi režiimis. Selle kasulik „järeldamine” on spetsialiseeritud visuaalne ja geomeetriline tuletamine: viipade tõlgendamine, nende seostamine pildipiirkondadega, sügavuse hindamine ja 3D-kastide loomine.

Väline tarkvara võib mudeli väljundeid loomulikult kasutada suuremas robootika-, liitreaalsus- või arvutinägemise töövoos. See on rakendustaseme integratsioon, mitte kontrollpunkti enda sisseehitatud tööriista- või funktsioonitugi.

Parimad kasutusjuhud

WildDet3D on hea kandidaat siis, kui keskne probleem on avatud sõnavaraga 3D-taju piltidelt. Sobivad kasutusjuhud on järgmised:

• avatud maailma objektituvastuse ja ruumilise intelligentsuse uurimine
• robootikakatsed, kus on vaja objektide ligikaudseid 3D-asukohti
• monokulaarse kaamerasisendiga liitreaalsuse prototüübid
• teksti-, punkti- või 2D-tuvastusviipade teisendamine 3D-kastideks
• viibastatava tuvastuse võrdlemine eri objektikategooriate puhul
• valikulise sügavusinfo ja kaamera kalibreerimise mõju uurimine monokulaarsele 3D-lokalisatsioonile

See sobib halvemini tootmisrakendusse, mis vajab väikest, kiiret ja hallatud järeldus-API-t, prognoositavat latentsust või garanteeritud saadavust. Tavapärane spetsialiseeritud detektor võib olla eelistatav siis, kui objektikategooriad on fikseeritud ja läbilaskevõime on avatud maailma viipadest olulisem. Majutatud arvutinägemisteenus võib olla parem valik siis, kui meeskond ei soovi hallata CUDA sõltuvusi ega GPU-taristut. Multimodaalne keelemudel sobib paremini siis, kui vajalik tulemus on selgitus, kood, dokumendianalüüs või vestluslik töövoog, mitte meetrilised 3D-kastid.

Millal valida WildDet3D?

Valige WildDet3D siis, kui vajate uuritavat teadusmudelit, mis suudab ühendada paindlikud viibad ja ühe pildi põhise 3D-objektide lokalisatsiooni. Selle kõige eripärasem väärtus seisneb avatud maailma viipade, monokulaarse sisendi ja allalaaditavate kaalude kombinatsioonis. Mudel muutub veelgi atraktiivsemaks, kui saate esitada sügavus- või kaamerateavet ning teil on suure kontrollpunkti kohalikuks käitamiseks vajalik riistvara ja arendusressurss.

Valige mõni muu lahendus siis, kui prioriteediks on väikese kuluga majutatud järeldamine, suur ja prognoositav kiirus, kompaktne juurutus, keeleline suhtlus või meedia genereerimine. WildDet3D-d tuleks käsitleda spetsialiseeritud ruumitaju komponendina, mitte üldise tehisintellekti assistendi või universaalse nägemis-API asendusena.