Mis on Qwen-Drive-1.0?
Qwen-Drive-1.0 on avatud visuaal-keeleline alusmudel, mis on loodud spetsiaalselt autonoomse sõidu uurimiseks. Selle pakuvad välja Qweni meeskond ja Huazhongi teaduse ja tehnoloogia ülikool ning see on avaldatud Apache 2.0 litsentsi alusel. See ei ole üldotstarbeline vestlusmudel ega täielik isejuhtimise tarkvarakomplekt, vaid ühendab visuaalse mõistmise, 3D-stseeni tajumise ja liikumise planeerimise ühtseks uurimisraamistikuks.
Mudel põhineb mudelil Qwen3.5-4B, mis suudab töödelda visuaalset ja tekstilist teavet. Qwen-Drive-1.0 lisab sellele alusele eriülesannete jaoks mõeldud komponendid: linnulennuvaate ehk BEV-tajumooduli 3D-sõidukeskkonna tõlgendamiseks ning eraldi Planning Experti, mis ennustab ego-sõiduki ehk süsteemi kandva sõiduki edasist liikumist.
Selline ülesehitus muudab Qwen-Drive-1.0 kasulikuks kehastatud tehisintellekti, sõidustseenide mõistmise, visuaalsete sõiduassistentide, simulatsiooni ja planeerimise hindamise katsetes. Mudeli väljundid ei piirdu tekstiga. Töörežiimist sõltuvalt võib see anda tekstivastuseid, struktureeritud tajuprognoose ning tulevase trajektoori või tegevuse signaale.
Kuidas mudel on üles ehitatud
Qwen-Drive-1.0 jätab eeltreenitud Qwen3.5-4B visuaal-keelelise arhitektuuri muutmata ning ühendab sellega autonoomse sõidu jaoks mõeldud lisamoodulid. See eristus on oluline: alusmudel pakub multimodaalset mõistmist, tajumise ja planeerimise komponendid aga võimaldavad kasutada spetsialiseeritumaid sõidufunktsioone.
Jagatud töövoog suudab töödelda sõidupilte, mitme vaatega pilte, ajalisi pildijadasid ja üldisi visuaalseid sisendeid. Linnulennuvaate ehk BEV-tajumoodul teisendab jagatud esitused ümbritseva stseeni ülaltvaates kirjelduseks. Praktikas aitavad BEV-väljundid kirjeldada, kus objektid sõiduki ümber paiknevad, millised alad on hõivatud ja kuidas teekorraldus on üles ehitatud.
Tajumoodul toetab ühiselt kolme dokumenteeritud ülesannet:
- 3D-objektituvastus: objektide ja nende asukoha tuvastamine kolmemõõtmelises sõidukeskkonnas.
- Semantilise hõivatuse ennustamine: sõiduki ümber olevate piirkondade hõivatuse ja tähenduse hindamine.
- BEV-kaardi segmenteerimine: tee- ja kaardielementide märgendamine linnulennuvaate põhjal.
Planeerimise eest vastutab eraldi Planning Expert. Väljalase sisaldab imitatsiooniõppega planner-sft komponenti ja tasu optimeerimisega treenitud planner-rl komponenti. Dokumenteeritud Planning Expert on eraldiseisev 1,0 miljardi parameetriga võrk, mis kasutab tulevaste ego-sõiduki trajektooride genereerimiseks flow matching'u meetodit. Tekstipõhist arutlust võib kasutada valikulise planeerimistingimusena.
Mida Qwen-Drive-1.0 teha suudab?
Visuaalsetele küsimustele vastamine
Visuaalsetele küsimustele vastamise režiimis vastab Qwen3.5-4B visuaal-keeleline alusmudel vabalt sõnastatud küsimustele piltide või sõidustseenide kohta. Kasutaja võib näiteks küsida, millised objektid on nähtavad, kas mõni teepiirkond paistab olevat hõivatud või mis toimub konkreetses stseenis. See režiim sarnaneb pigem multimodaalse stseeni tõlgendamise kui otsese sõiduki juhtimisega.
Mudel suudab töödelda ka visuaalse sisendiga seotud tekstilist arutlust. Esitatud uurimus ei määra siiski kindlat arutlustokenite piirangut, ametlikku arutlusvõimekuse võrdlustesti ega garanteeritud samm-sammulise mõttekäigu liidest. Seetõttu tuleks selle arutlusvõimet mõista ülesandepõhise visuaalse ja tekstilise järeldamisena, mitte eraldi mõõdetud üldise arutlusvõime tootena.
3D-tajumine
Tajurežiim pakub sõidukeskkonna spetsiifilist 3D-teavet objektituvastuse, semantilise hõivatuse ja BEV-kaardi segmenteerimise kaudu. See sobib autonoomse sõidu katseteks paremini kui üldine pildi-keele mudel, mis üksnes kirjeldab pilti sõnadega.
Kuna need väljundid sõltuvad tajumoodulist ja esitatud stseeniandmetest, ei tohiks eeldada, et ainuüksi Qwen3.5-4B alusmudel pakub kõiki dokumenteeritud 3D-funktsioone. Avaldatud pakett eraldab visuaal-keelelise alusmudeli tajumise ja planeerimise kataloogidest.
Liikumise planeerimine
Planeerimisrežiim genereerib tulevasi ego-sõiduki trajektoore. Dokumenteeritud konfiguratsioon ennustab 10 Hz sagedusel 50 tulevast teepunkti, mis vastab viiesekundilisele trajektoorile. Iga teepunkt sisaldab asukoha- ja suunateavet, andes süsteemile jada, mida saab simulaatoris hinnata või uurimisvoogudes kasutada.
Kaks planeerija varianti kasutavad erinevaid treenimisviise. Juhendatud õppega planner-sft komponent toetab otsest ja arutluspõhist planeerimist, samas kui tugevdusõppega optimeeritud planner-rl komponent on mõeldud arutlusest tingitud planeerimiseks. Need nimetused kirjeldavad avaldatud komponente; need ei tähenda, et kumbki planeerija oleks valmis sõidukit teel juhtima ilma täiendava ohutuse, valideerimise ja süsteemitehnika tööta.
Toetatud sisendid ja väljundid
Qwen-Drive-1.0 on sisendina multimodaalne. Esitatud dokumentatsioon kirjeldab visuaalsete ja tekstiliste sisendite, sealhulgas sõidupiltide, mitme vaatega piltide ja ajaliste pildijadade tuge. Mudelit ei ole kirjeldatud heli- või videogenereerimise süsteemina ning olemasolev uurimus ei kinnita loomulikku helisisendit ega videofailide töötlemist eraldi modaalsusena.
Selle väljunditüübid on standardse ainult tekstil põhineva keelemudeli omadest spetsialiseeritumad:
- Tekst: vastused visuaalsete ja sõiduga seotud küsimustele, sealhulgas valikuline tekstiline arutlus.
- Tajuprognoosid: 3D-tuvastused, semantilise hõivatuse tulemused ja BEV-kaardi segmenteerimine.
- Trajektoori- ja tegevusväljundid: tulevased ego-sõiduki teepunktid, mis sisaldavad asukoha- ja suunateavet.
See ei genereeri loomupäraselt pilte, heli, muusikat ega videot. Uurimus ei kinnita ka üldotstarbelist funktsioonikutsungite liidest, veebotsingut, standardiseeritud JSON-režiimi ega majutatud tööriistakasutuse API-t. Tajumise ja trajektoori väljundid on ülesandespetsiifilised mudelitulemused, mitte tõend üldise agendiraamistiku kohta.
Piirangud, hind ja kasutuselevõtt
Esitatud mudeliteave ei sisalda autoriteetset kontekstiakna piirangut ega teksti maksimaalse väljundipikkuse tokenipiirangut. Kasutajad ei tohiks eeldada, et Qwen-Drive-1.0-l on samad piirangud nagu majutatud Qweni API-tootel. Sisendimaht sõltub ka valitud järeldusmeetodist, pildi- või jadavormingust, saadaolevast mälust ja kasutatavast ülesandespetsiifilisest komponendist.
Qwen-Drive-1.0 levitatakse allalaaditavate kaalude ja järelduskoodina, mitte eraldi hinnastatud mõõdetud kasutusega majutatud API-mudelina. Seetõttu ei ole teatamiseks kinnitatud sisendihinda, väljundihinda, kuutellimust ega päringupõhist tasumäära. Hugging Face'i pakett sisaldab ligikaudu 9,1 GB suurust visuaal-keelelist alusmudelit ning eraldi planeerimise ja tajumise katalooge. See allalaadimismaht ei ole kasutuskulu hinnang: kohalik järeldamine sõltub endiselt riistvarast, mälust, salvestusruumist ja käituskeskkonna konfiguratsioonist.
Ametlik projekt kirjeldab töövooge, mis kasutavad Transformersit, vLLM-i ja SGLangiga ühilduvat teenindust koos projekti enda järelduskoodiga. Need võimalused võivad aidata mudelit uurimistaristusse lõimida, kuid esitatud teave ei kinnita hallatava Qwen-Drive'i lõpp-punkti, teenusetaseme lepingut ega tootetoe kohustust.
Tugevused ja kompromissid
Qwen-Drive-1.0 kõige selgem tugevus on selle fookus. See ei ole lihtsalt visuaal-keeleline mudel, millel palutakse teepilte kirjeldada. Selle avaldatud komponendid tegelevad otseselt 3D-tajumise ja tulevase liikumise planeerimisega, võimaldades uurijatel analüüsida, kuidas visuaal-keelelised esitused seostuvad sõiduspetsiifiliste väljunditega.
Avatud Apache 2.0 litsents on veel üks praktiline eelis uurimisrühmadele, kes vajavad allalaaditavaid kaalusid ja järelduskoodi. See võimaldab kohalikku katsetamist ilma päringupõhise API-hinnata, kuigi meeskonnad vastutavad endiselt arvutus- ja juurutuskulude eest. Modulaarne ülesehitus lihtsustab ka alusmudeli eristamist tajumise ja planeerimise komponentidest.
Sellega kaasnevad olulised kompromissid. Spetsialiseeritud sõidumudel ei asenda hästi üldist kodeerimisabilist, üldotstarbelist arutlusmudelit ega tavapärast majutatud API-t, kui need on peamised vajadused. Esitatud toimetuslik hinnang peab selle sobivust kodeerimiseks väikeseks, sest kodeerimine ei kuulu mudeli põhieesmärgi hulka. Ka kiirus ja kulu sõltuvad suuresti kohalikust riistvarast ning valitud planeerimis- või tajutöövoost; otseseks API-võrdluseks ei ole majutatud teenuse latentsuse ega hinna spetsifikatsiooni.
Mudeli väljundid sõltuvad samuti kaamerate konfiguratsioonist, kalibreerimisandmetest, stseeni esitusviisist, käitamisriistvarast ja ülesandespetsiifilistest moodulitest. Projekti dokumentatsioon nimetab tekstilise arutluse ja genereeritud trajektooride kooskõla valdkonnaks, mida tuleb veel parandada. See on eriti oluline mudeli puhul, mis suudab stseeni selgitada ja samal ajal trajektoori pakkuda: usutav tekst ei kinnita iseenesest vastava liikumisplaani ohutust ega õigsust.
Millal valida Qwen-Drive-1.0?
Vali Qwen-Drive-1.0 siis, kui projekt vajab autonoomse sõidu tajumisele ja planeerimisele keskenduvat avatud mudelit, mitte üldist vestlusrobotit või majutatud multimodaalset API-t. See sobib eriti hästi järgmisteks eesmärkideks:
- sõidustseenide visuaalsetele küsimustele vastamise uurimine;
- 3D-objektituvastuse, hõivatuse või BEV-kaardi segmenteerimise katsetamine;
- tulevaste ego-sõiduki trajektooride simulatsioonipõhine hindamine;
- arutlusest tingitud liikumise planeerimise uurimine;
- kehastatud tehisintellekti projektid, mis vajavad allalaaditavaid multimodaalseid kaalusid ja ülesandespetsiifilisi väljundeid.
Mõni teist tüüpi lahendus võib olla sobivam, kui prioriteediks on üldine kodeerimine, ulatuslik tööriistade lõimimine, prognoositav majutatud teenuse latentsus, lihtne päringupõhine arveldamine või tootetugi. Üldine multimodaalne API on tõenäoliselt tavapäraste pildi- ja küsimusvastuste ning rakenduste arendamise jaoks lihtsam, samas kui spetsialiseeritud robootika- või autonoomse sõidu tarkvarakomplekt võib pakkuda küpsemaid liideseid, kalibreerimise haldust, ohutuskontrolle ja sõidukiga lõimimise tööriistu.
Qwen-Drive-1.0 ei tohiks käsitleda täieliku tootmisküpse autonoomse sõidu süsteemina. Samuti ei ole see ohutussertifikaadiga sõiduki juhtimise tarkvara. Igasugune kasutus päris sõidukites eeldaks ulatuslikku valideerimist, redundantseid anduri- ja juhtimissüsteeme, tööohutuse meetmeid ning nõuetele vastavuse tööd, mis ulatub mudeliväljalaskest kaugemale.
Praktiline hinnang
Qwen-Drive-1.0 paikneb Qweni tootevalikus spetsialiseeritud kohal: see on avatud ja teadustööle suunatud sõidumudel, mis põhineb Qwen3.5-4B-l ning mida on laiendatud tajumise ja planeerimise ekspertidega. Selle väärtus seisneb visuaal-keelelise mõistmise ühendamises selgete 3D- ja trajektooriväljunditega, mitte üldotstarbelises keele- või kodeerimisvõimekuses.
Uurijatele, kes saavad käitada allalaaditavaid kaalusid ja soovivad uurida seoseid stseeni mõistmise, BEV-tajumise, arutluse ja liikumise planeerimise vahel, pakub see väljalase head fokuseeritud lähtepunkti. Kasutajatele, kes otsivad lihtsat majutatud teenust, kindlat konteksti- ja väljundilepingut või tootmiskõlblikku autonoomse sõidu kontrollerit, ei anna olemasolev teave alust selliste ootuste püstitamiseks.