SenseNova-MARS-32B

Mis on SenseNova-MARS-32B?

SenseNova-MARS-32B on SenseTime’i avatud kaaludega multimodaalne visiooni-keele mudel. Praktilises mõttes on see loodud pilte tõlgendama ja mitme etapi jooksul kogutud teabe põhjal järeldusi tegema. Tavaline visiooni-keele mudel võib vastata saadud pikslite põhjal. SenseNova-MARS-32B on mõeldud keerukamateks juhtudeks, kus süsteem peab tuvastama visuaalse detaili, otsima toetavat teavet, uurima teist pilti ja seejärel ühendama tulemused lõplikuks tekstiliseks vastuseks.

Mudel kuulub SenseTime’i SenseNova-MARS-i projekti ning see on avaldatud ametlikes OpenSenseNova repositooriumides. Täpne kontrollpunkt on Hugging Face’is saadaval kujul sensenova/SenseNova-MARS-32B. Selle repositooriumis on märgitud MIT-litsents ning avaldatud materjalid sisaldavad juurutusvõimalusi Hugging Face Transformersi, vLLM-i ja SGLangi jaoks.

„Avatud kaaludega“ tähendab, et sobiva taristuga kasutajad saavad mudeli kaalud alla laadida ja seda ise käitada. See ei tähenda, et SenseTime pakuks selle konkreetse kontrollpunkti jaoks tasuta majutatud API-t, hallatavat otsinguteenust või tarbijarakendust. Need osad peab tagama juurutuskeskkond.

Eesmärk ja positsioon SenseNova mudelivalikus

SenseNova-MARS-32B-l on SenseTime’i praeguses mudelikataloogis spetsialiseeritud roll. Seda ei esitleta üldotstarbelise tarbijatele mõeldud vestlusrobotina ega piltide, video, heli või kõne genereerimise mudelina. Selle fookus on agendipõhine visuaalne arutlus: visiooni-keele mudeli kasutamine koos tööriistade ja väliste teabeallikatega.

Mudel on eriti asjakohane arendajatele ja teadlastele, kes loovad visuaalse uurimise süsteeme. Näiteks võiks rakendus paluda mudelil tuvastada fotol oleva logo, lõigata välja asjakohase piirkonna, otsida logo või organisatsiooni kohta teavet, teha täiendava konteksti leidmiseks tekstipäringu ning koostada tõenduspõhise vastuse. Mudeli ülesanne on sisendeid tõlgendada, otsustada, kuidas töövoog peaks jätkuma, ja genereerida tekstiline tulemus. Otsingu käivitamiseks ja piltide kärpimiseks on vaja ümbritsevat tarkvara.

SenseTime kirjeldab projekti kui lahendust, milles kasutatakse tugevõpet põimitud visuaalse arutluse ja tööriistade kasutamise parandamiseks. Projekti dokumentatsioon tutvustab mitmeastmelise tööriistu kasutava arutluse treenimise stabiliseerimiseks Batch-Normalized Group Sequence Policy Optimizationi ehk BN-GSPO-d. Need on projekti tehnilise lähenemise kirjeldused, mitte tagatised, et iga juurutus saavutab sobivate tööriistade määratluste ja viipamiseta sama käitumise.

Toetatud sisendid ja väljundid

SenseNova-MARS-32B võtab vastu teksti ja visuaalset teavet. Avaldatud näidetes kasutatakse pildi ja teksti kombinatsiooniga sisendit, konfiguratsioon sisaldab aga ka pildi- ja videotöötluse seadeid. Mudeli peamine väljund on tekst: vastused, arutluskäik ja tööriistadele suunatud juhised.

Multimodaalset sisendit ei tohiks segi ajada multimodaalse väljundiga. SenseNova-MARS-32B suudab vastu võtta visuaalset teavet, kuid ei loo loomupäraselt pilte, videoid, heli, muusikat ega kõnet.

Arutlus ja tööriistade kasutamine

Mudeli peamine eripära on mitmeastmelise tööriistade abil toetatud visuaalse arutluse võimalus. SenseNova-MARS-i projekt toob esile kolm olulist tööriistakategooriat: tekstotsing, pildiotsing ja pildi kärpimine. Neid tööriistu saab kasutada järjestikuse töövoona, mitte ainult eraldiseisvate funktsioonidena.

Kasulik töövoog võib alata fotost, millel on väike või osaliselt varjatud objekt. Mudel saab tuvastada tõenäolise objekti, paluda asjakohase piirkonna välja lõigata, kasutada visuaalselt sarnaste näidete leidmiseks pildiotsingut ning taustateabe hankimiseks tekstotsingut. Seejärel saab ta ühendada tähelepanekud ja leitud materjali lõplikuks vastuseks. Seetõttu sobib kontrollpunkt visuaalse süvaotsingu süsteemidele, uurimisabilistele, dokumentide uurimisele ja pildipõhisele küsimustele vastamisele.

Tööriistade kasutamine ei ole siiski sama mis sisseehitatud veebijuurdepääs. Allalaaditud kaalud ei sisalda iseseisvalt otsinguindeksit, brauserit, pildiotsingu pakkujat ega ajakohase teabe teenust. Arendaja peab ühendama ühilduvad tööriistad, määratlema nende liidesed, käivitama kutsed ja edastama tulemused mudelile. Seetõttu ei tohiks mudelit kirjeldada kui esimese osapoole veebiotsingu API-ga või automaatselt ajakohaste teadmistega süsteemi.

Konteksti pikkus ja juurutusnõuded

Avaldatud konfiguratsioon määrab teksti maksimaalseks positsioonipikkuseks 262,144 tokenit. See on mahukas kontekstiaken, mis võimaldab ühendada pikki juhiseid, leitud teksti, visuaalse analüüsi etappe ja vahepealseid tööriistatulemusi. Seda ei tohiks tõlgendada iga pildi- või videosisendi garanteeritud maksimaalse mahuna, sest praktilised piirangud sõltuvad ka teenindusraamistikust, pilditöötluse konfiguratsioonist, saadaolevast mälust ja ümbritsevast rakendusest.

Täpse SenseNova-MARS-32B kontrollpunkti kohta ei tuvastatud teenusepakkuja avaldatud maksimaalset väljundtokenite piirangut. Sama kehtib täpse teadmiste lõppkuupäeva kohta. Väline otsing võib töövoo ajal pakkuda uuemat teavet, kuid see ei muuda mudeli aluseks olevaid treeningandmetest pärinevaid teadmisi.

Avaldatud safetensors-mudeli repositoorium on ligikaudu 66,7 GB. Seetõttu vajab lokaalne käitamine märkimisväärset GPU-mälu või hajutatud järeldamist. Projekti dokumentatsioon kirjeldab treenimise ja hindamise taristu jaoks ka nõudlikke mitme GPU-ga H100 konfiguratsioone. Järeldamise nõuded varieeruvad sõltuvalt kvantimisest, pakktöötlusest, jada pikkusest, pilditöötlusest ja teeninduskonfiguratsioonist, kuid mudel on selgelt suunatud pigem spetsiaalse riistvaraga organisatsioonidele kui tavalistele tarbijasülearvutitele või telefonidele.

Avaldatud võrdlustulemused

SenseTime’i andmetel saavutab SenseNova-MARS-32B MMSearchis tulemuse 74,3 ja HR-MMSearchis 54,4. Mudelit hinnati otsingule suunatud ja peene visuaalse mõistmise võrdlustestides, sealhulgas MMSearchis, HR-MMSearchis, FVQA-s, InfoSeekis, SimpleVQA-s ja LiveVQA-s. SenseTime’i teadaandes on esile tõstetud multimodaalse otsingu ja arutluse võrdlustestide keskmine tulemus 69,74.

Need näitajad on teenusepakkuja esitatud tulemused, mitte sõltumatud garantiid. Tulemused võivad sõltuda viipadest, tööriistade kättesaadavusest, otsingu konfiguratsioonist, piltide eeltöötlusest, hindamisprotokollidest ja taristust. Need näitavad, et mudel on suunatud visuaalse otsingu ja arutluse ülesannetele; need ei tõesta, et see on parim valik iga keele-, kodeerimis-, genereerimis- või väikese latentsusega töökoormuse jaoks.

Tugevused ja kompromissid

• Visuaalse süvaotsingu fookus: mudel on loodud ülesanneteks, kus visuaalne tõlgendamine ja välise teabe hankimine peavad koos toimima.
• Piltide peenanalüüs: pildi kärpimise ja pildiotsingu töövood on kasulikud siis, kui oluline tõendusmaterjal hõlmab suurest pildist vaid väikest osa.
• Avatud kaaludega juurutus: organisatsioonid saavad kontrollpunkti alla laadida ja teeninduskeskkonda ise hallata, selle asemel et sõltuda ühest majutatud lõpp-punktist.
• Avaldatud pikk kontekst: 262 144 tokeni pikkune tekstipositsioon võimaldab töödelda mahukat leitud materjali ja mitmeastmelise suhtluse ajalugu.
• Paindlikud teenindusvõimalused: ametlikud näited hõlmavad Transformersi, vLLM-i ja SGLangi.
• Taristu kulu: mudeli suurus ja riistvaranõuded muudavad selle käitamise väiksematest mudelitest aeglasemaks ja kallimaks, eriti pikkade kontekstide või mitme tööriistakutse korral.
• Rakenduse keerukus: otsing ja kärpimine vajavad orkestreerimiskihti. Mudeli kaaludest üksi ei piisa täieliku uurimisabilise loomiseks.

Toimetuslikust vaatenurgast on selle arutluse ja tööriistade kasutamise positsioneerimine tugevam kui sobivus kiireks ja odavaks üldotstarbeliseks järeldamiseks. Kättesaadav uurimus annab arutluse skooriks 8, kodeerimise skooriks 6, kiiruse skooriks 4 ja kulu skooriks 7; need on toimetuslikud hinnangud, mitte SenseTime’i avaldatud reitingud. Kodeerimine ei ole mudeli peamine spetsialiteet ning ükski esitatud võrdlustest ei tõesta, et tegemist oleks juhtiva kodeerimismudeliga.

Hind ja kättesaadavus

Täpse SenseNova-MARS-32B kontrollpunkti jaoks ei tuvastatud teenusepakkuja majutatud sisendi- ega väljundihinda. See on saadaval avatud kaaludega mudelina ametlikes SenseNova GitHubi ja Hugging Face’i repositooriumides, mitte dokumenteeritud avaliku tokenipõhise API-na. Seega sõltub otsene rahaline kulu riistvarast, majutusest, elektrist, salvestusruumist, arendustööst ja kasutatavast kolmanda osapoole järeldamisteenusest.

Mudel avaldati 29. jaanuaril 2026. Esitatud uurimuses kirjeldatakse seda praeguse avatud kaaludega mudelina ning ametlikku kasutuselt kõrvaldamise või sulgemise kuupäeva ei leitud. MIT-litsents lubab laialdast kasutust, järgides litsentsi kohaldatavaid tingimusi ning mudeli ja väliste tööriistade käitamisega seotud kohustusi.

Parimad kasutusjuhud

• Visuaalse uurimise süsteemid, mis ühendavad pildid teksti ja välise otsinguga.
• Fotode, toodete, logode, dokumentide ja keerukate stseenide üksikasjalik analüüs.
• Mitmeastmeline visuaalne küsimustele vastamine, mis vajab pildikärpeid ja leitud tõendusmaterjali.
• Ise majutatavad ettevõtete või akadeemilised rakendused, kus kontroll mudeli kaalude ja andmetöötluse üle on oluline.
• Tugevõppe, agendipõhise arutluse ja tööriistu kasutavate multimodaalsete mudelite uurimine.
• Rakendused, mis suudavad pakkuda oma tekstotsingu, pildiotsingu ja pilditöötluse taristut.

Millal valida SenseNova-MARS-32B?

Vali SenseNova-MARS-32B siis, kui keskne probleem hõlmab visuaalseid tõendeid, üksikasjalikku pilditõlgendust ja järjestikuseid väliste tööriistade kutseid. See sobib eriti hästi juhul, kui meeskond suudab hallata mahukat GPU-taristut ja soovib avatud kaaludega mudelit, mida saab integreerida kohandatud visuaalse otsingu töövoogu.

Väiksem või majutatud mudel võib olla sobivam siis, kui madal latentsus, lihtne juurutus, prognoositav päringupõhine hind või tavaline tekstivestlus on olulisem kui põhjalik visuaalne uurimine. Piltide loomiseks on parem valik spetsiaalne pildigeneratsiooni mudel, loomuliku kõneväljundi jaoks on vaja kõne- või audiomudelit. Samuti ei tohiks hallatavat veebiotsingu teenust vajav rakendus eeldada, et SenseNova-MARS-32B pakub seda automaatselt.

Selle kõige olulisem praktiline kompromiss on võimekus võrreldes käituskuluga: mudel on loodud keerukate visuaalse otsingu ülesannete üle arutlema, kuid see spetsialiseerumine tähendab suurt allalaadimist, nõudlikku riistvara, tõenäoliselt aeglasemat järeldamist ning vajadust tööriistakiht ise luua või seda hooldada. Meeskondadele, kes on valmis neid nõudeid haldama, pakub see keskendunud avatud kaaludega alust visuaalsete agendisüsteemide loomiseks. Kasutajatele, kes otsivad kohe kasutusvalmis abilist või lihtsat API-t, võib paremini sobida teist tüüpi mudel või teenus.

Olulised piirangud ja teadmata asjaolud

Esitatud ametlikud materjalid ei täpsusta selle kontrollpunkti täpset teadmiste lõppkuupäeva, maksimaalset väljundtokenite arvu, majutatud API hinda, loomupärast struktureeritud väljundi garantiid, peenhäälestuse tuge ega esimese osapoole veebiotsingu API-t. Need väärtused peaksid jääma teadmata, mitte olema tuletatud mudeli konteksti pikkusest, repositooriumi näidetest või ühendatud tööriistadest.

Ka võrdlustulemusi tuleks tõlgendada ettevaatlikult, sest mudeli väidetavad tugevused sõltuvad hindamise ülesehitusest ja tööriistataristust. Mudeli saab ühendada ajakohaste otsingusüsteemidega, kuid leitud teave võib olla puudulik, ebatäpne või pildiga halvasti sobituda. Suure mõjuga uurimis- ja otsustusprotsessides on endiselt oluline inimeste kontroll ning rakenduse tasandi kaitsemeetmed.