Mis on STEP3-VL-10B?
STEP3-VL-10B on StepFuni arendatud avatud kaaludega visuaal-keelemudel. Visuaal-keelemudel suudab töödelda enamat kui tavalist teksti; käesoleval juhul on dokumenteeritud sisenditeks tekst ja pildid. Seejärel genereerib mudel teksti, võimaldades kirjeldada visuaalset sisu, vastata pildi kohta käivatele küsimustele, eraldada dokumentidest teavet, arutleda ruumiliste suhete üle või kasutada visuaalset konteksti koodi genereerimisel.
Mudelil on ligikaudu 10 miljardit parameetrit. Selle arhitektuur ühendab 1,8 miljardi parameetriga tajukodeerija ja Qwen3-8B keeledekooderi. Praktilises mõttes töötleb tajukomponent visuaalset teavet, samal ajal kui keelekomponent tõlgendab seda teavet ja koostab vastuse. StepFun positsioneerib mudelit avatud kaaludega alternatiivina kasutajatele, kes soovivad multimodaalset mudelit oma taristus käitada ja kohandada, selle asemel et sõltuda tasulisest majutatud lõpp-punktist.
Kanooniline vestlusmudeli väljalase on avaldatud kujul stepfun-ai/Step3-VL-10B. StepFun avaldab ka baasmudeli versiooni ja FP8-kvantiseeritud variandi. Esitatud mudelidokumentatsiooni kohaselt on vestlusmudel välja antud Apache 2.0 litsentsi alusel.
Eesmärk ja positsioneerimine
STEP3-VL-10B on mõeldud visuaalse mõistmise ja arutlusülesannete jaoks, mis nõuavad enamat kui lihtsat pildi kirjeldamist. Dokumentatsioonis nimetatud kasutusvaldkondade hulka kuuluvad visuaalne tajumine, keerukas arutlemine, OCR, maandamine, loendamine, GUI-ga suhtlemine, ruumiline mõistmine, dokumentide analüüs, matemaatika ja kodeerimisega seotud ülesanded.
Selle peamine eripära on avatud kaalude, pildi- ja tekstisisendi ning selgesõnaliste arutlusrežiimide kombinatsioon. Seetõttu on see asjakohane meeskondadele, kes hindavad lokaalselt juurutatavaid multimodaalseid süsteeme, visuaalset arutlemist uurivatele teadlastele ning arendajatele, kes loovad piltide kohta küsimustele vastamise või dokumentide tõlgendamise rakendusi. Seda ei esitleta üldotstarbelise meedialoome mudelina ning see ei genereeri algupäraselt pilte, heli ega videot.
Arhitektuur ja arutlusrežiimid
StepFun kirjeldab treeningut, mis hõlmab ühtset multimodaalset eeltreeningut, juhendatud peenhäälestust ja enam kui 1400 tugevdusõppe iteratsiooni. Need on teenusepakkuja esitatud treeninguandmed, mitte garantii, et iga rakendus saavutab avaldatud hindamistulemustega samad tulemused.
Mudel toetab kahte dokumenteeritud arutlusviisi:
- SeRe: järjestikune arutlemine, mille puhul töötleb mudel vastust tavapärase samm-sammulise järeldusprotsessi kaudu. Selle režiimi dokumenteeritud maksimaalne jadapikkus on 64K tokenit.
- PaCoRe: paralleelne koordineeritud arutlemine, mis koondab tõendid 16 paralleelsest läbimisest. Dokumenteeritud maksimaalne konteksti pikkus on 128K tokenit.
PaCoRe võib mõne keeruka arutlusülesande tulemusi parandada, kuna võtab arvesse mitut läbimist, kuid see nõuab ka rohkem arvutusressursse kui üks tavaline genereerimine. Seetõttu ei tohiks pikka kontekstiakent tõlgendada väikese kulu või suure kiiruse lubadusena. Tegelik mäluvajadus ja läbilaskevõime sõltuvad valitud režiimist, pildisisenditest, täpsusest, serveerimisraamistikust ja riistvarast.
Mida mudel teha suudab?
Piltide mõistmine ja küsimustele vastamine: STEP3-VL-10B suudab vastu võtta pildi koos tekstilise viibaga ning genereerida tekstilise tõlgenduse või vastuse. Näited kasutusest on stseenis olevate objektide kohta küsimine, visuaalsete elementide võrdlemine, diagrammi selgitamine või ekraanipildi kohta küsimustele vastamine.
OCR ja dokumentide mõistmine: OCR võimaldab mudelil piltidel olevat teksti ära tunda. Mudel on mõeldud dokumentides, ekraanipiltidel ja muudes visuaalsetes sisendites leiduva teksti väljavõtmiseks ning selle põhjal arutlemiseks. Selle roll võib ulatuda transkribeerimisest kaugemale, sest sama mudel suudab vastata tuvastatud sisu kohta käivatele küsimustele või seostada teksti ümbritseva paigutusega.
Maandamine ja GUI-ga suhtlemine: Maandamine tähendab keeleliste juhiste või kirjelduste sidumist pildil olevate asukohtade ja elementidega. See on kasulik kasutajaliideste ekraanipiltide, visuaalse navigeerimise ja ülesannete puhul, mis nõuavad objekti asukoha tuvastamist. Esitatud uuringus nimetatakse GUI-ga suhtlemist ja maandamist mudeli sihtvõimekustena, kuid see ei kinnita eraldiseisva tootmiskõlbliku arvutikasutuse ega autonoomse agendi liidest.
Matemaatiline ja visuaalne arutlemine: Mudel on loodud keerukate matemaatika- ja multimodaalse arutlemise ülesannete lahendamiseks. See võib tekstilise vastuse koostamisel kasutada visuaalset teavet, näiteks diagramme, graafikuid või pildistatud ülesandeid.
Kodeerimine: Kodeerimine on üks mudeli dokumenteeritud sihtvaldkondi, eriti juhul, kui koodiga seotud küsimused sisaldavad visuaalset konteksti, näiteks ekraanipilte, kasutajaliideseid, diagramme või renderdatud väljundit. Seda tuleks mõista multimodaalse kodeerimisabina, mitte tõendina spetsiaalse tarkvaraarenduse agendi kohta, millel on repositooriumihaldus või tööriistade käivitamise võimalus.
Avaldatud võrdlustulemused
StepFun teatab standardse järjestikuse arutlusrežiimi kohta järgmised tulemused: MMMU-l 78.11, MathVistal 83.97, OCRBenchil 86.75 ja LiveCodeBenchil 75.77. Avaldatud PaCoRe tulemused hõlmavad AIME 2025 tulemust 94.43 ja LiveCodeBenchi tulemust 76.43.
Need arvud pärinevad teenusepakkuja esitatud võrdlustulemustest ning neid tuleks võrrelda ettevaatlikult. PaCoRe kasutab 16 paralleelset läbimist, mistõttu ei ole selle skoorid otseselt võrreldavad tavalise ühe läbimisega järeldusrežiimiga. Tulemused võivad erineda ka viiba vormingu, pildi eeltöötluse, dekodeerimisseadete, riistvara ja hindamise teostuse tõttu. Seetõttu tuleks võrdlusarve käsitleda mudeli hinnatud profiili tõendina, mitte universaalse jõudlusgarantiina.
Kontekst, sisendid ja väljundid
Mudel võtab vastu teksti ja pilte ning genereerib teksti. Esitatud spetsifikatsioonides on maksimaalseks konteksti pikkuseks märgitud 128 000 tokenit ja maksimaalseks väljundiks 64 000 tokenit. 128K suurune näitaja on seotud PaCoRe konfiguratsiooniga, samal ajal kui SeRe puhul on dokumenteeritud maksimaalne jadapikkus 64K tokenit. Need on ülempiirid, mitte kõigi juurutuste jaoks soovituslikud seaded.
| Võimekus | Dokumenteeritud tugi |
|---|---|
| Tekstisisend | Jah |
| Pildisisend | Jah |
| Helisisend | Dokumenteerimata |
| Videosisend | Dokumenteerimata |
| Tekstiväljund | Jah |
| Pildi-, heli- või videoväljund | Algupärast genereerimist ei ole dokumenteeritud |
| Maksimaalne kontekst | PaCoRe dokumentatsiooni kohaselt kuni 128K tokenit |
| Maksimaalne väljund | Esitatud spetsifikatsioonide kohaselt kuni 64K tokenit |
Ametlikud näited hõlmavad lokaalset järeldamist Transformersi, vLLM-i ja SGLangi abil. Esitatud uuringus ei kinnitata eraldi majutatud API-t avaliku tokenipõhise hinnastusega ega dokumenteerita tööriistade kutsumist, funktsioonikutsungeid, voogedastust, peenhäälestust, vahemällu salvestamist, pakett-API juurdepääsu ega spetsiaalset JSON-režiimi. Neid võimalusi ei tohiks eeldada pelgalt seetõttu, et mudel suudab teksti genereerida.
Hinnastamine ja juurutamine
Vaadatud materjalides ei ole STEP3-VL-10B sisend- ega väljundtokeni kohta kontrollitud avalikku hinda. Mudelit levitatakse avatud kaaludena Hugging Face'i ja ModelScope'i kaudu ning ametlik juurutusmaterjal käsitleb ka lokaalset serveerimist Transformersi, vLLM-i ja SGLangi abil. Selles kontekstis moodustavad peamise kulu taristu — kiirendiriistvara, salvestusruum, elekter ja arendustöö —, mitte dokumenteeritud StepFuni kasutustasu.
Lokaalne juurutamine võib anda kontrolli andmete ja järeldamiskonfiguratsiooni üle, kuid ligikaudu 10 miljardi parameetriga multimodaalne mudel vajab endiselt sobivat riistvara. Piltide töötlemine, pikad kontekstid ja eriti PaCoRe 16 paralleelset läbimist võivad suurendada mälukasutust ning vähendada tegelikku läbilaskevõimet. Saadaval olev FP8-variant võib piiratud riistvaraga kasutajaid aidata, kuigi esitatud uuring ei määra universaalset riistvaranõuet ega garanteeritud kiiruse paranemist.
Peamised tugevused ja piirangud
Selle kõige olulisemad praktilised eelised on avatud kaalude kättesaadavus, lubav Apache 2.0 litsents, nii piltide kui ka teksti tugi ning disain, mis keskendub selgesõnaliselt keerukale visuaalsele arutlemisele, mitte ainult lihtsale kirjeldamisele. OCR-i, maandamise, matemaatika, GUI-ga seotud ülesannete ja kodeerimise kombinatsioon muudab selle sobivaks kandidaadiks multimodaalsete uuringute ja spetsialiseeritud lokaalsete rakenduste jaoks. Avaldatud võrdlusprofiil viitab samuti selle erilisele asjakohasusele visuaalse arutlemise, OCR-i ja matemaatilise hindamise puhul.
Kompromissid on sama olulised. Lokaalne käitamine jätab juurutus- ja optimeerimistöö kasutaja kanda. Pika kontekstiga arutlemine ja PaCoRe võivad nõuda palju arvutusressursse, mistõttu võib mudel olla suhteliselt mõõduka parameetrite arvu kiuste aeglasem ja kulukam kui väiksem ühe läbimisega mudel. Lisaks on selle väljundiks ainult tekst: seda ei tohiks valida juhul, kui nõutav on piltide, heli või video algupärane genereerimine.
Esitatud allikates jäävad mitmed integratsiooni üksikasjad kinnitamata. Avalik dokumentatsioon ei kinnita tasulist majutatud StepFuni API-t, funktsioonikutsungeid, veebiotsingut, struktureeritud väljundi garantiisid, voogedastuse toimimist ega peenhäälestuse tuge. Need puudujäägid ei tõenda, et sellised funktsioonid oleksid igas ümbrises võimatud, kuid tähendavad, et neid ei tohiks käsitleda mudeli standardsete võimekustena.
Millal valida STEP3-VL-10B?
Vali STEP3-VL-10B, kui vajad avatud kaaludega mudelit, mis suudab pilte analüüsida ja genereerida üksikasjalikke tekstivastuseid, eriti järgmiste ülesannete puhul:
- OCR koos dokumentide sisu või paigutuse kohta käivate küsimustega;
- piltide kohta küsimustele vastamine ja visuaalne selgitamine;
- matemaatikaülesanded, mis sisaldavad diagramme või muud visuaalset materjali;
- GUI-ekraanipiltide analüüs ja visuaalse maandamise katsed;
- multimodaalsed kodeerimisülesanded, mis hõlmavad kasutajaliideseid, diagramme või renderdatud tulemusi;
- uuringud või privaatsed juurutused, kus on olulised lokaalsed kaalud ja Apache 2.0 litsents.
Teine lahendus võib olla sobivam, kui vajad prognoositavat majutatud teenuse hinnastust, kasutusvalmis API-t, väikese latentsusega ühe läbimise vastuseid või sisseehitatud tööriista- ja funktsioonikutsungeid. Tekstipõhine mudel võib olla ilma piltideta ülesannete jaoks odavam, samal ajal kui algupärase meedialoome jaoks on vaja spetsiaalset pildi-, heli- või videomudelit. Piiratud kiirendivõimsusega kasutajad peaksid samuti kaaluma, kas tavalisest SeRe-järeldamisest piisab, enne kui proovivad ressursinõudlikumat PaCoRe konfiguratsiooni.
Kokkuvõte
STEP3-VL-10B-d tuleks eelkõige mõista avatud, lokaalselt juurutatava visuaal-keelelise arutlusmudelina, mitte üldise multimodaalse platvormina. Selle dokumenteeritud väärtus tuleneb pildimõistmise ühendamisest mahuka arutluskonteksti, OCR-i, maandamise, matemaatika ja kodeerimisele suunatud hindamisega. Peamine küsimus on, kas need võimekused õigustavad avatud kaaludega mudeli käitamisega kaasnevaid tegevuskulusid. Meeskondadele, kes vajavad lokaalset visuaalset arutlemist ja suudavad pakkuda sobivat riistvara, on see sihipärane kandidaat; kasutajatele, kes otsivad lihtsat tasulist API-t, algupärast meedialoomet või kerget väikese latentsusega järeldamist, ei positsioneeri esitatud dokumentatsioon seda ideaalse valikuna.