StepFun-Formalizer-32B

Mis on StepFun-Formalizer-32B?

StepFun-Formalizer-32B on StepFuni välja töötatud avatud kaaludega keelemudel matemaatika automaatseks formaliseerimiseks. Praktilises mõttes võtab see tavakeeles kirjutatud matemaatikaülesande ja koostab sellest Lean 4-s väljendatud formaalse väite. Lean 4 on programmeerimiskeel ja tõestusassistendi keskkond, mida kasutatakse matemaatika esitamiseks ja kontrollimiseks.

Formaliseerija erinevus üldotstarbelisest vestlusrobotist on oluline. Mudeli keskne ülesanne ei ole vaba vestlus, veebiuuringud, piltide mõistmine ega meedia loomine. See on treenitud täitma lõhet mitteametlike matemaatiliste kirjelduste ning formaalses süsteemis nõutava täpse süntaksi ja definitsioonide vahel. Loodud Lean 4 kood tuleb endiselt sobivas Leani keskkonnas kompileerida ja kontrollida.

StepFun-Formalizer-32B on StepFun-Formalizeri mudeliperekonna suurem mudel; StepFun avaldab ka 7B versiooni. 32B kontrollpunkti levitatakse StepFuni ametliku Hugging Face'i organisatsiooni kaudu Apache 2.0 litsentsi alusel, mistõttu sobib see litsentsi tingimustest lähtudes kohalikuks kasutamiseks või enda hallatavas keskkonnas katsetamiseks.

Eesmärk ja positsioon

Mudel on mõeldud kasutajatele, kellel on vaja matemaatilisi väiteid formaliseerida, mitte lihtsalt saada loomulikus keeles lahendusi. Näiteks saab mitteametliku palve algebraatilise samasuse, võrratuse või teoreemi kohta teisendada Lean 4 väiteks, milles asjakohased muutujad, eeldused ja järeldus on esitatud formaalses süntaksis.

StepFuni kirjelduse järgi ühendab mudel formaalkeele teadmised arutlemisega, mis seob mitteametliku ülesande selle formaalse esitusega. Selle ThinkingF-i treeninguprotsess kasutab formaalse matemaatika andmeid, sünteesitud arutluskäike, juhendatud peenhäälestust ja kontrollitavate preemiate põhist tugevdusõpet. Need on teenusepakkuja ja uurimistöö väited treeningmeetodi kohta, mitte garantii, et iga loodud väide kompileerub või vastab kavandatud teoreemile.

Tehniliselt põhineb avaldatud kontrollpunkt mudelil DeepSeek-R1-Distill-Qwen-32B ja kasutab Qwen2 põhist põhjusliku keelemudeli arhitektuuri. See seos kirjeldab mudeli lähtekohta ja arhitektuuri; StepFun-Formalizer-32B on sellest hoolimata eraldiseisev spetsialiseeritud väljalase, mis keskendub automaatsele formaliseerimisele.

Peamised näitajad

131 072 tokeni näitaja on konfigureeritud kontekstilimiit. See tähendab, et mudel suudab töödelda väga suurt sisendi ja genereeritud konteksti kogumahtu võrreldes paljude väiksemate keelemudelitega. Seda ei tohiks segi ajada garanteeritud väljundi pikkusega. Repositooriumis näidatakse vLLM-i teenindusnäidet, kus parameetriks max_tokens on määratud 16 384, kuid see on näidisena toodud teenindusparameeter, mitte mudeli kinnitatud absoluutne väljundipikkuse ülempiir. Seega ei ole mudelipõhist maksimaalset väljundipikkust esitatud dokumentatsiooni põhjal kindlaks määratud.

Võimekus ja toetatud modaalsused

StepFun-Formalizer-32B on tekstisisendi ja tekstiväljundiga mudel. Selle dokumenteeritud kasutusviis on võtta vastu tekstilisi matemaatikapäringuid ja tagastada tekstilisi formaliseeringuid, sageli koos arutluskäikude või vahepealsete selgitustega. Mudelil ei ole dokumenteeritud loomupärast pildi-, heli- ega videosisendi või -väljundi tuge.

• Matemaatika automaatne formaliseerimine: teisendab mitteametlikud matemaatikaülesanded Lean 4 väideteks.
• Formaalkeele genereerimine: koostab koodilaadseid matemaatilisi avaldisi, mida saab Leanis uurida ja testida.
• Arutlemine: on spetsialiseerunud loomulikus keeles esitatud matemaatilise tähenduse sidumisele formaalsete definitsioonide ja süntaksiga.
• Kodeerimine: on asjakohane eelkõige Lean 4 koodi genereerimisel, mitte laiapõhjalises tarkvaraarenduses.
• Tööriistade kasutamine: täpse mudeli kohta ei ole dokumenteeritud loomupärast funktsioonikutsete ega tööriistade kasutamise võimekust.
• Struktureeritud väljund: mudelipõhist JSON-režiimi ega struktureeritud väljundi garantiid ei ole dokumenteeritud.

Ehkki mudel genereerib formaalset koodi, ei ole genereeritud tekst sama mis kontrollitud tõestus. Lean peab tulemuse kompileerima ning formaalse väite süntaktilise ja semantilise sobivuse kindlakstegemiseks sihtkeskkonnas on vaja edukat kompileerimisprotsessi. Seetõttu tuleks mudelit käsitleda automaatse formaliseerimise abivahendina, mitte iseseisva teoreemitõestajana.

Avaldatud jõudlus

StepFun-Formalizeri käsitluses saavutas 32B mudel FormalMATH-Lite'i testis BEq@1 skoori 40,5% ja ProverBenchi testis BEq@1 skoori 26,7%. BEq hindab, kas genereeritud formaalne väide on hindamisprotseduuri kohaselt võrdlusväitega kahesuunaliselt definitsiooniliselt ekvivalentne. See on formaliseerimise kvaliteedi spetsialiseeritud mõõdik: see on mudeli kavandatud ülesande seisukohast asjakohasem kui üldine vestlus- või kodeerimisvõimekuse test, kuid seda ei tohiks tõlgendada üldotstarbelise võimekuse skoorina.

Juurutamine, taristu ja hinnastamine

Ametlik väljalase on allalaaditav kontrollpunkt, mitte mahupõhine esimese osapoole järeldus-API. StepFuni mudelidokumentatsioon kirjeldab lokaalset järeldamist Hugging Face Transformersi abil ning teenindamist vLLM-i või SGLangi kaudu. Teenindusdokumentatsioon näitab ka OpenAI-ga ühilduvaid serveri lõpp-punkte, kuid see ühilduvus viitab enda hallatava teeninduskihi pakutavale liidesele; see ei tõenda, et StepFun pakub sellele mudelile hostitud OpenAI-ga ühilduvat API-t.

StepFun-Formalizer-32B kohta ei ole ametlikku sisend- ega väljundtokeni hinda täpsustatud. Seetõttu erineb rahaline kompromiss hostitud API-mudeli omast. Kasutajad väldivad avaldatud päringupõhist tasu, kuid peavad tagama 32 miljardi parameetriga kontrollpunkti käitamiseks vajaliku arvutusvõimsuse, salvestusruumi ning arendus- ja käitamisressursid. Tegelik kiirus ja kulu sõltuvad riistvarast, kvantimisest, pakktöötlusest, konteksti pikkusest ja teeninduskonfiguratsioonist; esitatud uurimistöö ei määra universaalset tokenite töötlemise kiirust sekundis.

Mudeli suur konteksti maht võib olla kasulik, kui päring sisaldab pikki definitsioone, imporditud matemaatilisi konventsioone või mitut omavahel seotud väidet. Pikemad kontekstid suurendavad aga ka mälu- ja arvutusvajadust, eriti lokaalsetes juurutustes.

Tugevused ja piirangud

Peamised tugevused

• See on spetsiaalselt treenitud keerukaks teisenduseks mitteametlikust matemaatikast formaalseteks Lean 4 väideteks.
• Selle 32B suurus annab spetsialiseeritud uurimiskontrollpunktile märkimisväärse arutlus- ja keelemudelivõimekuse.
• Apache 2.0 avatud kaaludega väljalase toetab lokaalset hindamist, kohandamist ja enda hallatavat teenindamist.
• 131 072 tokeni pikkune konteksti konfiguratsioon võimaldab töödelda pikki matemaatikapäringuid ja toetavaid definitsioone.
• Seda saab integreerida Transformersi, vLLM-i või SGLangiga, ilma et oleks vaja kasutada varalist rakendusliidest.

Peamised piirangud

• Seda ei ole dokumenteeritud üldotstarbelise vestlusassistendina ega teoreemitõestaja asendusena.
• Genereeritud Lean-kood vajab kompileerimist ja kontrollimist; usutavana näiv väljund võib siiski olla vale või kompileerimisel ebaõnnestuda.
• Täpse mudeli kohta ei ole dokumenteeritud ametlikku hostitud järeldamise hinda, hallatud API-t ega garanteeritud väljundtokenite maksimumi.
• Loomupärast pildi-, heli-, video-, veebiotsingu-, funktsioonikutse- ega kõnevõimekust ei ole dokumenteeritud.
• Esitatud ametlikus materjalis ei ole avaldatud mudelipõhist teadmiste lõppkuupäeva.
• 32B avatud kaaludega mudeli käitamine eeldab, et kasutajad haldavad taristut, ning võib olla töö käigus aeglasem või kulukam kui väiksema mudeli või hostitud teenuse kasutamine.

Millal valida StepFun-Formalizer-32B?

Vali StepFun-Formalizer-32B, kui keskne vajadus on teisendada matemaatilist proosat Lean 4 vormi ning soovid kasutada avatud kaaludega mudelit, mida saab käitada enda taristus. See on eriti asjakohane teadlastele, kes loovad automaatse formaliseerimise töövooge, hindavad matemaatilise arutlemise süsteeme, genereerivad kandidaat-teoreemiväiteid või uurivad keelemudelite ja tõestusassistentide koostoimet.

Mudel on mõistlik valik ka siis, kui andmekontrolli nõuded muudavad enda hallatava töövoo eelistatavamaks kui matemaatilise materjali saatmise hallatud API-le. Selle pikk kontekst võib aidata juhul, kui formaliseerimine sõltub ulatuslikest ümbritsevatest definitsioonidest või ülesande kontekstist.

Väiksem mudel, näiteks sama StepFun-Formalizeri perekonna 7B liige, võib olla sobivam, kui mäluvajadus, latentsus või riistvarakulu on olulisem kui 32B kontrollpunkti võimekus. Suurem mudel sobib paremini siis, kui täiendav arutlusvõime kaalub üles juurutamisega kaasneva lisatöö, kuid esitatud uurimistöö ei paku kontrollitud kiiruse- või täpsusvõrdlust, mille põhjal seda kompromissi täpselt hinnata.

Hostitud üldotstarbeline mudel võib olla sobivam tavavestluseks, laiapõhjaliseks tarkvaraarenduseks, veebipõhiste vastuste saamiseks või multimodaalseks tööks. Kui nõutav on tõestuse kontrollimine, mitte lihtsalt formaalse väite kandidaadi genereerimine, on endiselt vajalik spetsiaalne teoreemitõestaja ja Leani kontrollitöövoog. StepFun-Formalizer-32B paikneb loomulikus keeles esitatud matemaatika ja masinkontrollitud formaliseerimise vahelisel vaheastmel: see aitab formaalset artefakti luua, kuid ei tõesta iga tulemust iseseisvalt.

Lõpphinnang

StepFun-Formalizer-32B-d on kõige õigem käsitleda Lean 4 automaatse formaliseerimise spetsialiseeritud uurimis- ja arendustööriistana. Selle olulisemad eelised on ülesandespetsiifiline treening, avatud Apache 2.0 kaaludega väljalase, suur konfigureeritud kontekst ja enda hallatava juurutuse tugi. Peamised kulud on 32B mudeli käitamiseks vajalik taristu ning vajadus kontrollida iga genereeritud väidet Leanis.

Kasutajatele, kes otsivad hallatud, multimodaalset ja tööriistu kasutavat assistenti, on see vale kategooria mudel. Kasutajatele, kes loovad süsteeme mitteametliku matemaatika teisendamiseks kontrollitavateks formaalseteks väideteks, pakub see otseselt asjakohast avatud kaaludega alust, tingimusel et genereerimisega kaasnevad kompileerimine, ülevaatus ja formaalne kontroll.