Granite-3.3-8B-Math-PRM-v2

Mis on Granite-3.3-8B-Math-PRM-v2

Granite-3.3-8B-Math-PRM-v2 on IBM-i Granite Alignment Teami loodud 8 miljardi parameetriga generatiivne protsessipõhine tasumudel. Protsessipõhine tasumudel, mida sageli lühendatakse PRM-iks, hindab lahenduse vahepealseid samme, mitte ainult lõpptulemust. See erinevus on oluline, sest lõplik vastus võib olla juhuslikult õige, samal ajal kui sammupõhine hindaja suudab tuvastada koha, kus arutlusahel esimest korda ebausaldusväärseks muutub.

Mudel on peenhäälestatud mudelist Granite-3.3-8B-Instruct ning see on IBM Granite’i kataloogis märgitud praeguse avatud kaaludega eksperimentaalse mudelina. See on saadaval allalaaditava mudelihoidlana, mitte avaldatud märgipõhise hinnastusega esimese osapoole hostitud teenusena. Kanooniline hoidla identifikaator on ibm-granite/granite-3.3-8b-math-prm-v2.

Selle dokumenteeritud avaldamiskuupäev on 1. jaanuar 2026 ning seda levitatakse Apache 2.0 litsentsi alusel. Need omadused muudavad mudeli sobivaks meeskondadele, kes soovivad seda oma arutlussüsteemides uurida, juurutada ja integreerida, võttes arvesse enda taristu- ja nõuetele vastavuse vajadusi.

Kuidas mudel arutluskäiku hindab

Granite-3.3-8B-Math-PRM-v2 eeldab matemaatilist ülesannet ja vastust, mis on jagatud arutlussammudeks. Iga sammu lõpus esitab järeldusviip küsimuse: Is this response correct so far (Y/N)? Seejärel genereerib mudel hinnangu Y või N.

Genereeritud täht on kasulik, kuid Y määratud tõenäosus on automatiseeritud töövoos sageli veel väärtuslikum. Seda tõenäosust saab käsitleda arvulise tasuskoorina. Rakendus võib hinnata iga sammu mitmes kandidaatlahenduses, skoorid kombineerida ning valida kandidaadi, mille arutluskäigu korrektsust toetavad kõige tugevamad tõendid.

Näiteks võib lahendaja genereerida algebraülesandele 16 võimalikku lahendust. Selle asemel et valida kõige sagedamini esinev lõppvastus, saab kontroller paluda PRM-il hinnata iga vahepealset sammu, karistada kandidaate, milles tehakse kehtetu teisendus, ning valida või ümber järjestada allesjäänud lahendused. Sama lähenemist saab kasutada kaalutud hääletamisel, vigade lokaliseerimisel ning protsessijärelevalvel põhinevates treenimis- ja hindamisvoogudes.

Peamised kasutusjuhud

• Parima valimine N kandidaadi seast: genereerida mitu lahendust ja valida kandidaat, mille arutluskäik saab sammupõhisel hindamisel kõige tugevamad skoorid.
• Matemaatiliste vigade tuvastamine: tuvastada punkt, kus lahendus näib korrektsest arutluskäigust kõrvale kalduvat.
• Protsessijärelevalve: anda tagasisidet vahepealse arutluskäigu kohta, selle asemel et tugineda ainult lõppvastuse märgendile.
• Kaalutud hääletamine: anda suurem mõju kandidaatlahendustele, mille sammud saavad suurema korrektsustõenäosuse.
• Arutlusahela hindamine: võrrelda lahendusstrateegiaid ja mõõta, kui usaldusväärselt säilitavad need ühest sammust järgmiseni korrektsuse.

IBM esitab ka järeldusvõime skaleerimise tulemusi programmeerimise võrdlusandmestikel. See viitab, et mudel võib olla kasulik programmeerimisega seotud hindamiskatsetes, kus genereeritakse ja kontrollitakse mitut kandidaatlahendust. Seda ei tohiks siiski käsitleda üldise programmeerimisabilisena: selle põhifunktsioon on endiselt protsessi hindamine, mitte koodi genereerimine.

Tugevused ja avaldatud hindamistulemused

Mudeli peamine tugevus on spetsialiseerumine. Tavapärane keelemudel võib suuta genereerida matemaatilise vastuse, kuid Granite-3.3-8B-Math-PRM-v2 on spetsiaalselt seadistatud hindama, kas arutluskäik on seni korrektne. See muudab mudeli loomulikuks komponendiks süsteemides, mis eraldavad genereerimise kontrollimisest.

IBM esitab Math-500 andmestikul tugevaid tulemusi parima valimisel N kandidaadi seast, sealhulgas parandusi enamushääletusega võrreldes mitme kandidaatide arvuga. Mudelit hinnati ka ProcessBenchi ja PRMBenchi abil. Avaldatud PRMBenchi näitajate hulka kuuluvad koondskoor 65,1 ja tundlikkuse keskmine skoor 75,4. Need on protsessi hindamise tulemused; neid ei tohiks tõlgendada üldiste keelemudeli kvaliteediskooridena ega tõendina, et mudel on mõeldud vestlusabilise asendamiseks.

Uurimisandmed annavad mudelile toimetusliku arutlusoskuse skooriks 9 punkti 10-st ja programmeerimisskooriks 7 punkti 10-st. Need on mudeli spetsialiseeritud rollil ja avaldatud hindamistel põhinevad hinnangud, mitte IBM-i avaldatud reitingud. Arutlusoskuse skoor peegeldab mudeli sobivust matemaatiliste arutlusahelate kontrollimiseks, samal ajal kui programmeerimisskoor peegeldab programmeerimisega seotud järeldusvõime skaleerimise kohta saadaolevate tõendite piiratust, mitte koodi genereerimise võimekust.

Tehnilised andmed ja toetatud modaalsused

Mudel võtab vastu teksti ja genereerib teksti. Seda ei ole dokumenteeritud pildi-, heli- ega videosisendi või -väljundi toetajana. Samuti ei ole seda dokumenteeritud tööriistakutsete või funktsioonide täitmise mudelina. Esitatud kataloogiandmetes on voogedastus märgitud toetatuks, kuid kuna tegemist on allalaaditava avatud kaaludega mudeliga, sõltub tegelik voogedastuse käitumine kasutatavast teenindusraamistikust ja juurutuskonfiguratsioonist.

131 072 märgendi suurust konteksti tuleks tõlgendada ettevaatlikult. See pärineb Granite 3.3 8B baas- ja juhiste järgi häälestatud konfiguratsiooni mudeliperekonnast, mitte mudelikaardil eraldi esitatud PRM-i konkreetsest piirangust. Täpne mudelikaart ei avalda ka genereeritava väljundi maksimaalset pikkust. Seetõttu peaksid kasutajad kontrollima tegelikke konteksti- ja genereerimisseadeid enda valitud Transformersi, vLLM-i või SGLangi juurutuses.

Juurutamine ja hinnastus

Granite-3.3-8B-Math-PRM-v2 on välja antud allalaaditavate avatud kaaludena. Mudelikaart sisaldab Transformersil põhinevat kasutusteavet ning nimetab kohaliku juurutamise võimalustena näiteks vLLM-i ja SGLangi. See annab insenerimeeskonnale kontrolli hostimise, pakktöötluse, viibavormingu ja sammude skooride koondamise üle.

Esitatud teabe põhjal ei ole selle täpse mudeli kohta kontrollitud IBM-i esimese osapoole hostitud lõpp-punkti ega avaldatud sisend- ja väljundmärgendite hinnastust. Seetõttu ei ole usaldusväärset hostitud hinda, mida kommertslike API-mudelitega võrrelda. Tegelik kasutuskulu sõltub riistvarast, teeninduskomplektist, kasutusastmest ja hinnatavate kandidaatlahenduste arvust. PRM võib suurendada ka järeldamise kogutööd, sest süsteem võib ühe mudelikutse asemel genereerida ja hinnata mitut kandidaati.

Selle toimetuslik kuluskoor on 7 punkti 10-st, kuid see skoor ei ole teenusepakkuja hinnastamisväide. See kajastab avatud kaaludega juurutamise võimalikku kulueelist ja märgipõhise litsentsiteabe puudumist, võttes samal ajal arvesse 8 miljardi parameetriga mudeli käitamiseks vajalikku taristut.

Piirangud ja kompromissid

Kõige olulisem piirang on see, et tegemist ei ole viimistletud vastuseid genereeriva mudeliga. Selle kavandatud väljund on korrektsussignaal, tavaliselt Y/N-hinnang või Y-ga seotud tõenäosus. Rakendus, mis vajab selgitusi, vestluslikke vastuseid või lõplikku matemaatilist lahendust, vajab eraldi generaatorit või täiendavat töötlemiskihti.

Olulised on ka viibavorming ja sammude segmenteerimine. Mudel on loodud hindama iga sammu järjestikku, mistõttu võivad halvasti eraldatud arutluskäik, ebaselged üleminekud või valesse kohta paigutatud hindamisviip anda vähem kasulikke skoore. Rakendused võivad vajada tõenäosuste kalibreerimist, otsustamist, kuidas sammude skoore kombineerida, ning reegleid selle kohta, kuidas käsitleda üht madala usaldusväärsusega sammu.

Selle täpse protsessipõhise tasumudeli kohta ei ole eraldi dokumenteeritud teadmiste lõppkuupäeva. Selle spetsialiseeritud hindamisroll tähendab ka seda, et võrdlusandmestike tulemusi ei tohiks üldistada teistele ülesannetele. Kuigi Granite’i alusmudelite perekond toetab mitut keelt, nimetab esitatud mudeliteave selle PRM-i peenhäälestuse sihtkeeleks inglise keelt.

Millal valida Granite-3.3-8B-Math-PRM-v2

Vali see mudel siis, kui keskne probleem on matemaatilise arutluskäigu korrektsuse otsustamine sammude tasandil. See sobib eriti hästi isehostitud süsteemi, kus valitakse parim lahendus N kandidaadi seast, uurimisprojekti, mis käsitleb kontrollijaga juhitud arutlust, võrdluskatsete raamistikku või töövoogu, milles tuleb vead enne genereeritud lahenduse heakskiitmist tuvastada.

Avatud kaaludega Apache 2.0 litsentsi alusel levitamine on kasulik siis, kui juurutamise kontroll on olulisem kui kasutusvalmis API-juurdepääs. Meeskonnad saavad käitada mudelit eraldi generaatori kõrval ning kujundada ise skoorimise, ümberjärjestamise ja logimise loogika. Mudel on mõistlik valik ka siis, kui süsteem vajab spetsialiseeritud kontrollijat, mitte järjekordset üldotstarbelist abilist.

Vali teist tüüpi mudel, kui vajadus on otsene kasutajavestlus, lõppvastuste genereerimine, multimodaalne mõistmine, kõne, piltide genereerimine, tööriistade kasutamine või lihtne hostitud API prognoositava märgipõhise hinnastusega. Selgituste koostamiseks sobib paremini üldotstarbeline juhiste järgi häälestatud mudel, tarkvara kirjutamiseks aga spetsiaalne koodigeneerimise mudel. Sellistel juhtudel võib Granite-3.3-8B-Math-PRM-v2 endiselt toimida teisese hindajana, kuid see ei tohiks olla töövoo ainus mudel.

Kokkuvõte

Granite-3.3-8B-Math-PRM-v2 täidab IBM-i Granite’i mudelite perekonnas kitsast, kuid kasulikku rolli. See on avatud kaaludega matemaatiline protsessipõhine tasumudel arutlusahelate kontrollimiseks, mitte üldine vestlussüsteem. Selle Y/N-hinnangud ja tasutõenäosused võivad parandada kandidaatide valimist ning tuua esile vahepealseid vigu, eriti eraldi lahendusegeneraatoriga koos kasutamisel. Kompromissideks on suurem juurutus- ja orkestreerimistöö, avaldatud hostitud hinna puudumine ning garantii puudumine, et mudel genereerib sellise lõppvastuse, mida kasutajalt oodatakse abilise mudelilt.