Granite Guardian 3.3 8B

Mis on Granite Guardian 3.3 8B?

Granite Guardian 3.3 8B on IBM Researchi mudel, mis on loodud keelemudelisüsteemide sisendite ja väljundite hindamiseks. Tavaliselt palutakse keelemudelil vastata küsimusele, kirjutada teksti või genereerida koodi. Granite Guardianile antakse aga materjal, mida kontrollida, ning see tagastab hinnangu kindla ohutus- või kvaliteedikriteeriumi alusel.

Näiteks saab rakendus seda kasutada kasutaja viiba kontrollimiseks jailbreak-katse suhtes, vastuse kontrollimiseks selle põhjal, kas hangitud dokumendid seda toetavad, või agendi kavandatud funktsioonikutse hindamiseks, et tuvastada väljamõeldud või vastuolulist teavet. Mudel võib kasutada eelmääratletud hindamiskriteeriume või arendaja määratud kriteeriume.

Mudel sisaldab ligikaudu 8 miljardit parameetrit ja kasutab Granite'i põhist põhjusliku keelemudeli arhitektuuri. Seda levitatakse avatud kaaludega kontrollpunktina IBM Granite'i Hugging Face'i organisatsiooni kaudu, mis võimaldab seda ise hallata, selle asemel et piirduda teenusepakkuja hostitud lõpp-punktiga.

Ohutuse ja hindamise võimalused

Granite Guardian 3.3 8B sisaldab hindamiskriteeriume mitme levinud ohutus- ja töökindlusprobleemi jaoks. Dokumenteeritud valdkondade hulka kuuluvad jailbreak-katsed, roppused, vägivald, seksuaalne sisu, ebaeetiline käitumine ning muu kahjulik või ebasoovitav materjal. Neid kontrolle saab kasutada enne päringu jõudmist põhimudelini, pärast vastuse genereerimist või rakenduse töövoo mõlemas etapis.

Mudel on mõeldud ka otsinguga täiendatud genereerimise ehk RAG-i jaoks. RAG-süsteemis hangib rakendus dokumendid ja annab need keelemudelile kontekstiks. Granite Guardian saab hinnata, kas hangitud kontekst on asjakohane, kas vastus põhineb sellel kontekstil ning kas vastus on algse küsimusega seotud. Need on erinevad tõrkerežiimid: vastus võib olla asjakohane, kuid toetuseta, või võib see põhineda dokumendil, mis tegelikult küsimust ei käsitle.

Agendipõhiste süsteemide puhul hindab mudel funktsioonikutsetega seotud hallutsinatsioone. See hõlmab kavandatud tööriistakutsete võimalikke süntaktilisi või semantilisi probleeme ning tööriistade kasutamise etappides ilmuvat väljamõeldud teavet. Arendajad saavad määratleda ka kohandatud kriteeriume rakendusepõhiste reeglite, kvaliteedikontrollide või juhtimisnõuete jaoks.

Mõtlemis- ja mittemõtlemisrežiim

Kontrollpunkt toetab kahte hindamisrežiimi. Mõtlemisrežiimis genereerib see arutluskäigu siltide <think> sees ning seejärel hindeskoori siltide <score> sees. Mittemõtlemisrežiim jätab arutluskäigu välja ja tagastab skoori otse.

Madala latentsusega tootmiskeskkonna turvamehhanismi jaoks on mittemõtlemisrežiim üldjuhul praktilisem valik, sest see väldib täiendava nähtava arutluskäigu genereerimist. Mõtlemisrežiim võib olla kasulik, kui hindaja vajab rohkem vahepealset analüüsi, kuid IBM hoiatab, et need jäljed võivad sisaldada ohtlikku sisu ega pruugi olla mudeli tegeliku otsustusprotsessi usaldusväärsed selgitused. Seetõttu ei tohiks arutluskäiku automaatselt käsitleda usaldusväärse selgitusena ega kuvada seda lõppkasutajatele ilma asjakohase töötlemiseta.

Skoori vorming on osa mudeli kavandatud hindamise töövoost. Rakendused peaksid kasutama avaldatud Granite Guardiani viiba- ja skoorimismalle, mitte käsitlema kontrollpunkti tavalise vestlusabilisena.

Tehnilised andmed ja modaalsused

Avaldatud mudelikonfiguratsioonis on maksimaalseks positsioonimanuste pikkuseks määratud 131,072 tokenit. See on mudelikonfiguratsiooni piirang, mitte garantii, et iga juurutus suudab töödelda või genereerida nii palju teksti. Tegelik kasutatav kontekst, genereerimise pikkus, mälukasutus ja läbilaskevõime sõltuvad teenindustarkvarast, riistvarast, täpsusest, pakisuurusest ja muudest käitusaegsetest seadetest. Esitatud uuringus ei kinnitatud mudelipõhist maksimaalset väljundtokenite arvu.

Granite Guardian 3.3 8B on mõlemas suunas ainult tekstipõhine. See ei toeta piltide, heli ega video sisendit ega genereeri otseselt pildi-, heli- või videoväljundit. Selle ülesanne on hinnata esitatud teksti ja töövoogude struktureeritud tekstilisi esitusi, mitte luua mittetekstilist meediat.

Juurutamine ja integreerimine

Avatud kaaludega kontrollpunkti saab laadida Hugging Face Transformersi abil ning seda saab teenindada selliste tööriistadega nagu vLLM või SGLang. See muudab mudeli sobivaks organisatsioonidele, kes peavad hindamisandmeid hoidma oma taristus või soovivad integreerida turvamehhanismi otse olemasolevasse mudelite teenindamise virna.

Ise majutamine toob kaasa ka käituskohustused. Rakenduse omanik peab tagama sobiva riistvara, haldama mudelifailide ja käituskeskkonna konfiguratsiooni, jälgima latentsust ning otsustama, kuidas skoorid põhisüsteemi mõjutavad. Kuna mudel on hindaja, on ümbritseva viibamalli kvaliteet oluline: kriteerium, kontrollitav tekst, hangitud kontekst, vastus või funktsioonikutse tuleb selgelt määratleda.

Esitatud uuringus ei kinnitata teenusepakkuja hallatavat pakktöötluse API-t, viipade vahemällu salvestamise toodet, eraldiseisvat JSON-režiimi ega selle konkreetse kontrollpunkti ametlikku hostitud kasutuse hinda. Selle skoorisildid pakuvad hinnangute struktureeritud tava, kuid seda ei tohiks segi ajada teenusepakkuja eraldiseisva JSON-režiimiga.

Peamised tugevused ja kompromissid

Mudeli peamine tugevus on spetsialiseerumine. Selle asemel et proovida täita kõiki vestlusülesandeid, keskendub see ohutuse ja töökindluse tingimuste hindamisele, mida on lihtsate märksõnafiltritega keeruline käsitleda. Selle katvus hõlmab nii sisuohutuse kontrolle kui ka RAG-i ja tööriistakasutuse töövoogudele suunatud kontrolle. Kohandatud kriteeriumid muudavad mudeli paindlikumaks kui fikseeritud ühe otstarbega klassifikaatori.

Avatud kaalud ja Apache 2.0 litsents võivad olla kasulikud meeskondadele, kes vajavad kohalikku juurutust, mudeli kontrollimise võimalust või kontrolli andmekäitluse üle. 131,072 tokeni pikkune positsiooniseadistus võib toetada pikki viipasid või mahukat hangitud konteksti, kui juurutusel on piisavalt mälu ja rakendus on nõuetekohaselt konfigureeritud.

Kompromissiks on suurem kulu ja latentsus võrreldes väiksemate turvamehhanismi klassifikaatorite või kergete reeglitega. 8 miljardi parameetriga hindaja vajab kompaktse filtriga võrreldes rohkem ressursse, eriti kui seda käitatakse koos põhilise keelemudeliga. Mõtlemisrežiim lisab täiendavat genereerimistööd. Väga suure läbilaskevõime või äärmiselt väikese latentsuse nõuete korral võib sobivam olla väiksem mudel, kui see vastab rakenduse täpsusnõuetele.

Selle kirje juurde kuuluvad toimetuslikud hinded annavad arutlusoskusele 6, kodeerimisele 2, kiirusele 6 ja kulutõhususele 8 vastavatel sisemistel skaaladel. Need on toimetuslikud võrdlushinnangud, mitte IBM-i avaldatud võrdlustulemused. Madal kodeerimishinne peegeldab mudeli kavandatud rolli hindajana, mitte koodi genereerimise süsteemina; seda ei tohiks tõlgendada teenusepakkuja väitena võrdlustestide tulemuste kohta.

Piirangud, mida arvestada

Granite Guardian 3.3 8B ei ole selle keelemudeli üldotstarbeline asendus, mille väljundit ta hindab. See ei ole mõeldud tavavestluseks, üldiseks koodigeneratsiooniks, veebiotsinguks, piltide loomiseks, heli genereerimiseks ega video genereerimiseks. Samuti ei saa see garanteerida, et ohutuse- või faktihinnang on õige.

Selle otsuseid võivad mõjutada viiba vormistus, ebaselged kriteeriumid, vastandlikud sisendid ja andmejaotuse muutused. Enne skooridele tuginemist automaatses blokeerimis- või heakskiitmisprotsessis peaks juurutust testima tüüpiliste näidete, piirjuhtumite, valepositiivsete ja valenegatiivsete tulemustega. Mudel on dokumentatsiooni järgi suunatud inglise keelele, mistõttu vajab mitmekeelne ohutuse hindamine täiendavat testimist; ei saa eeldada, et tulemused kanduvad kõigis keeltes võrdselt üle.

Arutluskäigud nõuavad erilist tähelepanu, sest IBM märgib, et need võivad sisaldada ohtlikku materjali ega pruugi otsustusprotsessi tõetruult kirjeldada. Meeskonnad peaksid otsustama, kas need jäljed vaigistada, salvestada, tundlikust sisust puhastada või muul viisil kontrollida, eriti juhul, kui kontrollitav sisu võib sisaldada tundlikku või kahjulikku teksti.

Millal seda mudelit valida?

Granite Guardian 3.3 8B sobib hästi siis, kui organisatsioon vajab keelemudelirakenduse jaoks avatud kaaludega hindajat ning soovib enamat kui lihtsat märksõna- või mustrifiltrit. Sobivad kasutusviisid on järgmised:

• Viipade ja vastuste kontrollimine jailbreak-katsete või kahjuliku sisu suhtes.
• Hindamine, kas RAG-vastused põhinevad esitatud kontekstil.
• Konteksti ja vastuse asjakohasuse kontrollimine otsingutorudes.
• Kavandatud funktsioonikutsete ja agentide vaheväljundite kontrollimine hallutsinatsioonide suhtes.
• Kohandatud reeglite või kvaliteedihinnangute tegemine rakenduse andmete lähedal.
• Mudelite hindamine, seire ja sihipärased pistelised kontrollid.

Teine lahendus võib olla eelistatum, kui prioriteediks on minimaalne latentsus, väga suur läbilaskevõime, väike mälukasutus või lai mitmekeelne tugi. Väiksem ohutusmudel või deterministlik reeglisüsteem võib olla lihtsate ja kitsalt määratletud kontrollide jaoks säästlikum. Üldotstarbeline keelemudel võib seevastu olla parem valik, kui rakendus vajab vestlust, koodigeneratsiooni või multimodaalset suhtlust, mitte hindamist. IBM-i dokumentatsioon nimetab Granite Guardian 4.1 8B-d uuema järglasperekonnana, mistõttu peaksid uut juurutust alustavad meeskonnad hindama ka seda, kas uuem perekond vastab nende nõuetele paremini.

Saadavus ja litsents

Granite Guardian 3.3 8B avaldati 1. augustil 2025 ning see on endiselt saadaval avatud kaaludega IBM Granite'i kontrollpunktina. Apache 2.0 litsents toetab kohalikku või ise hallatavat kasutust, arvestades mudelikaardi kasutusulatuse juhiseid ja juurutava organisatsiooni kohustusi.

Selle konkreetse kontrollpunkti ametlikku korduvat ega märgipõhist hostitud hinda ei ole kinnitatud. Seetõttu sõltub kasutamise tegelik kulu peamiselt taristust, teeninduskonfiguratsioonist, salvestusruumist ja käitamisnõuetest. See võib muuta mudeli atraktiivseks meeskondadele, kes juba haldavad avatud mudelite taristut, samas kui hostitud hindaja võib olla lihtsam organisatsioonidele, kes ei soovi juurutust ise hallata.