Mis on Granite Guardian 3.2 3B-A800M?
Granite Guardian 3.2 3B-A800M on IBM Researchi välja töötatud avatud kaaludega ohutuse ja riskide tuvastamise mudel. See on peenhäälestatud IBM-i Granite 3.2 3B-A800M-i juhiste järgimise mudeli põhjal, kuid selle ülesanne on märksa kitsam: see hindab etteantud sisu ning tagastab ohutuse või kvaliteedi hinnangu, mitte ei toimi üldotstarbelise vestlusabilisena.
Mudel suudab analüüsida viipasid, genereeritud vastuseid, mitme vooruga vestlusi, otsitud dokumente ning kavandatud tööriista- või funktsioonikutseid. Seetõttu sobib see teise keelemudeli või agentse rakenduse ümber kaitsepiirde loomiseks. Selle ametlik mudelitunnus on ibm-granite/granite-guardian-3.2-3b-a800m. IBM avaldas mudeli 26. veebruaril 2025 Apache 2.0 litsentsi alusel.
IBM-i praeguses Granite'i mudelivalikus on see kontrollpunkt väiksem ja tõhususele keskenduv Guardiani mudel. Esitatud uurimismaterjalides nimetatakse uuema saadaoleva mudelina Granite Guardian 3.3 8B-d, kuid võrdlusandmeid ei ole piisavalt, et kindlaks teha, kui palju üks mudel konkreetsetes ohutusega seotud ülesannetes teisest paremini või halvemini toimib.
Miks on mudel suhteliselt tõhus?
Mudel kasutab ekspertide segu (mixture-of-experts) arhitektuuri. Sellel on kokku ligikaudu 3 miljardit parameetrit, kuid IBM-i andmetel aktiveeritakse iga järeldussammu jaoks ligikaudu 800 miljonit parameetrit. Praktikas tähendab see, et kogu mudel sisaldab rohkem õpitud võimekust, kui ühe arvutuse ajal kasutatakse, mistõttu võib selle teenindamine olla ökonoomsem kui sarnase parameetrite koguarvuga tiheda arhitektuuriga mudeli puhul.
Selline ülesehitus on kasulik siis, kui rakendus peab hindama suurt hulka viipasid või vastuseid ning vajab väiksemat latentsust, mälukasutust või teenindamiskulu, kui suurem tiheda arhitektuuriga ohutusmudel eeldaks. Tõhususväidet tuleks käsitleda arhitektuurilise eelisena, mitte garanteeritud läbilaskevõime näitajana: tegelik kiirus sõltub riistvarast, käituskeskkonnast, kvantimisest, pakktöötlusest, viiba pikkusest ja genereerimisseadetest.
Konfiguratsioon toetab maksimaalselt 131 072 tokeni pikkust. See on dokumenteeritud konteksti maht, mitte lubadus, et iga juurutus suudab nii palju tokeneid mugavalt töödelda. Viibamallid, otsitud kontekst, vaba mälu ja valitud järeldusraamistik võivad praktilist piiri vähendada. Selle kontrollpunkti maksimaalse väljundtokenite arvu kohta kinnitatud teave puudub.
Milliseid riske see suudab hinnata?
Granite Guardianit kasutatakse üldjuhul ettenähtud hindamisvormingus ning see annab binaarse riskihinnangu, mida tähistatakse tavaliselt väärtusega Yes või No. Granite Guardian 3.2 toetab lisaks põhiklassifikatsioonile ka sõnaliselt väljendatud usaldusmäära, näiteks High või Low. IBM hoiatab, et ettenähtud hindamisrežiimi muutmine võib põhjustada ootamatuid või ebaturvalisi tulemusi. Seetõttu peaksid arendajad järgima mudeli dokumenteeritud viibamalle, mitte käsitlema seda piiranguteta vestlusmudelina.
Dokumenteeritud riskivaldkonnad hõlmavad järgmist:
- Üldine kahjulik sisu ja kahjulikus tegevuses osalemine
- Sotsiaalne kallutatus, vägivald, ropendamine ja seksuaalne sisu
- Ebaeetiline käitumine ja põiklevus
- Jailbreak-katsed
- Otsinguga saadud konteksti asjakohasus, kontekstipõhisus ja vastuse asjakohasus
- Funktsioonikutsete hallutsinatsioonid, sealhulgas kavandatud kutsete süntaktilised või semantilised probleemid ning tööriistade kasutamisel väljamõeldud teave
Need võimed hõlmavad enamat kui lihtne sisu modereerimine. Näiteks saab otsinguga täiendatud genereerimise süsteem kasutada seda mudelit, et kontrollida, kas leitud kontekst on asjakohane, kas vastus põhineb sellel kontekstil ning kas vastus ise on asjakohane. Agendiplatvorm saab mudelit kasutada kavandatud funktsioonikutse kontrollimiseks enne selle käivitamist või hinnata, kas tööriista tulemuse kohta esitatud teave näib olevat väljamõeldud.
Sisendid, väljundid ja juurutusvõimalused
Esitatud spetsifikatsioonide kohaselt on Granite Guardian 3.2 3B-A800M teksti sisendiga ja teksti väljundiga mudel. See ei ole algupärane pildi-, heli- ega videomaterjali ohutusmudel ning ei genereeri otse mittetekstilist meediat. Pildid või muu meedia tuleks enne selle kontrollpunkti hindamist eraldi süsteemi abil tekstiks teisendada. Selline lahendus ei muuda mudelit ennast multimodaalseks.
Kontrollpunkti levitatakse Hugging Face'i kaudu ning seda saab käitada kohapeal või ühilduvate teeninduslahendustega, nagu Transformers, vLLM, SGLang, Dockeriga ühilduvad tööriistad ja valitud kvanditud käituskeskkonnad. IBM nimetab Granite'i kättesaadavust ka sellistel platvormidel nagu watsonx.ai, Hugging Face, Ollama, LM Studio ja Replicate, kuid tugi, mudelipakendus, hinnastus ja jõudlus võivad platvormiti erineda.
Granite Guardian hindab funktsioonikutsetega seotud riske, kuid seda ei ole dokumenteeritud autonoomse tööriistakasutuse mudelina. Esitatud spetsifikatsioonides on algupärane tööriistakasutus märgitud toetamata funktsioonina. Kaitstud agendi arhitektuuris kutsub rakendus mudeli tööriistakutsete kontrollijana välja; mudel ise neid tööriistu ei käivita.
Hinnastus ja käituskulu
Selle avatud kaaludega kontrollpunkti kohta ei ole esitatud IBM-i ametlikku majutatud teenuse tokenipõhist hinda. Mudeli saab alla laadida või seda eri keskkondades teenindada, kuid taristu-, majutatud järelduse ja platvormitasud sõltuvad valitud teenusepakkujast ning juurutusviisist. Seetõttu ei ole Granite Guardian 3.2 3B-A800M-i jaoks üht kindlat kinnitatud sisendi- ega väljundihinda, mida tsiteerida.
Ligikaudu 800 miljonit aktiivset parameetrit on peamine põhjus, miks mudel võib olla kulutundlike kaitsepiirde töökoormuste puhul atraktiivne. See ei tähenda, et iga juurutus oleks odav: kogu mudel sisaldab endiselt ligikaudu 3 miljardit parameetrit ning kogukulu mõjutavad ka pikad viibad, suur samaaegsus, salvestusruum ja valitud riistvara. Sobiv võrdlusbaas on teised kohapeal juurutatavad või majutatud ohutusmudelid, mitte tasuta teenus.
Tugevused ja piirangud
Kõige selgemad tugevused on spetsialiseeritus ja tõhusus. Mudel hõlmab ühe kontrollpunkti kaudu mitut ohutuse mõõdet, suudab hinnata nii tavalisi keelemudeli interaktsioone kui ka valitud agentseid töövooge, toetab dokumenteeritud pikki kontekste ning kasutab Apache 2.0 litsentsi, mis sobib üldjuhul kohalikuks juurutamiseks ja kohandamiseks, kui litsentsitingimustest kinni peetakse. Hõre aktiveerimine võib aidata ka organisatsioone, kes vajavad suuremahulist kontrolli ilma suurema tiheda arhitektuuriga ohutusmudeli teenindamiseta.
Olulised piirangud on siiski olemas. Granite Guardian ei ole üldotstarbeline assistent, koodimudel ega võimeka juhiste järgimise mudeli asendus. Sellelt ei tohiks oodata viimistletud vastuseid, tootmiskõlbliku tarkvara kirjutamist ega suvaliste ülesannete lahendamist lõppkasutajate nimel. Mudeli dokumenteeritud väljund on riskihinnang ja usaldussignaal, mitte põhjalik selgitus ega garanteeritud poliitikaotsus.
IBM-i esitatud teabe kohaselt treeniti ja testiti mudelit ingliskeelsetel andmetel. Seetõttu tuleks muukeelset jõudlust eraldi hinnata, mitte eeldada. Tulemused võivad samuti erineda sõltuvalt viiba vormistusest, vastandlikest sisenditest, domeeninihketest ja rakenduse kasutatavast täpsest riskimääratlusest. Ohutusklassifikaatorit tuleks testida organisatsiooni enda väärkasutusjuhtumitega ning see ei tohiks olla suure mõjuga otsuste ainus kontrollimehhanism.
Võimekus, kiirus ja kulupositsioon
Selle lehe toimetuslikus võrdluses on mudel saanud kiiruse eest hindeks 8/10 ja kulude eest 9/10, mis peegeldab selle hõredat arhitektuuri ning avatud kaaludega juurutusvõimalusi. Need on toimetuse hinnangud, mitte IBM-i avaldatud võrdlustestide tulemused. Toimetuslik põhjendusvõime hinne on 2/10 ja programmeerimise hinne 1/10, sest kontrollpunkt on optimeeritud klassifitseerimiseks ja kaitsepiirde hindamiseks, mitte laiapõhjaliseks arutlemiseks või tarkvaraarenduseks.
Need kompromissid muudavad mudeli kõige atraktiivsemaks siis, kui etteaimatav ohutuse kontroll, läbilaskevõime ja juurutuse üle kontroll on olulisemad kui vestluskvaliteet. Suurem ohutusmudel võib olla sobivam, kui rakendus vajab paremat jõudlust keeruliste, mitmetähenduslike, mitmekeelsete või väga spetsiifiliste hinnangute puhul, eeldusel et lisakulu ja suurem latentsus on vastuvõetavad. Uuem Granite Guardian 3.3 8B võib samuti olla hindamist väärt, kui selle suurem maht sobib töökoormusega paremini, kuigi esitatud uurimismaterjalid ei kinnita arvulist kvaliteedieelist.
Millal valida Granite Guardian 3.2 3B-A800M?
Vali see mudel siis, kui vajad avatud kaaludega kaitsepiiret, mida saab käitada kohapeal või ühilduva majutatud käituskeskkonna kaudu ning kui sinu rakendus saab kasu suhteliselt väikesest aktiivsete parameetrite arvust. Sobivad kasutusjuhud on viipade ja vastuste kontroll, jailbreak'ide tuvastamine, modereerimisvood, RAG-süsteemide kontekstipõhisuse kontroll, otsingutulemuste asjakohasuse kontroll, mudeli jälgitavus ning agendi funktsioonikutsete valideerimine enne nende käivitamist.
See sobib eriti hästi siis, kui ümbritsevas süsteemis on juba esmane keelemudel ja vaja on eraldi ohutuse hindajat. 131 072 positsiooniga konfiguratsioon võib aidata ka pikkade vestluste või otsingukontekstide puhul, eeldusel et juurutusel on piisavalt mälu ja viip jääb teenindusvirna praktilistesse piiridesse.
Vali mõni muu lahendus, kui vajad üldotstarbelist vestlusabilist, kvaliteetset koodigeneratsiooni, algupärast pildi- või helisisendi mõistmist, meedia otsest genereerimist, autonoomset tööriistade käivitamist või avaldatud majutatud teenuse hinda, mille korral on tokenipõhine arveldamine etteaimatav. Mitteingliskeelses tootmiskasutuses, mitmekeelses ohutuses või suure mõjuga modereerimises on soovitatav teha sõltumatud testid ning kaaluda suuremat või spetsialiseeritumat alternatiivi.