Milleks Granite Guardian 3.0 8B on loodud
Granite Guardian 3.0 8B on IBM Researchi välja töötatud spetsiaalne keelemudel tehisintellekti ohutuse ja töökindluse hindamiseks. IBM kohandas selle mudelist Granite 3.0 8B Instruct, kuid saadud mudelil on teistsugune roll: see on mõeldud suhtluse hindamiseks, mitte piiramatu abilisena tegutsemiseks.
Tüüpilise juurutuse korral töötab Granite Guardian mõne teise keelemudeli kõrval. Rakendus võib saata kasutaja päringu enne genereerimist eestkostjale, edastada genereeritud vastuse genereerimisjärgseks kontrolliks või kasutada seda hindamaks, kas vastus on hangitud dokumentidega piisavalt põhjendatud. Seejärel tagastab eestkostja etteantud ohutushinnangu, mida väljendatakse tavaliselt skoori või jah/ei-tüüpi tulemusena.
Mudel avaldati 21. oktoobril 2024. Selle kaalud on Hugging Face’is IBM-i Granite’i organisatsiooni alt allalaaditavad ning neid levitatakse Apache 2.0 litsentsi alusel. See litsents ja juurutusmudel võimaldavad organisatsioonidel hindajat oma keskkonnas käitada, võttes arvesse oma taristut, nõuetele vastavust ja integratsiooniga seotud otsuseid.
Peamised ohutuse ja juhtimise kasutusjuhud
Mudel on suunatud praktilistele turvapiirete töövoogudele, mitte avatud vestlusele. Seda saab kasutada nii sisenevate päringute kui ka väljuvate vastuste kontrollimiseks, aidates meeskondadel rakendada ohutuspõhimõtteid eri rakendustes järjepidevalt.
- Päringute sõelumine: hinnata, kas kasutaja päring sisaldab kahjulikke, keelatud või muul viisil riskantseid juhiseid, enne kui see edastatakse generatiivsele mudelile.
- Vastuste hindamine: kontrollida genereeritud vastust kahjuliku või eeskirju rikkuva sisu suhtes enne selle kasutajale kuvamist.
- Jailbreak-katsete tuvastamine: tuvastada katsed rakenduse ohutusjuhistest mööda minna või manipuleerida mudelit oma piiranguid eirama.
- Mürgisuse ja kahjuliku sisu kontroll: pakkuda sisumodereerimise töövoogude jaoks mudelipõhist signaali.
- RAG-i põhjendatuse kontroll: hinnata, kas otsinguga täiendatud genereerimise töövoos loodud vastust toetab mudelile antud teave.
- Jälgimine ja pisteline kontroll: aidata seiremeeskondadel suhtlusi valimipõhiselt kontrollida ning tuvastada valdkondi, kus on vaja muuta eeskirju või kaasata inimene.
Neid väljundeid tuleks käsitleda laiema juhtimisprotsessi osana ja mitte ainsa otsustusalusena. Tootmissüsteem võib mudelit kombineerida deterministlike reeglite, rakenduse õiguste, logimise, inimesele suunamise ning organisatsiooni valdkonda ja eeskirju kajastavatel näidetel põhinevate testidega.
Tehniline profiil ja toetatud modaalsused
Granite Guardian 3.0 8B-l on ligikaudu 8 miljardit parameetrit ning see kasutab ainult dekooderiga Granite’i arhitektuuri. Kaasasolevas konfiguratsioonis on määratud maksimaalseks positsioonipikkuseks 8192 tokenit. Tokenid on keelemudelite kasutatavad väikesed tekstiüksused, seega kehtib praktiline piirang mudelile saadetava teksti ja ümbritseva hindamismalli kogupikkusele. Uuringus ei ole eraldi määratud maksimaalset väljundtokenite arvu.
Mudel töötab ainult tekstiga. See võtab vastu teksti ja annab tekstipõhiseid hinnanguid; see ei töötle algupäraselt pilte, heli ega videot ning ei genereeri tekstivälist meediat. Seetõttu ei asenda see piltide modereerimise mudelit, kõnesüsteemi, videoohutuse mudelit, embeddingu-mudelit ega multimodaalset abilisust.
Selle kasutamisel on oluline päringu vorming. Granite Guardian on mõeldud kasutamiseks koos hinnatava ohutuskriteeriumi jaoks ette nähtud mallide ja skoorimisreeglitega. Kui käsitleda seda tavalise vestlusmudelina või paluda määratletud hinnangu asemel piiramatuid selgitusi, võivad väljundid muutuda vähem kasulikuks ja raskemini järjepidevalt tõlgendatavaks.
Juurutamine, teenindamine ja praegune positsioon
Allalaaditava mudeli saab laadida Transformersiga ning seda saab teenindada ühilduvate järeldussüsteemide, näiteks vLLM-i või SGLangi kaudu. See annab meeskondadele võimaluse majutada mudelit ise rakendustes, kus päringute ja vastuste hoidmine oma taristu sees on oluline. Täpne riistvaravajadus, läbilaskevõime ja kasutuskulu sõltuvad teeninduskonfiguratsioonist ning neid tuleks mõõta sihtkeskkonnas, mitte tuletada üksnes parameetrite arvust.
IBM seostas selle mudeliperega ka watsonxi majutatud vundamendimudeli identifikaatori, granite-guardian-3-8b. Esitatud elutsükliinfo kohaselt pidi mitme rentnikuga juurutus kasutusest eemaldatama 8. augustil 2026. See majutatud teenuse sündmus on allalaaditava mudelihoidla kättesaadavusest eraldi. IBM-i praegust kataloogi hindavad kasutajad peaksid arvestama ka sellega, et saadaval on uuemad Granite Guardiani versioonid, sealhulgas Granite Guardian 3.3 ja Granite Guardian 4.1. Need uuemad versioonid võivad olla sobivamad, kui oluline on värskus või mudeli hilisemad täiustused, kuigi esitatud uuring ei anna nende kohta samadel alustel tehtud võrdlusanalüüsi.
Tugevused ja kompromissid
Granite Guardian 3.0 8B peamine tugevus on spetsialiseeritus. Riskihinnangute jaoks loodud hindajat võib olla ohutustöövoogu lihtsam integreerida kui üldotstarbelist mudelit, millele antakse juhis moderaatorina tegutseda. Avatud kaalud ja Apache 2.0 litsents toetavad samuti ise majutatud juurutusi ning võimaldavad kontrollida ümbritsevat järelduskonfiguratsiooni.
Mudeli suurus kujutab endast praktilist kompromissi. Ligikaudu 8 miljardi parameetriga on see väiksem kui paljud tipptasemel üldotstarbelised keelemudelid, mistõttu võib selle kohapealne teenindamine olla jõukohasem ning hindamine kiirem ja odavam kui iga kontrolli suunamine palju suuremale mudelile. Need kulu- ja kiiruse-eelised on siiski toimetuslikud kompromissihinnangud, mitte teenusepakkuja avaldatud jõudlusgarantiid. Tegelik latentsus sõltub riistvarast, kvantimisest, pakettide töötlemisest, jada pikkusest ja teenindustarkvarast.
Esitatud toimetuslikud võrdlushinnangud annavad selle mõtlemisvõimele 2 punkti 10-st, programmeerimisvõimele 1 punkti 10-st, kiirusele 6 punkti 10-st ja kulule 8 punkti 10-st. Need on ligikaudsed hinnangud mudeli rollile ohutuskontrollijana, mitte IBM-i võrdlustestide tulemused. Eelkõige näitavad madalad mõtlemis- ja programmeerimishinnangud, et mudel ei ole loodud keerukate probleemide lahendamiseks ega tarkvaraarenduseks. Suhteliselt head kiiruse- ja kuluhinnangud peegeldavad selle suurusega ise majutatud mudeli võimalikke eeliseid, mitte garanteeritud teenusetaseme tulemust.
Hinnakujundus ja kasutuskulu
Esitatud uuringus ei tuvastatud ametlikku majutatud API hinda. Granite Guardian 3.0 8B-d esitletakse peamiselt allalaaditava avatud kaaludega mudelina, seega ei ole hoidla enda kohta kinnitatud tokenipõhist hinda. Ise majutamisega kaasnevad siiski kulud, sealhulgas arvutusressursid, salvestusruum, juurutamine, seire, hooldus ja inseneritöö.
IBM-i majutatud pakkumist kasutavad organisatsioonid peaksid praegust watsonxi kataloogi ja kommertstingimusi otse kontrollima. Majutatud juurutuse väljakuulutatud elutsükli kuupäev muudab kättesaadavuse samuti oluliseks kontrollitavaks asjaoluks. Allalaaditavad kaalud ja majutatud API on erinevad levitamisvalikud ning neid ei tohiks käsitleda samade hinnaplaanidena.
Piirangud ja riskijuhtimine
Granite Guardian 3.0 8B-d treeniti ja hinnati peamiselt ingliskeelse kasutuse jaoks. Teistes keeltes töötavad meeskonnad peaksid seda enne otsustele tuginemist tüüpiliste näidete põhjal valideerima. Töökindlust võib vähendada ka valdkonna mittevastavus: üht tüüpi ohutusküsimuste jaoks kohandatud eeskirjade hindaja ei pruugi sama hästi toimida spetsialiseeritud reguleeritud töövoos või ebatavalise sisukategooria puhul.
Vastandlikud päringud, ebaselged eeskirjad, kehvad hindamismallid ja vale paigutus töövoos võivad tulemust mõjutada. Eestkostja hinnang ei tõesta, et sisu on ohutu või ohtlik. Suure mõjuga otsuste puhul peaks see olema üks sisend protsessis, mis hõlmab deterministlikku valideerimist, inimkontrolli, auditiloge ning regulaarset hindamist päris- ja vastandlike näidete põhjal.
Mudelit ei tohiks valida ka võimekuste jaoks, mida see ei paku. See ei ole üldine vestlusabiline, koodigenereerimise süsteem, embeddingu-teenus, veebotsingu mudel ega meediatöötluse mudel. Esitatud uuring ei kinnita algupärast funktsioonide või tööriistade kutsumist, struktureeritud väljundi režiimi, pakett-API tuge, vahemällu salvestamist ega majutatud API üksikasjalikke juhtimisvõimalusi; neid ei tohiks eeldada üksnes teksti genereeriva arhitektuuri põhjal.
Millal valida Granite Guardian 3.0 8B
Valige Granite Guardian 3.0 8B, kui peamine vajadus on ise majutatav tekstipõhine ohutuse hindaja päringute, vastuste, jailbreak-katsete, mürgisuse kontrolli või RAG-i põhjendatuse jaoks. See on eriti asjakohane, kui organisatsioon soovib Apache 2.0 litsentsiga kaalusid, tundlike andmete kohapealset töötlemist ning mudelit, mida saab olemasoleva keelemudeli ümber eraldiseisva turvapiirdena kasutada.
Uuem Granite Guardiani versioon võib olla parem lähtekoht, kui projekt vajab IBM-i Guardiani tootesarja uusimat mudelit. Majutatud modereerimisteenus võib olla sobivam, kui meeskond ei soovi mudelitaristut käitada, eeldusel et teenus vastab privaatsuse, kättesaadavuse ja elutsükli nõuetele. Keeruka mõtlemise või nüansirohke läbivaatamise jaoks võib eelistada suuremat üldotstarbelist mudelit, mitte-tekstisisendite puhul on aga vaja spetsiaalset pildi-, heli- või videoohutuse süsteemi.
Meeskondadele, kes selle mudeli valivad, on kõige turvalisem lähenemisviis määratleda esmalt eeskirjade kriteeriumid, kasutada IBM-i ette nähtud päringu- ja skoorimismalle, testida mudelit valdkonnapõhiste näidetega ning luua ebakindlate või suure mõjuga juhtumite jaoks eskalatsioonitee. Selles rollis kasutatuna on Granite Guardian 3.0 8B kõige parem käsitlusviis juurutatava ohutuskomponendina – mitte rakenduse vestlust või mõtlemist juhtiva põhimudelina.