Granite Guardian 3.8B

Mis on Granite Guardian 3.8B?

Granite Guardian 3.8B on IBMi spetsialiseeritud mudel ohutuse ja kvaliteedi hindamiseks. Selle asemel et olla peamine assistent, mis kirjutab kasutajale vastuse, uurib see viipasid, vastuseid, hangitud dokumente ja muid töövoo andmeid, et tuvastada riske või vigu.

Mudeli nimi võib tekitada segadust: vaatamata tähisele „3.8B” kirjeldab IBMi esitatud dokumentatsioon seda kui 8 miljardi parameetriga mudelit. See on mudeli Granite 3.1 8B Instruct peenhäälestatud versioon, mille treenimisel kasutati inimeste annotatsioone, sünteetilisi andmeid ja ettevõttesisese punase meeskonna testimise andmeid. IBM avaldas mudeli 18. detsembril 2024 Apache 2.0 litsentsi alusel.

Praktikas võib Granite Guardian toimida kasutaja ja peamise keelemudeli vahelise kaitsekihina või hindajana, mis kontrollib vastust pärast selle genereerimist. Näiteks võib rakendus kontrollida kasutaja viipa jailbreak-katsete suhtes enne selle vestlusrobotile saatmist ning seejärel hinnata vestlusroboti vastust kahjuliku sisu või toetamata väidete suhtes enne selle kuvamist.

Milliseid riske ja kvaliteediprobleeme see tuvastab?

Granite Guardian 3.8B on mõeldud konfigureeritavaks järelevalveks ettevõtete tehisintellektisüsteemides. Selle dokumenteeritud hindamisvaldkonnad hõlmavad nii tavapärast ohutuse modereerimist kui ka levinud tõrkeid otsinguga täiendatud genereerimises ehk RAG-is. RAG-süsteemid hangivad teavet etteantud teadmistebaasist ja annavad selle keelemudelile kontekstina. Vastus võib olla ebaturvaline, ebaoluline või põhjendamata ka siis, kui otsing on sisse lülitatud, mistõttu saab mudel hinnata selle protsessi mitut eraldi osa.

• Kahjuga seotud riskid: viipade ja vastuste kontrollimine potentsiaalselt kahjuliku sisu suhtes.
• Jailbreakid ja vastandlikud viibad: katsete tuvastamine rakenduse ohutusjuhiste või piirangute eiramiseks.
• Sotsiaalne kallutatus ja ropendamine: solvava, kallutatud või vulgaarse sisu kontrollimine.
• Vägivald, seksuaalne sisu ja ebaeetiline käitumine: sisukategooriate tuvastamine, mis võivad olla vastuolus organisatsiooni eeskirjadega.
• Konteksti asjakohasus: hindamine, kas hangitud teave on kasutaja küsimuse seisukohast asjakohane.
• Põhjendatus: kontrollimine, kas genereeritud vastust toetab etteantud kontekst.
• Vastuse asjakohasus: kindlakstegemine, kas vastus käsitleb kasutaja taotlust.
• Hallutsinatsioonidega seotud riskid: hindamine, kas RAG-vastus sisaldab väiteid, mida ei ole piisavalt toetatud.

IBMi Granite Guardiani dokumentatsioon käsitleb ka hallutsinatsioonide tuvastamist funktsioonikutsetega töövoogudes Granite Guardiani 3.1 põlvkonna mudelite puhul. See muudab mudeli asjakohaseks agentsetes süsteemides, kuid Granite Guardian 3.8B-d ei tohiks käsitleda tööriistu kutsuva assistendina. Esitatud mudeliandmetes on tööriistade kasutamine märgitud toetamata, seega on selle roll hindamine, mitte funktsioonide iseseisev käivitamine.

Tehnilised andmed ja piirangud

Kontekstilimiit hõlmab kokku etteantud viipa, võimalikku hangitud konteksti ja genereeritud väljundit. See ei garanteeri, et iga juurutus aktsepteerib täpselt sellise mahuga päringut, sest majutus- ja käituskeskkonnad võivad kehtestada oma piirangud. Dokumenteeritud 8192 uue tokeni maksimum kirjeldab mudeli väljundimahtu päringu kohta.

Granite Guardian 3.8B on teksti sisendiga ja teksti väljundiga mudel. Esitatud spetsifikatsioonides ei ole dokumenteeritud pildi-, heli- ega videosisendit ning mudel ei loo otse pilte, heli, videot, kõnet ega embedding'u-vektoreid. Veebiotsing ei ole samuti selle konkreetse mudeli sisseehitatud võimekus.

Kuidas see sobitub IBMi mudelikataloogi?

IBM paigutab Granite Guardiani Granite'i mudeliperekonda, kuid selle otstarve erineb üldotstarbelise juhistele häälestatud mudeli omast. Üldist keelemudelit kasutatakse tavaliselt kirjutamiseks, kokkuvõtete tegemiseks, klassifitseerimiseks või vestlemiseks. Granite Guardian valitakse selliste süsteemide käitumise ja väljundi kontrollimiseks.

IBMi watsonx.ai alusmudelite dokumentatsioon märgib kirje granite-guardian-3-8b aegunuks. See on uute juurutuste puhul oluline: IBM-i majutatud järeldamise kasutamist kaaluvad meeskonnad peaksid kontrollima, kas mudel on nende piirkonnas ja keskkonnas endiselt saadaval, ning hindama uuemaid Granite Guardiani väljalaskeid, kui need pakuvad vajalikku funktsionaalsust. Aegunud olek ei muuda mudelit avatud kaaludega Apache 2.0 kontrollpunktiks, kuid muudab pikaajalise majutatud kättesaadavuse ebakindlamaks.

Mudelit võib hankida ka IBM Granite'i mudelijotuskanalite kaudu. Ise majutamine ja IBMi majutatud järeldamine on erinevad valikud. watsonx.ai tokenipõhine hind katab hallatud API kasutamise; see ei kata riistvara, mälu, serveerimistarkvara, käitamise ega seire kulusid, mida avatud kaaludega mudeli ise käitamine nõuab.

Hinnakujundus ja juurutusvõimalused

IBMi esitatud watsonx.ai arendajahinnakirjas on Granite Guardian 3.8B indikatiivse hinnana toodud 0,0002 dollarit 1000 sisendtokeni kohta ja 0,0002 dollarit 1000 väljundtokeni kohta. Need on kasutuspõhised tokenihinnad dokumenteeritud IBMi majutatud API kontekstis, mitte korduva tellimuse hind.

Hindamisvoo tegelik maksumus sõltub sellest, kui palju teksti kaitsemudelile saadetakse ja kui sageli seda kutsutakse. Süsteem, mis kontrollib nii sisendviipa kui ka väljundvastust, võib ühe kasutajatoimingu kohta teha kaks hindamispäringut. RAG-rakendused võivad tarbida ka rohkem sisendtokeneid, sest hangitud tekstilõigud lisatakse hindamiskonteksti. Kuigi esitatud hinnateabe järgi on tokenihinnad madalad, tuleks suuremahulist modereerimist või korduvaid agendikontrolle siiski mõõta organisatsiooni tegelike viipade, kontekstide ja vastuste pikkuste põhjal.

Ise majutamine võib anda andmete ja juurutuse üle suurema kontrolli, kuid sel juhul muutub kulude arvestus tokenipõhisest hinnast infrastruktuuri- ja käitamiskuluks. Käitajad vajavad sobivat arvutusvõimsust ja mälu, ühilduvat serveerimisplatvormi, seiret ning protsessi valepositiivsete ja valenegatiivsete tulemuste valideerimiseks. Apache 2.0 litsents on lubav, kuid ei vabasta neid tehnilistest kohustustest.

Võimekus ja kompromissid

Granite Guardiani peamine tugevus on spetsialiseerumine. See on loodud vastama küsimustele nagu „Kas etteantud kontekst toetab seda vastust?” või „Kas see viip püüab süsteemi reeglitest mööda pääseda?”. See fookus muudab mudeli üldise vestlusmudeli asemel sobivamaks kaitsekihi jaoks.

Selle 8 miljardi parameetriga suurus on paljude suuremate üldotstarbeliste keelemudelitega võrreldes suhteliselt kompaktne. Esitatud toimetajahinnang annab selle kiirusele 7 punkti 10-st ja kulule 8 punkti 10-st, kajastades mudeli väiksemat spetsialiseeritud rolli, mitte teenusepakkuja avaldatud võrdlustesti. Tegelik latentsus ja maksumus sõltuvad riistvarast, konteksti suurusest, paketttöötlusest, majutuskeskkonnast ja päringute mahust.

Sama spetsialiseerumine tekitab ka olulisi piiranguid. See ei asenda peamist mudelit, mis peab pidama avatud vestlust, kirjutama rakendusekoodi, veebis sirvima, pilte tõlgendama või heli ja videot töötlema. Dokumenteeritud keeletugi hõlmab inglise keelt, seega peaksid muudes keeltes tegutsevad organisatsioonid jõudlust kontrollima, mitte eeldama samaväärset käitumist. Ohutusklassifikatsioonid ei ole samuti universaalsed poliitikaotsused: ettevõte peaks mudelit testima oma sisureeglite alusel ning mõõtma nii valepositiivseid kui ka valenegatiivseid tulemusi.

Põttlemist ja kodeerimist tuleb mõista selles kontekstis. Esitatud toimetajapoolne põhjendamisvõime hinnang on 5 punkti 10-st ja kodeerimishinnang 2 punkti 10-st; need on subjektiivsed andmebaasihinnangud, mitte IBMi võrdlustestide tulemused. Granite Guardian võib analüüsida, kas sisu on riskantne või kas vastus on põhjendatud, kuid see ei ole eelkõige põhjendamiseks ega koodi genereerimiseks mõeldud mudel. Samuti on esitatud andmetes struktureeritud väljund, voogedastus, peenhäälestus, vahemälu ja pakett-API tugi märgitud kinnitamata, mitte kinnitatud võimekustena.

Parimad kasutusjuhtumid

Granite Guardian 3.8B sobib hästi olukordadesse, kus rakendus vajab teise mudeli ümber eraldi kontrollikihti. Sobivad näited on järgmised:

• Kasutajaviipade kontrollimine enne nende jõudmist klienditeeninduse või ettevõttesisese assistendini.
• Genereeritud vastuste kontrollimine kahjuliku sisu või eeskirjade rikkumiste suhtes.
• Jailbreak-katsete tuvastamine rakendustes, mida kasutavad ebausaldusväärsed kasutajad.
• Hindamine, kas hangitud tekstilõigud on küsimuse seisukohast asjakohased.
• Kontrollimine, kas RAG-vastus põhineb mudelile etteantud kontekstil.
• Ohutus- või kvaliteedivärava lisamine enne vastuse kuvamist kasutajale või järgmisele töövoosammule edastamist.
• Agentsete süsteemide jälgimine, kui viibad, vahetulemused ja lõplikud vastused vajavad sõltumatut hindamist.

Levinud juurutusviis on kutsuda Granite Guardian välja enne genereerimist viiba riskide tuvastamiseks, pärast genereerimist vastuse modereerimiseks või mõlemas etapis. RAG-töövoos võib mudelile anda ka kasutaja küsimuse, hangitud konteksti ja genereeritud vastuse, et hinnata nende asjakohasust ja põhjendatust koos.

Millal valida Granite Guardian 3.8B?

Vali Granite Guardian 3.8B siis, kui peamine probleem on ohutuse või faktipõhisuse hindamine, mitte võimalikult hea iseseisva vastuse genereerimine. See on eriti asjakohane meeskondadele, kes soovivad avatud kaaludega kaitsemudelit, vajavad Apache 2.0 litsentsi või soovivad ettevõtte RAG- ja modereerimistöövoogude jaoks eraldi hindajat.

Mõni muu võimalus võib olla sobivam, kui rakendus vajab üldotstarbelist vestlusmudelit, tugevat koodigeneerimist, dokumenteeritud inglise keele toest laiemat mitmekeelset tuge, tööriistade natiivset käivitamist, veebiotsingut või multimodaalset sisendit. Uuem Granite Guardiani väljalase võib olla eelistatum ka uue IBMi juurutuse puhul, kui see on saadaval ja pakub vajalikku võimekust, sest Granite Guardian 3.8B täpne watsonx.ai kirje on märgitud aegunuks.

Enne tootmiskasutust testi mudelit sihtrakenduse tüüpiliste viipade, hangitud dokumentide ja vastustega. Määra iga riskikategooria jaoks vastuvõetavad läved, vaata üle piiripealsed klassifikatsioonid ja veendu, et mudeli otsused oleksid kooskõlas organisatsiooni eeskirjadega. Granite Guardian võib pakkuda olulist hindamiskihti, kuid seda ei tohiks käsitleda eksimatu ohutusautoriteedi ega rakenduse tasandi kontrollide, inimkontrolli ja hoolika süsteemidisaini asendajana.