Mis on Granite Guardian 3.0 2B?
Granite Guardian 3.0 2B on IBM Researchi turvalisuse ja hindamise mudel, mis on loodud mudeli Granite 3.0 2B Instruct põhjal. See ei ole mõeldud üldotstarbeliseks vestlusabiliseks. Selle asemel toimib see turvapiirina: rakendus edastab mudelile viiba, mudeli vastuse või otsingu abil saadud konteksti ning Granite Guardian hindab seda valitud riskikategooria alusel.
Mudeli tavapärane väljund on pika selgituse või piiramatu genereeritud vastuse asemel jah- või ei-vormis turvahinnang. See muudab mudeli praktiliseks komponendiks süsteemides, mis peavad otsustama, kas sisu blokeerida, paluda vastus ümber sõnastada, suunata juhtum ülevaatamiseks või lubada vastuse kasutajani jõudmist jätkata.
IBM avaldas mudeli 21. oktoobril 2024 avatud kaaludega mudelina Apache 2.0 litsentsi alusel. Ametlikus mudelikaardis nimetatakse uuemana versiooni Granite Guardian 3.1 2B, mistõttu tuleks Granite Guardian 3.0 2B-d käsitleda pigem IBM-i Granite Guardiani seeria varasema liikmena, mitte selle mudeliperekonna uusima väljalaskena.
Mida mudel tuvastada suudab
Granite Guardian 3.0 2B sisaldab sisseehitatud riskikategooriaid nii tavapärase sisuturvalisuse kui ka otsinguga täiendatud genereerimise ehk RAG-i hindamiseks. RAG-süsteemid annavad keelemudelile enne vastuse genereerimist otsitud dokumendid või tekstilõigud. Otsitud materjal võib olla asjakohane, puudulik või eksitav, mistõttu aitab eraldi hindaja tuvastada probleemid enne vastuse kasutajani jõudmist.
- Üldine kahjulikkus: potentsiaalselt kahjulikud kasutaja viibad või mudeli vastused.
- Turvapiiretest möödahiilimine: katsed rakenduse turvajuhistest või piirangutest mööda minna.
- Sotsiaalne kallutatus: probleemne või diskrimineeriv sisu, mis puudutab ühiskonnarühmi.
- Vägivald, ropendamine ja seksuaalne sisu: ebaturvalise või sobimatu materjali konkreetsed liigid.
- Ebaeetiline käitumine: ebaeetiliste taotluste või tegevustega seotud sisu.
- Konteksti asjakohasus: kas otsitud kontekst on küsimusega seotud.
- Põhjendatus: kas vastus tugineb esitatud kontekstile ega sisalda toetamata väiteid.
- Vastuse asjakohasus: kas vastus käsitleb kasutaja küsimust.
Mudelikaardi kohaselt on keskmine kõvera-alune pindala (AUC) kõigi loetletud TRUE RAG-i hallutsinatsioonide võrdlusnäitajate puhul 0,81. See on pakkuja esitatud uurimistulemus hinnatud võrdlusnäitajate kohta, mitte täpsusgarantii iga rakenduse andmete või turvapoliitika puhul.
Koht IBM-i mudelivalikus
Granite Guardian 3.0 2B kuulub IBM-i Granite’i mudeliperekonda, kuid selle roll erineb tavalisest juhiseid järgiva keelemudeli omast. Granite 3.0 2B Instruct on baasmudel, mille põhjal see mudel peenhäälestati; Granite Guardian lisab turvalisuse ja RAG-i riskide klassifitseerimise võimekuse, keskendumata üldisele vestlusele, laiapõhjalistele teadmisteülesannetele või koodi genereerimisele.
Mudel erineb oluliselt ka majutatavast modereerimise API-st: kaasasolevas uurimismaterjalis kirjeldatakse seda allalaaditava mudelina, mida saab käitada kohalike või enda hallatavate järeldustööriistadega. Mudelimaterjalides nimetatud toetatud võimaluste hulka kuuluvad Transformers, vLLM, SGLang, Docker Model Runner, Ollama ja LM Studio. Täpne juurutusmeetod, riistvaranõuded ja kasutuskulu sõltuvad valitud käituskeskkonnast ja taristust.
Kuna Granite Guardian 3.1 2B on määratletud uuema versioonina, peaksid uut hindamissüsteemi loovad kasutajad seda järglast enne Granite Guardian 3.0 2B standardiseerimist võrdlema. Granite Guardian 3.0 2B võib siiski olla asjakohane juhul, kui oluline on ühilduvus olemasoleva juurutuse, mudeliartefakti või hindamise töövooga.
Tehnilised andmed ja toetatud modaalsused
| Spetsifikatsioon | Granite Guardian 3.0 2B |
|---|---|
| Pakkuja | IBM |
| Mudeli tüüp | Turvamudel |
| Väljalaskekuupäev | 21. oktoober 2024 |
| Litsents | Apache 2.0 |
| Konteksti pikkus | 8192 tokenit |
| Sisend | Tekst |
| Väljund | Tekstilised turvahinnangud |
| Pildi-, heli- ja videosisend | Ei ole toetatud |
| Otsene pildi-, heli- või videoväljund | Ei ole toetatud |
| Tööriistade või funktsioonide kasutamine | Ei ole toetatud |
| Väljundi maksimaalne tokenite arv | Esitatud uurimismaterjalis täpsustamata |
8192 tokeni pikkune kontekst piirab teksti kogumahtu, mida mudel saab ühe päringu käigus töödelda. Rakendused, mis ühendavad pika kasutajaviiba, otsitud tekstilõigud ja kontrollitava vastuse, peaksid hoidma kogu hindamissisendi selle piiri piires. Esitatud teave ei täpsusta eraldi väljundtokenite maksimaalset arvu.
Esitatud mudelimärkmete kohaselt on Granite Guardian 3.0 2B ainult ingliskeelne. Seetõttu ei tohiks seda käsitleda mitmekeelse turvaklassifikaatorina ilma eraldi valideerimiseta. Ainult tekstil põhinev ülesehitus välistab ka pildi-, heli- või videosisu otsese hindamise, välja arvatud juhul, kui mõni teine süsteem teisendab selle materjali esmalt tekstiks.
Peamised tugevused ja kompromissid
Mudeli peamine eripära on spetsialiseeritus. Kompaktse turvamudeli saab paigutada genereeriva mudeli järele selle vastuse kontrollimiseks või enne genereerimist kasutajapäringu sõelumiseks. Selle riskikategooriad ulatuvad ka tavapärasest kahjuliku sisu modereerimisest kaugemale: konteksti asjakohasus, põhjendatus ja vastuse asjakohasus muudavad selle kasulikuks RAG-i töövoogude kontrollimisel.
Avatud kaaludega Apache 2.0 litsentsi alusel levitamine on veel üks praktiline eelis organisatsioonidele, kes vajavad kohalikku käitamist, juurutuse üle kontrolli või lõimimist olemasoleva järeldustaristuga. Mudelit saab käitada mitme kohaliku ja enda hallatava tööriista kaudu, ilma et oleks vaja eraldi tasulist majutatud lõpp-punkti. Selle mudeli pakkuja hallatava sisendi- või väljundhinna kohta andmed puuduvad, mistõttu täpset tokenipõhist kulu ei saa esitada. Kohaliku juurutusega kaasnevad siiski taristu- ja käituskulud.
Selle piirangud tulenevad samast spetsialiseeritusest. Granite Guardian 3.0 2B ei asenda üldotstarbelist abilist, veebiotsingusüsteemi, koodi genereerimise mudelit ega multimodaalset sisumõistmise mudelit. Esitatud toimetuslikus hinnangus on selle arutlusoskuse skoor 2 punkti 10-st ja kodeerimisskoor 1 punkt 10-st, kuid need on spetsialiseeritud turvamudeli kohta antud toimetuslikud suhtelised hinded, mitte IBM-i avaldatud võrdlustulemused. Sama hinnang annab kiirusele 7 punkti 10-st ja kulule 8 punkti 10-st; ka need on subjektiivsed hinnangud, mitte garanteeritud jõudlus- või hinnanäitajad.
Sobivad kasutusjuhtumid
- Viipade sõelumine: hinnata kasutajapäringuid kahjuliku, solvava, ebaturvalise või turvapiiretest möödahiilimisega seotud sisu suhtes enne nende edastamist genereerivale mudelile.
- Vastuste modereerimine: kontrollida mustandvastust enne selle kasutajale kuvamist või rakendusse salvestamist.
- RAG-i kvaliteedikontroll: hinnata, kas otsitud kontekst on asjakohane ja kas vastus põhineb sellel kontekstil.
- Kohalikud turvatorustikud: juurutada turvapiir kontrollitud keskkonda, kus viipade ja vastuste saatmine välisele modereerimisteenusele ei ole soovitav.
- Kihiline hindamine: kombineerida jah- või ei-vormis hinnanguid rakendusepõhiste reeglite, inimkontrolli või keerukamate juhtumite korral suurema hindamismudeliga.
Näiteks võiks klienditoesüsteem saata kasutaja küsimuse ja kavandatud vastuse Granite Guardianile. Seejärel saaks rakendus saadud turvakategooria põhjal blokeerida kahjuliku päringu, lükata tagasi vastuse, mis ei põhine otsitud abikeskuse tekstil, või suunata ebaselge tulemuse inimkontrolli.
Millal see mudel valida?
Vali Granite Guardian 3.0 2B siis, kui peamine vajadus on kompaktne, enda hallatav tekstipõhine turvalisuse või RAG-i hindamise komponent, mitte vestluskvaliteet. See sobib eriti hästi juhul, kui Apache 2.0 litsents, kohalik järeldamine ja kindlaksmääratud turvahinnangud on olulisemad kui avatud otsast otsani arutlemine või genereerimine.
Suurem üldotstarbeline mudel on sobivam siis, kui süsteem peab kirjutama üksikasjalikke vastuseid, lahendama keerukaid probleeme, genereerima tootmiskõlblikku koodi või täitma laiapõhjalisi teadmisteülesandeid. Multimodaalne turvasüsteem on parem valik, kui sisend sisaldab pilte, heli või videot. Rakenduste puhul, mis teenindavad ka muid keeli peale inglise keele, tuleks hinnata mitmekeelset alternatiivi.
Granite Guardian 3.0 2B ja uuema turvamudeli vahel valides tuleks võrrelda kategooriate ulatust, keeletuge, hindamistulemusi, käituskeskkonna ühilduvust ja poliitikaga seotud käitumist. Eelkõige tasub uute projektide puhul kaaluda IBM-i nimetatud uuemat mudelit Granite Guardian 3.1 2B, samas kui 3.0 2B võib jääda kasulikuks olemasolevates juurutustes, mis sõltuvad selle senisest käitumisest või pakendamisest.
Hind ja kättesaadavus
Granite Guardian 3.0 2B-d kirjeldatakse avatud kaaludega mudelina, mis on allalaadimiseks saadaval Apache 2.0 litsentsi alusel. Esitatud uurimismaterjalis ei ole majutatud API hinda, tellimustasu ega sisend- või väljundtokenite hinda. Seetõttu ei ole kontrollitud korduvat mudelihinda, mida raporteerida.
Mudeli käitamine kohapeal või privaatses serveris ei ole tegevuskulude mõttes tasuta: kasutajad peavad tagama sobiva arvutusvõimsuse, salvestusruumi, seire ja hoolduse. Need kulud varieeruvad juurutuse järgi ning on litsentsitasust eraldi. Mudel on saadaval IBM-i Granite’i mudelikaardi ja seotud repositooriumide kaudu ning seda saab kasutada esitatud uurimismaterjalis nimetatud kohalike järeldustööriistadega.
Kokkuvõte
Granite Guardian 3.0 2B-d tuleks eelkõige käsitleda keskendunud turvakomponendina, mitte väiksema üldotstarbelise vestlusrobotina. Selle väärtus seisneb viipade ja vastuste sõelumises ning mitme RAG-i tõrkeviisi kontrollimises, sealhulgas ebaasjakohase konteksti, põhjendamata vastuste ja küsimusele mitte vastavate vastuste tuvastamises. 8192-tokenine tekstikontekst, ainult inglise keele tugi, multimodaalse toe puudumine ja tööriistade kasutamise võimaluse puudumine määratlevad selle piirid. Kohaliku modereerimise ja RAG-i turvapiirete jaoks, kus avatud kaalud ja juurutuse üle kontroll on olulised, on see praktiline valik; genereerimise, kodeerimise, mitmekeelse töö või multimodaalse modereerimise jaoks sobib paremini teist tüüpi mudel.