Mis on Granite Guardian 3.1 8B?
Granite Guardian 3.1 8B on IBM Researchi ohutuse ja kaitsepiirete mudel, mis avaldati 18. detsembril 2024. See on Granite 3.1 8B Instructi peenhäälestatud versioon, mis on kohandatud riskide ja kvaliteedi hindamiseks, mitte tavapäraseks vestlusabiliseks.
Praktikas võib mudel paikneda keelemudelirakenduse kõrval ja toimida kontrollkihina. See võib kontrollida kasutaja viipa enne genereerimist, vaadata üle assistendi vastuse pärast genereerimist, hinnata otsinguga täiendatud genereerimise (RAG) töövoos hangitud dokumente või uurida agendi kavandatud funktsioonikutset. Selle tavapärane väljund on ettenähtud hindamismalli abil loodud binaarne hinnang Jah või Ei.
Mudelit levitatakse avatud kaaludena Apache 2.0 litsentsi alusel IBMi Granite'i ökosüsteemi ja IBM Granite'i Hugging Face'i organisatsiooni kaudu. IBMi watsonxi dokumentatsioon märgib vastavad Granite Guardian 3.1 baasmudeli kirjed aegunuks, kuid avatud kaaludega mudel on endiselt allalaaditav ja ühilduvate järeldustööriistade kaudu kasutatav.
Mida mudel on loodud tuvastama
Granite Guardian 3.1 8B toetab mitut ohutuse ja töökindluse kontrolli. Üldist kahjulikkuse tuvastamist saab kasutada ohtliku materjali leidmiseks, samas kui täpsemad kategooriad hõlmavad sotsiaalset kallutatust, jailbreak-katseid, vägivalda, ropendamist, seksuaalset sisu ja ebaeetilist käitumist. Need kontrollid võimaldavad rakendusel rakendada eri riskitüüpidele erinevaid reegleid, selle asemel et tugineda ühele üldisele modereerimisotsusele.
Mudel toetab ka RAG-töövoogude kontrolli. Konteksti asjakohasus küsib, kas hangitud materjal on kasutaja küsimuse jaoks kasulik. Põhjendatus kontrollib, kas vastust toetab esitatud kontekst. Vastuse asjakohasus hindab, kas vastus käsitleb esitatud soovi. Need kontrollid aitavad koos tuvastada vastuse, mis kõlab usutavalt, kuid mida mudelile kättesaadavaks tehtud dokumendid piisavalt ei toeta.
Üks eripärane võimekus on funktsioonikutsete hallutsinatsioonide tuvastamine. Mudel võib kontrollida tööriista- või funktsioonikutset selliste probleemide suhtes nagu vigane süntaks, valed argumendid, väljamõeldud infovood, vastuolu kasutaja sooviga või ebakõla saadaoleva tööriista määratlusega. See ei tähenda, et Granite Guardian käivitaks tööriistu või tegutseks agendina. Selle asemel hindab see agendi kavandatud tegevust enne, kui ümbritsev rakendus otsustab, kas see käivitada.
Kuidas hindamine ja väljund toimivad
Granite Guardian 3.1 8B on mõeldud kasutamiseks koos IBMi ettenähtud Guardiani hindamisviipadega. Hindamismall annab mudelile hindamiskriteeriumi ja materjali, mida hinnata, näiteks viiba, vastuse, hangitud konteksti või funktsioonikutse. Standardkonfiguratsioonis on tulemuseks binaarne märgend Jah või Ei, mis näitab, kas määratud risk või tingimus esineb.
Riskihinnangu kindluse ligikaudseks hindamiseks saab kasutada ka tokenite tõenäosusi. See võib olla kasulik siis, kui rakendus vajab range binaarse reegli asemel lävendit – näiteks piiripealsete juhtumite suunamiseks inimesele ülevaatamiseks. Tõenäosust ei tohiks ilma rakenduse enda andmetel testimata käsitleda täpselt kalibreeritud tegeliku maailma riskiskoorina.
Mudeli kasutamine väljaspool ettenähtud hindamisrežiimi võib mudeli juhiste kohaselt anda ootamatuid või ohtlikke tulemusi. Seetõttu tuleks seda integreerida spetsiaalselt hindamiseks mõeldud tööriistana, mitte kasutada nagu üldotstarbelist assistenti. Enne tootmiskasutuses sellele tuginemist peaksid arendajad valideerima täpse viibavormingu, märgendid, lävendid ja tõrgete käsitlemise.
Tehnilised andmed ja piirangud
| Spetsifikatsioon | Kontrollitud üksikasjad |
|---|---|
| Teenusepakkuja | IBM Research / IBM Granite |
| Mudelite perekond | Granite Guardian |
| Parameetrid | Ligikaudu 8 miljardit |
| Väljalaskekuupäev | 18. detsember 2024 |
| Kontekstiaken | 128 000 tokenit |
| Maksimaalne uute genereeritavate tokenite arv | 8192 |
| Põhikeel | inglise keel |
| Litsents | Apache 2.0 |
| Tüüpiline väljund | Tekstiklassifikatsioon, tavaliselt Jah või Ei |
| Hind | Avatud kaaludega mudeli kohta ei ole teenusepakkuja hinda esitatud |
128 000 tokeni suurune kontekstipiirang on kasulik pikkade viipade, vastuste, hangitud tekstilõikude ja agendi tegevusjälgede hindamisel, kuigi tegelik piirang sõltub valitud käituskeskkonnast ja soovitud väljundi mahust. IBMi watsonxi dokumentatsioon esitab 8B Guardiani mudeli maksimaalseks uute genereeritavate tokenite arvuks 8192. Kaitsepiirde otsus vajab tavaliselt sellest maksimumist palju vähem väljundtokeneid.
Mudel võtab vastu ingliskeelset teksti ja väljastab teksti. See ei toeta algupäraselt pilte, heli ega videot ega genereeri mittetekstilist meediat. Multimodaalset modereerimist vajavad rakendused peavad kasutama esmalt vastava modaalsuse jaoks mõeldud süsteemi või teisendama materjali enne Granite Guardianile saatmist tekstiks, arvestades seejuures, et otsene ligipääs algsele meediale kaob.
Arutlus, kodeerimine, tööriistad, kiirus ja hind
Granite Guardian 3.1 8B suudab analüüsida seoseid päringu, vastuse, toetava konteksti ja kavandatud tegevuse vahel, kuid seda ei esitleta üldise arutlusmudelina. Selle arutlusvõime on suunatud esitatud ohutus- või kvaliteedikriteeriumile. Seda ei tohiks valida avatud probleemide lahendamiseks, vestluse pidamiseks ega üksikasjalike selgituste andmiseks.
Samuti ei ole see kodeerimisassistent. See võib hallutsinatsioonide tuvastamise raames kontrollida funktsioonikutse süntaksit ja argumente, kuid see erineb tarkvara genereerimisest, silumisest või hooldamisest. Esitatud toimetuslik hinnang annab selle kodeerimiskasutuse kasulikkusele 1 punkti 10-st ja spetsialiseeritud arutlusvõime kasulikkusele 3 punkti 10-st. Need on toimetuslikud suhtelised hinnangud, mitte IBMi võrdlustestide tulemused, ning peegeldavad mudeli kitsast kaitsepiirde rolli.
Granite Guardian ei kasuta iseseisvalt väliseid tööriistu. Selle funktsioonikutsetega seotud võimekus on hindav: rakendus edastab kontrollimiseks kavandatud kutse ja asjakohase tööriista määratluse. Ühilduv teenindusinfrastruktuur võib voogedastust toetada, kuid mudelit ennast tuleks siiski käsitleda klassifikaatorina, mille tulemusi peab tõlgendama rakenduse kood.
8 miljardi parameetriga suurus on mõeldud mõõdukate kulu-, latentsus- ja läbilaskevajaduste jaoks. Esitatud toimetuslik hinnang annab selle kiirusele 6 punkti 10-st ja kulutõhususele 7 punkti 10-st võrreldes laiema mudelituruga. Need hinnangud on subjektiivsed arvestused, mitte teenusepakkuja avaldatud mõõtmistulemused. Väiksem Guardiani variant võib olla sobivam, kui iga millisekund on oluline või kui vaja on väga suure mahuga kaitsepiirete rakendamist. Keerukate, mitmetimõistetavate või valdkonnaspetsiifiliste hinnangute korral võib eelistada suuremat või võimekamat hindajat.
Parimad kasutusjuhud
- Viipade sõelumine: Kontrollida kasutajapäringuid kahjuliku, ebaeetilise, kallutatud või jailbreak-katsetele suunatud sisu suhtes enne nende edastamist generatiivsele mudelile.
- Vastuste jälgimine: Vaadata genereeritud vastused enne kuvamist üle poliitikareeglite rikkumiste või ohtlike kategooriate suhtes.
- RAG-i valideerimine: Hinnata, kas hangitud kontekst on asjakohane, kas vastus põhineb sellel kontekstil ja kas see tegelikult vastab küsimusele.
- Agendi ohutus: Kontrollida kavandatud funktsioonikutseid vigaste argumentide, toetamata tegevuste või kasutaja päringu ja tööriistamääratlustega vastuolu suhtes.
- Jälgitavus ja pisteline kontroll: Rakendada tootmissüsteemi näidistele ühtset hindamisviipa ning suunata ebakindlad juhtumid inimesele ülevaatamiseks.
Kuna mudel väljastab fokuseeritud klassifikatsiooni, võib see olla kasulik suurema reeglistikupõhise töövoo ühe komponendina. Töökindel lahendus võib ühendada selle tulemuse rakenduse reeglite, juurdepääsukontrollide, tööriistalubade, logimise, ründekindluse testimise ja inimese sekkumisega.
Millal valida Granite Guardian 3.1 8B?
Vali Granite Guardian 3.1 8B, kui vajad avatud kaaludega tekstipõhist hindajat ingliskeelsete ohutuse ja töökindluse kontrollide jaoks ning suudad integreerida IBMi hindamisvormingu. See sobib eriti hästi siis, kui üks mudel peab katma nii tavapärased sisuriskid kui ka spetsialiseeritumad kontrollid, näiteks RAG-i põhjendatuse või funktsioonikutsete hallutsinatsioonid. Mõõdukas parameetrite arv võib pakkuda mõistlikku kompromissi väga väikese ja väikese latentsusega kaitsepiirde ning suurema, suuremaid taristunõudeid eeldava hindaja vahel.
Selle avatud kaaludega Apache 2.0 levitus võib sobida ka meeskondadele, kes peavad mudelit käitama enda ühilduvas keskkonnas ega soovi sõltuda eraldi hinnastatavast majutatud lõpp-punktist. Esitatud uurimismaterjalides ei ole siiski majutatud teenuse ega tokenipõhist hinda toodud, seega peab kogukulu võrdlus hõlmama meeskonna enda riistvara, majutuse, salvestuse ja halduse kulusid.
Teine võimalus võib olla sobivam siis, kui ülesandeks on üldine vestlus, koodi genereerimine, keerukas arutlus, mitmekeelne ohutuse klassifikatsioon või piltide, heli või video otsene analüüs. Väiksemad Guardiani mudelid võivad pakkuda lihtsate ja suure mahuga kontrollide puhul paremat läbilaskevõimet. Uuem Granite Guardiani väljalase võib olla hindamist väärt, kui mudelikaart või juurutuskeskkond seda toetab; esitatud märkmetes nimetatakse uuema versioonina Granite Guardian 3.3 8B-d, kuid võrdlusandmeid ei ole piisavalt, et väita, et see on konkreetse töökoormuse jaoks parem.
Piirangud ja ettevaatusabinõud juurutamisel
Mudel treeniti ja seda testiti ingliskeelsetel andmetel, mistõttu ei ole esitatud mudeliteabe põhjal selle jõudlus teistes keeltes kindlaks tehtud. Mitmekeelse sisuga tegelevad organisatsioonid peaksid iga sihtkeelt eraldi testima ega tohiks eeldada, et ingliskeelne jõudlus kandub automaatselt üle.
Ka ohutuskategooriad ja lävendid sõltuvad rakendusest. Mudeli hinnang ei pruugi vastata organisatsiooni õiguslikele, kultuurilistele või valdkonnaspetsiifilistele reeglitele. Enne tootmiskasutusse juurutamist testige tüüpilisi näiteid, ründavaid viipasid, piiripealseid juhtumeid ja valepositiivseid stsenaariume. Suure mõjuga otsuseid ei tohiks sellele mudelile ilma inimese ülevaatuse ja täiendavate kontrollideta delegeerida.
Granite Guardian 3.1 8B on spetsialiseeritud mudel ega tohiks asendada aluseks olevat keelemudelit, lubade süsteemi ega rakenduse tasandi jõustamist. See võib näiteks märgistada kavandatud tööriistakutse, kuid rakendus peab ikkagi otsustama, kas tööriist on saadaval, kas kasutajal on selleks õigus ja kas tegevus tuleks käivitada. Samuti ei tõesta põhjendatuse hinnang, et hangitud allikas ise on täpne.
Mudeliga seotud watsonxi baasmudeli kirjed on dokumentatsiooni kohaselt aegunud, samal ajal kui avatud kaaludega hoidla on endiselt saadaval. Meeskonnad peaksid enne pikaajalise juurutamisega alustamist kontrollima valitud levituse, käituskeskkonna ja teeninduskomplekti seisundit. Mudeli ettenähtud hindamisliides ja teadaolevad keelepiirangud muudavad kohaliku hindamise eriti oluliseks.
Kokkuvõte
Granite Guardian 3.1 8B-d on kõige mõistlikum käsitleda keelemudelisüsteemide avatud kaaludega kontrollkihina. Selle väärtus seisneb ohutuse, RAG-i kvaliteedi ja kavandatud funktsioonikutsete sihipärases hindamises, mitte üldises vestluses, kodeerimises või multimodaalses genereerimises. Ingliskeelsete rakenduste jaoks, mis vajavad konfigureeritavat kaitsepiiret ja suudavad toetada selle ettenähtud hindamisvoogu, pakub see 8 miljardi parameetriga mudelis laia katvust. Tootmisotsust peaksid kujundama ka selle spetsialiseeritud ülesehitus, ainult inglise keelele keskenduv ulatus, otsese meediatoe puudumine ning vajadus rakenduse ümbritsevate kontrollide järele.