Milleks Granite Guardian 3.1 2B on loodud
Granite Guardian 3.1 2B on IBM Researchi ohutuse ja riskide tuvastamise keelemudel. See on peenhäälestatud mudelist Granite 3.1 2B Instruct, kuid selle roll erineb üldotstarbelise juhiseid järgiva mudeli omast. Mudeli ülesanne on analüüsida teksti ja struktureeritud hindamiskonteksti ning anda riskihinnang, mitte pidada avatud vestlust.
Mudeli võib paigutada generatiivse mudeli ette sisendviipade kontrollimiseks, selle järele genereeritud vastuste ülevaatamiseks või suurema otsinguga täiendatud genereerimise (RAG) või agendipõhise töövoo osaks. Avaldatud mudelihoidla on ibm-granite/granite-guardian-3.1-2b. IBM avaldas mudeli 18. detsembril 2024 Apache 2.0 litsentsi alusel.
Milliseid riske see tuvastada suudab?
Granite Guardian toetab IBM-i tehisintellekti riskide atlasega seotud eelmääratletud riskituvastuse konfiguratsioone. Need konfiguratsioonid võimaldavad rakendusel valida vajaliku hinnangu tüübi, selle asemel et käsitleda iga sisendit ühe üldise modereerimisprobleemina.
- Kahjulik sisu: üldise kahjuliku või ebaturvalise materjali tuvastamine.
- Jailbreak-katsed: mudeli ohutusjuhistest möödahiilimiseks loodud viipade tuvastamine.
- Sotsiaalne kallutatus: probleemse kallutatusega seotud sisu kontrollimine.
- Vägivald, roppused ja seksuaalne sisu: konkreetsete sisukategooriate tuvastamine.
- Ebaeetiline käitumine: ebaeetiliste taotluste või vastustega seotud sisu tuvastamine.
- RAG-i asjakohasus: kontrollimine, kas hangitud kontekst on kasutaja küsimusega seotud.
- RAG-i põhjendatus: kontrollimine, kas vastus põhineb esitatud kontekstil, mitte põhjendamatul väljamõeldisel.
- Vastuse asjakohasus: hindamine, kas vastus käsitleb taotlust piisavalt.
- Funktsioonikutsete hallutsinatsioonid: agendi kavandatud tööriistakutsete kontrollimine kehtetute argumentide, väljamõeldud infovoogude, süntaktiliste või semantiliste vigade ning taotlusega ja saadaoleva tööriistakirjeldusega põhjendamata tegevuste tuvastamiseks.
Soovitatud järeldusmeetodi korral genereerib mudel tekstipõhiseid riskisilte, näiteks Yes või No, ning järeldusprotseduuri kaudu on saadaval ka tõenäosusandmed. Täpne tõlgendus sõltub valitud riskimääratlusest ja rakenduse kasutatavast viibavormingust.
Kuidas see sobitub tehisintellektirakendusse
Granite Guardianit on kasulik mõista olemasoleva tehisintellektitöövoo kontrollpunktina. Sisendi kontrollimiseks saadab rakendus kasutaja viiba enne suuremale keelemudelile edastamist esmalt kaitsemudelile. Kui tulemus viitab valitud riskile, saab rakendus sisendi blokeerida, ümber suunata või paluda ohutumat ümbersõnastust.
Väljundi kontrollimisel hindab kaitsemudel genereeritud vastust enne selle kasutajale kuvamist. RAG-töövoos võib hindamine hõlmata küsimust, hangitud tekstilõike ja vastusekandidaati. See võimaldab eraldi kontrollida, kas tekstilõigud on asjakohased, kas vastus põhineb neil ning kas vastus käsitleb küsimust.
Agentide puhul saab Granite Guardian kontrollida kavandatud funktsioonikutseid ja mudeli ning selle tööriistade vahel vahetatavat teavet. See suudab tuvastada valede argumentidega kutseid või kutseid, mida kasutaja taotlus või tööriistakirjeldus ei õigusta. Mudel ei käivita tööriistu iseseisvalt, vaid hindab kavandatud suhtlust.
Tehniline profiil ja piirangud
| Spetsifikatsioon | Üksikasjad |
|---|---|
| Pakkuja | IBM Research |
| Mudelite perekond | Granite Guardian |
| Väljalaskekuupäev | 18. detsember 2024 |
| Arhitektuur | Ainult dekooderiga Granite’i põhine põhjuslik keelemudel |
| Mudeli suurus | Ligikaudu 2 miljardit parameetrit; praeguse hoidla metaandmed määratlevad kontrollpunkti 3B mudelisuuruse klassi kuuluvana |
| Konfigureeritud konteksti pikkus | 131 072 tokenit |
| Peamine sisend | Rakenduse edastatud tekst ja hindamiskontekst |
| Peamine väljund | Tekstipõhised riskihinnangud ja soovitatud protseduuri kaudu saadav tõenäosusinfo |
| IBMi dokumenteeritud keel | Inglise keel |
| Litsents | Apache 2.0 |
| Väljundi maksimaalne tokenite arv | Esitatud uurimuses avaldamata |
131 072 tokeni näitaja pärineb avaldatud mudelikonfiguratsiooni positsioonimanuste maksimumist. See kirjeldab konfigureeritud konteksti mahtu, kuid ei garanteeri, et iga ohutushindamise viip on sellise pikkuse korral praktiline või sama täpne. Esitatud uurimus ei määra eraldi väljundtokenite maksimaalset arvu.
Mudel on nii praktilise otstarbe kui ka väljundmodaalsuse poolest ainult tekstipõhine. See ei genereeri ega analüüsi algupäraselt pilte, heli ega videot. Selle väljund on esitatud teksti ja struktureeritud andmete põhjal antud klassifikatsioon või riskihinnang.
Kasutuselevõtt ja integreerimine
Granite Guardian 3.1 2B on Hugging Face’i kaudu avatud kaaludena levitatav. Mudelikaart kirjeldab selle laadimist Hugging Face Transformersi abil, kasutades AutoTokenizer ja AutoModelForCausalLM. Samuti kirjeldab see vLLM-i ja SGLangiga seotud teenindusvõimalusi ning kohalikku kasutuselevõttu ühilduvate kvantimise ja rakendustööriistade abil.
Selline kasutuselevõtumudel on oluline organisatsioonidele, kes peavad hoidma viibad, hangitud dokumendid või agendijäljed oma taristus. Esitatud uurimus ei loetle selle kontrollpunkti jaoks pakkuja majutatud API hinnastust. Seetõttu ei ole sisendi ega väljundi hinnad saadaval ning kasutuskulu sõltub kasutaja valitud riistvarast, teenindusvirnast, läbilaskevõimest ja kasutuselevõtukonfiguratsioonist.
Peamised tugevused
- Väike spetsialiseeritud jalajälg: kompaktset ohutusmudelit võib olla lihtsam suure generatiivse mudeli kõrval käitada kui mõnd teist suurt üldotstarbelist mudelit.
- Avatud litsents: Apache 2.0 litsents ja allalaaditav kontrollpunkt toetavad kohalikku katsetamist ja isehostitud integreerimist, arvestades litsentsi ning kasutaja enda ülevaatusnõudeid.
- Lai eelmääratletud katvus: mudel käsitleb nii sisuturvalisust kui ka RAG-i asjakohasust, põhjendatust, vastuse asjakohasust ja funktsioonikutsete töökindlust.
- Kasulik töövoo eri etappides: see saab kontrollida viipasid, vaadata üle väljundeid, valideerida hangitud konteksti töövooge ja kontrollida kavandatud tööriistakutseid.
- Tõenäosusinfo: soovitatud järeldusmeetod võib anda enamat kui lihtsalt kuvatava sildi, võimaldades rakendusel kujundada oma lävendipõhise käitumise.
Selle toimetuslik profiil eelistab kiirust ja kasutuskulu laiapõhjalisest arutlus- või kodeerimisvõimest: esitatud võrdlusandmetes on kiirusele antud hindeks 8 kümnest ja kulule 9 kümnest. Need on toimetuslikud hinnangud, mitte IBMi võrdlustestid ega pakkuja avaldatud jõudlusgarantiid.
Piirangud ja kompromissid
Granite Guardian ei asenda üldotstarbelist keelemudelit. See on spetsialiseerunud riskiklassifikatsioonile ning seda ei tohiks valida siis, kui peamine vajadus on pikem vestlus, loov genereerimine, tarkvaraarendus või autonoomne ülesannete täitmine. Esitatud võrdlusandmetes on selle arutlusvõime hindeks 3 kümnest ja kodeerimisvõime hindeks 1 kümnest; need on toimetuslikud hinnangud, mitte standardiseeritud võrdlustestide tulemused.
Mudeli otsused sõltuvad ka konfiguratsioonist. Riskimääratlus, viibamall, lävend ja ümbritsev rakendusloogika mõjutavad kõik tulemuste tõlgendamist. Kahendotsust Yes või No ei tohiks automaatselt käsitleda täieliku ohutusotsusena. Meeskonnad peaksid katsetama oma valdkonna tüüpilisi näiteid, mõõtma valepositiivseid ja valenegatiivseid tulemusi ning säilitama suure mõjuga otsuste puhul inimkontrolli.
Mudelil puudub algupärane tööriistade käivitamise võime, kuigi see saab kavandatud funktsioonikutsungeid kontrollida. Esitatud uurimuses ei ole dokumenteeritud ka pakkuja hinnastust, väljundi maksimaalset piiri, pakktöötluse API-t, vahemällu salvestamise funktsiooni ega hallatava API kättesaadavust. Võrdlusandmetes on voogedastus märgitud toetatuks, kuid kontrollpunkt on endiselt peamiselt isehostitav mudel, mitte üldine pilvepõhine lõpp-punkt.
Praegune saadavus
Avatud kaaludega Hugging Face’i kontrollpunkt on endiselt IBM-i Granite’i organisatsioonist eraldi allalaaditav. Seda tuleb eristada IBM-i hallatavast watsonx.ai kataloogist. IBMi elutsükliteave märgib seotud ibm/granite-guardian-3-2b hallatava alusmudeli kirje aegunuks 9. juulil 2025 ning mitme rentnikuga watsonx.ai elutsüklist eemaldatuks 8. oktoobril 2025. Hallatava teenuse olek ei tähenda, et avatud kaaludega Granite Guardian 3.1 2B hoidla oleks eemaldatud.
Mudelit hindavad kasutajad peaksid seega esmalt otsustama, kas neil on vaja allalaaditavat kontrollpunkti või hallatava pakkuja lõpp-punkti. Esimene on jätkuvalt asjakohane lahendus kohalikuks ja isehostitud kasutuseks; esitatud uurimus ei kinnita selle konkreetse kontrollpunkti praegust juurdepääsu hallatavale lõpp-punktile.
Millal valida Granite Guardian 3.1 2B
Valige Granite Guardian 3.1 2B siis, kui süsteem vajab suhteliselt väikest avatud kaaludega mudelit, mis on pühendatud ohutuse ja töökindluse kontrollidele. See sobib eriti hästi järgmisteks ülesanneteks:
- viipade kontrollimine kahjuliku sisu või jailbreak-katsete suhtes;
- genereeritud vastuste kontrollimine enne nende edastamist;
- kontrollimine, kas RAG-i kontekst on asjakohane ja kas vastus põhineb sellel kontekstil;
- agendi funktsioonikutsete ülevaatamine väljamõeldud või kehtetute tööriistatoimingute tuvastamiseks; ning
- kaitsemeetmete järelduste tegemine kohapeal, kui oluline on isehostimine, litsentsimine või andmekontroll.
Suurem üldotstarbeline mudel võib olla sobivam, kui ülesanne nõuab nüansirikast avatud arutlust, kodeerimist, genereerimist või laiemat mitmekeelset käitumist. Spetsialiseeritud poliitikamootor või inimeste tehtav ülevaatus võib olla sobivam siis, kui otsustel on õiguslikud, tööhõivega seotud, meditsiinilised, rahalised või muud suured tagajärjed. Granite Guardian võib sellistes süsteemides toimida ühe kihina, kuid selle kompaktset suurust ja klassifitseerivat rolli ei tohiks pidada igakülgseks otsustusvõimeks.