Mis on Granite Guardian 3.2 5B?
Granite Guardian 3.2 5B on IBM Researchi avatud kaaludega ohutuse ja riskide tuvastamise mudel. Selle ülesanne on klassifitseerida, kas tekst või tehisintellekti töövoog kujutab endast määratletud riski, mitte pidada vabas vormis vestlust. Mudel saab hinnata kasutaja viipasid, assistendi vastuseid, terveid vestlusi, hangitud konteksti ja agendi kavandatud toiminguid.
Seetõttu sobib mudel kaitsemeetmeks. Kaitsemeede on generatiivse mudeli ette või järele paigutatud eraldi kontroll: see võib kasutaja päringu enne genereerimist läbi vaadata, kontrollida mustandvastust enne selle edastamist või valideerida agendi loodud teavet ja toiminguid.
Mudeli kanooniline identifikaator on ibm-granite/granite-guardian-3.2-5b. IBM levitab seda Apache 2.0 litsentsi alusel avatud kaaludega mudelina ning pakub dokumentatsiooni ja juurutusnäiteid Transformersile, vLLM-ile, SGLangile, Docker Model Runnerile ja teistele kohalikele töövoogudele.
Koht Granite'i mudeliperes
Granite Guardian 3.2 5B on IBMi Guardiani ohutusmudelite sarja väiksem järglane. IBM kirjeldab seda kui mudeli Granite Guardian 3.1 8B kärbitud versiooni. Korduva kärpimise ja taastreenimise käigus eemaldati ligikaudu 30% algsetest parameetritest ning seejärel treeniti mudelit uuesti, et säilitada konkurentsivõimeline riskide tuvastamise võimekus.
Selle muudatuse praktiline eesmärk on tõhusus. Viie miljardi parameetriga ohutusmudel vajab üldjuhul vähem ressursse kui suurem mudel, millest see tuletati. See võib vähendada mälukasutust, järeldamise latentsust ja juurutuskulusid. Esitatud uuringud ei sisalda kontrollitud kõrvutist võrdlust ega täpset kiiruse paranemise protsenti, seega tuleks neid eeliseid käsitleda mudeli disainieesmärkide ja IBMi kirjeldusena, mitte iga riistvarakonfiguratsiooni puhul garanteeritud tulemusena.
IBMi valikus on ka uuemad Granite Guardiani väljaanded, mistõttu ei ole see mudel kataloogi uusim Guardiani mudel. See on endiselt avalikult kättesaadav ning võib sobida juhul, kui kompaktne, spetsialiseeritud ja avatud kaaludega ohutusklassifikaator on parem valik kui uuem või suurem mudel.
Milliseid riske suudab see tuvastada?
Granite Guardian 3.2 5B toetab mitut ohutuse ja töökindluse hindamise kategooriat. Selle üldine kahjude tuvastamise funktsioon hõlmab sotsiaalse kallutatuse, jailbreak-katsete, vägivalla, ropendamise, seksuaalse sisu, ebaeetilise käitumise, kahjulikus tegevuses osalemise ja kõrvalehoidlikkuse kontrolli.
See hõlmab ka riske, mis on eriti olulised otsinguga täiendatud genereerimise (RAG) puhul. RAG-süsteemid annavad keelemudelile enne vastuse genereerimist hangitud dokumente või tekstilõike. Granite Guardian saab hinnata, kas hangitud kontekst on asjakohane, kas vastus põhineb sellel kontekstil ja kas vastus on algse päringu seisukohast asjakohane.
Agendipõhiste rakenduste puhul saab mudel hinnata funktsioonikutsete hallutsinatsioone. Need tekivad siis, kui tehisintellektisüsteem pakub välja süntaktiliselt vigase funktsioonikutse, kasutab sobimatut struktuuri või teeb ülesande seisukohast semantiliselt vale kutse. See võimaldab agendi kavandatud tööriistatoimingut kontrollida enne, kui mõni teine süsteem selle käivitab.
Väljundvorming ja tööpõhimõte
Mudel on loodud etteantud hindamisvormingu, mitte piiramatu vestluse jaoks. Selle peamine tulemus on „Jah“ või „Ei“ riskihinnang koos sõnaliselt esitatud kindlustasemega, näiteks „Kõrge“ või „Madal“. Rakendus võib näiteks paluda mudelil hinnata, kas vastus sisaldab kindlat riski, ning kasutada saadud klassifikatsiooni vastuse blokeerimiseks, ülevaatamiseks või lubamiseks.
Nõutud viiba ja hindamismalli järgimine on oluline. IBMi mudeli dokumentatsioon hoiatab, et etteantud vormingust kõrvalekaldumine võib anda ootamatuid tulemusi. Arendajad peaksid seetõttu käsitlema mudelit dokumenteeritud liidesega klassifikaatorina, mitte üldotstarbelise assistendina, kellele saab juhuslikult viipasid anda ja eeldada järjepidevat ohutusotsust.
Rakendused peaksid määratlema ka selle, kuidas käsitleda ebakindlaid või piiripealseid klassifikatsioone. Jah/ei-tulemus võib toetada automaatset filtreerimist, kuid suure mõjuga töövood võivad vajada inimese ülevaatust, täiendavaid eeskirjakontrolle või rakenduse tegelikust valdkonnast pärit näidetega testimist.
Toetatud modaalsused ja väljundid
Granite Guardian 3.2 5B on tekstimudel. See võtab vastu tekstisisendeid ja väljastab tekstipõhiseid klassifikatsioonitulemusi. Esitatud mudeliandmete kohaselt ei toeta see pildi-, heli- ega videosisendit või -väljundit ning see ei ole mõeldud multimeediumisisu tõlgendamiseks.
Selle väljund põhineb tekstilistel riskihinnangutel ja kindlusavaldustel, mitte genereeritud piltidel, kõnel, videol, esitustel ega autonoomsetel toimingutel. Samuti ei ole dokumenteeritud, et mudelil oleks sisseehitatud veebiotsing, tööriistade kasutamine või funktsioonide käivitamine. See saab hinnata kavandatud funktsioonikutset, kuid väline rakendus vastutab selle kutse määratlemise, valideerimise ja käivitamise eest.
Kiiruse, kulude ja võimekuse kompromissid
Peamine kompromiss seisneb spetsialiseerituse ja üldotstarbelise võimekuse vahel. Granite Guardian 3.2 5B on väiksem ja keskendunum kui laiema kasutusalaga vestlusmudel. See fookus muudab selle sobivaks teise taseme ohutuskontrolliks, samas kui kärbitud ülesehituse eesmärk on muuta selle kohalik või ise hallatav juurutamine vähem nõudlikuks kui suurema Granite Guardian 3.1 8B juurutamine.
Selle mudeli kohta ei ole esitatud ametlikku hostitud tokenihinda. Kuna seda levitatakse avatud kaaludega mudelina, saavad kasutajad seda käitada oma taristus või ühilduvas hostimisteenuses, kuid kogukulu sõltub riistvarast, hostimisest, läbilaskevõimest ja käitamisnõuetest. Uuringud ei kinnita standardset API-hinda, paketttöötluse hinda ega viipade vahemällu salvestamise võimalust.
Samal põhjusel ei ole esitatud teabes kontrollitud teenusepakkuja avaldatud kontekstiakna ega väljundtokenite maksimumlimiiti. Need väärtused võivad sõltuda käituskeskkonnast ja mudeli konfiguratsioonist. Neid tuleks kontrollida praegusest mudelidokumentatsioonist ja testida valitud teenindusvirnas, mitte eeldada mudeli nime põhjal.
Alusandmebaasi toimetuslikud hinnangud annavad mudelile kiiruse ja kulude osas suhteliselt kõrge ning arutlus- ja programmeerimisvõimekuse osas madalama hinnangu. Need on andmebaasi võrdlevad hinnangud, mitte IBMi spetsifikatsioonid ega võrdlustestide tulemused. Need kajastavad mudeli rolli kompaktse ohutusklassifikaatorina: mudel on optimeeritud riskide tuvastamiseks, mitte keerukaks arutlemiseks, tarkvaraarenduseks või pikkade tekstide genereerimiseks.
Parimad kasutusjuhud
- Sisendikaitsemeetmed: kontrollida kasutaja viipasid kahjulike, solvavate, kõrvalehoidlike või jailbreak'ile suunatud päringute suhtes enne nende saatmist generatiivsele mudelile.
- Väljundi modereerimine: kontrollida genereeritud vastuseid ebaturvalise sisu või eeskirjade rikkumiste suhtes enne nende kasutajale kuvamist.
- RAG-i valideerimine: kontrollida, kas hangitud kontekst on asjakohane, kas vastus põhineb sellel kontekstil ja kas vastus käsitleb esitatud küsimust.
- Agentide jälgimine: kontrollida kavandatud funktsioonikutsed enne käivitamist süntaktiliste või semantiliste hallutsinatsioonide suhtes.
- Modeli hindamine: teha arenduse või seire ajal vestluste ja mudeliväljundite kohta korratavaid riskikontrolle.
- Ise hallatavad juurutused: kasutada avatud kaaludega ohutuskomponenti juhul, kui organisatsioon vajab suuremat kontrolli hostimise, andmekäitluse või integratsiooni üle.
Igal juhul toimib mudel kõige paremini laiema ohutusprotsessi ühe komponendina. Rakendus peab endiselt määratlema oma eeskirjad, otsustama, mida märgatud tulemusega teha, ning testima mudelit tüüpiliste näidetega.
Piirangud ja olukorrad, kus valida teine võimalus
Kõige olulisem piirang on kasutusala. Granite Guardian 3.2 5B ei ole üldotstarbeline assistent, piiramatu sisugeneraator, programmeerimismudel ega arutlusmudel. Suurem üldotstarbeline mudel on sobivam juhul, kui peamine vajadus on vestlus, keerukas analüüs, koodi genereerimine või sisu loomine. Spetsiaalset multimeediumi ohutussüsteemi on vaja siis, kui hinnatav materjal on peamiselt pilt, helisalvestis või video.
Mudel treeniti ja seda testiti ingliskeelsetel andmetel, mistõttu ei tohiks eeldada, et see pakub usaldusväärset mitmekeelset ohutusklassifikatsiooni. Organisatsioonid, kes töötavad muude kui inglise keeltega, peaksid mudelit hoolikalt testima või valima nende keelte jaoks loodud ja hinnatud lahenduse.
Kohandatud riskimääratlused vajavad samuti valideerimist. Eeskiri, mis on ühele organisatsioonile selge, võib teises olla mitmetähenduslik, ning mudeli etteantud viibavorming ei pruugi iga valdkonnaga ideaalselt sobituda. Enne tootmiskasutust peaksid meeskonnad testima valepositiivseid ja valenegatiivseid tulemusi, piiripealseid näiteid, vastandlikke viipasid ning hindamisjuhiste muutmise mõju.
Teine võimalus võib olla eelistatav juhul, kui organisatsioon vajab hostitud teenust dokumenteeritud tokenihinna, garanteeritud konteksti- ja väljundlimiitide, integreeritud tööriistade käivitamise või teenusepakkuja hallatava modereerimis-API-ga. Granite Guardian 3.2 5B on kõige atraktiivsem siis, kui prioriteediks on kompaktne, spetsialiseeritud ja avatud kaaludega tekstiklassifikaator, mida saab integreerida kohandatud ohutus- või seiretorustikku.
Litsents ja juurutamine
Mudel on välja antud Apache 2.0 litsentsi alusel. IBM pakub näiteid mitme juurutuskeskkonna jaoks, sealhulgas Transformers, vLLM, SGLang ja Docker Model Runner. See annab tehnilistele meeskondadele mitu võimalust kohalikuks või ise hallatavaks teeninduseks, kuigi tegelikud riistvaranõuded ja jõudlus sõltuvad käituskeskkonnast ja konfiguratsioonist.
Enne juurutamist kontrollige mudelikaardi praeguseid juhiseid, kasutage oodatud hindamismalli ja veenduge, et valitud käituskeskkond toetab soovitud jada pikkust ning väljundi käitumist. Kuna esitatud uuringutes ei ole kontrollitud täpset kontekstilimiiti, väljundi maksimumlimiiti, hostitud teenuse hinda ega teadmiste lõppkuupäeva, tuleks neid väärtusi käsitleda juurutusspetsiifiliste küsimustena, mitte eeldatavate spetsifikatsioonidena.
Kokkuvõte
Granite Guardian 3.2 5B on IBMi spetsialiseeritud ohutusmudel tekstipõhiste tehisintellektisüsteemide riskide klassifitseerimiseks. Selle peamine praktiline eripära on avatud kaalude, Apache 2.0 litsentsi, laia ohutuskategooriate valiku, RAG-kontrollide ja funktsioonikutsete hallutsinatsioonide tuvastamise kombinatsioon väiksemas mudelis, mis on tuletatud mudelist Granite Guardian 3.1 8B. Valige see siis, kui vajate väiksemate kavandatud ressursinõuetega ise hallatavat ohutuse hindajat; valige üldotstarbeline, mitmekeelne, multimeediumi- või hostitud alternatiiv siis, kui need võimalused on kompaktsest spetsialiseeritud riskituvastusest olulisemad.