Mis on Llama Guard 3-8B?
Llama Guard 3-8B on Meta PurpleLlama projekti kaudu pakutav avatud kaaludega teksti turvalisuse klassifitseerimise mudel. See põhineb eeltreenitud mudelil Llama 3.1 8B ja on täiendavalt treenitud kitsamaks ülesandeks: hinnata kasutaja viipasid ja keelemudeli vastuseid potentsiaalselt eeskirju rikkuva sisu suhtes.
Erinevalt üldotstarbelisest keelemudelist on Llama Guard 3-8B mõeldud toimima teise mudeli või rakenduse turvakihina. Tüüpilise juurutuse korral saadetakse klassifikaatorile kasutaja sõnum, assistendi vastus või mõlemad. Mudel tagastab tulemuse „turvaline” või „ebaturvaline” ning ebaturvalise sisu korral tuvastab asjakohase ohukategooria või -kategooriad. Seejärel saab rakendus sisu blokeerida, paluda turvalisemat vastust, suunata juhtumi ülevaatajale või rakendada täpsemat sisepoliitikat.
Mudel kuulub Llama Guard 3 perekonda. 8B versioon on esitatud mudeliteabe kohaselt tekstile keskenduv liige; Llama Guard 3-11B-Vision on eraldi nägemisvõimekusega variant, mitte selle mudeli pilditöötlusvõime.
Mida mudel klassifitseerib?
Llama Guard 3-8B kasutab MLCommonsi kategooriatel põhinevat ohutaksonoomiat, millele on lisatud kooditõlgi kuritarvitamise kategooria. Selle 14 teatatud kategooriat hõlmavad vägivallakuritegusid, vägivallatuid kuritegusid, seksuaalkuritegusid, laste seksuaalset ärakasutamist, laimamist, eriteadmisi nõudvat nõustamist, privaatsust, intellektuaalomandit, valimatult kasutatavaid relvi, vihkamist, enesetappu ja enesevigastamist, seksuaalset sisu, valimisi ning kooditõlgi kuritarvitamist.
Seetõttu on mudel kasulikuks enamaks kui lihtsalt roppuste filtreerimiseks. Näiteks võib rakendus seda kasutada ohtliku tegevusega seotud juhiste taotluse kontrollimiseks, genereeritud vastuses tundliku isikuandmete tuvastamiseks või kooditõlgile suunatud potentsiaalselt ebaturvalise taotluse leidmiseks. Kategooriaväljund aitab rakendusel rakendada eri riskidele erinevaid meetmeid, selle asemel et käsitleda kõiki ebaturvalisi tulemusi ühtemoodi.
Meta teatab ka, et mudel on optimeeritud otsingutööriistade väljakutseid ja kooditõlgi kasutamist hõlmavate turvakontrollide jaoks. See ei tähenda, et mudel käitaks iseseisvalt tööriistu või toimiks tööriistu kutsuva assistendina. Pigem aitab see hinnata nende tööriistadega seotud viipasid ja vastuseid, sealhulgas olukordi, kus hangitud teave või genereeritud kood võib tekitada täiendavaid turvariske.
Keeled, sisend ja väljund
Teatatud toetatud keeled on inglise, prantsuse, saksa, hindi, itaalia, portugali, hispaania ja tai keel. Selline mitmekeelne tugi muudab Llama Guard 3-8B sobivamaks rakendustele, mis modereerivad kasutajaid või vastuseid mitmes nimetatud keeles, kui ainult inglise keeles testitud klassifikaator. Arendajad peaksid siiski kontrollima jõudlust oma sisu, murrete, terminoloogia ja poliitikamääratluste põhjal.
Mudel keskendub tekstile. Selle kontrollitud sisend- ja väljundtüübid on tekst ning see 8B versioon ei paku loomupärast pildi-, heli- ega videosisendit või -väljundit. Rakendus, mis vajab visuaalse sisu otsest modereerimist, peaks kaaluma nägemisvõimekusega turvamudelit või eraldi meediamodereerimise süsteemi, mitte eeldama, et see kontrollpunkt suudab pilte uurida.
Tehnilised andmed ja juurutamine
| Spetsifikatsioon | Teatatud üksikasjad |
|---|---|
| Pakkuja | Meta |
| Mudelite perekond | Llama Guard 3 |
| Baasmudel | Llama 3.1 8B |
| Mudeli roll | Teksti turvalisuse klassifikaator |
| Konteksti pikkus | 131 072 tokenit |
| Toetatud keeled | inglise, prantsuse, saksa, hindi, itaalia, portugali, hispaania ja tai keel |
| Kaalud ja majutus | Avatud kaaludega ja sobib ise majutamiseks |
| Litsents | Llama 3.2 Community License |
| Kvantiseeritud kontrollpunkt | Meta pakutav INT8-versioon |
| Maksimaalne väljundtokenite arv | Esitatud mudeliteabes eraldi avaldamata |
| Majutatud API tokenipõhine hinnastus | Esitatud mudeliteabes avaldamata |
131 072 tokeni pikkune kontekst on teatatud mudelispetsifikatsioon, kuid seda ei tohiks segi ajada soovitusega saata igal päringul kogu rakenduse vestlusajalugu. Modereerimissüsteemid vajavad endiselt praktilisi piiranguid latentsuse, mälukasutuse ja kulude jaoks. Juurutus võib klassifitseerida ainult viimase kasutajavooru, genereeritud vastuse, valitud vestlusajaloo või poliitika seisukohast olulise väljavõtte.
Meta pakub ka INT8-kvantiseeritud kontrollpunkti. Kvantiseerimine vähendab mudeli kasutatavat arvulist täpsust ja võib vähendada mälunõudeid, mis võib muuta kohaliku juurutuse praktilisemaks. Kompromiss seisneb selles, et meeskonnad peaksid kvantiseeritud kontrollpunkti võrdlema täppis- või viitekonfiguratsiooniga, et teha kindlaks, kas klassifitseerimise kvaliteet on nende kasutusjuhu jaoks endiselt piisav.
Jõudlusväited ja piirangud
Meta mudelikaardi kohaselt on ingliskeelsete vastuste klassifitseerimise F1-skoor MLCommonsi ohutaksonoomial põhinevas ettevõttesiseses hindamises 0,939 ning valepositiivsete tulemuste määr 0,040. F1 ühendab täpsuse ja saagise üheks mõõdikuks, samal ajal kui valepositiivsete tulemuste määr näitab, kui sageli turvalised näited teatatud hindamisseadistuses ekslikult märgistati. Need on pakkuja esitatud tulemused, mitte universaalsed garantiid. Need ei pruugi ennustada jõudlust konkreetse toote kasutajate, keelte, poliitikalävede või vastandlike sisendite korral.
Mudel võib eksida olukordades, mis nõuavad värskeid fakte või nüansirohket hindamist. Esitatud uurimus toob konkreetselt esile laimamise, intellektuaalomandi ja valimised kategooriatena, mis võivad vajada ajakohasema faktiteadmisega süsteeme. Seetõttu ei tohiks turvaklassifikaatorit käsitleda lõpliku õigusliku, meditsiinilise, faktilise või poliitilise autoriteedina.
Valepositiivsed tulemused võivad häirida õiguspäraseid taotlusi, samal ajal kui valenegatiivsed tulemused võivad lasta kahjuliku sisu läbi. Sobiv lävi sõltub rakendusest. Näiteks lastele mõeldud avalik teenus võib eelistada rangemat blokeerimist, samas kui ettevõttesisene uurimisvoog võib ebakindlad juhtumid suunata inimesele ülevaatamiseks. Meeskonnad peaksid mõõtma mõlemat veatüüpi tüüpiliste näidete põhjal ning testima vastandlikke katseid poliitikast mööda pääseda.
Võimekus ja praktilised kompromissid
Llama Guard 3-8B peamine võimekus on klassifitseerimine, mitte vaba vormiga genereerimine. See suudab toota modereerimistoru jaoks vajaliku turvasildi ja poliitikakategooria teabe, kuid see ei ole mõeldud pikkade vastuste kirjutamiseks, üldiste arutlusülesannete lahendamiseks, tarkvara genereerimiseks ega vestluse pidamiseks. Esitatud kataloogihinnang annab selle arutlus- ja kodeerimisotstarbelisele kasulikkusele madala hinnangu, sest need ei ole mudeli sihtotstarbelised ülesanded; need hinnangud on toimetuslikud või kataloogipõhised, mitte pakkuja avaldatud võrdlustesti tulemused.
Sama spetsialiseerumine loob praktilise kulu- ja kiiruskompromissi. Võrreldes suurema üldotstarbelise mudeli kasutamisega turvalisuse hindamiseks võib 8B klassifikaator olla ise majutamisel sihipärasem ja potentsiaalselt säästlikum komponent, eriti koos pakutava INT8-kontrollpunktiga. Kohalik juurutus nõuab siiski sobivat taristut, seiret ja hooldust. Esitatud teabes ei ole kontrollitud majutatud API hinda, mistõttu ei saa siin teha otsest tokenipõhist võrdlust kaubanduslike modereerimis-API-dega.
Esitatud uurimuses ei ole mudelil dokumenteeritud loomupärast tööriistade käivitamist, veebiotsingut, voogedastust, partiilist API-juurdepääsu ega eraldi JSON-režiimi garantiid. Selle väljundid saab paigutada rakenduse enda struktureeritud töövoogu, kuid arendajad ei tohiks eeldada, et see on samaväärne pakkuja garanteeritud struktureeritud väljundi funktsiooniga.
Kuidas seda modereerimistorus kasutada?
- Määratlege poliitika. Otsustage, millised 14 kategooriast on rakenduse jaoks olulised ja mis peaks iga kategooria tuvastamisel juhtuma.
- Valige klassifitseeritav tekst. Sõltuvalt riskimudelist kontrollige kasutaja sisendeid, mudeli väljundeid, tööriistadega seotud taotlusi või mitut neist etappidest.
- Tõlgendage nii silti kui ka kategooriat. Ebaturvaline tulemus võib käivitada blokeerimise, ümberkirjutamise, eskaleerimise või täpsustuse küsimise, mitte ühe universaalse toimingu.
- Testige lävesid ja erijuhtumeid. Koostage hindamiskogum, mis sisaldab tavakasutust, mitmetähenduslikku sisu, mitmekeelseid näiteid ja vastandlikke katseid.
- Lisage täiendavad kontrollid. Kasutage rakenduse reegleid, juurdepääsukontrolle, logimist, inimeste tehtavat ülevaatamist ja valdkonnapõhiseid kontrolle, kui mudeli taksonoomiast ei piisa.
Näiteks võib klienditoe rakendus klassifitseerida kliendi sõnumi enne selle saatmist üldotstarbelisele assistendile ning seejärel klassifitseerida assistendi pakutud vastuse enne selle kuvamist. Kooditoode võiks lisada eraldi kontrolli kooditõlgi taotluste ümber. Mõlemal juhul on Llama Guard 3-8B turvamehhanismi komponent, mitte süsteemi täielik turbearhitektuur.
Millal valida Llama Guard 3-8B?
Valige Llama Guard 3-8B, kui vajate avatud kaaludega, ise majutatavat tekstiklassifikaatorit LLM-i viipade või vastuste kontrollimiseks ning soovite tuge selle kaheksas teatatud keeles. See on eriti asjakohane siis, kui mudeli kaalude kontroll, privaatne juurutus, kohandamine või olemasoleva Llama-põhise virnaga integreerimine on olulisem kui kohe kasutatav majutatud modereerimine.
- Sobib hästi: avatud kaaludega LLM-rakenduste sisendi ja väljundi ise majutatav modereerimine.
- Sobib hästi: mitmekeelsed teksti turvalisuse kontrollid kaheksas toetatud keeles.
- Sobib hästi: ebaturvaliste otsingutööriistade taotluste või kooditõlgi kuritarvitamise baastaseme tuvastamine.
- Sobib hästi: organisatsioonidele, kes soovivad poliitikaid kohandada või rakendusepõhise taksonoomia lähtepunkti täiendavalt treenida.
- Vähem sobiv: üldotstarbeline vestlus, arutlus, kodeerimine või sisu genereerimine.
- Vähem sobiv: otsene pildi-, heli- või videomodereerimine.
- Vähem sobiv: rakendustele, mis vajavad täielikult hallatud modereerimis-API-t avaldatud kasutushinnastusega.
- Vähem sobiv: otsustele, mis nõuavad autoriteetset ja ajakohast fakti- või õiguslikku kontrolli ilma täiendavate süsteemideta.
Teine mudel või teenus võib olla sobivam, kui peamine nõue on loomupärane multimodaalne modereerimine, hallatud taristu, reaalajas faktiteadmine või pakkuja toetatud modereerimis-API koos selgete teenusetaseme garantiidega. Meta turvamudelite valikus on toetatud visuaalsete sisendite jaoks asjakohasem suund eraldi Llama Guard 3-11B-Visioni variant, samas kui Llama Guard 3-8B jääb tekstile keskenduvaks valikuks.
Kokkuvõte
Llama Guard 3-8B-d tuleks eelkõige mõista kui keelemudelisüsteemidele mõeldud juurutatavat turvafiltrit. Selle avatud kaalud, lai kontekstiaken, tugi kaheksale keelele, 14 kategooriaga taksonoomia ja INT8-kontrollpunkt muudavad selle praktiliseks lähtepunktiks meeskondadele, kes loovad oma modereerimiskihti. Selle klassifitseerimistulemused vajavad siiski rakendusepõhist testimist ning loomupärase meediatoe, avaldatud majutatud teenuse hinnastuse ja garanteeritud faktikontrolli puudumine piirab seda, kus mudelit saab iseseisvalt kasutada.