Mis on Llama Guard 4?
Llama Guard 4 on Meta välja töötatud 12 miljardi parameetriga tihe turvaklassifikaator. See on mõeldud tehisintellektipõhise suhtluse mõlema poole modereerimiseks: kasutaja sisendi ja generatiivse mudeli loodud vastuse. Seetõttu sobib see modereerimistorudesse vestlusrobotite, pildivõimeliste assistentide, sisu genereerimise tööriistade ja muude rakenduste puhul, kus tuleb tuvastada ohtlikud viibad või väljundid.
Mudel aktsepteerib ainult tekstist koosnevaid viipasid ning teksti ja pilte kombineerivaid sisendeid, sealhulgas mitut pilti sisaldavaid viipasid. Selle väljund on tekstiline, mitte visuaalne ega vestluslik. Praktikas saadab rakendus sisu Llama Guard 4-le ja saab vastu ohutusalase otsuse koos asjakohaste ohumärgenditega, kui sisu liigitatakse ohtlikuks.
Meta kirjeldab Llama Guard 4 mudelina, mis on tuletatud Llama 4 Scouti ühisest tihedast eksperdist. Meta eemaldas algsest segu-ekspertidest arhitektuurist marsruuditavad eksperdid ja marsruuterikihid ning kohandas saadud mudeli seejärel sisuohutuse klassifitseerimiseks. Seetõttu kuulub Llama Guard 4 Llama Guardi turvamudelite sarja, mitte üldotstarbeliste assistentide kategooriasse.
Mida saab Llama Guard 4 klassifitseerida?
Llama Guard 4 järgib MLCommonsi ohutaksonoomiat ja lisab ainult tekstile mõeldud kategooria „Code Interpreter Abuse” (kooditõlgi kuritarvitamine). Selle 14 kategooriat hõlmavad mitmesuguseid riske:
- Vägivaldne kuritegevus
- Vägivallatu kuritegevus
- Seksuaalse iseloomuga kuritegevus
- Laste seksuaalne ärakasutamine
- Laima
- Spetsialiseeritud nõuanded
- Privaatsus
- Intellektuaalomand
- Valimatud relvad
- Vihakõne
- Enesetapp ja enesevigastamine
- Seksuaalne sisu
- Valimised
- Code Interpreter Abuse
Kategooriad võimaldavad eristada eri poliitikaga seotud probleeme, selle asemel et käsitleda kõiki ohtlikke tulemusi ühesuguse rikkumisena. Code Interpreter Abuse on mõeldud ainult tekstipõhiste tööriistakutse stsenaariumide jaoks, kus päring või kavandatav tegevus võib täitmiskeskkonda kuritarvitada.
Sisendid, väljundid ja konteksti pikkus
Kontrollitud konteksti pikkus on 8192 tokenit. Mudel toetab tekstisisendit ja pildisisendit, sealhulgas mitut pilti ühes viibas. Kättesaadavates uuringuandmetes ei ole määratud eraldi maksimaalset piltide arvu ega täpsemat pildi eraldusvõime piirangut, seega tuleks neid piiranguid kontrollida mudeli rakenduses ja teeninduskeskkonnas.
Llama Guard 4 genereerib tekstilisi ohutusmärgendeid. See ei loo pilte, heli ega videot, manuseid ega muid mittetekstilisi väljundeid. Selle väljund on mõeldud rakenduse loogika tarbeks, näiteks filtri, marsruutimisreegli, ülevaatusjärjekorra või eskalatsioonitöövoo jaoks. Esitatud spetsifikatsioonid ei määra garanteeritud maksimaalset väljundtokenite arvu.
| Spetsifikatsioon | Kontrollitud teave |
|---|---|
| Pakkuja | Meta |
| Mudeli suurus | 12 miljardit parameetrit |
| Mudeli tüüp | Tihe turvaklassifikaator |
| Tekstisisend | Jah |
| Pildisisend | Jah, sealhulgas mitu pilti |
| Heli-, video- ja pildiväljund | Ei |
| Tekstiväljund | Jah; ohutusmärgendid ja ohuteave |
| Konteksti pikkus | 8192 tokenit |
| Tööriistade või funktsioonide kasutamine | Mudeli võimekusena ei toetata |
| Majutatud teenuse tokenipõhine hind | Täpse mudeli jaoks ei ole ametlikku esimese osapoole hinda kontrollitud |
Kuidas kasutada seda modereerimistorus?
Llama Guard 4 saab paigutada generatiivse tehisintellekti töövoo ühte või mõlemasse otsa. Sisendi modereerimiseks saadab rakendus kasutaja viiba klassifikaatorile enne selle edastamist peamisele keele- või visuaal-keelemudelile. Kui tulemus on ohtlik, võib rakendus päringu tagasi lükata, anda ohutuma vastuse või suunata selle inimese ülevaatusele.
Väljundi modereerimiseks saadab rakendus loodud vastuse Llama Guard 4-le enne selle kuvamist. See on kasulik juhul, kui algne päring tundus ohutu, kuid genereeritud sisu rikub siiski rakenduse eeskirju. Nii sisendi kui ka väljundi kontrollimine loob mitmekihilise kaitse, kuid ei taga, et kõik ohtlikud juhtumid tuvastatakse.
Tüüpiline töövoog võib välja näha järgmine:
- Võta vastu kasutaja viip, mis võib sisaldada pilte.
- Suuna viip Llama Guard 4 kaudu.
- Blokeeri, muuda, suuna edasi või luba päring vastavalt tagastatud märgendile ja ohukategooriale.
- Saada lubatud sisu generatiivsele mudelile.
- Suuna loodud vastus enne selle tagastamist Llama Guard 4 kaudu.
- Logi ebakindlad või suure mõjuga juhtumid jälgimise ja inimülevaatuse jaoks.
Kuna mudel tagastab klassifitseerimistulemused ega jõusta rakenduse täielikku eeskirja, peavad arendajad endiselt määratlema, kuidas iga kategooriat käsitletakse. Tootmissüsteem võib vajada ka päringupiiranguid, auditeerimislogi, vaidlustamisprotsesse, piirkondlikke eeskirju ja täiendavaid spetsialistide kontrolle.
Juurutamine ja juurdepääs
Meta levitab Llama Guard 4 avatud kaaludena oma Llama ökosüsteemi kaudu, sealhulgas Hugging Face'is asuva ametliku Meta Llama organisatsiooni kaudu. Mudelile kehtib juurdepääsupiirang: enne kaalude allalaadimist peavad kasutajad nõustuma kohaldatava Llama 4 Community License'i ja kasutuseeskirjaga.
Meta ja Hugging Face dokumenteerivad ühilduvuse Transformers'i, vLLM-i, SGLang-i, Dockeril põhinevate tööriistade ja muude järelduskeskkondadega. Väljalaskedokumentatsioonis öeldakse, et mudel võib töötada ühel GPU-l, mille videomälu on ligikaudu 24 GB. See on pakkuja või väljalaskedokumentatsiooni väide, mitte universaalne riistvaragarantii. Tegelik mälukasutus võib muutuda sõltuvalt arvulise täpsuse seadistusest, pakktöötlusest, piltide arvust, järjestuse pikkusest ja teeninduskonfiguratsioonist.
Täpse Llama Guard 4 mudeli jaoks ei ole kontrollitud ametlikku esimese osapoole majutatud API tokenipõhist hinda. Seetõttu erineb majanduslik kompromiss tavapärase majutatud mudeli omast, mille sisendi ja väljundi hinnad on avaldatud: organisatsioonid võivad vältida pakkuja tokenipõhiseid tasusid, käitades kaalusid ise, kuid peavad arvestama GPU-võimsuse, juurutamise, jälgimise, hoolduse ja arenduse kuludega.
Arutlemise, kodeerimise ja tööriistade kasutamise kompromissid
Llama Guard 4 ei ole mõeldud avatud arutlemiseks, kodeerimisabiks, faktipõhiseks uurimistööks ega autonoomseks ülesannete täitmiseks. See suudab klassifitseerida nende teemadega seotud päringuid ning selle Code Interpreter Abuse'i kategooria aitab tuvastada teatud riskantseid ainult tekstipõhiseid tööriistakutse stsenaariume, kuid mudel ise ei ole koodi täitmise mootor ega tööriistu kasutav assistent.
Selle kitsas eesmärk on eelis juhul, kui rakendus vajab spetsiaalset modereerimiskihti, mitte veel üht üldotstarbelist mudelit. Samas on see ka piirang: klassifitseerimismärgendit ei tohiks käsitleda kavatsuse, faktilise tõe, õigusliku staatuse või kasutajariskide täieliku selgitusena. Rakendused, mis vajavad nüansirikast eeskirjade tõlgendamist, võivad vajada täiendavaid mudeleid, deterministlikke reegleid, spetsialiseeritud klassifikaatoreid või inimülevaatust.
Peamised tugevused ja piirangud
Tugevused
- Multimodaalne modereerimine: See suudab hinnata teksti, ühe pildiga teksti ja mitme pildiga teksti.
- Sisendi ja väljundi katvus: See saab kontrollida nii kasutaja viipasid kui ka genereeritud vastuseid.
- Lai ohutaksonoomia: Selle 14 kategooriat hõlmavad ohutuse, privaatsuse, intellektuaalomandi, valimiste ja tööriistade kuritarvitamisega seotud probleeme.
- Avatud kaaludega juurutamine: Organisatsioonid saavad mudeli alla laadida ja seda toetatud keskkondades käitada, sõltumata üksnes majutatud modereerimisliidesest.
- Spetsiaalne roll: Selle väljund on loodud lihtsaks integreerimiseks filtreerimis- ja marsruutimisloogikaga.
Piirangud
- See ei ole üldotstarbeline assistent: See ei tohiks asendada vestlusmudelit, uurimissüsteemi, kodeerimismudelit ega eeskirjade mootorit.
- Klassifitseerimine ei ole täiuslik hinnang: Tulemusi võivad mõjutada treeningandmete piirangud, mitmekeelne katvus, eeskirjade tõlgendamine, tervemõistuslik arutlemine ja vastandlikud viibad.
- Mõni kategooria vajab ajakohast teavet: Valimised, laim ja intellektuaalomand võivad vajada ajakohaseid fakte või keerukamaid modereerimissüsteeme, kui staatiline klassifikaator suudab pakkuda.
- Haavatavus vastandlike rünnete suhtes: Viipade süstimine ja muud ründed võivad vähendada töökindlust, eriti kui kasutajad üritavad teadlikult modereerimisest mööda hiilida.
- Piltide jaotusega seotud piirangud: Jõudlus võib varieeruda, kui viibad sisaldavad hindamisandmetes esindatud arvust oluliselt rohkem pilte.
- Käituskulud säilivad: Avatud kaalud kaotavad sõltuvuse konkreetsest majutatud teenuse hinnast, kuid ei muuda GPU-majutust, integreerimist ega ülevaatustoiminguid tasuta.
Millal valida Llama Guard 4?
Vali Llama Guard 4 siis, kui vajad teksti- või visuaal-keelerakenduse jaoks spetsiaalset ohutuskontrolli ja soovid võimalust kasutada avatud kaaludega juurutust. See on eriti asjakohane süsteemides, mis peavad modereerima pildivõimelisi viipasid, kontrollima genereeritud vastuseid või rakendama sama ohutuskihti enne genereerimist ja pärast seda.
See võib hästi sobida juhul, kui ise majutamine, andmekontrolli nõuded või paindlik integreerimine on olulisemad kui hallatud modereerimisliidese kasutamine. Väide, et mudel saab töötada ühel GPU-l, võib muuta selle praktiliseks ka väiksemates juurutustes, kuigi tegelikku riistvaravajadust tuleb hinnata rakenduse latentsus- ja läbilaske-eesmärkide põhjal.
Teine lahendus võib olla sobivam siis, kui peamine vajadus on üldotstarbeline vestlus, täiustatud arutlemine, kodeerimine, veebiuuringud või töökindel tööriistade kasutamine. Hallatud modereerimisteenus võib olla eelistatud juhul, kui meeskond ei soovi GPU-sid käitada ega mudeli taristut hooldada. Suure mõjuga otsused ei tohiks tugineda ainult Llama Guard 4-le; need vajavad rakendusepõhist valideerimist, jälgimist, selgeid eeskirju ja inimese sekkumise võimalust.
Kokkuvõte
Llama Guard 4 tuleks eelkõige mõista modereerimiskomponendi, mitte assistendina. Selle peamine eripära on avatud kaaludega juurutuse, teksti- ja pildisisendi toe, mitme pildi käsitlemise ning 14-kategoorialise ohutaksonoomia kombinatsioon. Need võimalused muudavad selle generatiivsete mudelite kõrval kasulikuks, kuid selle märgendid on vastutustundliku ohutussüsteemi vaid üks osa. Enne mudeli kasutamist tootmises peaksid arendajad seda hindama oma sisu, keelte, eeskirjade, ründemustrite ja töötingimuste põhjal.