by
Meta AI
·
Praegu avatud kaaludega mudel; allalaadimine on võimalik pärast juurdepääsu heakskiitmist.
Meta Llama Guard 3-1B on kompaktne avatud kaaludega mudel, mis liigitab viibad ja LLM-i vastused ohututeks või ohtlikeks. See toetab kaheksat keelt, järgib MLCommonsi 13 kategooriaga ohutaksonoomiat ning sellest on saadaval kvantiseeritud variant kasutamiseks servaseadmetes ja mobiilseadmetes. Kõige otstarbekam on seda kasutada laiema ohutustagamise torustiku ühe kihina.
Llama Guard 3-1B on Meta väikesemahuline mudel, mis on mõeldud suuremate keelemudelite ümber ohutuskontrollide rakendamiseks. Selle ülesanne on liigitada kasutajate sisendeid ja mudelite väljundeid, mitte pidada üldisi vestlusi, kirjutada koodi, kasutada tööriistu ega luua meediat. Kuna seda saab käitada lokaalselt ja see on saadaval kvantiseeritud kujul, on see eriti asjakohane arendajatele, kes vajavad rakenduse või seadme lähedal toimivat soodsat ja väikese viivitusega sisu modereerimist.
Väljundid
Mida Llama Guard 3-1B suudab teha
Tekst
Sisendid
Mida see mõistab
Tekst
Võimekused
Abifunktsioonid
Peenhäälestamine
Mudeli profiil
Jõudlusnäitajad
3/10
Arutlusvõime
2/10
Programmeerimine
9/10
Kiirus
9/10
Kulutõhusus
Detailid
Tehnilised andmed
Mudeliseeria
Llama Guard 3
Tüüp
Muu
Konteksti maht
131K märki/tokenit
Maksimaalne väljundmärkide arv
märki/tokenit
Välja antud
2024-09-25
Olek
Praegu avatud kaaludega mudel; allalaadimine on võimalik pärast juurdepääsu heakskiitmist.
Teadmiste ajapiiri märkused
Meta ei avalda Llama Guard 3-1B kohta eraldi teadmiste lõppkuupäeva. Tegemist on peenhäälestatud ohutusklassifikaatoriga, mille jõudlus sõltub aluseks oleva Llama 3.2 treeningandmetest ja ohutuse peenhäälestuseks kasutatud andmetest.
Mudeli selgitused
Llama Guard 3-1B on peenhäälestatud Llama 3.2 1B mudel, mis on mõeldud suurte keelemudelite (LLM-ide) sisendite ja väljundite klassifitseerimiseks. See genereerib tekstipõhiseid märgendeid, näiteks „turvaline” või „ebaturvaline”, ning võib loetleda MLCommonsi 13 kategooriast koosneva ohtude taksonoomia alusel rikutud kategooriad. Meta pakub ka kärbitud ja INT4-kvantiseeritud varianti, mis on optimeeritud piiratud ressurssidega seadmete jaoks. Mudel on avatud kaaludega, mitte Meta enda hostitud tasulise päringu- ehk tokenipõhise API-na, mistõttu ei kehti sellele Meta ametlikku sisend- ega väljundtokeni hinda. Meta andmetel toetab mudel inglise, prantsuse, saksa, hindi, itaalia, portugali, hispaania ja tai keelt. Seda saab kohandada või rakendusepõhiste taksonoomiate jaoks peenhäälestada. Mudel võib olla haavatav vastandlike rünnete ja viip süstimise rünnete suhtes ning Meta soovitab seda hinnata kogu rakenduse turvasüsteemi osana.
Meta Llama Guard 3-1B on kompaktne avatud kaaludega turvaklassifikaator viipade ja genereeritud vastuste kontrollimiseks. See väljastab tekstipõhiseid märgendeid, näiteks „turvaline” või „ebaturvaline”, tuvastab asjakohased riskid 13 MLCommonsi ohukategooria lõikes, toetab kaheksat keelt ning sisaldab INT4 varianti väiksema mälumahuga serva- ja mobiilseadmetes juurutamiseks.
Mis on Llama Guard 3-1B?
Llama Guard 3-1B on Meta avatud kaaludega keelemudel, mida on täiendavalt treenitud ohutuse klassifitseerimiseks. Selle ülesanne on uurida viipa, vestlust või teise keelemudeli loodud vastust ning otsustada, kas sisu tuleks käsitleda ohutu või ohtlikuna. Ohtliku sisu korral võib mudel tagastada ka asjakohased ohukategooriad.
Seetõttu on Llama Guard 3-1B turvapiirete komponent, mitte üldotstarbeline assistent. Tüüpilises rakenduses paigutatakse see põhimudeli ette, et sissetulevaid päringuid kontrollida, pärast põhimudelit, et selle vastuseid üle vaadata, või mõlemasse kohta. Mudel avaldati 25. septembril 2024 koos Meta Llama 3.2 mudelipõlvkonnaga ning see kuulub süsteemitaseme ohutustööriistade kogusse PurpleLlama.
Mudel põhineb mudelil Llama 3.2 1B ning on mõeldud LLM-rakendusele sisu modereerimise lisamise arvutus- ja mälukulu vähendamiseks. Selle väike maht muudab kohaliku juurutamise praktilisemaks kui suurema ohutusmudeli kasutamine või iga modereerimisotsuse saatmine majutatud teenusele.
Kuidas ohutusklassifikaator töötab?
Llama Guard 3-1B kasutab vestlusliku keelemudeli liidest, kuid oodatav tulemus on loomuliku vestluse asemel kompaktne klassifikatsioon. Rakendus edastab tekstisisendi mudelile sobivas vormingus, näiteks kasutaja viiba või mitmevoorulise vestlusena. Seejärel genereerib mudel tekstilise otsuse, mis näitab tavaliselt, kas sisu on ohutu või ohtlik. Kui tulemus on ohtlik, võib väljund sisaldada üht või mitut kategooriasilti.
Selle vaikimisi poliitika järgib 13 kategooriat, mis põhinevad MLCommonsi ohutaksonoomial:
Vägivaldsed kuriteod
Vägivallatud kuriteod
Seksuaalkuriteod
Laste seksuaalne ärakasutamine
Laim
Spetsialiseeritud nõuanded
Privaatsus
Intellektuaalomand
Valimatu toimega relvad
Vihakõne
Suitsiid ja enesevigastamine
Seksuaalne sisu
Valimised
KKK - vastused sinu küsimustele
Milleks Llama Guard 3-1B-d kasutatakse?
Llama Guard 3-1B on Meta avatud kaaludega turvalisuse klassifitseerimise mudel. See hindab viipasid, vestlusi ja suurte keelemudelite genereeritud vastuseid, et teha kindlaks, kas need on turvalised või ebaturvalised, ning võib esitada asjakohased ohukategooriate märgendid.
Selle vaikepoliitika hõlmab 13 MLCommonsi põhist kategooriat: vägivaldsed kuriteod, vägivallata kuriteod, seksuaalse sisuga kuriteod, laste seksuaalne ärakasutamine, laim, erialane nõustamine, privaatsus, intellektuaalomand, valimatud relvad, vaenukõne, enesetapp ja enesevigastamine, seksuaalne sisu ning valimised.
Kas Llama Guard 3-1B saab töötada lokaalselt ja võrguühenduseta?
Jah. Llama Guard 3-1B saab alla laadida ja lokaalselt juurutada selliste tööriistade abil nagu Llama koodibaas, Hugging Face Transformers, vLLM või SGLang. Meta pakub ka INT4-kvantiseeritud versiooni, mis vähendab mudeli teatatud suuruse ligikaudu 2858 MB-lt 438 MB-ni, muutes selle kohaliku ja ääreseadmetes juurutamise praktilisemaks.
Kas Llama Guard 3-1B toetab piltide, heli või video sisu modereerimist?
Ei. Llama Guard 3-1B võtab vastu tekstipõhiseid vestlusi ja viipasid ning tagastab tekstina ohutuse klassifikatsioone. Sellel ei ole dokumenteeritud loomupärast pildi-, heli- ega videosisendi tuge, mistõttu vajavad multimodaalsed rakendused eraldi süsteemi või peavad meedia esmalt tekstiks teisendama.
Millised on Llama Guard 3-1B peamised piirangud?
Llama Guard 3-1B on teksti turvalisuse klassifikaator, mitte üldotstarbeline assistent ega täielik sisuhalduse süsteem. Selle tulemused võivad erineda olenevalt keelest, kategooriast, kontekstist ja viiba koostisest ning ründavad viibad võivad kavandatud käitumisest mööda pääseda. Kõrge riskiga sisu modereerimisel tuleks seda kasutada koos reeglite, spetsialiseeritud klassifikaatorite, inimkontrolli, seire ja red team’i testimisega.
