Llama Prompt Guard 2 86M

Milleks Llama Prompt Guard 2 86M on loodud

Llama Prompt Guard 2 86M on Meta Llama organisatsiooni avatud kaaludega tekstiklassifitseerimismudel. Selle konkreetne ülesanne on tuvastada pahatahtlikud viibad, mis võivad LLM-il põhinevat rakendust manipuleerida. See on mõeldud suurema mudeli ümber paigutatavaks kontrollkihiks, mitte vastuste genereerimiseks ega põhiülesannet täitva mudeli asendamiseks.

Klassifitseerija keskendub kahele omavahel tihedalt seotud ründekategooriale. Viiba süstimine (prompt injection) püüab panna süsteemi olemasolevaid juhiseid eirama või tühistama, sageli paigutades vaenulikud juhised kasutaja sisendisse, dokumentidesse, veebilehtedele, e-kirjadesse, hangitud tekstilõikudesse või tööriistade tulemustesse. Turvapiirangutest möödahiilimine (jailbreak) on katse mudeli sisseehitatud ohutuskäitumisest spetsiaalselt koostatud juhiste abil mööda pääseda. Prompt Guard 2 tähistab mõlemat kategooriat pahatahtlikuna, mitte eraldi viiba süstimise ja turvapiirangutest möödahiilimise märgenditega.

Praktikas saab rakendus kontrollida ebausaldusväärset teksti enne selle edastamist LLM-ile, agendile, otsinguga täiendatud genereerimise (RAG) torule või tööriistale. Seejärel otsustab rakendus, mida tulemusega teha: lubada sisu, blokeerida see, saata ülevaatuseks, isoleerida või rakendada rangemat töötlemispoliitikat.

Koht Meta mudelivalikus

Prompt Guard 2 86M kuulub Meta Llama mudelikataloogis spetsialiseeritud ohutuse komponentide hulka. See ei ole üldotstarbeline Llama keelemudel ega genereeri vestlus-, arutlus-, koodi-, pildi-, heli- ega videoväljundit. Selle väärtus tuleneb spetsialiseerumisest: see täidab kitsast turvaklassifitseerimise ülesannet, mida saab lisada teisi mudeleid kasutavatesse süsteemidesse.

Mudel on avaldatud Meta ametliku Llama organisatsiooni kaudu Hugging Face'is. Kanooniline identifikaator on meta-llama/Llama-Prompt-Guard-2-86M. Mudel on loetletud praeguse avatud kaaludega mudelina, kuid allalaadimine on piiratud ning selleks tuleb nõustuda Hugging Face'is kuvatavate litsentsitingimustega.

Võimekused ja arhitektuur

Mudel sisaldab ligikaudu 86 miljonit parameetrit ja kasutab mitmekeelset DeBERTa-v3 põhimudelit. Selle klassifikatsiooniväljund on kahendotsus: BENIGN või MALICIOUS. Transformers'i teostuses on saadaval ka mudeli logitid, mis võimaldavad rakendusel kasutada vaikevaliku asemel oma otsustuslävendit.

Esitatud mudeliinfo kohaselt kasutab Prompt Guard 2 laiendatud treeningandmeid, täiustatud treeningueesmärki, mille siht on vähendada valepositiivseid tulemusi, ning tokeniseerimise täiustusi, mis peaksid muutma ebatavalist tühikukasutust või tükeldatud tokeneid hõlmavate rünnete teostamise keerulisemaks. Need on teenusepakkuja või mudelikaardi väited ning neid ei tohiks käsitada garantiina, et kõik sellised ründed tuvastatakse.

Mudelikaart kirjeldab hindamist inglise, prantsuse, saksa, hindi, itaalia, portugali, hispaania ja tai keeles. Seetõttu sobib see mitmekeelseks kontrolliks paremini kui ainult ingliskeelse liikluse põhjal hinnatud detektor, kuigi tulemused võivad olenevalt keelest, rakendusest ja ründeviisist siiski erineda.

Tehnilised andmed ja toetatud andmetüübid

Prompt Guard 2 ei toeta pilte, heli ega videot ning ei genereeri neid meediume. Samuti ei paku see üldist tekstigenereerimist. Selle tekstiväljund on klassifikatsioonitulemus, mistõttu tuleks see integreerida detektorina, mitte kutsuda vestlusmudelina.

512 tokeni piirang ja pikad dokumendid

Mudelil on 512 tokeni suurune kontekstiaken. Token on mudeli tekst töötlemiseks kasutatav ühik, mis võib tähistada sõna, sõnaosa, kirjavahemärki või tühikut. See piirang on paljude dokumentide, tööriistaväljundite ja veebilehtede pikkusega võrreldes lühike.

Üle 512 tokeni pikkused sisendid tuleks jagada segmentideks ja iga segment eraldi läbi vaadata. Seejärel saab turvakiht segmentide tulemused vastavalt oma poliitikale ühendada. Näiteks võib see dokumendi blokeerida, kui mõni segment liigitatakse pahatahtlikuks, määrata riskiskoori kõrgeima segmendiskoori põhjal või saata ebakindlad juhtumid inimesele ülevaatuseks.

Tükeldamine parandab mudeliga ühilduvust, kuid tekitab rakenduse kavandamisel täiendava vastutuse. Ründejuhised võivad olla segmentide vahel jaotatud ning iga segmendi sõltumatu klassifitseerimine võib osa ümbritsevast kontekstist kaotada. Seetõttu peaksid rakendused realistlike healoomuliste ja pahatahtlike näidete abil testima tüki suurust, kattuvust, tulemuste ühendamise reegleid ja lävendeid.

Esitatud jõudlus ja lävendi valimine

Ametlik mudeliinfo esitab otsese turvapiirangutest möödahiilimise tuvastamise hindamisel ingliskeelse AUC väärtuseks 0,998 ja mitmekeelse AUC väärtuseks 0,995. AUC ehk ROC-kõvera alune pindala võtab kokku, kui hästi klassifitseerija suudab eri lävendite korral kahte klassi eristada. Mudelikaart esitab selles hindamises ka ingliskeelse saagise väärtuseks 97,5% valepositiivsete tulemuste määra 1% juures.

Need näitajad kirjeldavad esitatud hindamisseadistust, mitte igas tootmiskeskkonnas tagatud jõudlust. Kaudne viiba süstimine võib erineda testimisel kasutatud otsestest turvapiirangutest möödahiilimise näidetest. Jõudlus võib muutuda ka siis, kui mudel saab tööriistade tulemusi, hangitud dokumente, rakendusespetsiifilist vormindust, mitmes keeles sisendit või healoomulisi juhiseid, mis meenutavad ründeteksti.

Seetõttu on lävendi valik oluline. Madalam lävend võib tabada rohkem ründeid, kuid märgistada ka rohkem õiguspärast sisu. Kõrgem lävend võib vähendada kasutajate töö häirimist, kuid lasta läbi rohkem pahatahtlikke viipasid. Arendajad peaksid lävendi kalibreerima tüüpilise liikluse põhjal ning jälgima valepositiivseid ja valenegatiivseid tulemusi, keeltevahelisi erinevusi ning ründemustrite muutusi.

Juurutus ja integreerimine

Prompt Guard 2 86M-i saab Hugging Face Transformersiga kohapeal laadida, kasutades kas tekstiklassifitseerimise toru või madalama taseme klasse AutoTokenizer ja AutoModelForSequenceClassification. Esitatud uuringus nimetatakse toetatud juurutusviisina kohalikku ja enda hallatavat Transformersiga järeldamist.

Tüüpiline paigutuskoht on vahetult enne usalduspiiri ületamist. Detektor saab kontrollida kasutaja viipa enne selle jõudmist põhi-LLM-i, läbi vaadata hangitud tekstilõigud enne nende viibale lisamist, uurida tööriista tulemust enne agendi kasutust või kontrollida üles laaditud tekstidokumenti enne järgmist töötlemisetappi. Klassifitseerija tulemus tuleks ühendada muude kontrollidega, nagu õiguste kontroll, väljundi valideerimine, tööriistade piirangud ja kõrge riskiga toimingute puhul inimese ülevaatus.

Mudel toetab peenhäälestust. Rakendusespetsiifiline treenimine võib olla kasulik siis, kui sisendi vorming, valdkonna sõnavara, tööriistakasutuse mustrid või healoomulise sisu jaotus erineb oluliselt põhimudeli andmetest. Peenhäälestust tuleb hoolikalt hinnata, sest ühe ründemustri tuvastamise parandamine võib mõjutada õiguspärase sisu valepositiivseid tulemusi.

Hind ja juurdepääs

Selle täpse mudeli ametlikku sümbolipõhist majutatud API hinda ei tuvastatud. Prompt Guard 2 86M-i levitatakse avatud kaaludega mudelina Hugging Face'i kaudu, kuid allalaadimine on piiratud ning selleks tuleb nõustuda kuvatavate litsentsitingimustega.

Kuna esitatud teave ei nimeta majutatud järeldamise lõpp-punkti ega korduvat teenusepakkuja hinda, ei ole kinnitatud API-hinda võimalik esitada. Käituskulu sõltub enda majutuseks kasutatavast taristust, kontrollitavate segmentide arvust ja pikkusest ning rakenduse läbilaskevajadusest. Mudeli 86 miljoni parameetri suurus on juurutuse kavandamisel oluline, kuid esitatud uuringus ei täpsustata riistvaranõuet ega igas keskkonnas tagatud latentsust.

Arutlus, kodeerimine ja tööriistade tugi

Prompt Guard 2 86M ei ole arutlusmudel. See ei lahenda kasutajate jaoks mitmeastmelisi ülesandeid, ei kirjuta tarkvara ega genereeri vestlusassistendina oma klassifikatsioonide selgitusi. Selle klassifikatsiooniotsust saab kasutada arutlus- või kodeerimissüsteem, kuid need võimekused kuuluvad ümbritsevale rakendusele või mõnele teisele mudelile.

Mudelil puudub natiivne tööriista- või funktsioonikutsumise võimekus. See ei kutsu tööriistu, sirvi veebi, käivita koodi ega tee toiminguid. See saab kontrollida tööriistade loodud või tööriistadele mõeldud teksti, mistõttu on see agendipõhises töövoos kasulik turvakontrollpunktina, kuid orkestreerimisloogika eest vastutab rakendus.

Peamised tugevused ja piirangud

Tugevused

• See on spetsialiseerunud viipade süstimise ja turvapiirangutest möödahiilimise kontrollile, mitte üldotstarbeline mudel, millel oleks kaudne turvarakendus.
• Selle 86 miljoni parameetriga arhitektuur on täieliku vestlusmudeliga võrreldes märksa kitsama ulatusega, mistõttu sobib see spetsiaalsesse klassifitseerimisrolli.
• See toetab mitmekeelset hindamist kaheksas nimetatud keeles.
• Seda saab Transformersiga kohapeal või enda hallatavana juurutada, mis on kasulik juhul, kui rakenduse andmeid ei tohiks majutatud mudelile saata.
• Saadaval on logitid, mis võimaldavad arendajatel lävendeid kalibreerida ja koostada nüansirikkamaid ülevaatuspoliitikaid.
• Toetatud on rakendusespetsiifilise liikluse ja ründemustrite jaoks peenhäälestus.

Piirangud

• 512 tokeni suurune kontekstiaken nõuab pikkade dokumentide, hangitud sisu ja tööriistaväljundite puhul tükeldamist.
• Kahendväljund ei erista viiba süstimist turvapiirangutest möödahiilimisest, mistõttu peavad eraldi aruandlust vajavad rakendused lisama oma loogika või kasutama mõnda muud klassifitseerijat.
• See tuvastab viibaründe kavatsust; tegemist ei ole täieliku sisuturvalisuse süsteemiga ning see ei hinda sõltumatult kõiki teisi kahjuliku materjali liike.
• Esitatud võrdlustulemused ei pruugi ennustada jõudlust kaudsete süstete, ebatavaliste vormingute, uute ründemeetodite või hindamisandmetest erinevates keeltes ja valdkondades esineva liikluse puhul.
• See ei ole vestlus-, kodeerimis-, arutlus-, pildi-, heli- ega videomudel.
• Esitatud uuringus ei ole toodud ametlikku majutatud API hinda ega universaalset latentsusgarantiid.

Millal valida Llama Prompt Guard 2 86M

Vali Prompt Guard 2 86M siis, kui peamine vajadus on kontrollida teksti viipade süstimise või turvapiirangutest möödahiilimise katsete suhtes enne selle jõudmist suuremasse mudelisse või agendi toimingusse. See sobib eriti hästi mitmekeelsetele rakendustele, otsinguga täiendatud süsteemidele, dokumenditöötluse torudele, tööriistaväljundite kontrollimiseks ning juurutusteks, kus eelistatakse kohalikku või enda hallatavat järeldamist.

See sobib ka juhul, kui meeskond soovib spetsiaalset detektorit, millele saab määrata lävendeid, mida saab peenhäälestada ja paigutada turvatoru mitmesse punkti. Selle kitsas eesmärk võib olla eelis üldotstarbelise LLM-i ees, millelt palutakse hinnata iga sisendi pahatahtlikkust, eriti siis, kui avatud selgitustest on olulisemad prognoositav klassifitseerimiskäitumine ja kohalik juurutus.

Teistsugune lahendus võib olla sobivam, kui rakendus vajab pika kontekstiga turvaanalüüsi, otsuse üksikasjalikke põhjendusi, laiapõhjalist sisu modereerimist mitmes kahjukategoorias või üldmudelit, mis suudab nii sisu kontrollida kui ka keerukat ülesannet täita. Üldotstarbeline LLM võib olla selgituste ja paindliku arutluse jaoks parem, samas kui laiem modereerimissüsteem võib olla eelistatav juhul, kui poliitika hõlmab enamat kui viibaründeid. Prompt Guard 2 tuleks käsitada ühe kihina kaitsesügavusel põhinevas lahenduses, mitte garantiina, et agent või LLM-rakendus on turvaline.