NemoGuard-JailbreakDetect

Mis on NVIDIA NemoGuard-JailbreakDetect?

NVIDIA NemoGuard-JailbreakDetect on NVIDIA allalaaditav turvamudel jailbreak-katsete ja vastandlike prompt-süstimise päringute tuvastamiseks. Jailbreak on sisend, mille eesmärk on panna keelemudel eirama oma süsteemijuhiseid või ohutuspõhimõtteid. Prompt-süstimine on sellega seotud rünne, mille puhul kasutaja kontrollitavasse sisusse lisatud juhised püüavad mudeli käitumist ümber suunata.

Mudel on mõeldud paiknema teise keelemudeli ees sisendi kontrollkihina. Rakendus saab saata kasutaja prompti NemoGuard-JailbreakDetectile, kontrollida tagastatud klassifikatsiooni ning otsustada, kas jätkata, päring blokeerida, suunata see ülevaatamiseks või rakendada muud ohutuspoliitikat. Seega on detektor kaitsemehhanismi komponent, mitte vestlusmudel.

Kuidas detektor töötab

Aluseks olev allalaaditav mudel on juhusliku metsa klassifikaator. Juhuslik mets ühendab sisendi klassifitseerimiseks mitme otsustuspuu otsused. Sel juhul töötab klassifikaator 768-mõõtmeliste vektor-esitustega, mille genereerib Snowflake Arctic Embed M Long. Vektor-esitus on teksti numbriline kujutis, mis sisaldab klassifitseerimiseks kasulikke mustreid.

See arhitektuur on oluline, sest NemoGuard-JailbreakDetect ei toimi otseselt üldotstarbelise keelemudelina. See ei kirjuta vastuseid, arutle vestluse käigus ega genereeri vestlustäiendusi. Selle ülesanne on seostada sisendprompt treeningu käigus õpitud mustrite põhjal ohutusklassifikatsiooniga.

NVIDIA pakub detektori teenindamiseks ka NemoGuard JailbreakDetect NIM-i. NIM on NVIDIA järeldusteeninduse vorming mudelite teenustena juurutamiseks. NIM võtab vastu toorprompti teksti ja haldab klassifikatsioonitulemuse saamiseks vajalikku järelduskonveierit.

Sisendid, väljundid ja lõpp-punkt

Dokumenteeritud NIM-i liides kasutab /v1/classify lõpp-punkti. Päring sisaldab input stringi, mis esindab hinnatavat prompti. Vastus sisaldab tõeväärtusvälja jailbreak ja arvulist välja score.

Tõeväärtusväli annab otsese klassifikatsiooni, skoor aga lisateavet detektori tulemuse kohta. NVIDIA esitatud dokumentatsiooni kohaselt jääb skoor vahemikku -1 kuni 1. Positiivsed väärtused on seotud jailbreak-katseteks klassifitseeritud sisenditega ja negatiivsed väärtused turvalisemate sisenditega. Rakendused saavad skoori kasutada siis, kui neil on vaja lihtsast jah- või ei-otsusest paindlikumaid läviväärtusi, kuid sobiv läviväärtus tuleks valideerida rakenduse enda liikluse põhjal.

See teenus on klassifikaator, mitte OpenAI-ga ühilduv vestlustäienduste mudel. See tagastab genereeritud vestlusteksti asemel struktureeritud klassifikatsiooniteavet. Dokumenteeritud liides ei kinnita ka voogedastuse, tööriistakutsete, funktsioonikutsete ega teksti genereerimise tuge.

Dokumenteeritud jõudlus

NVIDIA teatab oma dokumenteeritud hindamisseadistuse kohta F1-skooriks 0.9601, valepositiivsete tulemuste määraks 0.0042 ja valenegatiivsete tulemuste määraks 0.0435. F1 ühendab täpsuse ja saagise üheks mõõdikuks, samas kui valepositiivsete ja valenegatiivsete tulemuste määrad kirjeldavad eri tüüpi klassifitseerimisvigu.

Need on teenusepakkuja esitatud hindamistulemused, mitte iga juurutuse garantiid. Jõudlus võib muutuda sõltuvalt keelest, valdkonnast, prompti vormindusest, ründestrateegiast ja tootmiskeskkonnas kasutatavate promptide tüüpidest. Uued jailbreak-tehnikad võivad samuti erineda hindamisandmetes esindatud näidetest. Meeskonnad peaksid detektorit enne päringute blokeerimise ainsa alusena kasutamist testima esindusliku liikluse peal.

Toetatud modaalsused ja võimalused

NemoGuard-JailbreakDetect on teksti sisendiga klassifikaator. Esitatud spetsifikatsioonides on toetatuna nimetatud tekstisisendit ning pildi-, heli- ega videosisendit ei ole toetatuna nimetatud. See ei genereeri esmase väljundina teksti, pilte, heli, videot, vektor-esitusi, kõnet ega muud generatiivset meediat. Selle väljund on jailbreak-klassifikatsioon ja skoor.

Kuna tegemist ei ole generatiivse keelemudeliga, ei ole selle üksuse kohta dokumenteeritud tavapäraseid mõõdikuid, nagu kontekstiaken, väljundi maksimaalne tokenite arv, arutlusvõime skoor ja kodeerimisvõime skoor. Kättesaadav uurimismaterjal ei täpsusta ka sisendi maksimaalset tähemärkide ega tokenite arvu. Rakendused peaksid eelduste tegemise asemel kontrollima tööpiiranguid valitud NIM-i versioonis ja juurutuskonfiguratsioonis, mitte lähtuma mõne teise NVIDIA mudeli piirangutest.

Hind ja juurutamine

NemoGuard-JailbreakDetect on saadaval allalaaditava NVIDIA NIM-ina kohalikuks või taristupõhiseks juurutamiseks. Esitatud uurimismaterjali põhjal ei tuvastatud ametlikku tokenipõhist hinda, majutatud API hinda ega korduvat tellimuse hinda. Seetõttu ei ole olemas kontrollitud hinda, mille alusel võrrelda seda otse majutatud klassifitseerimise API-dega.

Juurutamise kulud sõltuvad NIM-i ja seda ümbritseva rakenduse käitamiseks kasutatavast taristust. Need kulud võivad hõlmata arvutusressursse, salvestusruumi, võrguteenuseid, käitamist ja seiret, kuid esitatud uurimismaterjal ei anna standardiseeritud kogukulu. Allalaaditav juurutusmudel võib siiski sobida organisatsioonidele, kes peavad promptide kontrolli hoidma oma keskkonnas või soovivad kontrollida teenuse paigutust.

Peamised tugevused ja piirangud

Tugevused

• Fokuseeritud eesmärk: Mudel on loodud spetsiaalselt jailbreak- ja prompt-süstimise katsete tuvastamiseks, mitte omavahel mitteseotud generatiivsete ülesannete lahendamiseks.
• Lihtne integreerimismuster: NIM pakub klassifitseerimise lõpp-punkti, mis võtab vastu sisendstringi ja tagastab tõeväärtusotsuse koos skooriga.
• Teenuseks juurutatav: Allalaaditav NIM toetab taristupõhist juurutamist, mistõttu ei pea detektorit kasutama ainult täpsustamata majutatud teenusena.
• Tugevad teatatud hindamistulemused: NVIDIA teatab oma dokumenteeritud hindamisseadistuse kohta F1-skooriks 0.9601, valepositiivsete tulemuste määraks 0.0042 ja valenegatiivsete tulemuste määraks 0.0435.
• Väljundi väike keerukus: Rakendused saavad kompaktse klassifikatsioonitulemuse ega pea päringule lubamise otsustamiseks genereeritud proosateksti tõlgendama.

Piirangud

• Piiratud ulatus: See ei ole üldotstarbeline keelemudel, vestlusassistent, sisugeneraator, vektor-esituse teenus ega täielik sisumoderatsiooni süsteem.
• Konteksti- ja tokenipiirangud ei ole dokumenteeritud: Esitatud spetsifikatsioonides ei ole märgitud tavapärast kontekstiakent ega sisendi maksimaalset suurust.
• Hindamine ei taga tootmiskeskkonna täpsust: Valepositiivsed ja valenegatiivsed tulemused on endiselt võimalikud, eriti uute ründestiilide, ebatavaliste promptivormingute või hindamisandmetest erinevate valdkondade puhul.
• See ei ole täielik kaitsepoliitika: Jailbreak-tuvastus ei määra iseenesest, kas muidu nõuetele vastav päring on kahjulik, keelatud, privaatne või konkreetse rakenduse jaoks sobimatu.
• Kontrollitud majutatud hinda ei ole: Uurimismaterjal ei tuvasta standardset päringu- ega tokenipõhist hinda.

Millal valida NemoGuard-JailbreakDetect?

Valige NemoGuard-JailbreakDetect siis, kui peamine vajadus on kontrollida tekstipromptides katseid mudeli juhistest mööda minna enne, kui need jõuavad generatiivse mudelini. See sobib eriti hästi meeskondadele, kes soovivad spetsiaalset esimese astme detektorit, kompaktset klassifikatsioonivastust ja allalaaditava NVIDIA NIM-i juurutusvõimalust.

Näiteks võib rakendus saata kasutaja sõnumi klassifikaatorile, lükata jailbreak-katseteks märgitud päringud tagasi ja edastada ülejäänud päringud oma tavapärasele keelemudelile. Skoor võib toetada ka ülevaatusvoogu: suure kindlusega positiivsed tulemused saab automaatselt blokeerida, piiripealsed juhud aga suunata inimülevaatajale või täiendavate kaitsemehhanismide hindamisele.

Veel üks põhjus selle valimiseks on arhitektuuriline eraldatus. Üldotstarbeline keelemudel võib küll vastuse genereerida, kuid sama mudeli kasutamine iga sisendi hindamiseks võib olla aeglasem, kulukam või vähem ettearvatav kui spetsiaalse klassifikaatori paigutamine selle ette. NemoGuard-JailbreakDetect on loodud kitsamaks kontrollietapiks.

Millal võib mõni muu valik olla sobivam?

Kasutage selle asemel üldotstarbelist keelemudelit, kui peamine ülesanne on vestlus, kirjutamine, kodeerimine, analüüs või muu teksti genereerimine. NemoGuard-JailbreakDetect ei saa seda mudelit asendada, sest see ei genereeri vastuseid.

Kasutage laiemat sisuturvalisuse lahendust, kui rakendus peab tuvastama ka muid kategooriaid peale jailbreak'ide ja prompt-süstimise. Esitatud uurimismaterjal ei kinnita, et see detektor tuvastaks igat tüüpi ebaturvalist sisu, privaatsusrikkumisi, kuritahtlikke päringuid või poliitikarikkumisi. Seetõttu tuleks seda vajaduse korral kombineerida rakendustaseme reeglite, seire ja muude ohutuskontrollidega.

Majutatud ohutus-API või mõni muu hallatav klassifikaator võib olla sobivam, kui meeskond ei soovi kasutada allalaaditavat NIM-i ega hallata selle taristut. Teisalt võib eelistada alternatiivset detektorit, kui testimine näitab selle rakenduse keelte, valdkondade või ründemustrite puhul paremaid tulemusi. NVIDIA teatatud mõõdikud on kasulikud võrdluspunktid, kuid need ei tohiks asendada tegelikel töökoormustel tehtavat hindamist.

Kokkuvõte

NVIDIA NemoGuard-JailbreakDetect on spetsiaalne juurutatav sisendi kaitsemehhanism jailbreak- ja prompt-süstimise katsete tuvastamiseks. Selle juhusliku metsa arhitektuur, vektor-esitustel põhinev ülesehitus ja fokuseeritud /v1/classify liides eristavad seda vestlusmudelist: see kontrollib prompte ja tagastab otsuse, mitte ei genereeri vastust. Selle teatatud hindamistulemused on paljulubavad, kuid mudelit tuleks käsitleda ühe kihina laiemas ohutusarhitektuuris, kus tootmiskeskkonna testimine ja täiendavad poliitikakontrollid tegelevad jailbreak-tuvastusest väljapoole jäävate riskidega.