Mis on Omni Moderation?
Omni Moderation on OpenAI spetsiaalne sisuturvalisuse mudel. Selle eesmärk ei ole teksti kirjutada, küsimustele vastata, pilte luua ega üldist arutlemist teostada. Selle asemel analüüsib see esitatud sisu ja hindab, kas see kuulub ühte või mitmesse potentsiaalselt kahjulikku kategooriasse.
Mudel on saadaval OpenAI Moderation API kaudu praeguse aliase omni-moderation-latest all. OpenAI dokumenteerib ka fikseeritud hetktõmmise omni-moderation-2024-09-26, mis on kasulik siis, kui rakendus vajab stabiilset mudeliidentifikaatorit, mitte aliast, mida võidakse aja jooksul uuendada. OpenAI tutvustas mudelit 26. septembril 2024 ja kirjeldab seda kui GPT-4o põhist mudelit.
OpenAI praeguses kataloogis täidab Omni Moderation spetsialiseeritud turvaklassifitseerimise rolli. See täiendab generatiivseid mudeleid, mitte ei asenda neid: rakendus võib kasutada vastuse loomiseks generatiivset mudelit ja saata selle vastuse enne kuvamist või automaatse toimingu tegemist Omni Moderationile.
Mida mudel tagastab
Omni Moderation annab vestlusliku vastuse asemel struktureeritud modereerimistulemuse. Vastus sisaldab üldist märget selle kohta, kas sisu tuvastati probleemse või keelatuna, eraldi kategooriamärkeid, nende kategooriate kalibreeritud skoore ning vajaduse korral teavet tulemusega seotud sisendtüübi kohta.
Märge on kasulik esmase poliitikaotsuse tegemiseks, kategooriaskoorid aga pakuvad rohkem üksikasju rakendustele, mis vajavad erinevaid lävendeid. Näiteks võib platvorm suure kindlusega läve ületava sisu automaatselt tagasi lükata, piiripealsed juhtumid suunata inimkontrolli ning väiksema riskiga sisu lubada. Need lävendid on rakendusepõhised otsused; OpenAI dokumentatsioon ei määra iga toote või poliitika jaoks üht universaalset väärtust.
Seetõttu tuleks mudelit käsitleda ohutussignaalina, mitte täieliku sisuhaldussüsteemina. Tootmiskasutuses olev rakendus vajab endiselt reegleid apellatsioonide, eskaleerimise, korduvate rikkumiste, piirkondlike nõuete ja pärast kategooria tuvastamist tehtavate toimingute kohta.
Toetatud sisendid ja väljundid
| Võimekus | Tugi |
|---|---|
| Tekstisisend | Toetatud |
| Pildisisend | Toetatud, sealhulgas pildi URL-id ja base64-andme-URL-id |
| Helisisend | Ei ole toetatud |
| Videosisend | Ei ole toetatud |
| Tekstipõhine modereerimisväljund | Toetatud |
| Pildi-, heli- või videoväljund | Ei ole toetatud |
Modereerimiseks esitatavate pildifailide suurus võib kaasasoleva API-uuringu kohaselt olla kuni 20 MB. Pildianalüüs ei ole sama mis piiramatu visuaalne mõistmine: pildisisendite puhul on saadaval ainult dokumenteeritud modereerimiskategooriad. Mitmed teised kategooriad on endiselt ainult tekstipõhised.
Omni Moderation ei loo asendusteksti, pealkirju, pilte, heli ega videot. Selle väljund on ohutusega seotud välju sisaldav klassifitseerimiskirje. Samuti ei paku mudel tavapärast tööriistakasutust, funktsioonikutseid, voogedastusvastuseid ega struktureeritud väljundi genereerimist generatiivsete mudelite tähenduses.
Milliseid turvakategooriaid see hõlmab?
Dokumenteeritud kategooriad hõlmavad suurt hulka kahjulikku sisu:
- Ahistamine ja ähvardav ahistamine
- Vihakõne ja ähvardav vihakõne
- Ebaseaduslikud juhised ja vägivaldse ebaseadusliku tegevuse juhised
- Enesevigastamine, enesevigastamise kavatsus ja enesevigastamise juhised
- Seksuaalne sisu
- Alaealisi hõlmav seksuaalne sisu
- Vägivald ja graafiline vägivald
Piltide modereerimine on kategooriapõhine. Pilte saab hinnata vägivalla, graafilise vägivalla, enesevigastamise, enesevigastamise kavatsuse, enesevigastamise juhiste ja seksuaalse sisu suhtes. Kategooriad, nagu ahistamine, vihakõne, ebaseaduslik sisu ja alaealisi hõlmav seksuaalne sisu, on esitatud mudeliinfo kohaselt ainult tekstipõhiste kategooriatena.
See erinevus on töövoo kavandamisel oluline. Rakendus ei tohiks eeldada, et iga tekstikategooria kehtib ka piltidele või et pilditulemus hõlmab kõiki võimalikke turvariske. Teksti- ja pildikontrolle võib olla vaja käsitleda eraldi poliitikateedena.
Hinnastus ja juurdepääs API-le
OpenAI pakub Omni Moderationi Moderation API kaudu tasuta. „Tasuta” viitab lõpp-punkti hinnastusele, mitte piiramatule mahule: päringutele kehtivad endiselt konto kasutustasemest sõltuvad kiiruspiirangud. Uuringus tuuakse välja ka Batch API tugi, kuid eraldi tasulist või soodushinnaga modereerimise hinda ei esitata.
Mudelit saab kasutada kasutajate esitatud materjali kontrollimiseks enne avaldamist, loodud teksti või piltide kontrollimiseks või mujal toodetud sisu hindamiseks. Selle võib lisada ka vestlus- või generatiivse mudeli järele ülevaatusetapina. Kuna modereerimistulemus on genereerimisest eraldi, saavad rakendused valida, kas sisu blokeerida, tundlikud osad eemaldada, avaldamist edasi lükata, märgistada või eskaleerida.
Peamised tugevused ja piirangud
Tugevused
- Teksti- ja pilditugi: See toetab ühes modereerimismudelis kahte olulist sisutüüpi, mitte ei piira ohutuskontrolle ainult tekstiga.
- Lai kahjuliku sisu taksonoomia: Kategooriad eristavad omavahel seotud riske, näiteks üldist vägivalda ja graafilist vägivalda ning enesevigastamise sisu, kavatsust ja juhiseid.
- Üksikasjalikud signaalid: Kategooriapõhised märked ja skoorid annavad rohkem kontrolli kui üksainus jah- või ei-vastus modereerimise kohta.
- Väike otsene kulu: Moderation API on tasuta, mistõttu on automaatne esmane sõelumine paljude rakenduste jaoks praktiline.
- Kasulik suunamisel: Skoorid aitavad ebakindlad või suure riskiga juhtumid suunata inimkontrolli, selle asemel et sundida kõiki otsuseid täielikult automatiseerima.
Piirangud
- Heli- ja videomodereerimine puudub: Kõneldavat heli või videot töötlevad rakendused peavad kasutama muud lahendust, näiteks eraldama heli tekstiks või videost kaadreid ja hindama neid eraldi, kuigi kaasasolev uuring ei määratle täielikku alternatiivset töövoogu.
- Piltide ebaühtlane katvus: Kõik dokumenteeritud kategooriad ei kehti piltidele.
- Üldine genereerimine puudub: Omni Moderation ei ole vestlus-, kodeerimis-, arutlus-, pildigeneratsiooni- ega kõnemudel.
- Dokumenteeritud konteksti- ja väljundipiirangud puuduvad: Kaasasolev uuring ei esita kontekstiakna suurust ega väljundis lubatud maksimaalset tokenite arvu. Selle vastus on modereerimistulemus, mitte pikk genereeritud vastus.
- Poliitikaotsused on rakendusepõhised: Skoor üksi ei määra, kas sisu tuleks eemaldada, teatavaks teha või lubada.
- Eriline laste turvalisust puudutav piirang: OpenAI märgib, et Moderation API ei ole loodud teadaoleva või kahtlustatava laste seksuaalse kuritarvitamise materjali käsitlemiseks ning see ei tohiks asendada spetsiaalseid laste turvalisuse meetmeid.
Arutlemine, kodeerimine, kiirus ja kulupositsioon
Omni Moderation on optimeeritud klassifitseerimiseks, mitte avatud otsaga arutlemiseks või koodi genereerimiseks. Seda ei tohiks valida siis, kui põhiülesanne on keeruka probleemi lahendamine, tarkvara kirjutamine või nüansirikka vestlusliku selgituse koostamine. Nende ülesannete jaoks võib sobida paremini üldotstarbeline keelemudel, millele lisatakse Omni Moderation ohutuskontrolliks enne või pärast genereerimist.
Kaasasolevad hindamisväljad annavad selle kiirusele ja kulule soodsa hinnangu võrreldes võimekamate generatiivsete süsteemidega, kuid need on toimetuslikud skoorid, mitte teenusepakkuja avaldatud võrdlustulemused. Kontrollitud kuluerinevus on lihtsam: Moderation API lõpp-punkt on tasuta, mudel on aga spetsialiseeritud ja tagastab kompaktse modereerimistulemuse. See kombinatsioon muudab selle praktiliseks sõelumiskihiks ka siis, kui rakendus kasutab genereerimiseks juba kallimat mudelit.
Selle kompromiss seisneb ulatuse ja spetsialiseerumise vahel. Multimodaalne generatiivne mudel võib mõista laiemat hulka päringuid või koostada selgitusi, kuid see võib olla kallim ega asenda spetsiaalset modereerimise poliitikakihti. Seevastu Omni Moderation on soodne ja keskendunud, kuid ei suuda iseseisvalt hallata täielikku heli-video ohutuse töövoogu ega selgitada poliitikaotsust tavapärases proosas.
Millal valida Omni Moderation?
Vali Omni Moderation siis, kui peamine vajadus on teksti, piltide või mõlema automaatne ohutusklassifitseerimine. See sobib hästi järgmisteks kasutusjuhtudeks:
- Kasutajate postituste, kommentaaride, sõnumite ja pildilaadungite eelmodereerimine
- Teise tehisintellektisüsteemi loodud teksti või piltide sõelumine
- Piiripealsete saadetiste suunamine inimkontrolli
- Erinevatele kahjukategooriatele eraldi lävendite rakendamine
- Väikese otsese kuluga ohutuskontrolli lisamine API-põhisele rakendusele
- Modereerimiskihi loomine, mis vajab nii teksti- kui ka dokumenteeritud pildikategooriate tuge
See sobib halvemini siis, kui sisend on peamiselt heli või video, kui rakendus vajab genereerivat selgitust või kui põhiülesanne on üldine arutlemine, kodeerimine, transkribeerimine, tõlkimine või sisu loomine. Samuti ei piisa sellest üksi suure riskiga laste turvalisuse toimingute jaoks ega täieliku platvormi jõustamispoliitika kujundamiseks.
Praktilised juhised integreerimiseks
Mõistlik integreerimismuster on esitada sisu enne avaldamist, kontrollida üldist märget ja asjakohaseid kategooriatulemusi ning rakendada seejärel rakenduses määratletud toiminguid. Väikese riskiga sisu võib automaatselt edasi liikuda, suure kindlusega tuvastatud rikkumised võib blokeerida ning ebakindlad tulemused saab suunata inimkontrolli järjekorda. Loodud sisu puhul võib modereerimisetapp toimuda enne tulemuse kasutajani jõudmist.
Rakendused peaksid logima kasutatud mudeliidentifikaatori, sealhulgas selle, kas valiti omni-moderation-latest või kuupäevaga hetktõmmis. Samuti tuleks säilitada piisavalt kategooriainfot, et sisemiselt toimingut põhjendada, rakendades samal ajal esitatud sisule sobivaid privaatsus- ja säilitusreegleid.
Kuna pildikategooriad erinevad tekstikategooriatest, ei tohiks kasutajaliides ega poliitikamootor esitada pilditulemust nii, nagu oleks hinnatud iga tekstiga seotud riski. Samuti peaks modereerimisskoor toetama laiemat ohutusprotsessi, mitte olema tundlikes kasutusjuhtudes ainus kontrollimeede.
Kokkuvõte
Omni Moderation on OpenAI keskendunud turvamudel kahjuliku teksti ja piltide klassifitseerimiseks. Selle peamised praktilised eelised on multimodaalsete sisendite tugi, üksikasjalikud kategooriapõhised tulemused, lai dokumenteeritud kahjuliku sisu taksonoomia ja tasuta juurdepääs Moderation API kaudu. Sama olulised on selle piirid: see ei modereeri heli ega videot otse, ei loo tavapärast sisu, selle pildikategooriate katvus on kategooriapõhine ning see ei asenda inimkontrolli ega suure riskiga materjali jaoks mõeldud spetsiaalseid kaitsemeetmeid.