Mis on tehisintellekti struktureeritud väljundid?

Mis on struktureeritud väljundid?

Struktureeritud väljundid on tehisintellekti vastused, mis on piiratud vastama arendaja määratud andmevormingule, tavaliselt JSON Schema’ile. Selle asemel et paluda mudelil kirjeldada teavet tavalise proosana, saab rakendus nõuda kindlate väljade ja tüüpidega objekti.

Näiteks koosolekumärkmetest tegevusüksusi eraldav rakendus võib nõuda objekti, mis sisaldab:

• tegevusüksuste massiivi
• iga üksuse eest vastutajat
• ülesande kirjeldust
• valikulist tähtaega
• prioriteeti, mis on valitud kindlaksmääratud väärtuste hulgast

Mudel otsustab endiselt, mida märkmed näivad ütlevat. Struktureeritud väljundi süsteem määrab, kuidas seda teavet esitatakse, et rakendus saaks seda prognoositavamalt töödelda.

Miks struktureeritud väljundid on olulised?

Keelemudelid genereerivad loomupäraselt paindlikku teksti. See paindlikkus on vestluses ja selgitustes kasulik, kuid tekitab probleeme, kui mõni teine programm vajab usaldusväärseid andmeid.

Inimese jaoks õigena näiv vastus võib tarkvaras siiski probleeme põhjustada, kui selles on vigane JSON, puuduvad väljad, ootamatud sildid, ebaühtlane nimetamine või vale andmetüüp. Palve „tagasta korrektne JSON” võib aidata, kuid ainult viip ei ole sama mis masinlikult jõustatav andmeleping.

Struktureeritud väljundid on kasulikud siis, kui rakendus peab:

• eraldama tekstist nimesid, kuupäevi, olemärke või kirjeid
• klassifitseerima sõnumeid kontrollitud kategooriate hulka
• täitma andmebaase või ärisüsteeme
• genereerima teadaolevate omadustega kasutajaliidese komponente
• koostama funktsiooni või välise tööriista argumendid
• edastama mudeli tulemusi tarkvarakomponentide vahel

Kuidas struktureeritud väljundid töötavad?

Esmalt esitab arendaja skeemi. Skeem on vastuse formaalne kirjeldus, milles võidakse määrata atribuudid, tüübid, kohustuslikud väljad, massiivid, pesastatud objektid ja lubatud väärtused, näiteks enumeeratsioonid.

Seejärel teisendab teenusepakkuja skeemi juhisteks või piiranguteks, mida tema mudeliteenindussüsteem saab kasutada. Rakendused erinevad. Mõnes süsteemis kombineeritakse skeemiteadlikku mudelikoolitust piiratud dekodeerimisega. Piiratud dekodeerimise korral piirab teenindussüsteem võimalikke järgmisi märke nii, et osaliselt genereeritud vastus jääks skeemiga ühilduvaks. Teised süsteemid võivad ühendada genereerimise valideerimise ja korduskatsetega.

Näiteks kui väli peab sisaldama täisarvu, saab süsteem takistada tekstiväärtuse genereerimist sellesse kohta. Kui väli kasutab enumeerimist, saab väljundi piirata lubatud valikutega. Täpne jõustamismehhanism sõltub teenusepakkujast ning teenusepakkujad toetavad tavaliselt ainult osa JSON Schema täielikust spetsifikatsioonist.

OpenAI on kirjeldanud skeemide kompileerimist kontekstivabaks grammatikaks ja selle grammatika rikkumist põhjustavate märkide dünaamilist maskeerimist. See on üks rakendusnäide, mitte universaalne kirjeldus selle kohta, kuidas kõik teenusepakkujad struktureeritud väljundeid loovad.

JSON, JSON Schema ja struktureeritud väljundid

JSON

JSON on andmevorming, mis koosneb objektidest, massiividest, stringidest, numbritest, tõeväärtustest ja null-väärtusest. Tarkvaral on seda lihtne parsida, kuid korrektne JSON ei pruugi sisaldada välju ega tähendust, mida rakendus ootab.

JSON Schema

JSON Schema on standardiseeritud sõnavara JSON-andmete kirjeldamiseks ja valideerimiseks. Selle abil saab määrata atribuutide nimed, andmetüübid, kohustuslikud väljad, lubatud väärtused ja muud piirangud. Praegu avaldatud spetsifikatsioon on Draft 2020-12, kuigi tehisintellekti teenusepakkuja võib toetada ainult valitud märksõnu või kasutada oma skeemiesitust.

Struktureeritud väljund

Struktureeritud väljund on laiem mõiste: tehisintellekti genereeritud andmed, mille struktuur on ette määratud. JSON Schema on selle struktuuri kirjeldamiseks levinud viis, kuid terminoloogia ja rakendus erinevad teenusepakkujate ja tööriistade lõikes.

Struktureeritud väljundid ja JSON-režiim

JSON-režiim ja struktureeritud väljundid on omavahel seotud, kuid mitte identsed.

JSON-režiimi eesmärk on üldjuhul panna mudel tagastama süntaktiliselt korrektset JSON-i. Struktureeritud väljundite eesmärk on panna vastus vastama kindlale skeemile. JSON-režiimis saadud vastus võib olla edukalt parsitav, kuid selles võib siiski puududa kohustuslik atribuut, olla kasutatud vale tüüp, sisalduda ootamatu võti või väärtus, mis jääb ette nähtud enumeerimisest välja.

Lihtsustatult:

• JSON-režiim: „Tagasta midagi, mida saab JSON-ina parsida.”
• Struktureeritud väljund: „Tagasta JSON, mis vastab sellele määratletud kujule.”

Teenusepakkujate dokumentatsioon võib kasutada erinevaid nimetusi või neid funktsioone erinevalt kombineerida, mistõttu tuleb tegelikke tagatisi kontrollida konkreetse API ja mudeli puhul.

Struktureeritud väljundid ja viipamine

Viip annab soovitud vormingu edasi loomulikus keeles. Näiteks võib viip öelda: „Tagasta objekt kategooria ja usaldusskooriga.” See võib mudeli käitumist parandada, kuid üksi ei loo see usaldusväärset lepingut.

Struktureeritud väljundid lisavad API-taseme skeemi ning jõustamis- või valideerimismehhanismi. Viipamine on endiselt kasulik välja tähenduse selgitamiseks, konteksti andmiseks ja ülesande täitmise kirjeldamiseks. See peaks skeemi täiendama, mitte seda asendama.

Struktureeritud väljundid ja funktsioonikutsed

Funktsioonikutsumine, mida nimetatakse ka tööriistakutsumiseks, on suhtlusmuster, mille korral mudel genereerib rakenduse määratud funktsiooni jaoks struktureeritud argumendid. Näiteks võib mudel koostada ilmaennustuse päringu argumendid, mille jaoks on vaja linna ja temperatuuriühikut.

Struktureeritud lõppvastused kujutavad tavaliselt vastust või andmeid, mida rakendus soovib saada. Funktsioonikutse kujutab endast palvet kasutada välist võimekust. Mõlemad võivad kasutada sarnaseid skeeme, kuid nende eesmärk on erinev.

Genereeritud tööriistakutse ei tähenda tingimata, et funktsioon on käivitatud. Rakendus või teenusepakkuja tööriistade käituskeskkond peab funktsiooni autoriseerima ja käivitama. Argumendid võivad olla struktuuriliselt korrektsed, kuid viidata siiski olematule linnale, rikkuda ärireegleid või olla käivitamiseks ohtlikud.

Praktiline näide

Kujutame ette rakendust, mis klassifitseerib klientide sõnumeid. See võib nõuda objekti järgmisega:

• category: üks järgmistest: arveldamine, tehniline tugi, juurdepääs kontole või muu
• urgency: üks järgmistest: madal, keskmine või kõrge
• rationale: lühike selgitus

Skeem saab piirata kategooria ja kiireloomulisuse väärtusi ning nõuda kõiki kolme välja. See muudab tulemuse automaatsesse töövoogu suunamise lihtsamaks.

Samas ei saa skeem kindlaks teha, kas klassifikatsioon on õige. Sõnum võib olla tagastatud täpselt õiges vormingus, kuid sellele võib olla määratud vale kategooria. Seetõttu võib rakendus vajada täiendavaid kontrolle, inimkontrolli või usaldus- ja ebakindlusvälju.

Mida struktureeritud väljundid parandavad – ja mida mitte?

Struktureeritud väljundid parandavad eelkõige esitust ja koostalitlusvõimet. Need vähendavad selliseid probleeme nagu valed eraldajad, puuduvad kohustuslikud atribuudid, valed põhiskeemid ja määratletud hulgast välja jäävad väärtused.

Need ei taga automaatselt:

• faktilist täpsust
• kogu asjakohase teabe täielikku eraldamist
• väljadevahelist loogilist kooskõla
• head otsustusvõimet või sobivaid soovitusi
• õigust toimingu sooritamiseks
• kaitset viipesüstimise või andmelekkega seotud ohtude eest
• genereeritud tööriistaargumentide ohutut käivitamist

Kasulik on mõelda neljale eraldi kihile:

1. mudeli genereeritud sisu: mida mudel sisendi ja juhiste põhjal toodab.
2. struktuuri jõustamine: kas vastus järgib nõutud vormingut.
3. rakenduse valideerimine: kas väärtused on valdkonna reeglite kohaselt mõistlikud.
4. rakenduse käivitamine: kas süsteemil on tulemuse põhjal tegutsemiseks õigus.

Olulised piirangud ja kompromissid

Teenusepakkujast sõltuv skeemide tugi

Tehisintellekti teenusepakkujad toetavad tavaliselt ainult osa JSON Schema funktsioonidest. Täiustatud tingimuslaused, viited, rekursiivsed struktuurid ja muud funktsioonid võivad olla toetamata või toimida erinevalt. Ühe teenusepakkujaga töötavat skeemi võib teise jaoks olla vaja lihtsustada.

Liiga jäigad skeemid võivad paindlikkust vähendada

Liiga piirav skeem võib sundida ebakindlat teavet sobimatu välja sisse. Kui sisend ei anna usaldusväärset vastust, võib olla parem lubada null-väärtusi, selgesõnalist teadmatuse olekut või usaldusvälja, selle asemel et sundida mudelit oletama.

Keeldumised ja mittetäielikud vastused

Mudel võib ohutuse kaalutlustel päringust keelduda, selle asemel et tagastada nõutud objekti. Mittetäielikke tulemusi võivad põhjustada ka väljundipiirangud, katkestused, edastusvead või mudeli tõrked. Rakendused peavad neid juhtumeid eraldi käsitlema, mitte eeldama, et iga vastus on tavapärane skeemile vastav objekt.

Viivitus ja keerukus

Mõni teenusepakkuja töötleb uue skeemi enne genereerimist, mis võib lisada ettevalmistusajale viivituse. Keerukaid skeeme võib olla ka raskem testida, siluda, versioonida ja migreerida. Voogedastusel, paralleelsetel tööriistakutsetel ja rekursiivsetel struktuuridel võivad olla täiendavad teenusepakkujast sõltuvad piirangud.

Kuidas kujundada kasulikku skeemi?

Hea skeemikujundus muudab struktureeritud väljundi kasutamise lihtsamaks ja vähendab sageli ebaselgust.

• Hoia skeem ülesande jaoks võimalikult väike.
• Kasuta selgeid atribuudi nimesid ja põhiskeeme.
• Märgi kohustuslikuks ainult tegelikult vajalikud väljad.
• Kasuta enumeerimisi ainult siis, kui võimalikud väärtused on piiratud ja tähenduslikud.
• Võimalda tundmatut või kättesaamatut teavet selgesõnaliselt esitada.
• Kasuta kirjeldusi ebaselgete väljade tähenduse selgitamiseks.
• Versiooni skeeme, kui neid kasutab tootmises olev tarkvara.
• Valideeri rakenduses kuupäevi, identifikaatoreid, vahemikke, seoseid ja õigusi.

Skeemikirjeldused võivad tähendust täpsustada, kuid need ei asenda formaalseid piiranguid ega taga, et mudel tõlgendab teavet õigesti.

Kuidas alustada?

Väike eraldamisülesanne on praktiline viis vormingu ja õigsuse erinevuse mõistmiseks.

1. Vali lühike sõnum ja määra väljad, näiteks nimi, organisatsioon, kuupäev ja sentiment.
2. Loo skeem selgete tüüpide, kohustuslike atribuutide ja sentimendi enumeerimisega.
3. Võrdle tavalist viipamist, võimaluse korral JSON-režiimi ja skeemiga piiratud väljundit.
4. Kontrolli parsivigu, puuduvaid välju, lisavõtmeid, kehtetuid enumeerimisväärtusi ja semantilisi vigu.
5. Testi ebaselget teksti, puuduvat teavet, vigast sisendit, keeldumisi ja pikka sisendit.
6. Lisa rakendusepoolsed kontrollid kuupäevade, lubatud organisatsioonide ja selgesõnaliste tundmatute väärtuste jaoks.

Levinud väärarusaamad

• „Struktureeritud väljundid muudavad tehisintellekti tõetruuks.” Need piiravad vormi, mitte faktilist täpsust.
• „Iga JSON-vastus on struktureeritud väljund.” JSON võib olla korrektne, kuid rikkuda kavandatud skeemi.
• „Iga JSON Schema funktsioon töötab kõikjal.” Teenusepakkujad toetavad tavaliselt erinevaid alamhulki.
• „Kohustuslik väli peab sisaldama usaldusväärset väärtust.” Kohustuslikkus reguleerib olemasolu, mitte tõendusmaterjali ega õigsust.
• „Tööriistakutse tähendab, et tööriist on juba käivitatud.” Käivitamine sõltub rakendusest või teenusepakkuja käituskeskkonnast.
• „Struktureeritud väljundid asendavad valideerimise.” Valdkonnapõhised kontrollid, autoriseerimine, turvakontrollid ja veakäsitlus on endiselt vajalikud.

Mida meeles pidada?

Struktureeritud väljundid on usaldusväärsust suurendav kiht generatiivsete mudelite ja tarkvara vahel. Need muudavad vastuse kuju prognoositavamaks, rakendades arendaja määratud skeemi sageli skeemiteadliku genereerimise või piiratud dekodeerimise kaudu.

Kõige olulisem eristus on struktuuri ja tähenduse vahel. Vastus võib sisaldada õigeid välju, kasutada õigeid tüüpe ja olla siiski faktiliselt vale või ohtlik. Kasuta struktureeritud väljundeid prognoositavaks integreerimiseks ning rakenda seejärel rakendusepoolset valideerimist, autoriseerimist ja käivitamise turvameetmeid.