Mis on tehisintellekti mudelite hindamine?

Tehisintellekti mudelite hindamine: määratlus

Tehisintellekti mudeli hindamine on tehisintellekti mudeli või tehisintellektil põhineva süsteemi süstemaatiline testimine ja mõõtmine kindlaks määratud ülesannete, kriteeriumide, riskide ning tegeliku kasutuse nõuete alusel.

Hindamisel antakse mudelile ülesanne, jälgitakse selle väljundit ja võrreldakse tulemust mingi standardiga. Standardiks võib olla teadaolevalt õige vastus, võrdlusvastus, hindamisjuhend, ohutusnõue või hinnang sellele, kas tulemus on praktikas kasulik.

Sõna mudel võib viidata aluseks olevale masinõppemudelile. Praktikas hinnatakse aga sageli ka suuremat rakendust, mis hõlmab viipasid, otsingut, tööriistu, mälu, järeltöötlust ja kasutajaliidest. Need on omavahel seotud, kuid erinevad hindamise sihtmärgid.

Miks tehisintellekti mudeleid hinnata?

Tehisintellektisüsteemid võivad luua ladusaid ja usutavaid väljundeid ka siis, kui need on valed, puudulikud, ebaturvalised või konkreetse ülesande jaoks sobimatud. Hindamine muudab jõudluse nähtavaks ja annab meeskondadele otsuste tegemiseks tõendeid näiteks järgmistes küsimustes:

• milline mudel valida konkreetse kasutusjuhtumi jaoks;
• kas mudeli uuendus parandab või halvendab jõudlust;
• millised tõrked ilmnevad enne juurutamist;
• kuidas võrrelda eri viipasid, tööriistu või otsingumeetodeid;
• kuidas kvaliteeti aja jooksul jälgida; ja
• kas süsteem on konkreetse töövoo jaoks piisavalt usaldusväärne.

Ei ole olemas ühtainsat skoori, mis hõlmaks kõiki tehisintellektisüsteemi olulisi omadusi. Mudel võib üldteadmiste küsimustele hästi vastata, kuid ettevõtte dokumentidega halvasti toime tulla. Tavaliste päringute puhul võib see olla täpne, kuid ebaselgete, vastandlike või ohutundlike sisendite korral ebaõnnestuda. Seetõttu sõltub hindamine eesmärgist ja nõuete kogumist.

Kuidas hindamine toimub?

Praktiline hindamine järgib tavaliselt tsüklit, mitte ei piirdu ühe testiga.

1. Määratle ülesanne ja edukriteeriumid

Esmalt tuleb täpsustada, mida süsteem peaks tegema. „Ole kasulik” on liiga üldine, et seda järjepidevalt hinnata. Kasulikum kirjeldus võiks olla näiteks „võta üles laaditud dokumendist välja arve number ja kogusumma” või „liigita saabuvad tugipäringud heakskiidetud kategooriatesse”.

Edukriteeriumid muudavad ülesande jälgitavateks nõueteks. Nende hulka võivad kuuluda õigsus, täielikkus, asjakohasus, vorming, ohutus, viiteaeg, maksumus või see, kas süsteem teeb sobiva toimingu.

2. Koosta esinduslikud testjuhtumid

Testandmestik peaks sarnanema sisenditele, millega süsteem tegelikult kokku puutub. See võib sisaldada tavalisi näiteid, erandjuhtumeid, ebaselgeid päringuid, keerukaid juhtumeid ja teadaolevaid tõrkeid. Tootmises kasutatava rakenduse puhul võivad tegelikust kasutusest pärit näited olla väärtuslikud, kui neid töödeldakse nõuetekohaselt ja tundlikku teavet ei avaldata.

Väike hulk mugavalt valitud näiteid võib jätta süsteemist tegelikust parema mulje. Tugevam hindamine hõlmab sihilikult juhtumeid, mis eristavad vastuvõetavat käitumist tavalistest vigadest.

3. Käivita mudel või süsteem

Iga testisisend saadetakse läbi sama asjakohase konfiguratsiooni: mudeli, viiba, süsteemijuhiste, otsingu seadistuse, tööriistade ja väljundinõuete. Kui eesmärk on võrrelda kahte süsteemi, tuleks testitingimused hoida võimalikult sarnased.

Selles etapis võib hinnata eraldiseisvat mudelit või tervet rakendust. Näiteks võib mudelitaseme test mõõta vastuseid kindlale küsimuste kogumile, samal ajal kui rakendusetaseme test mõõdab, kas otsingusüsteem leiab õige dokumendi ja koostab allikatega põhjendatud vastuse.

4. Hinda väljundeid

Hindamine võib olla automaatne, inimeste tehtav või põhineda nende meetodite kombinatsioonil.

• Täpne või reeglipõhine hindamine kontrollib, kas väljund vastab oodatud väärtusele või järgib kindlaksmääratud reeglit.
• Võrdlusvastusel põhinev hindamine võrdleb vastust ühe või mitme teadaoleva võrdlusvastusega.
• Hindamisjuhendil põhinev hindamine hindab selgete kriteeriumide alusel selliseid omadusi nagu täpsus, asjakohasus, täielikkus või toon.
• Inimeste tehtav hindamine palub inimestel väljundeid kontrollida ja rakendada kindlaksmääratud hindamisprotsessi.
• Mudeli abil tehtav hindamine kasutab teist mudelit hindaja või hindamisvahendina. See võib ülevaatamist tõhusamalt skaleerida, kuid ka hindavat mudelit tuleb järjepidevuse ja kallutatuse suhtes testida.

Avatud vastustega genereerimise puhul võib olla mitu sobivat vastust. Sellisel juhul on hindamisjuhend sageli asjakohasem kui ühe täpse tekstijada nõudmine.

5. Analüüsi tõrkeid, mitte ainult keskmisi tulemusi

Koondhinne võib olulisi nõrkusi varjata. Hindamisel tuleks uurida, millised sisendid ebaõnnestusid, kuidas need ebaõnnestusid ja kas tõrked koonduvad kindlasse keelde, teemasse, kasutajarühma, dokumenditüüpi või töötingimusse.

Meeskonnad kasutavad tulemusi sageli viipade, andmete, otsingu, tööriistade või mudelivaliku parandamiseks ning kordavad seejärel hindamist. Seda korduvat protsessi nimetatakse mõnikord hindamistsükliks.

Levinud tehisintellekti hindamise tüübid

Võrdlustestid

Võrdlustest on standarditud test, mille eesmärk on võrrelda süsteeme kindlaksmääratud ülesannete kogumi alusel. Võrdlustestid võivad olla kasulikud üldisteks võrdlusteks ja teadustööks, eriti siis, kui andmed ja hindamismeetod on dokumenteeritud.

Võrdlustestide tulemusi ei tohiks automaatselt käsitada konkreetse rakenduse jõudluse ennustusena. Võrdlustest võib mõõta võimekust, mis on kasutaja tegeliku ülesandega seotud vaid vähesel määral, ning süsteemid võivad väljaspool testi tingimusi käituda teisiti.

Võimekuse hindamine

Võimekuse hindamisel keskendutakse sellele, mida süsteem teha suudab. Sõltuvalt mudelist ja kasutusjuhtumist võidakse testida keele mõistmist, arutlusoskust, programmeerimist, kokkuvõtete tegemist, teabe eraldamist, piltide mõistmist või mõnda muud kindlaksmääratud võimet.

Hindamist mõjutab ka väljundi tüüp. Tekst, pilt, video, heli, struktureeritud andmed ja toimingute väljundid nõuavad erinevaid kriteeriume. Näiteks artikkel struktureeritud väljundite kohta käsitleb nii seda, kas mudel tagastab teabe nõutud struktuuris, kui ka seda, kas sisu on õige.

Ohutuse ja riskide hindamine

Ohutuse hindamisel uuritakse, kas süsteem loob kindlaksmääratud tingimustes kahjulikke, diskrimineerivaid, privaatsust riivavaid, eksitavaid või muul viisil vastuvõetamatuid väljundeid. See võib hõlmata tavakasutust, väärkasutuse katseid, vastandlikke sisendeid ja olukordi, kus mudel peaks keelduma või täpsustust küsima.

Ohutust ei saa taandada ühele üldotstarbelisele skoorile. Asjakohased riskid sõltuvad rakendusest, kasutajatest, andmetest ja tõrgete tagajärgedest.

Töökindluse ja robustsuse hindamine

Töökindlus näitab, kas süsteem käitub korduvate ja erinevate sisendite korral vastuvõetavalt. Robustsus näitab, kuidas jõudlus muutub sõnastuse, vormingu, konteksti või muude tingimuste muutumisel.

Mõne näite põhjal edukalt toimiv süsteem võib siiski olla ebausaldusväärne. Erinevuste ja tõrkejuhtumite testimine aitab välja selgitada, kas täheldatud käitumine on kavandatud ülesande jaoks piisavalt järjepidev.

Rakenduste hindamine

Rakenduse hindamisel testitakse terviklikku süsteemi, mitte ainult selle aluseks olevat mudelit. See võib hõlmata viipade koostamist, dokumentide otsimist, tööriistakutseid, struktureeritud väljundite töötlemist, ärireegleid ja lõplikku kasutajale kuvatavat tulemust.

See eristus on oluline, sest tugevat mudelit võib kasutada halvasti ning tagasihoidliku võrdlustestide tulemusega mudel võib heade andmete ja kontrollimehhanismide korral kitsalt määratletud töövoos siiski tõhus olla.

Mudeli- ja rakendusetaseme testid

Need kaks hindamise sihtmärki annavad vastuse erinevatele küsimustele:

Rakenduse tulemusi ei saa alati omistada ainult mudelile. Tulemust võivad mõjutada otsingu kvaliteet, viipade kujundus, tööriistade kättesaadavus, parsimine ja äriloogika. Seetõttu võivad meeskonnad vajada nii eraldiseisvaid mudeliteste kui ka süsteemi terviklikke teste.

Kuidas hindamistulemusi tõlgendada?

Hindamistulemus on tähenduslik ainult oma ülesande, andmestiku, hindamismeetodi ja testitingimuste kontekstis. Skoor ei ole universaalne intelligentsuse ega kvaliteedi mõõt.

Tulemuste võrdlemisel küsi:

• Mida täpselt testiti?
• Kas sisendid esindasid kavandatud kasutust?
• Mida loeti õigeks või vastuvõetavaks vastuseks?
• Kas skoori koostas automaatne süsteem, inimene või teine mudel?
• Kui suur ja mitmekesine oli testandmestik?
• Kas arvesse võeti ohutust, maksumust, kiirust ja tõrgete raskusastet?
• Kas tulemused pärinevad mudelilt endalt või terviklikult rakenduselt?

Kahe süsteemi keskmised skoorid võivad olla sarnased, kuid nende tõrkemustrid väga erinevad. Suurte tagajärgedega töövoos võivad mõned rasked vead olla olulisemad kui tagasihoidlik erinevus keskmises täpsuses.

Olulised piirangud

Hindamine annab tõendeid, kuid ei tõesta, et tehisintellektisüsteem töötab alati õigesti. Testjuhtumid on paratamatult piiratud ja mudel võib kokku puutuda neist erinevate sisenditega. Inimeste hinnangud võivad erineda. Automaatsed mõõdikud võivad eelistada pealiskaudset sarnasust, mõõtmata kasulikkust. Mudelipõhised hindajad võivad tuua kaasa oma eelistused või pimetähnid.

Hindamine võib aeguda ka siis, kui muutub mudel, viip, andmed, tööriistad või kasutajate käitumine. Seetõttu tuleks testikomplekti hallata pidevalt täieneva esinduslike juhtumite kogumina, mis hõlmab ka uusi avastatud tõrkeid.

Veel üks piirang on see, et üksainus mõõdik soodustab liigset lihtsustamist. Hea hindamine ühendab tavaliselt mitu mõõdikut ja hõlmab tõrgete kvalitatiivset analüüsi. Eesmärk ei ole pelgalt saada kõrget numbrit, vaid mõista, kas süsteem täidab olulisi nõudeid.

Milline on hea hindamine praktikas?

Kasulik hindamine on konkreetne, esinduslik, korratav ja seotud otsusega. See määratleb kavandatud ülesande, hõlmab realistlikke ja keerukaid näiteid, kasutab läbipaistvat hindamismeetodit ning talletab tulemuse kordamiseks piisavalt taustteavet.

Uue tehisintellektirakenduse puhul on mõistlik alustada väikese testkogumi koostamisest kõige olulisematest kasutajaülesannetest ja teadaolevatest tõrkemustritest. Loo lähteolukord, käivita süsteem järjepidevalt, uuri valesid väljundeid ja täienda testkogumit iga olulise tõrke avastamisel. Seejärel korda hindamist pärast mudeli, viiba, andmete või töövoo muutmist.

Hindamisraamistikud ja -tööriistad erinevad oma ulatuselt. Sellised teadustööd nagu Stanfordi Holistic Evaluation of Language Models uurivad mudeleid mitme mõõtme alusel, samal ajal kui arendajatele mõeldud süsteemid võivad keskenduda rakenduse tööjälgedele, testjuhtumitele, hindajatele ja regressioonitestimisele. Konkreetne tööriist on vähem oluline kui selgete kriteeriumide olemasolu ja nende järjepidev kasutamine.

Tehisintellekti hindamine ühe lausega

Tehisintellekti mudeli hindamine on distsiplineeritud protsess, mille käigus testitakse tehisintellekti mudelit või süsteemi asjakohaste ülesannetega ja mõõdetakse selle väljundeid selgete standardite alusel, et hinnata võimekust, töökindlust, ohutust ja praktilist kasulikkust, mitte neid lihtsalt eeldada.