Mis on tehisintellekti tegevusväljundiga mudelid?
Tegevusväljundiga tehisintellektimudelid genereerivad otsuse, käsu, juhtsignaali või struktureeritud päringu, mille eesmärk on käivitada toiming väliskeskkonnas. Keskkond võib olla füüsiline, näiteks robot, sõiduk või droon, või digitaalne, näiteks brauser, andmebaas, ärirakendus või tarkvaraline töövoog.
Tavaline keelemudel võib vastata „Fail on valmis.” Tegevusväljundiga mudel võib selle asemel tagastada juhise faili üleslaadimiseks, nupul klõpsamiseks, robotkäe liigutamiseks või API väljakutse tegemiseks. Mudeli väljund on mõeldud kasutamiseks täituri, kontrolleri, simulaatori, operatsioonisüsteemi või rakenduse poolt, mitte ainult inimesele lugemiseks.
See termin ei ole standardiseeritud. Ühes süsteemis võib tegevusväljund tähendada madala taseme mootorikäske, teises aga kõrge taseme ülesande sammu või funktsioonikutset. Seetõttu pole kõige olulisem küsimus, kas teenusepakkuja kasutab nimetust „tegevus”, vaid see, mida mudel väljastab ja milline süsteem seda täidab.
Mida mudel tegelikult genereerib
Tegevusväljund on funktsionaalne kategooria, mitte üks universaalne failivorming. Levinud vormid on järgmised:
- Diskreetsed tegevused: sildid või märgendid, näiteks move-left, open-gripper, click või select-item.
- Pidevjuhtimine: arvväärtused, näiteks liigendi kiirus, roolinurk, kiirendus, pöördemoment või lõppefektori asukoht.
- Trajektoorid: asendite, vahepunktide, positsioonide või juhtkäskude jadad ajas.
- Sümbolilised käsud: struktureeritud juhised, näiteks navigeerimise sihtkoht, töövoo samm või valdkonnapõhine toiming.
- Tööriista- või funktsioonikutsed: funktsiooni nimi koos argumentidega, mida rakenduse kood saab täita.
- Tegevusplaanid: kavandatud sammude järjestus, mis vajab endiselt kontrollerit, tööriistade käivitajat või inimese heakskiitu.
Need väljundid toimivad eri tasemetel. „Võta punane tass” on kõrge taseme tegevussoov; haaratsi asendite ja liigendi kiiruste jada on madala taseme juhtimine. Neid ei tohiks võrrelda nii, nagu oleksid need omavahel asendatavad.
Sisend ei ole väljund
Paljud tegevusele suunatud mudelid kasutavad rikkalikke sisendeid, sealhulgas tekstijuhiseid, pilte, videot, sügavusinfot, heli, andurinäite, varasemaid tegevusi ja keskkonna ajalugu. See ei tähenda, et nad toodaksid samu modaalsusi ka väljundina.
- Tegevussisend tähendab, et mudel kasutab demonstratsioone, varasemaid käske, juhtimisajalugu või keskkonna tagasisidet.
- Tegevusväljund tähendab, et mudel väljastab käsu, poliitika sammu, trajektoori, funktsioonikutse või muu täidetava esituse.
- Multimodaalne sisend tähendab, et mudel suudab analüüsida näiteks pilte, videot, heli või teksti.
- Täitmine toimub siis, kui robotikontroller, tarkvaraline käituskeskkond, API, simulaator või muu täitur väljundit rakendab.
Visiooni-keele-tegevuse mudel kasutab tavaliselt visuaalset teavet ja keelejuhiseid, et genereerida tegevuse esituse. Täpne väljund võib aga olla robotite tegevusmärkide jada, kõrge taseme käsk või mootori juhtsignaal. Ainult pildi või video mõistmine ei ole tegevusväljund.
Natiivne juhtimine versus tööriistade vahendatud tegevus
Selle kategooria kõige olulisem eristus seisneb selles, kas mudel ennustab natiivselt sihtkeskkonna tegevuste esitust või üksnes palub mõnel teisel süsteemil toimingu teha.
Natiivne tegevuse ennustamine
Mudelil on natiivne tegevusvõimekus siis, kui tegevuse ennustamine on osa selle kavandatud väljundist. Näiteks võib robotipoliitika teisendada kaameravaatlused, keelejuhised ja roboti oleku tegevusmärkideks, trajektooriks või juhtväärtusteks. Vajalik võib olla ka madala taseme ohutuskontroller, kuid mudel vastutab otseselt tegevuse esituse ennustamise eest.
Uurimissüsteemid, nagu RT-2, illustreerivad seda lähenemist, ühendades visiooni- ja keeletaju märgendatud robotitegevustega. Robotisüsteemid võivad kasutada ka visiooni-keelemudelit kõrge taseme arutluseks ning eraldi tegevusmudelit või kontrollerit füüsilise täitmise jaoks.
Tööriistade vahendatud tegevus
Funktsioonikutsete korral genereerib mudel tavaliselt funktsiooni nime ja struktureeritud argumendid. Ümbritsev rakendus valideerib ja täidab selle päringu. Mudel ise ei pruukinud tegelikult e-kirja saata, andmebaasi muuta, kohtumist broneerida ega robotit liigutada.
See eristus on toodete hindamisel oluline. Keelemudel võib näida „tegutsevat”, sest rakendus annab sellele tööriistad, õigused, mälu, täitmistsükli ja kinnituskuvad. Tulemuseks võib olla väga võimekas toode ka siis, kui alusmudel genereerib üksnes teksti või struktureeritud kutseid.
Digitaalset tööriistakasutust võib mõnes taksonoomias põhjendatult käsitleda tegevusväljundi võimekusena. Seda tuleks lihtsalt täpselt nimetada tööriistade vahendatud või sümboolseks tegevuseks, mitte natiivseks mootorijuhtimiseks.
Kuidas tegevusväljundit kasutatakse
Tegevusväljundiga mudelid on kasulikud siis, kui ennustus peab viima oleku muutumiseni. Tavaliselt annab kasutaja eesmärgi, vaatlused ja mõnikord ka piirangud; mudel tagastab tegevuse esituse; välissüsteem rakendab seda ja võib saata tulemuse järgmise sammu jaoks tagasi.
Robootika ja füüsiline juhtimine
Robot võib saada kaamerapilte, loomulikus keeles juhise ja enda hetkeseisu. Mudel võib tagastada haaramistegevuse, vahepunktide jada või konkreetse robotkeha jaoks mõeldud käsud. See võib toetada manipuleerimist, navigeerimist, liikumist, laooperatsioone ja muid füüsilisi ülesandeid.
Füüsiline juhtimine sõltub eriti kaamera paigutusest, kalibreerimisest, latentsusest, vabadusastmete arvust, tööruumist, objektide varieeruvusest ja ohutuspiirangutest. Ühel robotil hästi toimiv mudel võib vajada kohandamist, enne kui see töötab mõnel teisel robotil.
ブラuseri ja arvuti kasutamine
Arvutikasutuse mudel võib analüüsida ekraanipilti ja tagastada selliseid tegevusi nagu klõpsud, klahvivajutused, kerimine või teksti sisestamine. Automatiseerimisraamistik rakendab need tegevused brauseri- või töölauakeskkonnas. See on kasulik korduvate liideste, testimise, andmesisestuse ja ebastabiilse API-ga töövoogude puhul, kuid tundlik paigutuse muutuste, ebaselgete leheolekute, õigusetõrgete ja pöördumatute klõpsude suhtes.
computer-use-preview mudel on konkreetne näide mudelikategooriast, mis keskendub brauserite ja graafiliste kasutajaliideste automatiseerimisele.
Äri- ja tarkvaralised töövood
Mudel võib valida deklareeritud toimingu, näiteks pileti loomise, laoseisu päringu, kliendikirje uuendamise või juurutuse käivitamise. See tagastab struktureeritud kutse ning rakendus kontrollib õigusi ja täidab selle. Seda lähenemist on sageli lihtsam integreerida kui otsest füüsilist juhtimist, sest API-d pakuvad selgeid skeeme ja veateateid.
Õige süntaks ei taga siiski õiget tegevust. Mudel võib valida vale kirje, kasutada sobimatut parameetrit, korrata toimingut või mõista kasutaja volitusi valesti. Ümbritseva süsteemi olulised osad on valideerimine, idempotentsus, kinnitusetapid ja auditilogid.
Simulatsioon, mängud ja autonoomsed süsteemid
Simulaatoris või mängus võib mudel valida vaatluste ja tagasiside põhjal korduvalt tegevusi. Simulatsioon hõlbustab poliitikate ulatuslikku testimist, kuid kontrollitud keskkonnas saavutatud edu ei tõesta töökindlust füüsilises maailmas. Sõidukid, droonid ja muud autonoomsed süsteemid lisavad ranged ajastuse, ohutuse ja riistvara piirangud.
Mida tegevusväljundiga mudelite puhul võrrelda
Aktiivne kataloog on kõige kasulikum siis, kui iga mudelit hinnatakse selle keskkonna ja tegevustaseme järgi, mida tegelikult vajate. Keskenduge järgmistele teguritele.
- Väljundi esitus: tehke kindlaks, kas mudel tagastab tegevusmärke, JSON-i laadseid käske, funktsioonikutseid, trajektoore, pidevjuhtimise väärtusi või ainult loomulikus keeles plaani.
- Tegevuse detailsus: selgitage välja, kas mudel valib kõrge taseme ülesandesamme või genereerib täiturit juhtida suutvaid madala taseme käske.
- Täitmise sihtkoht: kontrollige, kas see toetab brauserit, API-t, simulaatorit, konkreetset robotkeha, sõidukit või mitut keskkonda.
- Alusandmed: kontrollige, milliseid vaatlusi see kasutada saab, näiteks teksti, pilte, videot, sügavusinfot, heli, propriotseptsiooni, olekuvektoreid või tegevusajalugu.
- Latentsus ja juhtimissagedus: reaalajas robootika ja interaktiivsed süsteemid võivad vajada etteaimatavat reageerimisaega ja sagedasi uuendusi, mitte harva esinevat pikka arutlust.
- Töökindlus ja piirangutest kinnipidamine: vaadake ülesande edukust, kehtivate tegevuste määra, kokkupõrgete vältimist, skeemile vastavust, argumentide õigsust ja käitumist ootamatutes olekutes.
- Üldistusvõime: testige jõudlust tundmatute objektide, juhiste, keskkondade, ülesannete ja robotkehade puhul, mitte ainult demonstratsioonide või võrdlustulemuste põhjal.
- Tagasiside ja taastumine: kontrollige, kas mudel suudab jälgida tegevuse tulemust, tuvastada ebaõnnestumise, oma plaani muuta ja vältida ohtliku sammu kordamist.
- Ohutus ja õigused: tuvastage piirangud, kokkupõrgete kontroll, autentimine, inimese heakskiit, hädaseiskamine ja kaitsed hävitavate või volitamata toimingute vastu.
- Juurutamise nõuded: arvestage pilveühenduse, seadmesisese järeldamise, riistvara, privaatsuse, andmete säilitamise, integratsioonitöö ning nii järeldamise kui ka tööriistade käivitamise kuluga.
Tööriistakutsete süsteemi puhul võivad skeem ja täitmiskihis olla sama olulised kui mudel. Roboti puhul võivad robotkeha ühilduvus ja ajastus olla tähtsamad kui üldine keelekvaliteet.
Piirangud ja kompromissid
Tegevusväljundil on tagajärjed, mida tavapärasel teksti genereerimisel ei ole. Ekslik lause võib olla ebamugav; ekslik käsk võib kustutada andmeid, liigutada seadmeid või tekitada ohutusriski.
- Tajutõrked muutuvad juhtimistõrgeteks. Objekti, ekraanielemendi või keskkonna oleku vale tuvastamine võib viia vale tegevuseni.
- Pika horisondiga ülesanded koguvad vigu. Jada alguses tehtud väike viga võib muuta hilisemad tegevused kehtetuks, eriti kui keskkond muutub pärast iga sammu.
- Füüsiline ülekantavus on keeruline. Robotipoliitikad võivad sõltuda robotkehast, anduritest, kalibreerimisest, valgustusest, objektide paigutusest, latentsusest ja tööruumi tingimustest.
- Käsud võivad olla usutavad, kuid valed. Funktsioonikutse võib vastata skeemile, kuid sihtida valet ressurssi või teha soovimatu toimingu.
- Tegevusvormingud on sageli spetsialiseeritud. Ühe roboti, simulaatori, API või liidese jaoks treenitud mudel ei pruugi teisele otse üle kanduda.
- Ohutus nõuab mudelist enamat. Vajalikud võivad olla õiguste süsteemid, valideerimine, päringupiirangud, kokkupõrgete vältimine, tagasivõtmine, seire ja inimese kinnitus.
- Latentsusel on praktilised tagajärjed. Viivitused võivad muuta juhtimispoliitika ebastabiilseks või põhjustada liidese toimingu sooritamise pärast seda, kui asjakohane ekraaniseisund on juba muutunud.
- Hindamine võib töökindlust üle hinnata. Kureeritud ülesanded ja simuleeritud keskkonnad ei pruugi kajastada ebatavalisi sisendeid, muutuvaid tingimusi ega avatud maailma kasutust.
Privaatsus ja litsentsid on olulised ka siis, kui tegevussüsteemid analüüsivad kaameravooge, dokumente, ekraane või varalisi keskkondi. Meeskonnad peaksid kindlaks määrama, kus vaatlusi ja tegevuslogisid töödeldakse, kes võib tegevusi volitada ning kas treening- või kohandamisandmeid tohib seaduslikult kasutada.
Tegevusväljund ja sellega seotud võimekused
Mitu lähedalt seotud terminit kirjeldavad interaktiivse süsteemi eri osi:
- Planeerimine genereerib strateegia või tegevusjada, kuid plaan võib endiselt vajada täitjat.
- Arutlemine analüüsib probleemi või valib vastuse; see ei pruugi genereerida täidetavat käsku.
- Ennustamine prognoosib olekut, silti või väärtust; ennustatud tulevane olek ei ole iseenesest tegevus.
- Tööriistakasutus valib väliseid funktsioone ja määrab nende parameetrid. Mõnes taksonoomias on see digitaalse tegevuse vorm, kuid erineb natiivsest mootorijuhtimisest.
- Arvuti kasutamine genereerib liideseoperatsioone, näiteks klõpse ja klahvivajutusi. Tavaliselt on see digitaalne tegevus, mitte füüsiline juhtimine.
- Maailmamudeldamine ennustab, kuidas keskkond võib tegevuste mõjul muutuda, ilma et see tingimata genereeriks tegevusi, millega keskkonda juhitakse.
- Agendilik käitumine ühendab mudeli tööriistade, mälu, orkestreerimise, tagasiside ja korduvate otsustega. Agent on süsteemi ülesehitus, mitte tingimata üks konkreetne mudeli väljunditüüp.
Neid võimekusi saab kombineerida. Tootmisrobot või automatiseerimisagent võib kasutada üht mudelit tajuks, teist planeerimiseks, tegevusmudelit juhtimiseks ja eraldi ohutuskihti täitmiseks.
Kes vajab tegevusväljundiga mudelit?
Tõenäoliselt vajate seda tüüpi mudelit siis, kui süsteem peab valima või genereerima toiminguid, mitte ainult teavet tagastama. Tüüpilised märgid on järgmised:
- Teil on vaja, et robot, simulaator, brauser, seade või tarkvarateenus reageeriks mudeli otsustele.
- Teie rakendus peab teisendama loomulikus keeles eesmärgid struktureeritud API-toiminguteks.
- Teil on vaja korduvaid taju-otsuse-tegevuse tsükleid, mitte ühekordset teksti genereerimist.
- Vajate mudeli väljundina trajektoore, juhtväärtusi, tegevusmärke või liidese sündmusi.
- Vajate tegevuspoliitikat, mis suudab kasutada keskkonna tagasisidet ja muutuvas olukorras taastuda.
Spetsiaalset tegevusväljundiga mudelit ei pruugi vaja olla, kui teie rakendus üksnes võtab teavet kokku, liigitab sisu, ennustab väärtust või annab inimesele täitmiseks juhiseid. Lihtsate digitaalsete töövoogude jaoks võib piisata tavalisest keelemudelist koos hoolikalt kavandatud tööriistaintegratsiooniga, samas kui füüsiline juhtimine vajab tavaliselt rangemaid robotkeha, ajastuse ja ohutuse lahendusi.
Kokkuvõte
Tegevusväljundiga mudelid teisendavad vaatlused ja eesmärgid esitusteks, mille eesmärk on põhjustada muutus. See esitus võib ulatuda kõrge taseme funktsioonikutsest madala taseme mootorikäsuni, mistõttu peaksid mudelite kirjeldused alati täpsustama väljundivormingu, täitmise sihtkoha ja välise tarkvara rolli.
Mudelite võrdlemisel seadke esikohale keskkond, mida need suudavad juhtida, tegevuste detailsus ja töökindlus, latentsus, tagasiside käsitlemine, ohutusmehhanismid ning integratsiooninõuded. Põhieristus on lihtne: plaani või päringu genereerimine ei ole sama mis tegevuse täitmine ning multimodaalne arusaamine ei tähenda automaatselt tegevuste genereerimist.