Mis on EXAONE Tabular?
EXAONE Tabular on LG AI Researchi tabelandmetel põhinev alusmudel, mis on loodud struktureeritud andmekogumitest väärtuste ennustamiseks. See toetab kahte peamist ülesannet: klassifitseerimist, mille puhul mudel valib kategooria, ja regressiooni, mille puhul ennustatakse arvulist väärtust. Nende ülesannete jaoks on saadaval eraldi kontrollpunktid: EXAONETabularClassifier ja EXAONETabularRegressor.
Mudel kasutab kontekstisisest õppimist (in-context learning). Selle asemel et iga uue andmekogumi puhul mudeli kaalusid esmalt peenhäälestada, edastab rakendus näidetena märgendatud tugiread ja seejärel ennustamiseks märgendamata päringuread. Mudel kasutab tugiridu järeldamise ajal kontekstina ning tagastab ennustused ühe edasikäigu jooksul. See võib vähendada vajadust andmekogumipõhiste parameetriuuenduste järele, kuid tulemuse kvaliteet sõltub endiselt sellest, kui esinduslikud on tugiread ja kuidas andmed on ette valmistatud.
Seega ei ole EXAONE Tabular üldotstarbeline vestlusrobot ega teksti genereerimise mudel. Selle eesmärk on struktureeritud andmete põhjal ennustamine, näiteks hooldustulemuse hindamine, riskikategooria määramine või pideva mõõtmise ennustamine väljade andmete põhjal.
EXAONE Tabulari koht EXAONE’i mudelivalikus
EXAONE Tabular laiendab LG AI Researchi EXAONE’i portfelli keele- ja visioonimudelitest kaugemale. See on mõeldud struktureeritud ridade ja veergudega andmete, mitte loomuliku keele viipade või visuaalsete sisendite jaoks. Seetõttu võib see olla asjakohane organisatsioonidele, kellel on mahukad operatiiv-, tootmis-, finants-, teadus- või kliinilised andmekogumid, kuid kes soovivad vältida iga ennustusülesande jaoks eraldi närvivõrgu loomist ja ümbertreenimist.
Seda ei tohiks segi ajada LG AI Researchi üldiste keele- ja visioonikeele mudelitega. EXAONE Tabular ei paku teksti genereerimist, piltide mõistmist, kõnetöötlust ega üldotstarbelise agendi käitumist. Selle kitsam ulatus on ka mudeli peamine praktiline eripära: mudel on üles ehitatud tabelandmete näidete ja ennustuste ümber.
Kuidas mudel töötab
EXAONE Tabular on üles ehitatud Cross-Axis Summary Transformeri ehk CAST-i abil. Lihtsustatult uurib arhitekt tabelandmeid kahes teineteist täiendavas suunas. See saab võrrelda ühe rea tunnuseid ning samal ajal võrrelda ühe tunnuse piires olevaid tuginäiteid. Üksuse kokkuvõtte- ja tunnuse kokkuvõtte märgendid aitavad mudelil nende kahe vaate vahel teavet vahetada, ilma et raku taseme esitusi kõrvale jäetaks.
Avaldatud konfiguratsioon kasutab 192-mõõtmelist esituseruumi, kuut tähelepanupead, kahtteist transformeri kihti, neljakordset edasisuunalise võrgu laiendust, kolme üksuse kokkuvõtte märgendit iga üksuse kohta ja 32 tunnuse kokkuvõtte märgendit iga tunnuse kohta. Klassifitseerimise kontrollpunkt sisaldab ligikaudu 20,8 miljonit parameetrit ning regressiooni kontrollpunkt ligikaudu 21,1 miljonit parameetrit.
Mudel eeltreeniti täielikult sünteetiliselt loodud tabelandmetel. LG AI Research kirjeldab sünteetiliste andmete loomist, mis põhineb struktuursetel põhjuslikel mudelitel, põhjuslikel graafidel, mittelineaarsetel mehhanismidel, kategoorilistel teisendustel, müramustritel ja puuduvate väärtuste stsenaariumidel. Eesmärk on tutvustada mudelile mitmesuguseid andmeid tekitavaid struktuure, et see suudaks üle kanduda andmekogumitele, mis ei kuulunud ühe kindla tööstusharu treeningkorpusesse.
Toetatud ülesanded ja sisendi käitlemine
Peamised toetatud ülesanded on tabelandmete klassifitseerimine, punktregressioon ja ennustusjaotuse ülesanded. Käituskeskkond pakub scikit-learn’i stiilis liideseid fit, predict ning klassifitseerimiseks predict_proba. Selles kontekstis tähendab fit tugija päringuandmete ettevalmistamist järeldamiseks, mitte tavapärast treenimist, mille käigus mudeli parameetreid uuendatakse.
Mudel on mõeldud töötama struktureeritud ridadega, mis sisaldavad arvulist ja kategoorilist teavet. Uuringus kirjeldatakse puuduvate väärtuste stsenaariumide toetamist, mis on kasulik väljade andmete puhul, kus sensorite, vormide või äriregistrite andmed on puudulikud. Esitatud materjal ei määra kindlaks universaalset ridade, tunnuste ega märgendite maksimaalset arvu. Selle asemel võivad tegelikku mahtu mõjutada seadistatud järeldamispiirangud, saadaolev mälu ja viis, kuidas käituskeskkond päringuandmeid osadeks jagab.
Klassifitseerimine toetab algselt kuni kümmet klassi. Suurema klassiarvu puhul kasutab rakendus veaparandusega väljundkoodi (ECOC) dekompositsiooni, mis teeb mitu binaarset ennustust. See võib laiendada rakendatavust suuremate märgendikogumitega, kuid suurendab võrreldes algse klassifitseerimisteega ka järeldamiseks vajalikku tööd.
Jõudlus ja tõhusus
LG AI Research esitab tulemused TabArena, BCCO, TALENTi ja ScoringBenchi põhjal. Esitatud TabArena konfiguratsioonis oli üldine Elo skoor 1755, klassifitseerimise Elo 1759 ja regressiooni Elo 1883. Esitatud ennustamise mediaankulu oli 0,605 sekundit 1000 näidise kohta. Need on teenusepakkuja esitatud võrdlustesti tulemused, mitte sõltumatud toimetuslikud mõõtmised, ning tegelik jõudlus võib riistvara, andmekogumi kuju, tugikogumi suuruse ja järeldamisseadete tõttu erineda.
Mudeli ligikaudu 21 miljoni parameetriga suurus on suuremate tabelandmete alusmudelitega võrreldes suhteliselt kompaktne. See võib muuta mudeli atraktiivseks olukorras, kus järeldamise tõhusus ja väiksem ümbertreenimise vajadus on olulisemad kui palju suurema mudeli kasutamine. Esitatud uuring ei tõesta siiski, et see oleks iga andmekogumi puhul kiireim või täpseim valik. Tavapärased gradiendivõimenduse või kindla otstarbega statistilised mudelid võivad mõne väikese, stabiilse või väga spetsiifilise andmekogumi puhul olla endiselt sobivamad.
Käituskeskkond nõuab Python 3.11 või uuemat ja PyTorch 2.6 või uuemat versiooni. CUDA-toega GPU-d on tungivalt soovitatavad, sest rakendus kasutab ühendatud tähelepanukerneli ja pooltäpsust. Protsessoril järeldamine on toetatud, kuid eeldatav kompromiss on väiksem kiirus. Kui päringuandmeid töödeldakse osade kaupa, võidakse tugiesitusi vaikimisi iga osa jaoks uuesti arvutada, mis võib suuremate ennustusülesannete korral töömahtu suurendada.
Peamised tugevused ja piirangud
Tugevused
- Vähese ümbertreenimisega töövoog: märgendatud tugiread saab edastada järeldamise ajal, selle asemel et iga andmekogumi jaoks mudeli parameetreid uuendada.
- Laiaulatuslik sünteetiline eeltreenimine: treeningmeetod hõlmab mitmesuguseid põhjuslikke struktuure, mittelineaarseid seoseid, kategoorilisi andmeid, müra ja puuduvaid väärtusi.
- Kompaktne arhitektuur: klassifitseerimise ja regressiooni kontrollpunktid sisaldavad vastavalt ligikaudu 20,8 miljonit ja 21,1 miljonit parameetrit.
- Kaks olulist tabelandmete ülesannet: eraldi kontrollpunktid käsitlevad nii kategooriate kui ka arvuliste väärtuste ennustamist.
- Praktiline käitusliides: scikit-learn’i stiilis API võib olla Pythoniga töötavatele masinõppe töövoogude kasutajatele tuttav.
- Uuringupõhine katvus: LG AI Research esitab hindamise tulemused mitme tabelandmete võrdlustesti põhjal, mitte ainult mudeli kontseptuaalse kirjeldusena.
Piirangud
- Spetsialiseeritud ulatus: see ei käsitle struktureerimata teksti, pilte, heli ega videot ning ei ole generatiivne keelemudel.
- Üldotstarbelise genereerimise puudumine: see ei paku teksti, piltide, kõne ega muusika genereerimist, esitusi, veebiotsingut ega üldotstarbelist tööriistade väljakutsumist.
- Klasside arvu piirang: algne klassifikaator toetab kuni kümmet klassi; suuremate märgendikogumite puhul on vaja kulukamat ECOC-põhist lähenemist.
- Riistvaranõuded: GPU-kiirendus on tungivalt soovitatav, samas kui protsessoril kasutamine võib olla märkimisväärselt aeglasem.
- Järeldamise mahu kaalutlused: suured tugikogumid võidakse seadistatud piirangute ületamisel alamvalimiks võtta ning osadeks jagatud päringutöötlus võib tugiarvutusi korrata.
- Piiratud teave teenuse kohta: esitatud uuringus ei avaldata majutatud API hinda, märgendikonteksti akent, väljundi märgendite maksimaalset piiri ega standardset hallatud lõpp-punkti.
- Kaubanduslikud piirangud: avaldatud kaalud on EXAONE AI Model License Agreement 1.2 - NC alusel piiratud mitteärilise teadus- ja hariduskasutusega.
Modaalsused, arutlemine, kodeerimine ja tööriistad
EXAONE Tabular võtab vastu struktureeritud tabelandmeid ja väljastab ennustustulemusi. Sellel ei ole dokumenteeritud teksti-, pildi-, heli- ega videosisendi režiimi ning väljund ei seisne otseses pildi-, heli-, video- ega loomuliku keele genereerimises. Sobivad väljunditüübid on klassiennustused, toetatud juhtudel klassitõenäosused, regressiooniväärtused ja ennustusjaotuse tulemused.
See teeb ülesandespetsiifilist statistilist arutlemist ridade ja tunnuste vaheliste seoste üle, kuid seda ei tohiks keelemudeli mõistes kirjeldada üldise arutlusmudelina. Esitatud uuringus ei dokumenteerita ka koodi genereerimist ega käivitamist. Rakenduse kasutamiseks on vaja Pythoni käituskeskkonda, kuid see on juurutamisnõue, mitte mudeli võimekus. Samuti ei ole EXAONE Tabulari puhul dokumenteeritud funktsioonikutsungite, MCP, veebisirvimise ega agenditööriistade liidest.
Litsents, hinnakujundus ja saadavus
Käituskeskkond on välja antud BSD-3-Clause-LG AI Researchi litsentsi alusel. Mudeli kaaludele kehtib eraldi EXAONE AI Model License Agreement 1.2 - NC. Esitatud uuringu kohaselt on kaalud saadaval mitteäriliseks teadus- ja hariduskasutuseks. Kaubanduslik juurutamine nõuab LG AI Researchi eraldi litsentsi või luba.
Käituskeskkond ja kontrollpunktid on saadaval ametlikus EXAONE Tabulari GitHubi repositooriumis ning Hugging Face’i mudelirepositooriumis. Selle väljalaske majutatud API hinnakirja ei ole avaldatud, mistõttu puudub kontrollitud päringu-, märgendi-, kuu- või kasutuspõhine hind, mida teatada. Juurutamise hindamisel tuleks arvestada ka enda GPU-, majutuse, salvestusruumi ja arenduse kuludega.
Millal valida EXAONE Tabular?
EXAONE Tabular on mõistlik valik siis, kui põhiprobleem on struktureeritud andmete klassifitseerimine või regressioon ning meeskond soovib iga andmekogumi jaoks eraldi peenhäälestusprotsessi haldamise asemel esitada järeldamise ajal esinduslikke märgendatud näiteid. See võib olla eriti kasulik teadus-, katsetamis- ja väljade andmetega seotud rakendustes, kus esineb puuduvaid väärtusi, andmekogumid muutuvad või on vaja lahendada palju seotud ennustusülesandeid.
See sobib halvemini töökoormustele, mis nõuavad teksti või piltide mõistmist, aruannete genereerimist, veebiga ühendatud agente või hallatud kaubanduslikku API-t. Samuti võib see olla ebasobiv juhul, kui ainult protsessoriga keskkond peab range latentsusnõude korral töötlema suuri mahtusid, klasside arv on väga suur või avaldatud kaalude kaubanduslik litsentsimine on hädavajalik. Sellistel juhtudel võib sobivam olla tavapärane tabelandmete mudel, kaubanduslik majutatud teenus või mõni muu mudel, mis on loodud nõutud modaalsuse ja litsentsitingimuste jaoks.
Üldjoontes seisneb EXAONE Tabulari praktiline väärtus kompaktse suuruse ja kontekstisisese tabelandmete ennustamise kombinatsioonis. Selle parim kasutusjuht ei ole kõigi väljakujunenud masinõppemeetodite asendamine, vaid struktureeritud andmete ülesannete jaoks mõeldud eeltreenitud uuringumudeli pakkumine olukordades, kus andmekogumipõhise ümbertreenimise vähendamine on oluline ning litsentsi- ja riistvaranõuded on täidetavad.