Mis on NVIDIA Kumo Tabular?
NVIDIA Kumo Tabular on eeltreenitud baasmudel prognooside tegemiseks üksikute tabelandmestike põhjal. See on mõeldud ridade ja veergudena korraldatud andmete jaoks, näiteks kliendikirjed, finantstaotlused, tehinguajalood, nõudlusandmed või tootemõõtmised. Mudel võtab sisendiks märgendatud kontekstiread, mis sisaldavad näiteid sihtväärtuse kohta, ning märgendamata päringuridu ehk kirjeid, millele tuleb prognoos teha.
Seda lähenemist nimetatakse kontekstisiseseks õppimiseks (in-context learning). Selle puhul antakse näited mudelile järelduse tegemise päringu osana, mitte ei kasutata neid eraldi treeningu läbiviimiseks. Seetõttu saab Kumo Tabularit rakendada uue klassifitseerimis- või regressiooniülesande puhul ilma ülesandepõhise gradienttreeninguta ja iga andmestiku jaoks tavapäraseid hüperparameetreid eraldi häälestamata.
Mudeli pakkuja on NVIDIA ning see kuulub NVIDIA struktureeritud andmete baasmudelite Kumo perekonda. Kumo-Tabular 1.0 on praeguses väljalaskes dokumenteeritud tabelandmete mudeli tähis. See on eraldiseisev keele-, pildi-, kõne-, manustamis- ja graafiprognoosisüsteemidest.
Peamine eesmärk ja praktilised kasutusjuhud
Kumo Tabular on mõeldud prognoosiülesannete jaoks, mille sisend on üks tabel, mis sisaldab arvulisi ja kategoorilisi tunnuseid. Klassifitseerimine prognoosib kategooriat, regressioon aga arvulist väärtust. Mudeli kavandatud kasutusjuhtude hulka kuuluvad näiteks kliendikaotuse prognoos, krediidiriski hindamine, pettuste tuvastamine, konversiooni prognoos, nõudluse prognoosimine, hinna hindamine ja kestuse prognoos.
Tüüpilises töövoos võidakse mudelile anda ajaloolised kliendiread, mis sisaldavad selliseid tunnuseid nagu konto vanus, paketi tüüp, kasutustase ja makseajalugu, koos kliendikaotuse märgendiga. Seejärel saab päringuridade kujul esitada uute klientide andmed. Mudel koostab prognoosi esitatud näidete ja eeltreenimise käigus õpitud seoste põhjal.
See lahendus on eriti asjakohane siis, kui kiiresti tuleb uurida paljusid väikeseid või keskmise suurusega prognoosiülesandeid või kui iga tabeli jaoks eraldi tavapärase mudeli loomine tekitaks liiga suure arenduskoormuse. See on kasulik ka struktureeritud andmete uurimisel, sest sama mudeliperekonda saab hinnata erinevate tabelite põhjal ilma iga kord ülesandepõhist mudelit uuesti treenimata.
Mudeli variandid ja arhitektuur
Kumo-Tabular 1.0 on saadaval kolmes suuruses:
| Variant | Ligikaudne parameetrite arv | Positsioneerimine |
|---|---|---|
| Kumo-Tabular-Small | 28 miljonit | Perekonna väikseim mudel |
| Kumo-Tabular-Medium | 62 miljonit | Keskmise suurusega mudel |
| Kumo-Tabular-Large | 215 miljonit | Perekonna suurim mudel |
Kõik kolm varianti kasutavad sama üldist kolmeastmelist transformeriarhitektuuri, kuid erinevad mudeli laiuse ja sügavuse poolest. Arhitektuur hõlmab lahtrite manuseid, tabelikodeerijat ja kontekstisisese õppimise transformerit. Arvulised ja kategoorilised lahtrid teisendatakse õpitud esitusteks, enne kui read ja nendevahelised seosed prognoosi jaoks kokku võetakse.
Puuduvate väärtuste käsitlemiseks kasutatakse kontekstist tuletatud imputatsiooni ja puuduvuse teavet. Praktikas tähendab see, et mudel ei käsitle puuduvat väärtust lihtsalt tavalise kategooriana, vaid kasutab esitatud tabelist pärinevat teavet ning märgib ühtlasi, et väärtus puudus.
Kuidas NVIDIA sõnul mudelit treeniti
NVIDIA teatel eeltreeniti Kumo Tabular struktuursete põhjusmudelite abil genereeritud sünteetilistel tabelitel. Sünteetilised treeningandmed sisaldasid arvulisi ja kategoorilisi tunnuseid, puuduvaid väärtusi ning klassifitseerimisülesandeid kahe kuni kümne klassiga. Mudeli dokumentatsiooni kohaselt ei kasutatud eeltreenimiseks pärismaailma andmeid.
Need üksikasjad kajastavad pakkuja esitatud omadusi, mitte mudeli kvaliteedi sõltumatut hindamist. Need aitavad selgitada mudeli kavandatud üldistatavust, kuid ei taga, et mudel edestab iga pärismaailma andmestiku puhul ülesandepõhist mudelit. Jõudlus võib sõltuda kontekstiridade kvaliteedist ja asjakohasusest, tunnuste esitusest, sihtülesandest ning kasutada olevatest GPU-ressurssidest.
Sisendid, väljundid ja toetatud modaalsused
Kumo Tabular töötab struktureeritud tabelisisendiga, mitte loomuliku keele viipadega. NVIDIA dokumentatsiooni järgi toetab see tabelimassiive või Arrow IPC koormaid Structured Data Models tööriistade kaudu. Päring sisaldab üht esinemistabelit arvuliste ja kategooriliste tunnustega, märgendatud kontekstiridade ning prognoosiridadega.
Klassifitseerimise puhul tagastab mudel prognoosid ja klassitõenäosused. Regressiooni korral tagastab see arvulised prognoosid ja kvantiilid, sealhulgas loomuliku 999-kvantiilise jaotuse. NIM-i lõpp-punkt tagastab prognoositulemused JSON-vormingus. See on struktureeritud prognoosiväljund, mitte teksti genereerimine.
Mudel ei toeta esmase modaalsusena pildi-, heli-, video- ega tekstisisendit või -väljundit. Seotud tabelid ja graafiseosed ei ole tabelandmete mudelis toetatud. Seetõttu ei ole see üldotstarbeline multimodaalne mudel, keelemudel, manustamismudel ega generatiivne assistent.
Kontekst ja sisendipiirangud
NVIDIA ei määra Kumo Tabulari jaoks kindlat mudelitaseme kontekstiakent. Praktilise mahu määravad sellised tegurid nagu GPU-mälu, sisendtabeli kuju ja järeldamise ajal tehtavad ajutised mälueraldised.
NVIDIA hinnangul kulub ühe lahtri kohta ligikaudu 512 baiti. See on töökorralduslik hinnang, mitte garanteeritud universaalne piirang: rohkemate veergude ja ridadega tabelid või suuremad kategoorilised esitused võivad vajada rohkem ressursse. Lisaks piirab Structured Data Models klient praegu järeldusserverisse saadetava konteksti 10 000 reaga.
Kliendi 10 000 rea piirangut ei tohiks tõlgendada tavapärase märgendipõhise kontekstiaknana. Kumo Tabular töötab ridade ja lahtritega, mitte märgenditega, ning saadaolev maht võib sõltuda ka juurutuse konfiguratsioonist. Maksimaalne väljundmärgendite piirang ei ole kohaldatav, sest mudel väljastab genereeritud teksti asemel prognoose, tõenäosusi ja kvantiile.
Juurutus, litsents ja hinnastamine
Kumo Tabular on saadaval NVIDIA NIM-i kaudu ja allalaaditavate kaaludena. NVIDIA dokumentatsiooni järgi toetatakse Linuxis Ampere’i, Hopperi ja Blackwelli GPU-mikroarhitektuure. Pakendatud NIM pakub sünkroonse järeldamise jaoks prognoosi- ja seansi lõpp-punkte.
Allalaaditavad kaalud on välja antud OpenMDW 1.1 litsentsi alusel. NVIDIA pakub NIM-i juurutustee jaoks ka mudelilehte ja API dokumentatsiooni. NIM-i paketi dokumenteeritud versioon on 1.0.0-rc2, samas kui mudeli dokumentatsioonis on mudeli versiooniks märgitud Kumo-Tabular v1.0.
Esitatud teabes ei ole avaldatud märgendipõhist mudelihinda. Tasuta lõpp-punkt on märgitud kättesaadavaks, samas kui ise hostitud järeldamise kulud sõltuvad vajalikust GPU-taristust ja juurutusviisist. Seetõttu ei ole võimalik esitada kontrollitud päringu-, märgendi-, kuu- ega korduva tellimuse hinda. Allalaaditavat mudelit ise käitavate meeskondade jaoks võib taristukulu olla olulisem majanduslik tegur.
Peamised tugevused ja piirangud
Kumo Tabulari kõige eristuvam tugevus on struktureeritud prognoosimise kontekstisisene töövoog. Meeskond saab esitada märgendatud näiteid ja päringuridu, ilma et iga uue ülesande jaoks tuleks luua eraldi treeningu- ja häälestuskonveier. Mudel käsitleb nii klassifitseerimist kui ka regressiooni, toetab arvulisi ja kategoorilisi andmeid ning pakub ühe kindla prognoosi asemel kasulikke tõenäosus- või kvantiiliväljundeid.
Kolm mudelisuurust võimaldavad valida ressursinõuete ja mudeli võimekuse vahel, kuigi esitatud dokumentatsioon ei paku Small-, Medium- ja Large-variandi võrdlevaid täpsus-, latentsus- ega kulunäitajaid. Seetõttu tuleks neid kompromisse mõõta sihtriistvaral ja -andmestikul, mitte tuletada üksnes parameetrite arvust.
Olulised piirangud on olemas. Kumo Tabular piirdub üksiktabeli struktureeritud prognoosimisega ega toeta algupäraselt relatsioonitabelite ühendamist ega graafiseoseid. See ei sobi teksti, pildi ega video genereerimiseks, kõne, manuste ega veebotsingu jaoks. Samuti puudub avaldatud kindel konteksti pikkus, mistõttu tuleb suurte tabelitega töökoormusi kavandada GPU-mälu, sisendi kuju ja kliendi 10 000 rea piirangu põhjal.
Mudeli arutlus- ja kodeerimisvõimeid ei ole eraldi määratletud, sest tegemist ei ole üldotstarbelise arutlus- ega programmeerimismudeliga. Ka tööriista- või funktsioonikutseid ei ole mudeli dokumenteeritud võimekusena esitatud. Selle struktureeritud väljundeid ei tohiks segamini ajada assistendiga, mis suudab väliseid tööriistu käivitada.
Millal valida Kumo Tabular?
Kumo Tabular on tugev kandidaat siis, kui probleem on seotud üksiktabeli klassifitseerimis- või regressiooniülesandega ning kiire katsetamine on olulisem kui spetsiaalselt kohandatud treeningukonveieri loomine. See on eriti asjakohane siis, kui märgendatud näiteid saab järeldamise ajal sisestada, andmestik sisaldab nii arvulisi kui ka kategoorilisi veerge või kui edasiste otsuste tegemisel on kasulikud tõenäosusjaotused ja regressiooni kvantiilid.
See võib olla praktiline valik ka struktureeritud andmete uurimiseks, väheste andmetega katsetamiseks ning meeskondadele, kes soovivad juurutada eeltreenitud mudeli NVIDIA NIM-i kaudu või käitada allalaaditavaid kaalusid toetatud NVIDIA GPU-del.
Teine võimalus võib olla sobivam siis, kui andmed hõlmavad mitut seotud tabelit, graafistruktuur on keskse tähtsusega või rakendus vajab teksti, pildi, heli või video töötlust, manuseid, veebotsingut või tööriistade käivitamist. Tavapärane ülesandepõhine masinõppemudel võib olla eelistatavam ka siis, kui meeskond saab endale lubada spetsiaalset treeningut ning vajab hoolikalt optimeeritud jõudlust, prognoositavat ressursikasutust või konkreetse tootmisandmestiku põhjal mõõdetud käitumist.
Suuremate töökoormuste puhul peaksid kasutajad võrdlema Small-, Medium- ja Large-varianti oma riistvaral. Large-variandil on Small-variandiga võrreldes märgatavalt rohkem parameetreid, kuid esitatud uuring ei tõesta, et see oleks alati kiirem, täpsem või kulutõhusam. Sobiv valik sõltub tabeli suurusest, saadaolevast GPU-mälust, latentsusnõuetest ja paremate prognooside väärtusest.
Kokkuvõte
NVIDIA Kumo Tabular on spetsialiseeritud baasmudel üksiktabelite põhjal prognoosimiseks, mitte üldotstarbeline AI-assistent. Selle keskne lubadus on teha klassifitseerimis- ja regressiooniprognoose märgendatud kontekstiridade ja päringuridade põhjal, ilma ülesandepõhise treeningu või hüperparameetrite häälestamiseta. See toetab arvulisi ja kategoorilisi andmeid, tagastab tõenäosusi või kvantiile ning seda saab kasutada NVIDIA NIM-i kaudu või allalaaditavate kaaludega.
Selle spetsialiseeritus on ühtlasi ka peamine piirang. Meeskonnad, kes töötavad ühe struktureeritud tabeli ja toetatud NVIDIA riistvaraga, võivad leida kontekstisisese lähenemise kasulikuks. Rakendused, mis vajavad keelt, multimodaalset genereerimist, relatsioonilist arutlemist, graafiandmeid või selgelt määratletud märgendipõhist kontekstiakent, peaksid kaaluma teistsugust mudelitüüpi.