Mida NVIDIA NemotronLabs AI for Media Sports Tennis teeb
NVIDIA NemotronLabs AI for Media Sports Tennis on spetsialiseeritud multimodaalne mudel, mis mõistab tennisematerjali üksikute punktide tasandil. Selle asemel et käsitleda videot üldise visuaalse küsimustele vastamise probleemina, on mudel peenhäälestatud tennisepõhiste sündmuste ja seoste tuvastamiseks: servid, tagastused, pallivahetuste jadad, löögitüübid, mängijate liikumine, paiknemine väljakul, punktiseis, reeglid ja asjakohased helid.
Mudel võtab sisendina vastu videot, heli, pilte ja teksti ning vastab ingliskeelse tekstiga. Kasutaja võib anda mudelile terve punkti videoklipi ja küsida, kumb mängija servis, mis pallivahetuse jooksul juhtus, kus mängija paiknes, kas tehti konkreetne löök või millist mänguseisu puudutavat fakti materjal kujutab. Toetatud on nii avatud küsimused kui ka struktureeritud valikvastustega küsimused.
NVIDIA soovitab esitada terve punkti klipi alates servist kuni punkti lõpuni, sest mudel treeniti punktitaseme tennis näidete põhjal. Seetõttu sobib see eelkõige tennise-meedia ja sporditöövoogude analüüsikomponendiks, mitte üldotstarbeliseks vestlusmudeliks.
Kuhu see NVIDIA mudelivalikus sobitub
Tennisemudel põhineb Nemotron 3 Nano Omni multimodaalsel NVIDIA mudelil ning seda on seejärel peenhäälestatud varalise tennisem andmestiku põhjal. Peenhäälestus muudab mudeli praktilist fookust: selle väärtus ei seisne niivõrd laia üldotstarbelise suhtluse võimaldamises, vaid tennisündmuste järjepidevas tuvastamises ja neid puudutavatele küsimustele vastamises.
Seda levitatakse avatud kaaludega kontrollpunktina Hugging Face'i kaudu ning mudelipakett sisaldab kohandatud Transformersi koodi. See erineb majutatud API kasutamisest, mille puhul arvestatakse tasu tokenite põhjal. Üldjuhul laadivad kasutajad kontrollpunkti alla ja käitavad seda oma NVIDIA GPU-taristus, järgides OpenMDW License Agreement v1.1 tingimusi.
Esitatud uurimismaterjal ei tuvasta selle mudeli jaoks ametlikku majutatud API hinnastust. Seega tulenevad tegelikud kulud GPU-riistvarast, salvestusruumist, järeldustoimingutest, arendustööst ja võimalikust mudelit ümbritsevast videotöötlustorustikust.
Mida mudel analüüsida suudab
NVIDIA tennisem andmestik sisaldab 43 084 punktitaseme klippi 239 mängust ning 1 312 129 küsimuste ja vastuste näidet. Näited hõlmavad 38 tennisekeskset märgendikategooriat. Selline treeningukorraldus võimaldab vastata küsimustele, mis nõuavad enamat kui objekti tuvastamine ühes kaadris.
- Löökide ja pallivahetuste analüüs: küsimused servide, tagastuste, pallivahetuse struktuuri ja löögitehnika kohta.
- Mängijate liikumine: liikumise ja väljakuga seotud paiknemise analüüs.
- Mänguseisu mõtestamine: küsimused punkti, geimi või mängu seisu kohta, kui vastav teave on esitatud meediasisendis või küsimuses.
- Reeglid ja mängufaktid: tennisereeglite tundmine ning videomaterjaliga seotud faktiküsimused.
- Heli arvestav analüüs: kasulike helisignaalide, näiteks reketikontakti ja väljakul tekkivate helide tuvastamine, kui heli on saadaval.
- Struktureeritud hindamine: valikvastustega küsimused ning vabas vormis vastused inglise keeles.
Need võimalused muudavad mudeli sobivaks toorete punktiklippide muutmiseks otsitavateks kirjeldusteks, märkmeteks või analüütikutele mõeldud vastusteks. See ei muuda mudelit ametlikuks punktiarvestus- ega kohtunikusüsteemiks. Kui täpsusel on operatiivsed, võistluslikud või õiguslikud tagajärjed, tuleb väljundid üle kontrollida.
Arhitektuur, sisendid ja piirangud
Mudel kasutab Mamba2-Transformeri hübriidset ekspertide segu arhitektuuri. Sellel on ligikaudu 31 miljardit koguparameetrit ja ligikaudu 3 miljardit aktiivset parameetrit tokeni kohta. Lihtsustatult öeldes on kontrollpunkt suur, kuid ekspertide segu arhitektuur aktiveerib iga tokeni puhul ainult osa parameetritest. Multimodaalne virn ühendab Nemotron 3 Nano keelemudeli põhiosa, C-RADIO v4-H nägemis-enkoodri ja Parakeet kõneenkoodri.
| Spetsifikatsioon | Esitatud üksikasjad |
|---|---|
| Mudeli tüüp | Avatud kaaludega multimodaalne tennis video mõistmise mudel |
| Pakkuja | NVIDIA |
| Parameetreid kokku | Ligikaudu 31B |
| Aktiivsed parameetrid | Ligikaudu 3B tokeni kohta |
| Konteksti pikkus | Kuni 256 000 tokenit |
| Sisendid | Video, heli, pildid ja tekst |
| Väljund | Ingliskeelne tekst |
| Videoformaat | Dokumenteeritud on MP4 |
| Heliformaadid | Dokumenteeritud on WAV ja MP3 |
| Litsents | OpenMDW License Agreement v1.1 |
Video puhul dokumenteerib NVIDIA tüüpilise 1080p materjali töötlemist kuni 128 sämplitud kaadriga kiirusega 1 kaader sekundis; madalama eraldusvõimega video puhul võidakse kasutada suuremat sämplimissagedust. Dokumentatsioon kirjeldab ka kuni kahe minuti pikkuseid sisendeid. Heli võib esitada eraldi või videost eraldada; toetatud on WAV ja MP3 diskreetimissagedusega vähemalt 8 kHz.
256 000 tokeni suurune kontekstiarv on mudeli konteksti piirang, mitte lubadus, et iga videot töödeldakse sama kvaliteedi või latentsusega. Tegelik jõudlus sõltub kaadrite arvust, heli kestusest, eraldusvõimest, küsimuse pikkusest ja saadaolevast GPU-mälust. Esitatud uurimismaterjal ei tuvasta maksimaalset väljundtokenite arvu.
Juurutamine ja riistvaranõuded
Juurutamine on mõeldud Linuxi süsteemidele, kus kasutatakse NVIDIA GPU-kiirendust. NVIDIA dokumenteerib BF16-järelduse ühel A100 80GB või H100 80GB GPU-l ning soovitab B200 või H200 riistvara. Mudelipakett on BF16-vormingus ligikaudu 62 GB suurune ja dokumentatsiooni kohaselt on kavandatud järelduskonfiguratsiooni jaoks vaja umbes 80 GB GPU-mälu.
Spetsialiseeritud mudeli kohta on need nõuded märkimisväärsed. Juurutamist kavandav meeskond peab arvestama enamaga kui ainult kontrollpunkti allalaadimisega: kogukulu mõjutavad ka kohalik salvestusruum, GPU kättesaadavus, video dekodeerimine, kaadrite sämplimine, heli eraldamine ja rakenduse integreerimine. Repositoorium sisaldab videojärelduse skripti, näidisena tennisepunkti, kaadrite sämplimise utiliite ja valikulist heli eraldamise tuge. See võib vähendada esialgset integreerimistööd, kuid ei kõrvalda riistvaranõuet.
Mudel kasutab kohandatud Transformersi koodi, mis tuleb laadida usaldusväärse kaugkoodi toe abil. See on oluline juurutamisega seotud kaalutlus. Enne usaldusväärse koodi lubamist peaksid meeskonnad oma keskkonnas koodi üle vaatama ja selle kasutamist haldama, eriti tootmis- või reguleeritud keskkondades.
Tugevused ja kompromissid
Kõige selgem tugevus on spetsialiseerumine. Tennisekeskne mudel võib kasutada valdkonnapõhiseid treeningnäiteid ja terminoloogiat, millega üldine videomudel ei pruugi sama järjepidevalt toime tulla. Visuaalse, heli- ja tekstisisendi ühendamine on samuti kasulik punktide puhul, kus reketikontakt, väljakul tekkivad helid või suulised küsimused annavad teavet, mida üksikutest piltidest üksi ei saa tuletada.
Avatud kaaludega levitamine annab organisatsioonidele rohkem kontrolli kui ainult majutatud teenuse kasutamine. Nad saavad kontrollpunkti käitada oma taristus, kujundada kohandatud eeltöötlustorustiku ja ehitada rakendusi oma videoarhiivide ümber. See võib olla atraktiivne ringhäälinguorganisatsioonidele, spordiorganisatsioonidele, analüütikateenuste pakkujatele ja uurimisrühmadele, kes ei saa meediat välisesse API-sse saata.
Kompromissiks on kasutamise keerukus ja kulu. Mudel on suur, vajab suure mälumahuga NVIDIA GPU-d ning seda ei esitleta odava majutatud lõpp-punktina. Väiksem või majutatud videomudel võib olla sobivam juhuslikuks analüüsiks, kiireks prototüüpimiseks või rakendustele, kus tennisespetsiifiline täpsus on lihtsa juurdepääsu ja prognoositava päringupõhise hinna kõrval vähem oluline.
Toimetuslikus mõttes hindab esitatud mudelikirje selle mõtlemisvõimet 8 punktiga 10-st, kodeerimisvõimet 3 punktiga 10-st, kiirust 5 punktiga 10-st ja maksumust 4 punktiga 10-st. Need on kataloogihinnangud, mitte NVIDIA avaldatud võrdlustulemused. Kodeerimisskoori ei tohiks tõlgendada kui pakkuja väidet, et mudel on kodeerimisassistent; kodeerimine ei kuulu selle põhieesmärkide hulka.
Parimad kasutusjuhtumid
- Tenniseülekannete metaandmed: punktitaseme kirjelduste, märksõnade ja otsitavate sündmuste loomine mängumaterjalist.
- Spordivideoarhiivid: kasutajatele võimaluse andmine otsida või esitada küsimusi pallivahetuste, mängijate, löökide ja mänguolukordade kohta.
- Treeneritöö tugi: löökide, liikumise ja paiknemise esmase analüüsikihi loomine inimese ülevaatuseks.
- Soorituse analüüs: punktiklippide korraldamine pallivahetuse omaduste, väljakupositsiooni või muude tennisekesksete kategooriate alusel.
- Meediauuringud: struktureeritud küsimuste esitamine suure hulga tennisepunktide kohta.
- Multimodaalsed spordiassistendid: klipi ühendamine loomulikus keeles esitatud küsimusega ning ingliskeelse selgituse või klassifikatsiooni tagastamine.
Tootmiskasutuse puhul peaksid meeskonnad hindama mudelit oma kaameranurkade, ülekandegraafika, mängupaikade, valgustingimuste, mängijate populatsioonide ja võistlusformaatide põhjal. Treeningandmed on mahukad, kuid see ei taga võrdset jõudlust iga videomaterjali allika puhul.
Piirangud, mida enne juurutamist arvestada
Tegemist on spetsialiseeritud ingliskeelse tennisemudeliga, mitte üldotstarbelise videointellekti süsteemiga. Seda ei tohiks valida eelkõige mittetennisespordi, laiaulatusliku jälgimisanalüüsi, üldise pildimõistmise või tavalise tekstivestluse jaoks. Samuti ei tohiks selle vastused asendada ametlikke punktiarvestussüsteeme, inimkohtunikke ega ülitäpset mängijate jälgimise taristut.
Eelistatud on terved punktiklipid, mistõttu võib katkendlik videomaterjal vähendada küsimustele vastamiseks saadaolevat teavet pallivahetuse alguse või lõpu kohta. Tulemusi võivad mõjutada ka ülekande montaaž, puuduolev heli, ebatavalised kaameranurgad, kehv eraldusvõime, ülekattekihid ja sündmused, mis jäävad peenhäälestuse jaotusest välja. Mudel võib anda usutava tekstilise vastuse ka siis, kui tõendid on ebaselged; rakendused peaksid säilitama algse klipi ja lisama inimese tehtava ülevaatuse seal, kus vead on olulised.
Esitatud uurimismaterjalis ei dokumenteerita tööriista- ega funktsioonikutsete võimalust ning veebotsingu funktsiooni kohta teavet ei ole. Mudel tagastab teksti, mitte pilte, videot, heli ega kõnet. Samuti ei ole dokumenteeritud voogedastuse, peenhäälestuse, vahemällu salvestamise ega pakktöötluse API tuge. Need puuduvad võimalused on eriti olulised arendajatele, kes otsivad hallatavat API-t, mitte allalaaditavat kontrollpunkti.
Millal seda mudelit valida
Vali NVIDIA NemotronLabs AI for Media Sports Tennis siis, kui põhiprobleem on tennisepunktide videote tennisespetsiifiline mõistmine ja sul on võimalik käitada suure mälumahuga NVIDIA GPU-d. See sobib eriti hästi siis, kui andmete kontrollimise nõuded soosivad kohalikku juurutust, kui tähtsad on nii heli kui ka video või kui rakendus vajab enamat kui üldisi kirjeldusi.
Vali teistsugune lahendus, kui vajad kasutuspõhise hinnastusega majutatud API-t, protsessorisõbralikku järeldust, lihtsat juurutust, laia mittetennisevideote tuge, piltide või heli genereerimist, tööriistakutseid või garanteeritud ametlikke mänguandmeid. Üldine video-keele mudel võib sobida paremini eri spordialade ja meedia jaoks, samas kui täpsete kvantitatiivsete mõõtmiste puhul võib eelistada spetsiaalset jälgimis- või punktiarvestussüsteemi. Esitatud uurimismaterjal ei tuvasta otseselt võrreldavat NVIDIA sõsarmudelit, millel oleks avaldatud tennisespetsiifilised jõudlustulemused. Seetõttu tuleks mudelivalikut kontrollida tüüpilise videomaterjali põhjal, mitte tuletada seda üksnes parameetrite arvust.
Hind ja kättesaadavus
Ametlikku majutatud sisendi- või väljundihinda ei ole tuvastatud. Mudel on saadaval avatud kaaludega Hugging Face'i kontrollpunktina, seega peaksid kasutajad arvestama avaldatud tokenipõhise tariifi asemel taristupõhiste kuludega. Nende hulka kuuluvad sobiv GPU, ligikaudu 62 GB suuruse BF16-paketi salvestusruum ning video ja heli töötlemiseks vajalik arendustöö.
Kättesaadavust ja ärilist kasutust reguleerib OpenMDW License Agreement v1.1. Organisatsioonid peaksid litsentsi üle vaatama ja veenduma, et neil on vajalikud õigused esitatud tennisematerjali video ja heli töötlemiseks, eriti ülekannete või äriliselt litsentsitud materjaliga töötamisel.