Mis on NVIDIA Riva-Translate-4B-Instruct-v2?
NVIDIA Riva-Translate-4B-Instruct-v2 on 4 miljardi parameetriga närvivõlgtõlkemudel. Selle eesmärk on selgelt piiritletud: mudel tõlgib teksti inglise keele ja 36 mitteinglise keele vahel nii lause kui ka dokumendi tasemel. Seda ei esitleta iseseisva üldotstarbelise vestlusabilise, koodimudeli, multimodaalse mudeli ega kõnetõlkesüsteemina.
Mudel on NVIDIA Hugging Face'i organisatsioonist allalaaditavate BF16-kaaludena saadaval ning tootmiskeskkonnas kasutatavaks järeldamiseks toetab seda NVIDIA NIM. See põhineb NVIDIA Mistral-NeMo-12B-Base'i mudelipuul, kuid selle spetsialiseeritud treening ja liides on suunatud tõlkimisele, mitte üldisele vestlusele või avatud otsaga arutlemisele.
Kasutaja jaoks seisneb praktiline erinevus selles, et Riva-Translate-4B-Instruct-v2 on loodud täitma üht ülesannet järjepidevalt paljude keelepaaride puhul. Süsteemisõnumis edastatakse keelepaari tunnus, mis võimaldab rakendusel määrata soovitud tõlkesuuna.
Toetatud keeled ja tõlkesuunad
Mudel toetab inglise keelt ja 36 mitteinglise keelt. Dokumenteeritud keelte loend sisaldab tšehhi, taani, saksa, kreeka, Euroopa hispaania, Ladina-Ameerika hispaania, soome, prantsuse, ungari, itaalia, leedu, läti, hollandi, norra, poola, Euroopa portugali, Brasiilia portugali, rumeenia, vene, slovaki, rootsi, lihtsustatud hiina, traditsioonilist hiina, jaapani, hindi, korea, eesti, sloveeni, bulgaaria, ukraina, horvaadi, araabia, vietnami, türgi, indoneesia ja tai keelt.
Piirkondlikud variandid on olulised rakendustes, kus terminoloogia või õigekiri turuti erineb. Näiteks on Euroopa hispaania ja Ladina-Ameerika hispaania esindatud eraldi, nagu ka Euroopa portugali ja Brasiilia portugali keel. Mudelikaart dokumenteerib keelepaari tunnuseid, näiteks en-fr, en-zh-cn, es-us-en ja ja-en.
Kuigi mudelit kirjeldatakse peamiselt inglise keelest teistesse keeltesse ja teistest keeltest inglise keelde tõlkimise kaudu, toetab selle mitmekeelne tõlkevorming ka tõlkimist toetatud mitteinglise keelte vahel. Rakendused peaksid kasutama dokumenteeritud keelepaari vormingut, mitte eeldama, et mudel tuletab mitmetähenduslikust viibast soovitud suuna ise.
Kasutuselevõtu ja integreerimise võimalused
Riva-Translate-4B-Instruct-v2 saab laadida Hugging Face Transformersiga või kasutada seda vLLM-i ja ühilduvate OpenAI-laadsete järeldusserverite kaudu. NVIDIA loetleb mudeli ka oma NIM-i tugidokumentatsioonis. NIM on asjakohane juhul, kui organisatsioon soovib valmispakendis järeldusteenust, selle asemel et ehitada kogu teeninduskiht otse mudelikaalude ümber.
Mudel kasutab BF16-kaalusid. NVIDIA NIM-i tugimaatriks loetleb BF16 tensor-paralleelsusega 1 kasutuselevõtuprofiili ning kinnitab mudeli toimivust mitmel NVIDIA GPU-platvormil, sealhulgas A100-, A10G-, H100-, H200-, L40S-, GB200- ja GB300-süsteemides. Tegelikud kasutuselevõtunõuded sõltuvad siiski valitud teeninduskomplektist, saadaolevast GPU-mälust, pakikaupa töötlemisest, jada pikkusest ja töökoormuse mahust.
Mudelikaart dokumenteerib vLLM-i kasutuselevõtu jaoks 8192 märgi pikkuse konteksti. See on edastatava sisendi ja seda ümbritseva viibastruktuuri jaoks saadaolev kontekstimaht; seda ei tohiks tõlgendada garantiina, et iga sellele suurusele lähedane dokument tõlgitakse ühesuguse kvaliteediga. Pikad dokumendid võivad vajada ka rakenduse tasemel osadeks jagamist ja tulemuste taasühendamist.
Tõlkekvaliteet ja avaldatud võrdlustulemused
NVIDIA avaldab tulemused FLORES-101 ja WMT24++ kohta. FLORES-101 puhul on avaldatud sacreBLEU keskmised skoorid 30,36 inglise keelest mis tahes keelde tõlkimisel ja 37,76 mis tahes keelest inglise keelde tõlkimisel. Need on teenusepakkuja avaldatud võrdlustulemused, mitte garantii toimivuse kohta iga keele, valdkonna või dokumenditüübi puhul.
Võrdlustestide keskmised tulemused võivad varjata olulisi erinevusi keelepaaride vahel. Tõlkekvaliteet võib muutuda ka siis, kui lähtetekst sisaldab erialaterminoloogiat, kõnekeelt, õigekirjavigu, vormindusmüra või võrdlusmaterjalist erinevat konteksti. Organisatsioonid peaksid enne mudeli tootmises kasutamist katsetama oma sisule tüüpilisi näiteid.
NVIDIA märgib, et esineda võib grammatika- ja tähendusvigu. Õiguslike, meditsiiniliste, finants-, ohutusega seotud või muude suure mõjuga materjalide puhul on inimkontroll endiselt asjakohane. Ladusalt kõlav tõlge võib siiski sisaldada varjatud tähendusviga, valet nime või terminoloogilist ebatäpsust.
Võimekus, modaalsused ja mudeli piirangud
| Valdkond | Dokumenteeritud kirjeldus |
|---|---|
| Põhiülesanne | Mitmekeelne tekstitõlge lause ja dokumendi tasemel |
| Parameetrid | 4 miljardit |
| Konteksti pikkus | 8192 märki dokumenteeritud vLLM-i kasutuselevõtu korral |
| Sisend | Tekst |
| Väljund | Tekst |
| Kaalud | BF16 safetensors |
| Pildid, heli ja video | Mudeli sisendina ega väljundina ei toetata |
| Tööriista- või funktsioonikutsed | Mudeli võimekusena ei ole dokumenteeritud |
| Struktureeritud JSON-väljund | Eraldi võimekusena ei ole dokumenteeritud |
| Väljundi maksimaalne märgikogus | Esitatud allikates ei ole eraldi maksimumi määratud |
Seega tuleks Riva-Translate-4B-Instruct-v2 mõista eelkõige teksti sisendina vastu võtva ja teksti väljundina andva tõlkekomponendina. See ei võta otse vastu kõnesalvestisi, pilte ega videot ega tegele iseseisvalt kõnetuvastuse või kõnesünteesiga. Kõnetõlketootes oleks tõlkemudeli ümber vaja täiendavaid kõnetöötlusetappe.
Mudeli arutlusvõime on praktilises mõttes piiratud, sest selle spetsialiseeritud eesmärk on tõlkimine. See võib sõnastuse lahendamiseks kasutada ümbritsevat konteksti, kuid seda ei tohiks valida keerukaks matemaatiliseks arutlemiseks, uurimuslikuks analüüsiks, üldiseks planeerimiseks ega laiaulatuslikeks vestlusülesanneteks. Ka kodeerimine ei ole selle kavandatud kasutusala, kuigi lähtekoodi või tehnilist teksti võib sobiva testimise korral tõlkida tavalise tekstina.
Hind, juurdepääs ja litsents
Esitatud allikates ei ole allalaaditava mudeli ametlikku hostitud tokenipõhist hinda määratud. Kaalude allalaadimine ei tähenda hostitud API-hinna olemasolu ning isehostimise kogukulu sõltub GPU-riistvarast, teenindustaristust, kasutuskoormusest, salvestusruumist ja haldusest. NIM-i kasutuselevõtuga võivad kaasneda eraldi NVIDIA toodete, taristu või litsentsimisega seotud kaalutlused; mudeliuuringus ei esitata mudelipõhist avalikku kasutushinda.
Mudeli saab avalikult alla laadida NVIDIA Hugging Face'i organisatsioonist ning see on kasutatav NVIDIA NIM-i kasutuselevõtuks. Mudelikaart viitab NVIDIA Open Model License Agreementile ja sisaldab ka Apache License 2.0 teavet. Enne mudeliga seotud failide ärilist edasi levitamist, muutmist või kasutuselevõttu peaksid meeskonnad tutvuma kohaldatavate failide ja litsentsitingimustega.
Peamised tugevused ja kompromissid
- Spetsialiseeritud eesmärk: Mudel keskendub mitmekeelsele tõlkele, mitte omavahel mitteseotud abifunktsioonide katmisele.
- Lai keelevalik: See toetab inglise keelt ja 36 mitteinglise keelt, sealhulgas mitut piirkondlikku keelevarianti.
- Kohapealne kasutuselevõtt: Allalaaditavad BF16-kaalud võimaldavad organisatsioonidel mudelit oma NVIDIA GPU-keskkonnas hinnata või käitada.
- Tootmiskasutuse võimalused: Dokumenteeritud kasutuselevõtuteed on Transformers, vLLM, ühilduvad OpenAI-laadsed järeldusserverid ja NVIDIA NIM.
- Mõõdukas mudeli suurus: 4 miljardi parameetriga võib selle kasutuselevõtuprofiil olla praktilisem kui palju suurematel üldotstarbelistel mudelitel, kuigi tegelik kiirus ja kulu sõltuvad riistvarast ning teeninduse konfiguratsioonist.
Kompromiss seisneb spetsialiseerituses. Üldotstarbeline keelemudel võib olla sobivam juhul, kui tõlkimine on vaid üks samm töövoos, mis nõuab ka põhjalikku arutlemist, tööriistade kasutamist, kodeerimist, dokumendianalüüsi või vestluslikku suhtlust. Riva-Translate-4B-Instruct-v2 kasutamine nõuab rakenduse tasemel lahendusi ka pakktöötluseks, dokumentide osadeks jagamiseks, terminoloogia haldamiseks, kvaliteedikontrolliks ja ülevaatusprotsessideks.
Millal seda mudelit valida?
Valige Riva-Translate-4B-Instruct-v2 siis, kui peamine nõue on mitmekeelne tekstitõlge ning soovite allalaaditavat mudelit või NVIDIA-keskset teeninduslahendust. See on mõistlik kandidaat lokaliseeritud sisutöötlusvoogude, ettevõttesisese dokumenditõlke, mitmekeelsete klienditoe töövoogude ja pakktöötluse jaoks, kui toetatud keelepaarid ja kohapealne GPU-kasutus on olulised.
Seda tasub eriti hinnata juhul, kui privaatsus, taristu kontroll või prognoositav kohapealne töötlemine on olulisem kui hallatava tõlke-API kasutamine. 8192 märgi pikkune kontekst võimaldab töödelda ka suuremaid tõlkesegmente kui lihtsas üksiklausepõhises töövoos, eeldusel et rakendus haldab dokumendipiire ja kontrollib väljundi kvaliteeti.
Mõni muu lahendus võib olla sobivam juhul, kui sisendiks on kõne, pilt või video; kui töövoog vajab tööriistade ja arutlusvõimega üldabilist; kui eelistatakse hallatavat tõlketeenust isehostimisele; või kui sihtkeele, valdkonna või terminoloogia puhul on vaja kvaliteeti, mille jaoks seda mudelit ei ole valideeritud. Suure mõjuga sisu puhul tuleks inimkontrolli ja valdkonnapõhist testimist käsitleda süsteemi osana, mitte valikulise lisana.
Kokkuvõte
NVIDIA Riva-Translate-4B-Instruct-v2 on 4 miljardi parameetriga suunitletud allalaaditav tõlkemudel, mis toetab inglise keelt ja 36 muud keelt, kasutab BF16-kaalusid, pakub dokumenteeritud vLLM-i kasutuselevõtul 8192 märgi pikkust konteksti ning toetab kasutuselevõttu Transformersi, vLLM-i, ühilduvate järeldusserverite ja NVIDIA NIM-i kaudu. Selle peamine kasutusjuht on kontrollitud mitmekeelne tekstitõlge NVIDIA taristus. Piirang on sama selge: see ei ole üldotstarbeline multimodaalne ega arutlusmudel ning selle väljundit tuleks hoolikalt hinnata konkreetse keelepaari ja valdkonna suhtes, mis on kavandatava rakenduse jaoks olulised.