Mis on Hunyuan-Large?
Hunyuan-Large on Tencenti suuremahuline avatud kaaludega keelemudelite perekond, mis avaldati 5. novembril 2024. See on peamiselt hiina ja inglise keele tekstigeneratsiooni mudel, mis sobib juhiste järgimiseks, arutlemiseks, matemaatikaülesannete lahendamiseks, programmeerimiseks, küsimustele vastamiseks ja pikkade dokumentide analüüsimiseks.
Mudel kasutab ekspertide segu (MoE) arhitektuuri. Selle asemel et hinnata iga märgi puhul kõiki parameetreid, suunab MoE-mudel iga märgi valitud ekspertvõrkudele. Hunyuan-Large'il on kokku 389 miljardit parameetrit ning iga märgi puhul aktiveeritakse ligikaudu 52 miljardit parameetrit. Koguarv kirjeldab mudeli kasutatavat mahtu, aktiivsete parameetrite arv on aga olulisem ühe märgi töötlemiseks vajaliku arvutuse seisukohast. Seda ei tohiks tõlgendada nii, et mudel on odav kasutada: kogu kontrollpunkt ja selle teenindamiseks vajalik taristu on endiselt väga mahukad.
Tencent avaldas eeltreenitud, juhiste järgi häälestatud ja FP8-variandid Tencent Hunyani kogukonnalitsentsi alusel. Ametlik hoidla sisaldab mudeli koodi, järeldusressursse, juurutamisjuhiseid ja peenhäälestusmaterjale. Kontrollpunktid on saadaval Tencenti hostitud ressursside ja Hugging Face'i kaudu.
Hunyuan-Large'i koht Tencenti mudelite kataloogis
Hunyuan-Large'i on kõige mõistlikum käsitleda avatud kaaludega uurimis- ja isehostimise väljalaskena, mitte lihtsalt praeguse hallatava API-mudelina. See annab tehnilistele meeskondadele juurdepääsu mudeli kontrollpunktidele ja vajalikele tööriistadele, et katsetada lokaalset või hajutatud järeldamist ning peenhäälestust.
Tencent Cloudi dokumentatsioonis kasutati varem API kaudu kättesaadava mudeli tähisena hunyuan-large. Tencenti hilisem migratsioonidokumentatsioon seostab selle ajaloolise tähisega hy3-preview. Seetõttu ei tohiks vana API nime käsitleda täpselt sama avatud kaaludega Hunyuan-Large'i praeguse kanoonilise hostitud lõpp-punktina. Selle konkreetse mudeli tuvastamiseks ja kasutamiseks on kõige selgemad allikad avatud kontrollpunktid ja lähtekoodihoidla.
See eristus on saadavuse hindamisel oluline. Meeskond saab kontrollida, et avatud kaaludega väljalase on olemas, ja hankida selle kontrollpunktid, kuid ei tohiks eeldada, et vana pilve-API näide tähistab praegu toetatud ja eraldi hinnastatud Hunyuan-Large'i lõpp-punkti.
Arhitektuur ja konteksti piirangud
Tencenti tehnilise dokumentatsiooni kohaselt toetab Hunyuan-Large'i eeltreenitud kontrollpunkt kuni 256K märgist koosnevaid jadasid. Märk on keelemudeli kasutatav tekstiosa; konteksti piirang näitab, kui palju sisendit ja genereeritud vestlusajalugu saab mudel ühe päringu raames arvesse võtta. 256K märgi suurune kontekstiaken sobib erakordselt mahukate dokumentide, koodihoidlate või seotud materjalikogumite jaoks, kuid väga pikkade päringute tegelik kvaliteet ja mälunõuded sõltuvad endiselt teeninduse konfiguratsioonist.
Juhiste järgi häälestatud kontrollpunkti dokumenteeritud konteksti piirang on kuni 128K märki, mitte 256K. Seega peavad kasutajad valima kontrollpunkti ülesande järgi: eeltreenitud väljalase pakub pikemat konteksti, samal ajal kui juhiste järgi häälestatud väljalase on mõeldud kasutaja juhiste otsesemaks järgimiseks.
Tencent kirjeldab arhitektuuri osana rühmitatud päringuga tähelepanu ja kihtidevahelist tähelepanu, mille eesmärk on vähendada võtme-väärtuse vahemälu mälunõudeid. Need meetodid võivad muuta pika konteksti teenindamise võrreldava arhitektuuriga võrreldes paremini hallatavaks, kuid ei kõrvalda sellise parameetriskaalaga mudeli riistvaranõudeid. Tarnitud spetsifikatsioonides ei õnnestunud täpselt selle avatud kaaludega väljalaske maksimaalset väljundimärkide arvu kontrollida.
Võimekused ja avaldatud hindamistulemused
Hunyuan-Large on mõeldud üldotstarbeliseks keeletöötluseks, mitte üheks kitsaks rakenduseks. Dokumenteeritud kasutusvaldkonnad hõlmavad järgmist:
- Hiina ja inglise keele tekstigeneratsioon ning tekstist arusaamine
- Juhiste järgimine ja küsimustele vastamine
- Matemaatikaülesannete lahendamine
- Arutlemis- ja üldteadmiste ülesanded
- Lähtekoodi genereerimine ja programmeerimisabi
- Pika konteksti analüüs
Tencenti avaldatud hindamised hõlmavad inglise ja hiina keele võrdlusteste, sealhulgas MMLU, MMLU-Pro, CMMLU, C-Eval, BBH, GSM8K, MATH, HumanEval ja MBPP. Esitatud uuring kirjeldab eriti tugevaid tulemusi hiinakeelsetes ülesannetes, matemaatikas, üldteadmiste mõistmises ja üldistes keelevõrdlustestides. Need on teenusepakkuja esitatud hindamistulemused, mitte garantii, et mudel ületab kõigi päringute, keelte, andmekogumite või juurutusviiside puhul alternatiive.
Programmeerimise puhul hõlmavad mudeli avaldatud hindamised HumanEvali ja MBPP-d. See toetab mudeli kasutamist koodi genereerimiseks ja programmeerimisülesannete katsetamiseks, kuid ei tõesta selle töökindlust tootmiskoodis ilma testimise, ülevaatuse ja rakendusepõhise valideerimiseta. Samuti näitavad matemaatika- ja arutlemistulemused kavandatud võimekust, mitte garantiid, et mudel annab keeruliste või talle võõraste ülesannete puhul õigeid vastuseid.
Juurutamine ja peenhäälestus
Hunyuan-Large on suunatud meeskondadele, kellel on taristu väga suure mudeli käitamiseks. Tencent pakub vLLM-il ja TensorRT-LLM-il põhinevaid juurutusviise ning näiteid lokaalseks järeldamiseks ja hajutatud teeninduseks. Kontrollpunktid ühilduvad ka Hugging Face'i töövoogudega ning Tencent avaldab peenhäälestuseks DeepSpeedil põhinevaid treeningressursse.
FP8-variant võib võrreldes täppisarvutusel põhineva juurutusega vähendada mälunõudeid. Kvantimine muudab mudeli väärtuste esitust, et teenindus saaks kasutada vähem mälu, kuid sellega võivad kaasneda kompromissid riistvaraühilduvuse, läbilaskevõime või väljundikvaliteedi osas. Isegi FP8 või muude optimeerimiste kasutamisel on praktiline juurutamine märksa nõudlikum kui väiksema tiheda või väiksema MoE-mudeli teenindamine.
Mudeli andmed viitavad voogedastuse toele ühilduvates teeninduskonfiguratsioonides. Seda tuleks käsitleda teenindusvõimekusena, mitte tõendina, et olemas on kindla voogedastusprotokolliga ametlik hostitud API. Meeskonnad peaksid kontrollima valitud vLLM-i, TensorRT-LLM-i või muu juurutuspaketi tegelikku käitumist.
Modaalsused, tööriistad ja väljundvormingud
Hunyuan-Large on tekstisisendiga ja tekstiväljundiga keelemudel. Esitatud spetsifikatsioonide kohaselt ei paku see loomulikku pildi-, heli-, video-, muusika-, manustamis-, kõne- ega tegevusväljundit. Seetõttu sobib see teksti genereerimiseks ja analüüsimiseks, mitte piltide või heli otseseks loomiseks ega spetsiaalse manustamismudeli asendamiseks.
Avatud väljalase ei tõesta eraldi teenusepakkuja enda veebotsingutööriista olemasolu. Ka funktsiooni- või tööriistakasutust ei ole selle konkreetse avatud kaaludega mudeli puhul eraldiseisva ametliku võimekusena kinnitatud. Rakendused võivad ühendada mudeli väljundi välise tarkvaraga, kuid see on rakendustaseme integratsioon ja seda ei tohiks esitada garanteeritud sisseehitatud tööriidesena.
Teenusepakkuja enda JSON-skeemil põhinevat või struktureeritud väljundi režiimi esitatud uuringus ei kinnitata. Mudelit võib juhendada JSON-vormingus teksti genereerima, kuid see erineb kontrollitud piiratud dekodeerimisest või skeemi jõustamise funktsioonist. Süsteemid, mis vajavad garanteeritult masinloetavat väljundit, peaksid vastuseid valideerima ja rakendama oma veakäsitlust.
Hinnastamine ja kulude kompromissid
Täpselt Hunyuan-Large'i avatud kaaludega kontrollpunktide ametlikku sisend- või väljundmärgi hinda ei õnnestunud kontrollida. Seetõttu ei tohiks avatud väljalaset kirjeldada kinnitatud standardse API-hinnaga mudelina. Rahalise kulu määravad peamiselt riistvara, hostimine, elekter, salvestusruum, arendus ja käitamisnõuded.
Hunyuan-Large ei ole loomupäraselt sobiv väikese kuluga või väikese latentsusega töökoormusteks. MoE-suunamine vähendab aktiivsete parameetrite arvu märgi kohta võrreldes kõigi 389 miljardi parameetri hindamisega, kuid kogu kontrollpunkti maht ja hajutatud teeninduse nõuded on endiselt märkimisväärsed. FP8 ja juurutusoptimeerimised võivad taristu koormust parandada, kuid väiksemaid mudeleid on üldjuhul lihtsam majutada ning need käivituvad, skaleeruvad ja töötavad kiiremini.
Selle mudeliga seotud toimetuslikud hinnangud annavad arutlemisele ja programmeerimisele suhteliselt kõrge hinde, kuid hindavad kiirust ja maksumust ebasoodsamalt. Need hinded on võrdlevad toimetuslikud hinnangud, mitte Tencenti spetsifikatsioonid ega võrdlustulemused. Need võtavad kokku mudeli suurusest ja avaldatud võimekustest tuleneva praktilise kompromissi.
Peamised tugevused ja piirangud
Tugevused
- Suur mudelimaht: kokku 389 miljardit ja ligikaudu 52 miljardit aktiivset parameetrit pakuvad nõudlikeks keeletöödeks ulatuslikku MoE-arhitektuuri.
- Pikk kontekst: eeltreenitud kontrollpunkt toetab kuni 256K märki, juhiste järgi häälestatud kontrollpunkt aga kuni 128K märki.
- Hiina ja inglise keele tugi: mudel on mõeldud mõlema keele jaoks ning Tencent teatab tugevatest tulemustest mitmes hiinakeelses hindamises.
- Lai ülesannete valik: väljalase on suunatud arutlemisele, matemaatikale, programmeerimisele, küsimustele vastamisele, juhiste järgimisele ja dokumentide analüüsile.
- Isehostimise paindlikkus: avalikud kontrollpunktid, lähtekood, peenhäälestusressursid, vLLM-i juhised ja TensorRT-LLM-i juhised toetavad katsetamist väljaspool üht hallatavat lõpp-punkti.
Piirangud
- Suured taristunõuded: mudel on väiksematest keelemudelitest märksa nõudlikum isegi FP8 või muude optimeerimiste kasutamisel.
- Ebaselge hostitud teenuse hinnastamine: täpselt avatud kaaludega kontrollpunktide kohta ei ole kinnitatud ajakohast märgipõhist hinda.
- Varasem API-identiteet: ajalooline
hunyuan-largeTencent Cloudi tähis on migratsioonidokumentatsioonis seostatud tähisegahy3-preview. - Loomuliku mittetekstilise genereerimise puudumine: tegemist ei ole pildi-, heli-, video-, manustamis- ega kõnemudeliga.
- Kinnitamata struktureeritud väljundi ja tööriistade liidesed: esitatud uuring ei kinnita loomulikku JSON-skeemi väljundit, veebotsingut ega ametlikku funktsioonikutset.
- Kontrollpunktide erinevad piirangud: 256K konteksti kehtib eeltreenitud kontrollpunkti kohta; juhiste järgi häälestatud kontrollpunkti dokumenteeritud piirang on kuni 128K.
Millal valida Hunyuan-Large?
Vali Hunyuan-Large siis, kui prioriteediks on juurdepääs väga suurele avatud kaaludega mudelile hiina- ja ingliskeelse tekstitöötluse, pika konteksti uurimistöö, matemaatika, programmeerimise või isehostitud järeldamise ja peenhäälestuse katsetamiseks. See on eriti asjakohane organisatsioonidele, kes suudavad käitada hajutatud kiirenditaristut ning soovivad kontrollida kontrollpunkte, juurutamist ja kohandamist, selle asemel et tugineda ainult väikesele hallatavale mudeli lõpp-punktile.
Teine lahendus on tõenäoliselt sobivam siis, kui peamised nõuded on väike kulu, kiire vastus, lihtne juurutamine või selgelt dokumenteeritud praegune API koos prognoositava märgipõhise hinnastamisega. Väiksemaid tihedaid või hõredaid mudeleid on üldjuhul lihtsam käitada tavapärase vestluse, kerge andmeväljavõtte ja suure mahuga rakenduste jaoks. Pildi-, heli- või videosisendi ja -väljundi puhul on eelistatav spetsiaalne multimodaalne mudel, usaldusväärsete masinloetavate toimingute puhul aga mudel, mille struktureeritud väljundi või tööriistakutsete tugi on kontrollitud.
Seega on Hunyuan-Large'i kõige parem käsitleda suure võimekusega avatud kaaludega tekstimudelina, mille käitamine nõuab märkimisväärset arendustööd. Selle tugevused on mudeli suurus, pikk kontekst, keeleline katvus ja kontroll juurutamise üle; kulud tulenevad riistvarast, käitamise keerukusest, ebakindlast hostitud teenuse hinnastamisest ning kontrollitud loomulike võimekuste puudumisest väljaspool standardset tekstigeneratsiooni.