Hy3

Mis on Tencent Hy3?

Hy3 on Tencenti Hunyuan mudeliperre kuuluv arutlusele keskenduv suur keelemudel. See on loodud ülesannete jaoks, mis nõuavad enamat kui lühikest vastust, sealhulgas koodi genereerimiseks, pikkade dokumentide analüüsimiseks, planeerimiseks, struktureeritud vastuste koostamiseks ja väliste tööriistadega suhtlemiseks. Praktilises mõttes on Hy3 mõeldud rakendustele, kus mudel peab probleemi osadeks jaotama, suurt konteksti meeles pidama ning läbima mitu omavahel seotud sammu.

Mudelit pakutakse peamiselt kahel kujul. Arendajad saavad praegust hy3 mudelit kasutada Tencent Cloud TokenHubi kaudu või laadida mudeli kaalud Tencenti ametlikust Hy3 repositooriumist alla toetatud enda hallatavates juurutustes kasutamiseks. Tencent märgib, et kaalud kasutavad Apache 2.0 litsentsi. Vanemat identifikaatorit hy3-preview ei tohiks käsitleda eraldi praeguse mudelina: vastavad Tencent Cloudi teenused suunavad selle praeguse Hy3 pakkumise juurde või viivad selle üle.

Hy3 on Tencenti kataloogis olev praegune mudel, mitte iseseisev tarbijatele mõeldud vestlusrobotitoode. Samuti erineb see Yuanbaost, Tencenti tarbijatele mõeldud tehisintellektiassistendist. Hy3 võidakse Tencenti toodetesse integreerida, kuid see leht käsitleb aluseks olevat mudelit ja selle arendajatele suunatud juurutusvõimalusi.

Arhitektuur ja maht

Hy3 kasutab ekspertide segu ehk MoE-arhitektuuri. Mudelil on kokku 295 miljardit parameetrit, millest ühe järelduse käigus on aktiivsed ligikaudu 21 miljardit. Parameetrid on mudeli õpitud arvulised väärtused, mida kasutatakse sisendi töötlemiseks ja väljundi genereerimiseks; MoE-süsteemis saab iga märgi puhul kõigi parameetrite käivitamise asemel valida spetsialiseerunud alamkogumid ehk eksperdid.

Ametlik mudeliinfo kirjeldab ka 192 eksperti ja top-8 aktiveerimist, mis tähendab, et marsruutimise etapis valitakse asjakohaseks töötlemiseks kaheksa eksperti. Hy3 sisaldab mitme märgi ennustamise kihis 3,8 miljardit parameetrit ja toetab BF16-järeldust. Need üksikasjad on kõige olulisemad meeskondadele, kes kavandavad kohalikku või privaatset juurutust: kuigi aktiivsete parameetrite arv on väiksem kui koguarv, nõuab 295 miljardi parameetriga avatud kaaludega mudel siiski märkimisväärseid arvutus-, mälu- ja inseneriressursse.

256K konteksti näitaja tähistab mudeli üldist kontekstimahtu. Tencent Cloud loetleb eraldi maksimaalseks sisendiks 192K märki ja maksimaalseks väljundiks 128K märki. Neid piirväärtusi ei tohiks ühe päringu puhul kokku liita; päringu esitamisel rakenduvad teenuse tegelikud sisendi, väljundi ja kogukonteksti reeglid.

Arutlemine, kodeerimine ja tööriistade kasutamine

Hy3 peamine eesmärk on keerukas tekstipõhine töö, mitte meedia genereerimine. Selle arutlusele suunatud olemus muudab selle sobivaks näiteks tarkvaraprobleemi osadeks jaotamiseks, teostusvõimaluste võrdlemiseks, pika juhistekogumi järgimiseks või mitmeetapilise plaani koostamiseks. Uurimuses kirjeldatakse arutlusrežiime ja positsioneeritakse mudel agenditöövoogude jaoks, kus rakendus palub mudelil korduvalt teavet tõlgendada, tegevuse üle otsustada, tööriista kasutada ja tulemuse põhjal jätkata.

Kodeerimine on üks Hy3 kavandatud tugevamaid kasutusvaldkondi. Seda saab kasutada koodi genereerimiseks ja selgitamiseks, silumise abistamiseks, repositooriumitaseme analüüsiks ning programmeerimisagentide jaoks, kes peavad kutsuma väliseid arendustööriistu. Kodeerimistöövoog võib sisaldada pikka projekti spetsifikatsiooni, paluda Hy3-l tuvastada asjakohased failid, kutsuda otsingu- või testimistööriista ning seejärel genereerida paiga või selgitada, miks probleem endiselt esineb. Mudeli 256K kontekst on eriti oluline siis, kui ülesanne hõlmab mahukat dokumentatsiooni, logisid või mitut lähtefaili.

Tarnitud mudeliinfo kohaselt toetatakse tööriistade kasutamist ja funktsioonikutseid. See võimaldab rakendusel teha kättesaadavaks määratletud toiminguid, näiteks otsingu, andmebaasipäringu, faili hankimise või ülesande täitmise. Hy3 võib valida tööriistakutse ja täita selle parameetrid, kuid tegeliku toimingu käivitamise ja tulemuse valideerimise eest vastutab ümbritsev rakendus. Tööriistade tugi ei tähenda seega, et majutatud mudel pääseb automaatselt ligi igale süsteemile või veebisaidile.

Toetatud on ka struktureeritud väljund. See on kasulik siis, kui programm vajab vabas vormis proosa asemel prognoositavat objekti või skeemi, näiteks väljavõetud väljade loendit, klassifitseerimistulemust või töövoo toimingut. Eraldi JSON-režiimi võimekust ei ole sõltumatult kontrollitud, mistõttu ei tohiks struktureeritud väljundit automaatselt käsitleda eraldiseisva JSON-režiimina.

Toetatud modaalsused

Esitatud spetsifikatsioonide kohaselt on Hy3 tekstimudel. See võtab vastu tekstisisendit ja toodab tekstiväljundit. Loomulikku pildi-, heli- ega videosisendit ei ole loetletud ning mudel ei genereeri otse pilte, heli, videot, muusikat ega kõnet. Rakendused võivad siiski edastada meedia kirjeldusi või kasutada Hy3 ümber eraldi tuvastus- ja genereerimissüsteeme, kuid see oleks rakendustaseme töövoog, mitte Hy3 loomulik modaalsus.

See piirang aitab määratleda mudeli positsiooni. Hy3 sobib teksti, koodi, juhiste, tööriistade tulemuste ja pikkade dokumentide üle arutlemiseks. Kasutaja, kes vajab pildi mõistmist, piltide genereerimist, häälsuhtlust või video loomist, peaks valima mudeli või toote, mis toetab neid meediatüüpe sõnaselgelt, selle asemel et eeldada, et Hy3 pärib kõik Tencenti laiema tehisintellektiökosüsteemiga seotud võimed.

Hind ja juurdepääs

Tencent Cloud TokenHub loetleb Hy3 hinnaks 1 CNY 1 miljoni sisendmärgi kohta ja 4 CNY 1 miljoni väljundmärgi kohta. Vahemällu salvestatud sisendi hinnaks on loetletud 0,25 CNY 1 miljoni märgi kohta. Need on kasutuspõhised TokenHubi hinnad, mitte tarbijatele mõeldud tellimuse hind, ning Tencent märgib, et tegelik hind võib piirkonna, teenuse, lepingu või arvelduskorralduse järgi erineda.

Sisend- ja väljundmärke arveldatakse erinevalt, mistõttu võivad pikki vastuseid genereerivad töökoormused maksta rohkem kui töökoormused, mille puhul esitatakse peamiselt suuri viipasid. Vahemällu salvestatud sisend võib korduva konteksti puhul kulusid vähendada, kui teenus tuvastab sobiva vahemällu salvestatud sisu. Meeskonnad peaksid arvestama ka avatud kaaludega mudeli majutamise infrastruktuuri- ja käitamiskuludega; Apache 2.0 litsents ei muuda suuremahulise järelduse tegemiseks vajalikku riistvara tasuta kättesaadavaks.

Hy3 on loetletud Tencent Cloud TokenHubi kaudu kättesaadavana mudeli ID-ga hy3. Tencenti ametlik repositoorium sisaldab vLLM-i ja SGLangi juurutus- ning peenhäälestusjuhiseid. Uurimus kinnitab mudeliandmetes peenhäälestuse toe olemasolu, kuid ei täpsusta üht kindlat riistvarakonfiguratsiooni, läbilaskevõime garantiid ega universaalselt rakendatavat peenhäälestusretsepti.

Peamised tugevused ja piirangud

Hy3 tugevused

• Töö pikkade kontekstidega: 256K märgi suurune kontekstiaken ja loetletud 192K märgi suurune maksimaalne sisend toetavad mahukaid dokumente, koodibaase, spetsifikatsioone ja tööriistade kasutamise ajalugu.
• Arutlusele suunatud töövood: Mudel on loodud mitmeastmeliseks analüüsiks, planeerimiseks ja agendilaadseks ülesannete täitmiseks, mitte ainult lühikesteks vestlusvastusteks.
• Kodeerimine ja automatiseerimine: Kodeerimise tugi, tööriistade kasutamine, funktsioonikutsed ja struktureeritud väljund sobivad tarkvaraagentidele ning ärilistele töövoogudele, mis vajavad masinloetavaid tulemusi.
• Juurutus avatud kaaludega: Apache 2.0 kaalud annavad majutatud mudeliga võrreldes suurema kontrolli juurutamise ja integreerimise üle, arvestades siiski sellise suurusega mudeli käitamise tehnilisi nõudeid.
• Märgipõhine hinnastus: Loetletud sisendhind on Hy3 arutlus- ja kontekstivõimeid vajavate töökoormuste puhul suhteliselt madal, kuigi kogukulu sõltub viipade ja väljundi mahust.

Hy3 piirangud

• Suured juurutusnõuded: 295 miljardi parameetriga MoE-mudel ei ole kerge kohalik mudel. Sobiva infrastruktuurita organisatsioonidele võib TokenHub olla praktilisem kui enda hallatav majutus.
• Ainult tekstipõhine loomulik liides: Esitatud spetsifikatsioonide kohaselt ei paku Hy3 loomulikku pildi-, heli- ega videosisendit või -väljundit.
• Võimalikud latentsuse ja kulude kompromissid: Arutluse sügavus, pikad viibad ja suured genereeritud väljundid võivad väiksemate, kiirusele keskenduvate mudelitega võrreldes pikendada vastamisaega ja suurendada märgikulu.
• Kontrollitud teadmiste lõppkuupäev puudub: Täpse Hy3 mudeli autoriteetset teadmiste lõppkuupäeva ei tuvastatud. Ajatundlikke fakte tuleks seetõttu kontrollida ajakohase otsingu- või veebipäringutöövoo abil, mitte eeldada, et mudel neid teab.
• Teenusepõhine käitumine: Piirangud, hinnad, kättesaadavus ja toetatud liidesed võivad TokenHubi ja enda hallatavate juurutuste vahel erineda. Enne tootmisse integreerimist tuleks tutvuda pilveteenuse dokumentatsiooniga.

Hindeid, mida mõnikord kasutatakse Hy3 arutlus-, kodeerimis-, kiirus- või kulutaseme kirjeldamiseks, tuleks tarnitud andmetes käsitleda toimetuslike võrdlevate hinnangutena, mitte pakkuja väljastatud võrdlustulemustena. Need on suunavad hinnangud, mitte mõõdetud garantiid.

Millal valida Tencent Hy3?

Vali Hy3 siis, kui keskne vajadus on tekstipõhine arutlus- või kodeerimissüsteem, mis suudab töötada suure kontekstiga, kasutada tööriistu ja tagastada struktureeritud tulemusi. See on tugev kandidaat kodeerimisagentidele, repositooriumide analüüsiks, dokumendimahukaks automatiseerimiseks, planeerimissüsteemidele ja töövoogudele, kus on vaja mitut mudeli ja tööriista vahelist suhtlust. Avatud kaaludega variant on asjakohane ka meeskondadele, kes vajavad juurutamisel suuremat kontrolli, kui ainult majutatud API võimaldab.

TokenHub on tõenäoliselt lihtsam lähtekoht meeskonnale, kes soovib Hy3 katsetada ilma oma suure mudeli infrastruktuuri käitamiseta. Enda hallatavad kaalud muutuvad atraktiivsemaks siis, kui juurutamise kontroll, kohandamine, andmekäitlus või olemasoleva järeldusmootoriga integreerimine kaalub üles käitamise keerukuse.

Teist tüüpi mudel võib olla sobivam siis, kui ülesanne on peamiselt lihtne klassifitseerimine, lühivormiline eraldamine, suure mahuga väikese latentsusega genereerimine või odav vestlus. Selliste töökoormuste puhul võib väiksemat mudelit olla kiirem ja lihtsam juurutada. Otsese pildi-, heli- või videomõistmise ja -genereerimise jaoks on parem valik multimodaalne mudel. Rakendused, mis sõltuvad kontrollitud ajakohasest teabest, peaksid lõpuks ühendama Hy3 otsingu- või veebipäringutööriistaga; esitatud uurimus ei määra Hy3 teadmiste lõppkuupäeva.

Kokkuvõte

Tencent Hy3-d tuleks mõista kui suurt avatud kaaludega ainult tekstipõhist arutlusmudelit nõudlike kodeerimis- ja agenditöövoogude jaoks. Selle peamised praktilised omadused on 256K kontekstiaken, 128K maksimaalne väljund, tööriistade ja struktureeritud väljundi tugi, Apache 2.0 kaalud ning kättesaadavus TokenHubi kaudu. Nende võimetega kaasnevad märkimisväärsed infrastruktuuri- ja latentsuse kompromissid, mistõttu on Hy3 kõige atraktiivsem siis, kui pika konteksti arutlus, kodeerimine ja töövoo juhtimine on olulisemad kui võimalikult väike ressursikulu või kiireim võimalik vastus.