Hunyuan-1.8B-Instruct

Mis on Hunyuan-1.8B-Instruct?

Hunyuan-1.8B-Instruct on Tencenti avatud kaaludega juhiste järgi häälestatud keelemudel. Juhiste järgi häälestamine tähendab, et baasmudelit on kohandatud loomulikus keeles päringutele vastamiseks, juhiste järgimiseks, küsimustele vastamiseks, teksti genereerimiseks ning selliste ülesannete toetamiseks nagu programmeerimine ja struktureeritud töövood.

Mudel sisaldab ligikaudu 1,8 miljardit parameetrit. Praktikas paigutab see mudeli praeguse keelemudelite turu kergemasse otsa: see on mõeldud kohapeal käitamiseks lihtsamalt ja väiksemate kuludega kui palju suuremad mudelid, pakkudes samal ajal rohkem võimalusi kui lihtne teksti jätkamine. Tencent esitleb seda Hunyuan tihedalt ühendatud mudelite perekonna osana, kuhu kuuluvad ka 0,5B, 4B ja 7B eeltreenitud ning juhiste järgi häälestatud variandid. Need sõsarmudelid aitavad mõista selle mudeli positsiooni, kuid selle lehe teema on Hunyuan-1.8B-Instruct, mis on suunatud eelkõige tõhusale juurutamisele.

Mudel avaldati 30. juulil 2025. Selle ametlik levitamine toimub Hugging Face'is asuva Tencenti Hunyuan mudelihoidla kaudu ning kaalud on saadaval BF16 safetensors-vormingus. Tegemist on peamiselt kohapealseks või kasutaja hallatavaks järeldamiseks mõeldud mudeliga, mitte Tencenti hostitud API-tootega, millel oleks avaldatud tokenipõhine hinnakiri.

Peamised võimalused ja 256K kontekst

Kõige eristuvam kontrollitud tehniline näitaja on loomulik 256K tokeni pikkune kontekstiaken. Konteksti pikkus kirjeldab, kui palju sisendit ja vestlusajalugu suudab mudel ühe päringu käigus töödelda, arvestades valitud käituskeskkonna ja saadaoleva riistvara piiranguid. 256K suurune aken võimaldab töödelda pikki dokumente, mahukaid koodibaase, ulatuslikke uurimismärkmeid või mitmeastmelisi agendisessioone, ilma et kasutaja peaks varasemat materjali kõrvale jätma.

Pikk kontekst ei taga automaatselt täiuslikku meenutamist ega ühtlaselt tugevat arutlusvõimet väga suure päringu kogu ulatuses. Samuti suurendab see mälukasutuse ja arvutuse nõudeid, eriti järeldamise ajal. Tegelik piir sõltub juurutusmootorist, kvantiseerimisvormingust, pakisuurusest ja riistvara konfiguratsioonist. Tencenti esitatud materjalides on kontekstiaken ära toodud, kuid mudelitaseme maksimaalset väljundtokenite arvu ei täpsustata.

Hunyuan-1.8B-Instruct genereerib ainult teksti. See võtab vastu tekstisisendi ja toodab tekstiväljundi; esitatud uurimismaterjalides ei ole märgitud loomulikku pildi-, heli-, video-, muusika-, manustamis- ega kõneväljundit. Seetõttu tuleks seda hinnata keelemudelina, mitte multimodaalse genereerimissüsteemina.

Kiire ja aeglase arutlemise režiimid

Mudel toetab hübriidset arutlemiskäitumist. Tencenti soovituslikus Transformersi näites on aeglane mõtlemine vaikimisi lubatud. See režiim on mõeldud ülesannetele, mille puhul on kasulik vahepealseid arutluskäike põhjalikumalt läbi töötada, näiteks matemaatilistele küsimustele, keerukatele juhistele, programmeerimisülesannetele ja mitmeastmelisele planeerimisele.

Rakendused saavad arutlemiskäitumise keelata suvandiga enable_thinking=False või juhisega /no_think. Juhist /think saab kasutada arutlusrežiimi sundimiseks. Kiirrežiim on üldjuhul sobivam tavapäraseks klassifitseerimiseks, lühikesteks vastusteks, eraldamiseks ja suure läbilaskevõimega genereerimiseks, samas kui aeglane mõtlemine võib olla kasulikum olukordades, kus täpsus on latentsusest olulisem.

Arutlusrežiimi ei tohiks segi ajada tipptasemel arutlusvõime garantiiga. Mudeli suhteliselt väike parameetrite arv muudab selle tõhusa järeldamise jaoks atraktiivseks, kuid keeruka matemaatika, pikkade üksteisest sõltuvate otsusteahelate või laialdasi maailmateadmisi nõudvate ülesannete puhul võivad suuremad mudelid siiski paremini sobida. Saadaolevad võrdlustulemused pärinevad teenusepakkujalt ega ole sõltumatud hinnangud.

Programmeerimine, tööriistad ja agendipõhine töö

Tencent positsioneerib Hunyuan-mudelite perekonda agendipõhiste rakenduste jaoks ning esitab tulemusi funktsioonikutsete ja agentide võrdlustestides, sealhulgas BFCL-v3, τ-Bench, ComplexFuncBench ja C3-Bench. Need viited näitavad, et mudel on mõeldud osalema töövoogudes, kus keelemudel valib tegevusi või koordineerib neid, mitte ei anna ainult vestluslikku vastust.

Esitatud uurimismaterjalides on tööriistade kasutamine märgitud toetatuks, kuid need ei kinnita konkreetse skeemiga hostitud tööriistakutsete API olemasolu ega taga ühilduvust kõigi agendiraamistikega. Arendajad peaksid testima mudeli võimet koostada täpselt sellises funktsiooni- või tegevusvormingus väljundit, mida nende rakendus nõuab. Ise hallatava juurutuse korral vastutab ümbritsev rakendus endiselt tööriistaargumentide valideerimise, õiguste rakendamise, tõrgete käsitlemise ja ohtlike tegevuste ennetamise eest.

Programmeerimine on veel üks toetatud kasutusvaldkond. Tencenti avaldatud juhiste järgi häälestatud mudelite tabelis on Hunyuan-1.8B-Instructi LiveCodeBenchi tulemus 31,5 ja FullstackBenchi tulemus 42. Need on teenusepakkuja esitatud skoorid, mitte sõltumatud hinnangud, ning võrdlustulemused võivad erineda sõltuvalt päringutest, valimi moodustamise seadetest, hindamisversioonidest ja riistvarast. Tulemused toetavad mudeli kasutamist programmeerimisabis, koodi selgitamisel ja kergemates programmeerimise töövoogudes, kuid ei tõesta, et see suudaks võrrelda suuremate programmeerimisele spetsialiseerunud või tipptasemel mudelitega.

Juurutamise ja optimeerimise võimalused

Hunyuan-1.8B-Instruct on mõeldud kohapealseks juurutamiseks. Ametlikes materjalides kirjeldatakse selle laadimist Transformersiga ning teenindamist vLLM-i või SGLangi kaudu. Nii vLLM kui ka SGLang võivad pakkuda OpenAI-ga ühilduvaid lõpp-punkte, mis võimaldab ühilduvaid kliendimustreid kasutavatel rakendustel ühenduda ise hostitud mudeliserveriga. See on liidese ühilduvuse võimalus, mitte tõend selle kohta, et Tencent haldab just selle mudeli jaoks hostitud API-t.

Mudelit levitatakse BF16 safetensors-vormingus. Tencent dokumenteerib ka optimeeritud ja kvantiseeritud lahendusi, sealhulgas FP8, GPTQ INT4 ja AWQ INT4 variante oma AngelSlimi tööriistade ning seotud väljalasete kaudu. Kvantiseerimine vähendab arvulist täpsust, et vähendada mälukasutust, ning võib parandada juurutamise tõhusust, kuid võib kaasa tuua kompromisse kvaliteedis või ühilduvuses. Sobiv vorming sõltub saadaolevast kiirendist, järeldusmootorist, latentsuseesmärgist ja kvaliteedimuutuste taluvusest.

Peenhäälestamise juhised on saadaval LLaMA-Factory kaudu. See muudab mudeli sobivaks kandidaadiks spetsialiseeritud valdkonna või vastamisstiiliga kohandamiseks, kuigi esitatud uurimismaterjalid ei sisalda kindlat peenhäälestamise hinda, garanteeritud treeningretsepti ega universaalset riistvaranõuet.

Mida avaldatud võrdlustestid näitavad

Tencent esitab Hunyuan-1.8B-Instructi kohta oma avaldatud juhiste järgi häälestatud mudelite võrdlustabelis järgmised tulemused:

Neid arve tuleks käsitleda Tencenti väidetena mudeli tulemuste kohta nende hindamisseadistuses. Need on kasulikud, et mõista, millist tüüpi ülesandeid Tencent rõhutab, kuid neid ei saa otseselt võrrelda kõigi teiste teenusepakkujate avaldatud tulemustega. Erinevused päringutes, versioonides, valimi moodustamises, riistvaras ja hindamises võivad tulemust oluliselt mõjutada.

Hind ja kättesaadavus

Esitatud uurimismaterjalidest ei leitud ametlikku mudelipõhist hostitud API sisendi- ega väljundhinda. Hunyuan-1.8B-Instruct on saadaval avatud kaaludena, seega ei ole mudeli ise allalaadimise ja käitamise eest loetletud tokenipõhist tasu. See ei tähenda, et juurutamine oleks tasuta: kasutajatel võivad tekkida kulud GPU-de, pilveinstantside, salvestusruumi, elektri, arenduse, jälgimise ja peenhäälestamise eest.

See hinnamudel erineb hallatavast API-st. Ise hostimine annab andmete ja käituskäitumise üle suurema kontrolli, kuid kasutaja peab taristut ise haldama. Arendajad, kes vajavad prognoositavat kasutuspõhist arveldamist ja kohe hallatavat lõpp-punkti, võivad eelistada hostitud mudelit, samas kui sobiva riistvara ning privaatsus- või kohandamisvajadustega arendajad võivad eelistada Hunyuan-1.8B-Instructi.

Tugevused ja piirangud

Peamised tugevused

• Väike mudel: Ligikaudu 1,8 miljardi parameetriga sobib see piiratud ressurssidega kohapealseks juurutamiseks paremini kui palju suuremad mudelid.
• Väga pikk kontekst: Loomulik 256K tokeni pikkune aken toetab suuri dokumente, koodikogumeid ja pikki sessioone.
• Konfigureeritav arutlemine: Kiire, aeglane, keelatud ja sunnitud arutlemiskäitumine võimaldavad tasakaalustada vastuse kvaliteeti ja latentsust.
• Mitu teenindusviisi: Transformers, vLLM, SGLang ja kvantiseeritud vormingud toetavad erinevaid juurutusnõudeid.
• Kohandamisvõimalus: LLaMA-Factory kaudu on saadaval peenhäälestamise juhised kasutajatele, kes vajavad spetsialiseeritud mudelit.

Olulised piirangud

• Ainult tekst: Esitatud tehnilised andmed ei näita loomuliku pildi-, heli- ega videosisendi või -väljundi tuge.
• Avaldatud hostitud hind puudub: Kasutajad peavad ise järeldustaristut haldama või leidma eraldi ühilduva hostimislahenduse.
• Määratlemata väljundipiir: Tencenti esitatud materjalides on kontekstiaken ära toodud, kuid selle kirje puhul ei ole maksimaalset väljundtokenite arvu märgitud.
• Võrdlustulemuste ebakindlus: Avaldatud skoorid pärinevad teenusepakkujalt ning neid ei tohiks käsitleda sõltumatult korratud edetabelitena.
• Litsentsipiirangud: Tencenti Hunyani kogukonna litsentsileping sisaldab geograafilisi, levitamise, lubatud kasutuse ja suuremahulise kommertskasutuse tingimusi.

Millal valida Hunyuan-1.8B-Instruct?

Valige Hunyuan-1.8B-Instruct siis, kui kohapealne järeldamine, vähene ressursikulu ja pikk kontekst on tähtsamad kui parima saadaoleva üldise arutlus- või programmeerimisjõudluse saavutamine. See on praktiline kandidaat privaatseks dokumendianalüüsiks, kohapealseteks assistentideks, teksti eraldamiseks, koodi selgitamiseks, kergemaks programmeerimisabiks, pika konteksti kokkuvõtete koostamiseks ja agentide prototüüpideks, mille puhul rakendus saab mudeli loodud tegevusi valideerida.

Selle kiire ja aeglase mõtlemise juhtimise võimalused on kasulikud, kui sama juurutus peab toime tulema nii kiirete tavapäraste päringute kui ka põhjalikumat arutlemist nõudvate ülesannetega. Kvantiseeritud variandid võivad sobida ka keskkondadesse, kus mälu on piiratud, kuigi tegelik kiirus ja kvaliteet sõltuvad valitud vormingust ning riistvarast.

Kaaluge mõnda muud võimalust, kui vajate loomulikku multimodaalset sisendit või väljundit, täielikult hallatavat hostitud API-t koos avaldatud tokenihinnaga, dokumenteeritud maksimaalset väljundipiiri või järjepidevalt paremat jõudlust nõudlikes arutlus- ja tarkvaraarenduse ülesannetes. Enne ärilist edasilevitamist või suuremahulist juurutamist tutvuge hoolikalt Tencenti kehtiva Hunyani kogukonna litsentsilepinguga, pöörates erilist tähelepanu geograafilistele ja kasutajate arvuga seotud tingimustele.