Mis on HunyuanImage-3.0-Instruct?
HunyuanImage-3.0-Instruct on Tencenti avatud mudelikaaludega mudel juhistepõhiseks piltide genereerimiseks ja töötlemiseks. See võtab vastu loomulikus keeles juhiseid, pilte või nende kombinatsiooni ning loob soovitud teisenduse põhjal uue pildi. Mudel on mõeldud muu hulgas sellisteks ülesanneteks nagu pildi loomine üksikasjaliku viiba põhjal, olemasoleva pildi stiili muutmine, tausta asendamine, objektide lisamine või eemaldamine ning mitme lähtepildi ühendamine üheks kompositsiooniks.
Kontrollpunkt kuulub Tencenti praegusesse HunyuanImage-3.0 mudeliperekonda ja on spetsiaalselt häälestatud töötlemis- ning genereerimisjuhiste järgimiseks. Tencent avaldab järelduse tegemise rakenduse ametlikus GitHubi repositooriumis ja mudelikaalud Hugging Face'is. Seetõttu erineb see mudel tavapärasest päringupõhisest pildi-API-st: kasutajad peavad üldjuhul ise haldama tarkvarakeskkonda ja suure jõudlusega GPU-riistvara.
Mida mudel teha suudab?
HunyuanImage-3.0-Instruct on mõeldud töövoogudeks, kus kasutaja soovib kirjeldada visuaalset toimingut, mitte esitada üksnes lühikest tekstiviipa. Selle peamised toetatud võimalused on järgmised:
- Tekstist pildiks genereerimine: piltide loomine loomulikus keeles antud kirjelduste põhjal.
- Juhistepõhine pilditöötlus: sisendpildi muutmine juhiste järgi, näiteks riietuse muutmine, tausta asendamine, objekti lisamine või visuaalse stiili muutmine.
- Viiba automaatne ümberkirjutamine: lühikese või mitmetimõistetava juhise laiendamine üksikasjalikumaks visuaalseks spetsifikatsiooniks enne genereerimist.
- Visuaalne arutlus: sisendpildi sisu ja soovitud töötlemistoimingu tõlgendamine.
- Mitme pildi ühendamine: kuni kolme lähtepildi ühendamine uueks kompositsiooniks või teisenduseks.
Näiteks võib kasutaja anda tootefoto ja paluda stuudiotausta, esitada tegelaskuju pildi ning soovida teistsugust kunstilist stiili või anda mitme lähtepildi põhjal juhise komposiitse ideepildi loomiseks. Esitatud uurimus toetab neid kasutusviise, kuid ei kinnita, et subjekt säilib alati täiuslikult või et töötlemine on iga pildi puhul veatu.
Arhitektuur ja mudeli maht
Tencent kirjeldab HunyuanImage-3.0 mudelit ühtse autoregressiivse multimodaalse arhitektuurina. Praktikas tähendab see, et mudel töötleb visuaalset ja tekstilist teavet ühe genereerimissüsteemi sees, mitte üksnes eraldi pildigeneratsiooni komponendi abil. Mudeliperekond kasutab spetsialistide segu ehk MoE-arhitektuuri. MoE-mudelid sisaldavad mitut spetsialiseerunud eksperdivõrku ja aktiveerivad iga märgi või sammu jaoks neist ainult osa.
Avaldatud spetsifikatsiooni järgi on mudelil ligikaudu 80 miljardit parameetrit kokku ja umbes 13 miljardit aktiivset parameetrit märgi kohta 64 eksperdi seas. Parameetrite koguarv näitab mudeli üldist suurust, aktiivsete parameetrite arv aga seda osa, mida ühe konkreetse toimingu puhul kasutatakse. Need arvud on teenusepakkuja avaldatud spetsifikatsioonid, mitte sõltumatute testide tulemused.
Mudelikaart soovitab HunyuanImage-3.0-Instructi jaoks vähemalt kaheksat 80 GB GPU-d. See on oluline praktiline kaalutlus. Kuigi avatud mudelikaalude litsents ja lokaalse järelduse tegemise võimalus annavad juurutamisel kontrolli, ei ole tegemist kerge kontrollpunktiga, mis sobiks tavalisse lauaarvutisse või tagasihoidlikku pilveinstantsi.
Sisendid, väljundid ja piirangud
Mudel toetab teksti- ja pildisisendeid. Selle peamine väljund on genereeritud pilt, kuigi teksti võidakse kasutada sisemiselt või tagastada viiba ümberkirjutamise ja arutluse töövoogude osana. Mudelit ei ole dokumenteeritud heli-, video-, kõne-, manustamis- ega üldotstarbelise vestlusmudelina.
| Spetsifikatsioon | Toetatud teave |
|---|---|
| Tekstisisend | Jah |
| Pildisisend | Jah |
| Pildiväljund | Jah |
| Heli- või videosisend | Dokumenteerimata |
| Heli- või videoväljund | Dokumenteerimata |
| Lähtepiltide ühendamine | Uurimuse kohaselt kuni kolm sisendpilti |
| Avaldatud uute märkide maksimumarv | Dokumenteeritud genereerimistöövoos 2 048 |
| Avaldatud konteksti pikkus | 2 048 |
Arvu 2 048 ei tohiks segi ajada pildi eraldusvõime ega sisestatavate piltide arvuga. Uurimuses tähistab see töövooga seotud tekstilise genereerimise piirangut, mitte pildi suuruse spetsifikatsiooni. Esitatud materjal ei määra kindlaks universaalset maksimaalset väljundi eraldusvõimet.
Juurutamine ja juurdepääs API-le
Ametlik juurutusviis kasutab Transformersiga ühilduvat laadimist koos kohandatud mudelikoodi, automaatse seadmete kaardistamise ja BF16-võimelise riistvaraga. Repositoorium dokumenteerib eager- või FlashInferi-põhist MoE-täitmist, soovitab SDPA-tähelepanu mehhanismi ja kirjeldab standardse Instructi kontrollpunkti puhul ligikaudu 50 järelduse sammu. Tencent dokumenteerib HunyuanImage-3.0 mudeliperekonna jaoks ka vLLM-i kiirenduse.
Kasutajad peaksid arvestama keerukama seadistusega kui majutatud pildigeneratsiooniteenuse puhul. Ametlik laadimisprotsess nõuab trust_remote_code, mis lubab mudeli laadimise ajal käivitada repositooriumi pakutavat koodi. See võib olla kohandatud arhitektuuride puhul vajalik, kuid tähendab ka seda, et operaatorid peaksid enne mudeli kasutamist tootmiskeskkonnas repositooriumi üle vaatama, sõltuvused võimaluse korral fikseerima ning hindama turvamõjusid.
Selle konkreetse kontrollpunkti ametlikku majutatud API hinda ei õnnestunud tuvastada. Seetõttu tasub mudelit hinnata pigem avatud mudelikaaludega isehostitava mudelina kui tavapärase API-tootena, millel on avaldatud pildi- või märgipõhine hinnakiri. Tegelik kasutuskulu sõltub riistvarast, majutuse kestusest, pildigeneratsiooni seadetest ja kasutuskoormusest.
Arutlus, kodeerimine ja tööriistade tugi
Visuaalne arutlus on üks mudeli kavandatud võimalustest. See suudab sisendpilti analüüsida ja juhist tõlgendada, enne kui teostab pildi genereerimise või töötlemise toimingu. Esitatud toimetuslikus hindamises sai mudel arutluse eest tulemuse 8, kuid tegemist on võrdleva toimetusliku hinnanguga, mitte Tencenti avaldatud võrdlustestiga.
Selle kontrollpunkti kodeerimisvõime ei ole tõendatud. Seda ei ole dokumenteeritud kodeerimismudeli, tööriistakutseid toetava mudeli ega funktsioonide täitmise süsteemina. Mudelit ei tohiks valida juhul, kui peamine vajadus on tarkvaraarendus, struktureeritud äriautomaatika, veebist otsimine või üldine vestlusabi. Täpse kontrollpunkti JSON-režiimi ja struktureeritud väljundi tuge ei ole tuvastatud.
Tugevused ja kompromissid
Mudeli peamine tugevus on juhiste järgimise, pildi mõistmise ja pildigeneratsiooni ühendamine ühes avatud mudelikaaludega süsteemis. See on eriti asjakohane töövoogudes, kus lihtsast tekstist pildiks viibast ei piisa – näiteks kui operaator peab viitama olemasoleva pildi objektidele, säilitama mõned elemendid teiste muutmise ajal või ühendama mitu visuaalset lähtepilti.
Selle peamine kompromiss on juurutamise kulu ja keerukus. Soovituslik riistvarakonfiguratsioon, mis sisaldab vähemalt kaheksat 80 GB GPU-d, muudab mudeli väiksemate pildikontrollpunktide või majutatud genereerimisteenustega võrreldes märksa raskemini kättesaadavaks. Avaldatud toimetuslik kiirusehinne on 3, mis peegeldab seda mahukat juurutusprofiili, samal ajal kui toimetuslik kuluhinne on 7, sest piisava kasutusmahu korral võib isehostimine olla atraktiivne, kuid nõuab märkimisväärset esialgset taristut. Kumbki hinne ei ole teenusepakkuja avaldatud mõõtmistulemus.
Pildi kvaliteet, töötlemise usaldusväärsus ja järelduse tegemise kiirus võivad samuti varieeruda sõltuvalt viipadest, lähtepiltidest, riistvarast ja genereerimisseadetest. Esitatud uurimus ei paku sõltumatuid võrdlustestide arve, mistõttu peaksid kasutajad katsetama esinduslikke ülesandeid, mitte tuginema ühele üldistatud kvaliteediväitele.
Millal valida HunyuanImage-3.0-Instruct?
Vali HunyuanImage-3.0-Instruct siis, kui vajad avatud mudelikaaludega mudelit keerukateks juhistepõhisteks pilditöötluse töövoogudeks ja suudad pakkuda vajalikku GPU-taristut. See sobib hästi järgmisteks ülesanneteks:
- Lähtepiltide abil juhitud pilditöötlus ja teisendamine
- Tootemakettide ja visuaalsete ideede väljatöötamine
- Tausta asendamine ja stiili teisendamine
- Mitme pildi loominguline kombineerimine
- Üksikasjalik tekstist pildiks genereerimine
- Ühtsete multimodaalsete ja MoE-pildigeneratsiooni arhitektuuride uurimine
Mõni teine võimalus võib olla sobivam, kui vajad väikese latentsusega genereerimist piiratud riistvaral, lihtsat majutatud API-t, prognoositavat päringupõhist hinda, vestlust, kodeerimist, manuseid, heli või videot. Väiksemat kontrollpunkti võib olla lihtsam juurutada, majutatud pilditeenus aga võib vähendada operatiivset tööd. Need alternatiivid võivad tähendada väiksemat kontrolli või mudelipõhise töötlemiskäitumise erinevusi, kuid uurimus ei paku piisavalt võrdlusandmeid, et kuulutada üks neist üldiselt parima kvaliteediga lahenduseks.
Piirangud ja litsentsiga seotud kaalutlused
HunyuanImage-3.0-Instructi ei esitleta üldotstarbelise keelemudelina. Selle tekstigenereerimise käitumine toetab peamiselt visuaalset genereerimist, viipade ümberkirjutamist ja piltidega seotud arutlust. Mudelil on ka suured riistvaranõuded, majutatud lõpp-punkti jaoks ei ole tuvastatud ametlikku hinnakirja ning täpse kontrollpunkti puhul ei ole dokumenteeritud tööriistakutseid, peenhäälestust, vahemällu salvestamist, pakktöötluse API-sid ega JSON-režiimi.
Enne ärilist juurutamist peaksid kasutajad tutvuma Tencenti mudelilitsentsi, ametliku repositooriumi tingimuste, Hugging Face'i kontrollpunkti kasutustingimuste ja loodud sisule kehtivate piirangutega. Operaatorid peaksid samuti kontrollima, kas kavandatud pildid, lähtematerjalid ja äriline kasutus vastavad kohaldatavatele õigustele ja eeskirjadele.