Qwen-Image-2.1-PE-I2I

Mis on Qwen-Image-2.1-PE-I2I?

Qwen-Image-2.1-PE-I2I on Qweni meeskonna pakutav avatud kaaludega pildi-pildiks töötluse viipade täiustamise kontrollpunkt. Seda kirjeldatakse kui peenhäälestatud mudelit Qwen3.5-VL 9B, mis on kohandatud konkreetseks ülesandeks: muuta lühikesed ja mitmetimõistetavad pilditöötluse soovid üksikasjalikeks juhisteks, mida teine mudel saab täita.

Selle kontrollpunkti ja pildigeneraatori erinevus on oluline. Qwen-Image-2.1-PE-I2I ei tagasta töödeldud pilti. Selle asemel analüüsib see sisendjuhist ja lähtepilti või -pilte, teeb kindlaks, mida tuleb muuta ja mis peab muutumatuks jääma, ning koostab järgnevale töötluskonveierile, näiteks Qwen-Image-2.1-le, täpsema viiba.

Näiteks võib lühike soov nagu „tee jope punaseks ja paiguta inimene vihmasele tänavale“ nõuda inimese identiteedi, poosi, kaamera kadreeringu ja muude üksikasjade säilitamist. Viipade täiustamise mudel laiendab selle soovi pilditöötlusmudeli jaoks praktilisemaks kirjelduseks.

Kus see Qweni mudelivalikus paikneb?

See mudel täidab Qweni pilditöötluse töövoos toetavat rolli. Qwen-Image-2.1 on järgnev pildigeneratsiooni- ja töötlussüsteem, samal ajal kui Qwen-Image-2.1-PE-I2I valmistab ette juhise, mis aitab sellel süsteemil keerukat töötlusülesannet tõlgendada. Seetõttu tuleks seda käsitleda pigem konkreetse ülesande jaoks loodud kaaslasena kui pildimudeli väiksema üldotstarbelise versioonina.

Selle päritolu Qwen3.5-VL 9B mudelist annab sellele nii keele- kui ka visuaalse sisendi töötlemise võimekuse, kuid kontrollpunkt on peenhäälestatud spetsiaalselt pilditöötluse viipade ümberkirjutamiseks. See spetsialiseerumine muudab selle tavavestluse, üldise visuaalse küsimustele vastamise või piiramatu sisuloome asemel sobivamaks võrdluspiltidega töötavatesse töövoogudesse.

Kuidas mudel töötlusülesannet töötleb?

Mudel saab sisendiks tekstilise töötlussoovi koos ühe või mitme võrdluspildiga. See tõlgendab visuaalset sisu, tuvastab soovitud muudatuse ja kirjutab üksikasjaliku juhise kavandatud tulemuse kirjeldamiseks. Samuti saab see täpsustada üksikasju, mis tuleb säilitada. See on kasulik juhul, kui muuta tuleb ainult osa pildist.

Dokumenteeritud töötlusprofiil toetab mitut võrdluspilti. Kui sisestatakse mitu pilti, saab genereeritud juhis neid eristada selliste kohatäidetega nagu <image1> ja <image2>. See võimaldab töötlusvoos kirjeldada allikatevahelisi seoseid, näiteks kasutada ühe pildi objekti ning teise pildi tausta või eset.

Mudel annab ka kadreerimisjuhiseid. See võib soovitada uut laiuse ja kõrguse suhet või näidata, et väljund peaks järgima konkreetse sisendpildi kompositsiooni. See on kasulik, kui töötlus peab liikuma portreeformaadis lähtematerjalilt horisontaalsele lõuendile või kui algse kadreeringu säilitamine on väljundi mõõtmete muutmisest olulisem.

Mida struktureeritud väljund sisaldab?

Ametlik töövoog tagastab kolme väljaga ülesandespetsiifilise JSON-kirje:

Kaks proportsioonivälja välistavad teineteist. Töövoog peaks kasutama kas välja wh_ratio või ratio_follow, sõltuvalt sellest, kas soovitakse uut kompositsiooni proportsiooni või lähtematerjali kadreeringu säilitamist.

Seda struktureeritud kirjet ei tohiks segi ajada teenusepakkuja üldise hostitud JSON-režiimiga. Mudel koostab JSON-i, sest viipade ümberkirjutamise ülesanne määratleb kindla väljundlepingu. Olemasolev uurimismaterjal ei kinnita selle kontrollpunkti jaoks eraldi üldotstarbelise JSON-režiimi API olemasolu.

Toetatud sisendid ja väljundid

Qwen-Image-2.1-PE-I2I toetab teksti- ja pildisisendit. Dokumenteeritud profiil on loodud ühe või mitme võrdluspildi jaoks, mistõttu sobib see pildist-pildiks töötluse ettevalmistamiseks ja mitme pildi põhjal kompositsioonijuhiste koostamiseks. Uurimismaterjal ei tuvasta heli- ega videosisendi tuge.

Selle otsene väljund on tekst, sealhulgas ümberkirjutatud viip ja struktureeritud kuvasuhteväljad. See ei loo otse pilte, videot, heli ega muud mittetekstilist meediat. Tegelik pildiväljund peab pärinema eraldi järgnevast pildigeneratsiooni- või pilditöötlusmudelist.

Kontekst, väljundipiirangud ja juurutamine

Salvestatud konteksti pikkus on 262,144 tokenit ja maksimaalne väljundiseade 24,000 tokenit. Need on viipade ümberkirjutamise ülesande jaoks suured piirangud, kuigi tegelik kasutus on tavaliselt palju lühem, sest mudel on mõeldud pilditöötluse kirjeldamiseks, mitte pikkade dokumentide loomiseks.

Ametlikud materjalid kirjeldavad kohalikku Transformersiga järeldamist, vLLM-i võrguühenduseta pakktöötlust ja vLLM-i serveri juurutust. See muudab kontrollpunkti sobivaks meeskondadele, kes soovivad kasutada viipade täiustamist enda hallatava pilditöötluskonveieri osana. Kohalik juurutus tähendab ka seda, et kasutajad peavad tagama järeldamiskeskkonna ja mudeli jaoks piisava GPU-mälu; uurimismaterjal ei esita konkreetset riistvara miinimumnõuet.

Dokumenteeritud tootmislaadne profiil kasutab seadet max_new_tokens=24000, temperatuuri 1.0, seadet top_p=0.95, seadet top_k=20 ja nõuab mõtlemist. Need seaded kirjeldavad ametlikku töövoogu, mitte garantiid, et iga juurutus peab kasutama täpselt samu parameetreid.

Peamised tugevused ja kompromissid

• Spetsialiseerumine töötluse tõlgendamisele: Kontrollpunkt keskendub ebamääraste töötlussoovide muutmisele üksikasjalikeks ja rakendatavateks juhisteks.
• Võrdluspiltide arvestamine: See suudab uurida üht või mitut pilti ning kirjeldada, millised visuaalsed elemendid peaksid muutuma või järjepidevaks jääma.
• Mitme pildi koordineerimine: Piltide kohatäited võimaldavad ümberkirjutatud viibal eri lähtepiltidele selgelt viidata.
• Kompositsiooni juhised: Väljund sisaldab mehhanismi uue kuvasuhte valimiseks või lähtepildi kadreeringu järgimiseks.
• Ise hallatav juurutus: Allalaaditavad kaalud ning dokumenteeritud Transformersi ja vLLM-i töövood annavad rohkem kontrolli kui kontrollpunkt, mis on saadaval ainult hostitud lõpp-punkti kaudu.

Nende tugevustega kaasnevad selged piirangud. Mudel ei renderda pilti, seega vajab terviklik rakendus teist mudelit ja orkestreerimisetappi. Samuti on vaja kohalikku järeldamistaristut, välja arvatud juhul, kui kolmas osapool teeb mudeli hostitud teenusena kättesaadavaks. Selle kontrollpunkti ametlikku hostitud API hinda ei leitud.

Spetsialiseerumise tõttu ei ole see ilmne valik üldiseks vestluseks, programmeerimiseks, heli- või videogeneratsiooniks ega ülesanneteks, mille jaoks piisab lihtsast tekstiviibast. Selle lisamine töövoogu võib keerukate töötlusjuhiste kvaliteeti parandada, kuid võrreldes lühikese viiba otse pildimudelile saatmisega lisab see ka viivitust ja töökorralduslikku keerukust.

Võimekus, kiirus ja kuluprofiil

Olemasolev toimetuslik hinnang annab mudeli arutlusvõimekusele 5 punkti 10-st, programmeerimisvõimekusele 2 punkti 10-st, kiirusele 5 punkti 10-st ja kulule 8 punkti 10-st. Need on toimetuslikud hinded, mitte Qweni avaldatud võrdlustulemused. Need kajastavad mudeli kitsast otstarvet: visuaalsete juhiste tõlgendamisel on see kasulikum kui tarkvaraarenduses ning selle avatud kaaludega kättesaadavus võib olla atraktiivne organisatsioonidele, kes eelistavad vältida hostitud teenuste tokenipõhist hinda.

Qwen-Image-2.1-PE-I2I kinnitatud avalikku sisend- ega väljundtokeni hinda ei ole. Selle rahaline profiil sõltub vajaliku kohaliku või kolmanda osapoole taristu käitamise kulust. Suure mahuga pakktöötluse korral võib enda hostimine pakkuda prognoositavamat taristumajandust, samal ajal kui juhukasutajatele võib hostitud pilditöötlusteenus või lihtsam viibatöövoog olla mugavam.

Uurimismaterjali kohaselt ei toeta mudel tööriistade kasutamist ega funktsioonikutseid. Mudel võib tagastada struktureeritud ülesandeväljundi, kuid see erineb väliste tööriistade kutsumisest, veebi sirvimisest või rakenduse funktsioonide käivitamisest.

Millal valida Qwen-Image-2.1-PE-I2I?

Vali see mudel siis, kui peamine raskus seisneb pilditöötluse täpses kirjeldamises, mitte lõpliku pildi renderdamises. See sobib eriti hästi järgmisteks kasutusjuhtudeks:

• Rakendused, mis võtavad vastu kasutaja lühikesi töötlussoove ja peavad neid automaatselt laiendama.
• Töövood, kus tuleb säilitada identiteet, poos, kompositsioon või muud pildi osad, mida ei soovita muuta.
• Ülesanded, mis ühendavad mitu võrdluspilti ja vajavad selgeid viiteid lähtepiltidele.
• Pakktöötlussüsteemid, mis valmistavad ette suure hulga töötlusviipasid enne nende saatmist Qwen-Image-2.1-le või muule ühilduvale pilditöötluskonveierile.
• Meeskonnad, kes vajavad allalaaditavaid kaalusid ja soovivad juurutust ise hallata, selle asemel et sõltuda avaldatud tokenipõhisest API-st.

Mõni muu valik võib olla sobivam, kui rakendus vajab otsest pildigeneratsiooni, hallatud hostitud API-t, reaalajas väikese latentsusega suhtlust, üldotstarbelist visuaalset vestlust või sisseehitatud tööriistakutseid. Samuti on vaja järgnevat pildimudelit, kui soovitud tulemus on töödeldud pilt, mitte ümberkirjutatud juhis.

Kättesaadavus ja litsents

Qwen-Image-2.1-PE-I2I on Qweni organisatsiooni kaudu Hugging Face'is allalaaditavate kaaludena levitatav. Mudel kasutab Qweni teaduslitsentsi. Seetõttu tuleks enne kontrollpunkti tootmissüsteemi lisamist kontrollida kaubandusliku juurutamise, edasilevitamise ja tuletatud kasutuse vastavust litsentsitingimustele.

Praktilises mõttes tuleks seda mudelit käsitleda pilditöötluse spetsialiseeritud avatud kaaludega planeerimiskomponendina. See loob väärtust enne pildi sünteesimist, tõlkides inimese töötlussoovi ja visuaalsed viited täielikumaks juhiseks, kuid ei asenda pildigeneratsiooni etappi ennast.