Mis on Qwen2.5-Omni-7B?
Qwen2.5-Omni-7B on Alibaba Cloudi Qweni meeskonna välja töötatud avatud kaaludega multimodaalne mudel, mis avaldati 26. märtsil 2025. See on loodud töötlema ühes süsteemis mitut tüüpi meediat: teksti, pilte, heli, videot ja nende sisendite kombinatsioone. Mudel suudab vastata tekstina ning kõnesünteesi kasutamisel ka loomuliku kõnena.
Mudel on mõeldud rakendustele, mis vajavad enamat kui ainult teksti mõistmist. Näiteks saab see analüüsida pilti samal ajal, kui järgib suulist juhist, tõlgendada heli- või videosisu, vastata salvestise kohta esitatud küsimustele või osaleda häälepõhises suhtluses. Apache 2.0 litsents võimaldab teadustööd, kohalikku juurutamist ja kohandamist, järgides litsentsi ning kohaldatavaid seadusi.
Qwen2.5-Omni-7B kuulub Qwen2.5 mudeliperre, kuid selle eesmärk erineb tavapärasest teksti genereerimise mudelist. Selle peamine eripära on multimodaalse tajumise ja loomuliku kõnesünteesi ühendamine ühes otsast lõpuni töötavas mudelis.
Toetatud sisendi- ja väljundiviisid
Mudel võtab vastu teksti, pilte, heli ja videot. Heli võib olla esitatud eraldi või videosisendi osana. Seetõttu sobib see näiteks kõnematerjali transkribeerimiseks või tõlgendamiseks, videostseenide uurimiseks, piltide kohta küsimustele vastamiseks ning visuaalse ja helilise info ühendamiseks.
Mudeli väljundid on tekst ja kõneheli. See ei genereeri pilte ega videot. See eristus on oluline, sest Qwen Studio ja laiem Qweni ökosüsteem reklaamivad toote tasemel piltide ja videote loomise võimalusi, kuid neid võimalusi ei tohiks omistada Qwen2.5-Omni-7B-le endale.
| Võimekus | Qwen2.5-Omni-7B |
|---|---|
| Tekstisisend | Toetatud |
| Pildisisend | Toetatud |
| Helisisend | Toetatud |
| Videosisend | Toetatud |
| Tekstiväljund | Toetatud |
| Kõneheliväljund | Toetatud |
| Pildisisend | Ei ole toetatud |
| Videoväljund | Ei ole toetatud |
Kuidas Thinker-Talkeri arhitektuur töötab?
Qwen2.5-Omni-7B kasutab kaheosalist disaini nimega Thinker-Talker. Thinker tegeleb keele ja multimodaalse arutlemisega: see töötleb kasutaja teksti ja meediat, tuvastab olulise info ning loob tekstilise vastuse esituse. Talker teisendab sobivad peidetud esitused helitokeniteks, mis dekodeeritakse seejärel kõne lainekujuks.
Selline ülesehitus võimaldab mudelil toota teksti ja kõnet koordineeritud voogedastuse töövoo kaudu, ilma et pärast keelemudeli töö lõppu oleks vaja eraldi tekst-kõneks-süsteemi. Projekt kirjeldab ka heli- ja visuaalsisendi plokkide kaupa töötlemist ning ajaliselt joondatud multimodaalset positsioonikodeeringut, mis aitab süsteemil koordineerida eri meediavoogudest saabuvat infot.
Voogedastus on häälerakenduste jaoks eriti oluline. See võib toetada vestluselamusi, kus heli genereeritakse järk-järgult, selle asemel et oodata kogu vastuse valmimist. Tegelik latentsus sõltub siiski riistvarast, eeltöötlusest, teenindusraamistikust ja juurutuse konfiguratsioonist.
Kontekstiaken ja genereerimispiirangud
Alibaba Cloud Model Studio dokumentatsioonis on majutatud juurutuse kontekstiakna suuruseks märgitud 32 768 tokenit. Dokumenteeritud maksimaalne sisendi pikkus on 30 720 tokenit ja maksimaalne väljundi pikkus 2048 tokenit.
Need on majutatud teenuse piirangud ning neid ei tohiks automaatselt käsitleda kõigi kohalike paigalduste universaalsete piirangutena. Kohalik võimekus sõltub samuti saadaolevast GPU-mälust, protsessori konfiguratsioonist, meedia kestusest, eeltöötlusest ja teenindustarkvarast. Heli ja video võivad tekitada nominaalsest tokenite arvust kaugemale ulatuvaid praktilisi piiranguid, sest süsteem peab ajaliselt muutuva meedia päringu osana kodeerima.
Majutatud teenuse 2048-tokenine väljundipiirang muudab mudeli loomulikumalt sobivaks interaktiivseteks vastusteks, kirjeldusteks ja häälvastusteks kui väga pikkade dokumentide genereerimiseks. Kui peamine vajadus on pikk tekstiline väljund, võib spetsialiseeritud tekstimudel olla parem valik.
Hinnastamine ja juurdepääs Model Studio kaudu
Qwen2.5-Omni-7B on kohaliku kasutuse jaoks saadaval avatud kaaludega mudelina ning Alibaba Cloud pakub ka majutatud juurutust Model Studios. Rahvusvahelise Singapuri piirkonna kohta dokumenteeritud majutatud teenuse hinnad sõltuvad sisendi- ja väljundiviisist:
- Tekstisisend: 0,10 dollarit 1 miljoni tokeni kohta.
- Helisisend: 6,76 dollarit 1 miljoni tokeni kohta.
- Pildi- või videosisend: 0,28 dollarit 1 miljoni tokeni kohta.
- Tekstiväljund ainult tekstisisendi järel: 0,40 dollarit 1 miljoni tokeni kohta.
- Tekstiväljund multimodaalse sisendi järel: 0,84 dollarit 1 miljoni tokeni kohta.
- Teksti- ja heliväljund: 13,51 dollarit 1 miljoni tokeni kohta.
Hiina Pekingi hinnad on dokumenteeritud eraldi ja erinevad rahvusvahelistest hindadest: 0,087 dollarit 1 miljoni tekstisisendi tokeni kohta, 5,448 dollarit 1 miljoni helisisendi tokeni kohta, 0,287 dollarit 1 miljoni pildi- või videosisendi tokeni kohta, 0,345 dollarit 1 miljoni väljundtokeni kohta ainult tekstisisendi korral, 0,861 dollarit 1 miljoni väljundtokeni kohta pärast multimodaalset sisendit ning 10,895 dollarit 1 miljoni teksti- ja heliväljundi tokeni kohta.
Kulude planeerimisel tasub arvestada, et kõnesüntees ja helisisend on dokumenteeritud rahvusvaheliste hindade järgi tavalisest tekstitöötlusest märgatavalt kallimad. Kohalik juurutus võimaldab vältida tokenipõhiseid majutatud teenuse tasusid, kuid kulud kanduvad riistvarale, salvestusruumile, arendusele ja käitamise hooldusele.
Kohalik juurutus ja mudeli kättesaadavus
Kanooniline avatud kaaludega kontrollpunkt on Qwen/Qwen2.5-Omni-7B Hugging Faces. Projekt sisaldab ka kohaliku järeldamise näiteid, multimodaalse eeltöötluse utiliite ja juurutusjuhiseid. Transformersi kasutajad saavad mudeli laadida klassidega Qwen2_5OmniForConditionalGeneration ja Qwen2_5OmniProcessor praeguses ühilduvas keskkonnas.
Vaatamata kuulumisele 7 miljardi parameetri klassi võib mudel vajada märksa rohkem mälu kui tavapärane 7B tekstimudel. Multimodaalsed kodeerijad, kõnesünteesi komponendid ja nendega seotud töötlemiskiht suurendavad juurutuse ressursivajadust. Projekt pakub GPTQ-Int4 ja AWQ kvantiseeritud variante, mis vähendavad GPU-mälu vajadust algse täpsusastmega väljalaskega võrreldes rohkem kui poole võrra.
Teeninduskäitumine sõltub kasutatavast raamistikust. Ametlik kohalik järeldamisrada toetab heli genereerimist, samas kui mõned vLLM-i juurutusteed pakuvad ainult teksti genereerivat Thinkeri komponenti. Kõneväljundit vajavad kasutajad peaksid enne juurutusarhitektuuri valimist kontrollima täpset teeninduslahendust.
Arutlemine, programmeerimine ja tööriistade tugi
Qwen2.5-Omni-7B suudab tegeleda multimodaalse arutlemisega: vastuse koostamisel võib see kasutada teksti, piltide, heli ja video infot. Praktikas toetab see visuaalset küsimustele vastamist, heli või video tõlgendamist ning juhiseid, mis ühendavad kõne visuaalse kontekstiga.
Esitatud hindamisandmetes on selle arutlemis- ja programmeerimissobivusele antud hindeks 7 kümnest, kiirusele 7 kümnest ja kulule 8 kümnest. Need on võrdluseks mõeldud toimetuslikud hinnangud, mitte teenusepakkuja avaldatud võrdlustestide tulemused. Need kajastavad mudeli laia võimekust ja avatud kaaludega kättesaadavust, mida tasakaalustavad multimodaalse järeldamise keerukus ja ressursinõuded.
Täpse majutatud Model Studio juurutuse puhul on funktsioonikutsete, struktureeritud väljundite, veebiotsingu, konteksti vahemällu salvestamise, pakktöötluse ja peenhäälestuse tugi dokumentatsiooni kohaselt puudu. Seetõttu ei tohiks seda mudelit valida vaikerakenduseks rakendustele, mis sõltuvad rangetest JSON-skeemidest, sisseehitatud veebiuuringutest või tööriistapõhistest agenditöövoogudest. Need funktsioonid võivad mujal Qweni või Alibaba Cloudi tooteökosüsteemis olemas olla, kuid teenusepakkuja tasemel funktsioone ei tohiks eeldada selle mudeli puhul.
Peamised tugevused ja piirangud
Tugevused
- Lai multimodaalne sisend: Üks mudel saab töödelda teksti, pilte, heli ja videot.
- Loomulik kõnesüntees: Toetatud juurutustes suudab see genereerida kõneheli, ilma et oleks vaja eraldi tekst-kõneks-teenust.
- Avatud kaaludega juurdepääs: Apache 2.0 litsents toetab kohalikku katsetamist, teadustööd ja kohandamist.
- Voogedastusele suunatud ülesehitus: Arhitektuur on loodud väiksema latentsusega multimodaalseks ja häälepõhiseks suhtluseks.
- Paindlik juurutus: Kasutajad saavad valida majutatud Model Studio juurdepääsu või kohaliku järeldamise, sealhulgas kvantiseeritud variandid.
Piirangud
- Ei ole meedia genereerimise mudel: See genereerib kõnet, mitte pilte ega videot.
- Lühike majutatud väljundipiirang: Model Studio dokumentatsiooni kohaselt on maksimaalne väljund 2048 tokenit.
- Piiratud majutatud tööriistad: Funktsioonikutsed, struktureeritud väljundid, veebiotsing, vahemällu salvestamine, pakktöötlus ja peenhäälestus ei ole selle täpse juurutuse puhul toetatud.
- Suurem juurutuse keerukus: Kohalik järeldamine vajab rohkem mälu ja spetsiaalseid sõltuvusi kui sarnase suurusega ainult tekstiga mudel.
- Raamistike erinevused: Mõned teeninduslahendused võivad pakkuda tekstiväljundit ilma mudeli heli genereerimise võimekuseta.
- Viisist sõltuv hind: Heli töötlemine ning teksti- ja heliväljund on dokumenteeritud rahvusvaheliste hindade järgi tavapärastest tekstipäringutest palju kallimad.
Millal valida Qwen2.5-Omni-7B?
Vali Qwen2.5-Omni-7B siis, kui rakendus peab mõistma mitut meediatüüpi ja võib vajada kõneheliga vastamist. Head näited on hääleassistendid, ligipääsetavustööriistad, heli- ja videoanalüüs, visuaalne küsimustele vastamine, meedia- või koosolekusisu mõistmine, kõnejuhiste järgimine ning otsast lõpuni multimodaalsete süsteemide uurimine.
See on tugev kandidaat ka siis, kui olulised on avatud kaalud ja kohalik kontroll. Kohalik juurutus võib olla kasulik katsetamiseks, kohandamiseks või keskkondades, kus meedia saatmine majutatud API-le ei ole soovitav, kuigi tegelik privaatsus- ja turvatase sõltub juurutuse käitamisest.
Ainult tekstiga mudel on tavaliselt parem valik, kui rakendus vajab pikka teksti, lihtsat tekstigenereerimist, väiksemaid taristunõudeid või võimalikult väikest päringupõhist kulu. Visuaalse meedia loomiseks sobib paremini spetsialiseeritud pildi- või videogenereerimise mudel. Tööriistadele keskenduv mudel või platvormipõhine Qweni teenus võib olla eelistatavam siis, kui keskse tähtsusega on usaldusväärsed funktsioonikutsed, veebiotsing, rangelt struktureeritud väljund või hallatud agenditöövood.
Üldhinnang
Qwen2.5-Omni-7B-d tuleks eelkõige mõista avatud multimodaalse mõistmise ja kõnesünteesi mudelina, mitte üldotstarbelise asendusena kõigile Qweni ökosüsteemi mudelitele. Selle kõige olulisem praktiline eelis on teksti-, pildi-, heli- ja videosisendi ühendamine integreeritud kõneväljundiga. Peamised kompromissid on ressursinõuded, viisist sõltuv hind, suhteliselt lühike majutatud väljundi piirang ning piiratud tööriistade tugi Model Studios.
Häälevõimekusega või meediateadlikke rakendusi loovatele arendajatele võivad need kompromissid olla vastuvõetavad. Rakenduste puhul, mille keskmes on pikk tekst, piltide või videote loomine või struktureeritud tööriistade kasutamine, on tõenäoliselt tõhusam mõni muu spetsialiseeritud lahendus.