Qwen2.5-VL-72B-Instruct

Mis on Qwen2.5-VL-72B-Instruct?

Qwen2.5-VL-72B-Instruct on Alibaba Qweni meeskonna juhiste järgi häälestatud avatud kaaludega visuaal-keelemudel. Visuaal-keelemudel ühendab keele mõistmise visuaalse sisendi töötlemisega, võimaldades vastata piltide ja videote kohta käivatele küsimustele, mitte töötada ainult tekstiga.

Mudel on algse Qwen2.5-VL-i mudeliperekonna suurim väljalase, sisaldades ligikaudu 72 miljardit keelemudeli parameetrit; hoidla suurus on umbes 73 miljardit parameetrit. Selle ametlik avatud kaaludega identifikaator on Qwen/Qwen2.5-VL-72B-Instruct.

Selle peamine väljund on tekst. Tekst võib olla tavaline proosa, eraldatud väljad, koordinaadid, sildid või struktureeritud JSON-i laadne teave. Mudel ei loo natiivina pilte, heli ega videot, seega tuleks seda käsitleda pigem multimodaalse analüüsimudeli kui meediat genereeriva süsteemina.

Koht Qweni kataloogis

Qwen2.5-VL-72B-Instruct kuulub Alibaba Qwen2.5-VL-i visuaal-keelemudelite perekonda. See on avatud kaaludega mudelina endiselt saadaval selliste hoidlate kaudu nagu Hugging Face ja ModelScope ning Alibaba Cloud Model Studio loetleb selle visuaalseks mõistmiseks ja juhendatud peenhäälestuseks mõeldud mudelina. See on vanema Qwen2.5 põlvkonna mudel, mitte kerge üldotstarbeline keelemudel.

See eristus on lõpp-punkti valimisel oluline. Sama mudelinimega võivad kaasneda erinevad kasutuspiirangud olenevalt sellest, kas mudelit käitatakse avatud kaaludega hoidlast, kohaliku järeldusmootori kaudu või Alibaba majutatud teenuses. Allolevates spetsifikatsioonides eristatakse dokumenteeritud avatud kaaludega konfiguratsiooni majutatud teenuse dokumentatsioonist, kui uurimismaterjal sisaldab mõlema kohta teavet.

Toetatud sisendid ja väljundid

Mida mudel hästi teeb

Dokumentide mõistmine ja OCR

Qwen2.5-VL-72B-Instruct on loodud dokumente lugema ja tõlgendama, mitte üksnes nende välimust kirjeldama. Seda saab kasutada arvete, kviitungite, vormide, tabelite, skannitud lehtede ja muude paigutuste puhul, kus teksti ja selle asukoha vaheline seos on oluline. Näiteks võib andmete eraldamise töövoog paluda tagastada struktureeritud vastusena arvenumbrid, kuupäevad, summad, maksuväärtused ja reaartiklid.

OCR ehk optiline märgituvastus on protsess, mille käigus muudetakse pildil nähtav tekst kasutatavaks tekstiks. Selle mudeli puhul ühendatakse OCR dokumendipõhise arutlusega: süsteemilt võib küsida, mida väli tähendab, milline väärtus kuulub konkreetse sildi juurde või kuidas teave on tabelis paigutatud.

Graafikud, pildid ja visuaalne maandamine

Mudel suudab analüüsida objekte, stseene, tooteid, graafikuid, diagramme, ekraanipilte ja paigutusi. Visuaalne maandamine lisab vastusele asukohateabe, näiteks objekti või tekstiala tuvastava piirdekasti või punkti koordinaadi. See on kasulik kontrollimisel, märgendamisel, dokumendipaigutuse töötlemisel ja liidestes, mis peavad siduma vastuse pildi konkreetse osaga.

Kuna väljund jääb tekstiks või struktureeritud tekstiks, peab rakendus koordinaate ise tõlgendama ja visuaalsed kihid ise joonistama. Mudel annab analüüsi, kuid see ei ole täielik piltide märgendamise rakendus.

Video mõistmine

Qwen2.5-VL-72B-Instruct toetab video mõistmist, sealhulgas sündmuste tuvastamist ja nende ajaliselt paiknemise määramist pikemates videotes. Sobiv ülesanne võiks olla küsida, millal konkreetne tegevus algab, milline lõik sisaldab teatud sündmust või mis toimub järjestikustes stseenides. Seetõttu sobib see video läbivaatamiseks ja otsinguks paremini kui ainult pilte toetav mudel.

Video töötlemine võib olla ressursimahukas, eriti 72 miljardi parameetriga mudeli puhul. Tegelikud piirangud ja jõudlus sõltuvad sisendi esitusest, teenindussüsteemist, saadaolevast riistvarast ja majutatud lõpp-punkti konfiguratsioonist.

Agendid, tööriistad ja struktureeritud tulemused

Mudel toetab visuaalsete agentide töövooge, milles see arutleb ekraani või pildi põhjal ning juhib dünaamiliselt väliseid tööriistu. Ühilduvad majutatud API-d või teenindusraamistikud võivad pakkuda ka funktsioonikutseid ja tööriistade kasutamist. Need võimalused ei tähenda, et mudel sooritaks iseseisvalt kõik välised toimingud. Rakendus peab endiselt määratlema saadaolevad tööriistad, valideerima argumendid, käivitama kutsed ja haldama õigusi.

Struktureeritud väljund on automatiseerimisel eriti kasulik. Kviitungi kohta lõigu tagastamise asemel võib mudelile anda juhise tagastada sellised väljad nagu merchant, date ja total. Skeemi täpne töökindlus sõltub viibast, teeninduskihist, valideerimisprotsessist ja pildi kvaliteedist; uurimismaterjal kinnitab struktureeritud väljundi tuge, kuid ei anna universaalset täpsusgarantiid.

Konteksti- ja väljundipiirangud

Algse avatud kaaludega mudeli dokumentatsioon kirjeldab 32 768 märgi pikkust konteksti konfiguratsiooni. Samuti esitatakse YaRN-il põhinevad juhised pikema teksti ja alternatiivsete pika video konfiguratsioonide jaoks. Märk ehk token on teksti sisemiseks esitamiseks kasutatav ühik; kontekstipiirang hõlmab mudelile edastatavat materjali ning seda ümbritsevat vestlust või juhiseid.

Alibaba majutatud QwenCloudi dokumentatsioonis on majutatud mudeli lõpp-punkti konteksti piiranguna loetletud 128K ja väljundi maksimaalse pikkusena 8192 märki. Seega sõltub asjakohane piirang kasutuselevõtust. 128K väärtust ei tohiks automaatselt kohaldada avatud kaaludega hoidla isemajutatud paigaldusele ning avatud kaaludega 32K konfiguratsiooni ei tohiks eeldada iga majutatud teenuse puhul.

Tootmiskasutuses kontrollige kontekstiakent, piltide ja videote töötlemise reegleid, maksimaalset väljundit, päringupiiranguid ja toetatud funktsioone täpselt kasutatava lõpp-punkti dokumentatsioonist. Suured dokumendid ja pikad videod võivad vajada tükeldamist, sämplimist või etappide kaupa töötlemist ka siis, kui lõpp-punkt reklaamib suurt kontekstiakent.

Kasutuselevõtu võimalused ja hinnastamine

Mudeli saab alla laadida Hugging Face'ist või ModelScope'ist ning seda saab käitada Transformersi, vLLM-i, SGLangi või muude ühilduvate järeldussüsteemide versioonidega. 72 miljardi parameetriga mudel vajab üldjuhul palju GPU-mälu, hajusjäreldust, kvantimist või majutatud lõpp-punkti. Seetõttu ei ole see enamiku vähese mäluga sülearvutite, telefonide ega servaseadmete jaoks praktiline valik.

Alibaba Cloud Model Studio loetleb qwen2.5-vl-72b-instruct oma visuaalse mõistmise mudelite hulgas ja dokumenteerib juhendatud peenhäälestuse toe. Majutatud teenuse saadavus, kvoodid ja funktsioonid võivad piirkonna ja kasutuselevõturežiimi järgi erineda.

Esitatud uurimismaterjali põhjal ei ole selle konkreetse mudeli jaoks kehtestatud ühtset universaalset sisendi- ega väljundihinda. Alibaba hinnastamisdokumentatsioon kasutab piirkonna- ja kasutuselevõtupõhiseid hinnastamislehti, seega tuleks teise Qweni mudeli või teistsuguse kasutuselevõtu hinna rakendamise asemel kontrollida valitud piirkonna, lõpp-punkti ja teenuserežiimi praegust ametlikku hinda.

Arutlemine, kodeerimine, kiirus ja kulude kompromissid

Qwen2.5-VL-72B-Instruct on mõeldud multimodaalseks arutlemiseks: see suudab ühendada visuaalsed tõendid juhistega, võrrelda dokumendi osi, selgitada graafikut, leida videos sündmuse või kavandada tööriistade juhitud tegevust. Selle arutlemise skoor esitatud toimetuslikus andmebaasis on 8 punkti 10-st, kuid see on võrdlev toimetuslik hinnang, mitte teenusepakkuja avaldatud võrdlustulemus.

Andmebaas annab sellele toimetusliku kodeerimisskoori 7 punkti 10-st. See näitab kasulikkust ekraanipiltide, dokumentide, visuaalsete liideste või tööriistade töövoogudega seotud kooditöödes, kuid seda ei tohiks segi ajada väitega, et mudel on eelkõige tarkvaraarenduseks optimeeritud. Tavalise lähtekoodi lõpetamise puhul, kui visuaalset sisendit ei ole vaja, võib väiksem tekstikeskne kodeerimismudel olla parem valik.

Esitatud toimetuslik kiirusskoor on 3 punkti 10-st ja kuluskoor 7 punkti 10-st. Need on subjektiivsed võrdlevad hinnangud, mitte ametlikud latentsus- ega hinnamõõtmised. Praktiline kompromiss on selge: mudeli suur maht võib pakkuda tugevamat visuaalset ja dokumendianalüüsi, kuid suurendab väiksemate multimodaalsete mudelitega võrreldes riistvara-, mälu- ja reageerimisaja nõudeid. Majutatud järeldus võib lihtsustada haldust, kuid toob kaasa teenusepakkujast sõltuvad kasutuskulud ja piirkondlikud piirangud.

Parimad kasutusjuhud

• Väljade ja reaartiklite eraldamine arvetest, kviitungitest, vormidest ja skannitud dokumentidest.
• Graafikute, diagrammide, ekraanipiltide, tabelite ja tehniliste paigutuste analüüsimine.
• Piltide kohta küsimustele vastamine teadus-, toe- või sisemiste teadmiste töövoogudes.
• Videote kokkuvõtete koostamine ja sündmuste leidmine pikemates salvestistes.
• Visuaalsed kontrolliülesanded, mis vajavad objektide asukohti, piirdekaste või punktkoordinaate.
• Multimodaalsed assistendid, kes peavad ekraane tõlgendama ja väliseid tööriistu kasutama.
• Avatud kaaludega visuaal-keelemudeliga isemajutatud katsetamine.
• Peenhäälestus ühilduva Alibaba Cloud Model Studio töövoo kaudu, kui piirkond ja mudelikataloog seda toetavad.

Millal valida Qwen2.5-VL-72B-Instruct?

Valige see mudel siis, kui visuaalse mõistmise kvaliteet, dokumentide mõistmine, maandamine või videoanalüüs on olulisem kui minimaalne taristu. See on eriti atraktiivne juhul, kui oluline on juurdepääs avatud kaaludele, kui meeskond soovib mudelit käitada oma ühilduvas teeninduspakis või kui majutatud Qweni kasutuselevõtt on eelistatum suure GPU-võimsuse haldamisele.

Väiksem multimodaalne mudel võib olla sobivam suure mahuga andmete eraldamiseks, range latentsuseesmärgiga interaktiivseteks rakendusteks või vähese mäluga kasutuselevõtuks. Ainult teksti töötlev mudel võib olla tõhusam tavalise kirjutamise, kokkuvõtete koostamise või ilma piltide ja videota kodeerimise puhul. Kui soovitud tulemus on uue meedia loomine, mitte olemasoleva meedia analüüsimine, on vaja spetsiaalset pildi-, heli- või videogeneratsiooni mudelit.

Samuti tasub valida mõni muu võimalus juhul, kui kindel ja selgelt avaldatud hind on hädavajalik ning kohaldatavat piirkondlikku Model Studio hinda ei saa kinnitada. Meeskonnad peaksid enne tundlike dokumentide üleslaadimist kontrollima ka valitud teenuse andmekäitluse, säilitamise ja majutuse nõudeid. Avatud kaaludega mudel ja Alibaba majutatud teenused on seotud juurdepääsuteed, kuid nende kasutustingimused ei pruugi olla identsed.

Piirangud, mida enne kasutuselevõttu kontrollida

• Mudel on suur ega ole mõeldud kergeks servaseadmetes kasutamiseks.
• Esitatud dokumentatsioonis erinevad avatud kaaludega ja majutatud teenuste kontekstipiirangud.
• Majutatud teenuse hinnastamine, saadavus, kvoodid ja võimalused varieeruvad piirkonna ja kasutuselevõturežiimi järgi.
• Mudel tagastab teksti ja struktureeritud teksti, mitte ei loo natiivina pilte, heli ega videot.
• Funktsioonikutsed nõuavad ühilduvat API-t või teenindusraamistikku ning tööriistade rakendusepoolset käitamist.
• Visuaalse andmeeralduse kvaliteet sõltub algmaterjali eraldusvõimest, paigutuse keerukusest, viipamisest, valideerimisest ja teeninduskonfiguratsioonist.
• Esitatud uurimismaterjal ei kinnita selle konkreetse mudeli kindlat teadmiste lõppkuupäeva.

Kokkuvõttes tuleks Qwen2.5-VL-72B-Instructi käsitleda suure avatud kaaludega visuaalse analüüsi mudelina, mis on mõeldud nõudlikeks pildi-, dokumendi- ja videoülesanneteks. Selle suurus ja kasutuselevõtu keerukus on märkimisväärsed, kuid õigustatud juhul, kui struktureeritud visuaalne mõistmine, maandamine ja paindlik kasutuselevõtt on kiirusest või minimaalsetest kuludest olulisemad.