Mis on HY-Vision-2.0-Instruct?
HY-Vision-2.0-Instruct on Tencenti praegune multimodaalne visuaalse analüüsi mudel. Praktilises mõttes loeb see pilte koos kirjaliku viibaga ja koostab kirjaliku vastuse. Sellele võib anda ülesandeks kirjeldada fotot, lugeda dokumendist teksti, selgitada diagrammi, võrrelda mitut pilti või lahendada visuaalset STEM-ülesannet.
Mudel on loetletud Tencent Cloud TokenHubi multimodaalse mõistmise mudelite kataloogis. Selle kanooniline API-identifikaator on hy-vision-2.0-instruct. Tencent kirjeldab seda kiire mõtlemisega mudelina ning teatab võrreldes eelmise põlvkonnaga parematest tulemustest baasvisioonis, sisu tuvastamises, teadmiste kasutamises, optilises märgituvastuses (OCR), STEM-arutluses, järeldamises ja diagrammide mõistmises.
Need väited parenduste kohta pärinevad teenusepakkujalt, mitte sõltumatutest võrdlustestidest. Esitatud dokumentatsioon kirjeldab mudeli kavandatud võimekust ja avaldatud piiranguid, kuid ei sisalda selle konkreetse mudeli kohta eraldi võrdlustabelit.
Kuhu see Tencenti kataloogis paigutub?
HY-Vision-2.0-Instruct on mõeldud piltide mõistmise mudeliks, mitte üldotstarbeliseks pildigeneraatoriks ega heli ja video loomiseks. Selle ülesanne on muuta visuaalne teave kasulikuks tekstipõhiseks analüüsiks. Seetõttu sobib see rakendustele, mis peavad olemasolevat visuaalset materjali uurima, mitte uut meediat looma.
Mudelit saab kasutada nii lihtsaks tajuks kui ka keerukamaks arutluseks. Näiteks võib lihtne päring küsida, millised objektid pildil esinevad, samas kui nõudlikum päring võib paluda tõlgendada graafikut, tuvastada mitme diagrammi vahelise seose või vastata ekraanipildi ja sellele lisatud juhiste põhjal.
Toetatud sisendid ja väljundid
HY-Vision-2.0-Instruct võtab vastu teksti ja pilte. Tencenti dokumentatsioon näitab, et pilte saab OpenAI-ga ühilduva vestluse lõpetamise liidese kaudu edastada URL-ide või Base64-andme-URL-ide abil. Mudel toetab nii ühe pildi kui ka mitme pildiga päringuid.
| Võimekus | Dokumenteeritud olek |
|---|---|
| Tekstisisend | Toetatud |
| Pildisisend | Toetatud |
| Mitme pildiga päringud | Toetatud |
| Helisisend | Esitatud dokumentatsioonis kinnitamata |
| Videosisend | Esitatud dokumentatsioonis kinnitamata |
| Tekstiväljund | Toetatud |
| Pildi-, heli- või videoväljund | Dokumenteerimata; mudel on mõeldud tekstiliste vastuste jaoks |
Multimodaalse sisendi ja multimodaalse väljundi erinevus on oluline. HY-Vision-2.0-Instruct suudab visuaalset materjali töödelda, kuid dokumenteeritud vastus on tekst. Seetõttu ei tohiks seda valida rakendusse, kus mudel peab pilte looma või töötlema, kõnet sünteesima või videot genereerima.
Mida mudel hästi teeb?
Visuaalsetele küsimustele vastamine ja kirjeldamine
Mudel suudab vastata pildi sisu puudutavatele küsimustele ja koostada üldkirjeldusi. See hõlmab levinud ülesandeid, nagu nähtavate objektide tuvastamine, stseeni kokkuvõtmine, ekraanipildi selgitamine või küsimusele vastamine, mille vastus sisaldub pildil.
OCR ja dokumentide lugemine
OCR võimaldab mudelil pildil olevat kirjalikku sisu ära tunda. HY-Vision-2.0-Instructi puhul on dokumenteeritud OCR-i ja sisu tuvastamise tugi, mistõttu sobib see skannitud lehekülgede, pildistatud dokumentide, ekraanipiltide, siltide ja muu pildipõhise teksti töötlemiseks. Mudeli väljund on siiski genereeritud tekst, seega peaksid täpset väljavõttu nõudvad rakendused olulised väljad üle kontrollima, mitte eeldama, et iga märk transkribeeritakse veatult.
Graafikud, diagrammid ja STEM-arutlus
Tencent nimetab mudeli võimekuste hulgas eraldi diagrammide mõistmist ja STEM-arutlust. See muudab mudeli kasulikuks graafiku trendide selgitamisel, väärtuste leidmisel, visuaalsete seoste tõlgendamisel või diagramme ja muid tehnilisi pilte puudutavatele küsimustele vastamisel. Need ülesanded ühendavad taju ja arutluse: esmalt peab mudel tuvastama asjakohased visuaalsed elemendid ning seejärel seostama need kasutaja küsimusega.
Mitme pildi analüüs
Mitme pildiga päringud võimaldavad rakendusel edastada ühe ülesande raames rohkem kui ühe visuaalse sisendi. Võimalikud kasutusalad on dokumendilehekülgede võrdlemine, enne ja pärast tehtud piltide uurimine, diagrammide sidumine nendega kaasnevate ekraanipiltidega või piltidevaheliste erinevuste tuvastamise palumine. Tencent dokumenteerib mitme pildi kasutamise, kuid esitatud uuring ei määratle kindlat maksimaalset piltide arvu. Praktiline piirang sõltub saadaolevast kontekstiaknast ja edastatava sisu mahust.
Konteksti- ja väljundipiirangud
Avaldatud kontekstiakna suurus on 44 000 tokenit. Tencent märgib sisendi maksimumiks 24 000 tokenit ja väljundi maksimumiks 16 000 tokenit. Token on töödeldava teksti mõõtühik; multimodaalse päringu puhul peavad kogu konteksti mahtuma ka visuaalsed sisendid ja neid ümbritsev viip.
| Piirang | Avaldatud väärtus | Praktiline tähendus |
|---|---|---|
| Kogu kontekstiaken | 44 000 tokenit | Päring ja vastus peavad mahtuma mudeli saadaolevasse konteksti. |
| Sisendi maksimum | 24 000 tokenit | Määrab edastatava viiba ja sisendi dokumenteeritud ülempiiri. |
| Väljundi maksimum | 16 000 tokenit | Võimaldab ülesande vajaduse korral koostada üsna üksikasjalikke tekstilisi vastuseid. |
Need piirangud on dokumentide ja mitme pildiga töövoogude puhul kasulikud, kuid suur teoreetiline kontekst ei tähenda, et iga päring peaks kasutama maksimumi. Väiksemad viibad ja fokuseeritud küsimused võivad vähendada kulu ning muuta vastuste hindamise lihtsamaks. Mitme pildi saatmisel peaksid rakendused arvestama ka sellega, kuidas pilte teenuses esitatakse ja töödeldakse.
Hinnakujundus ja API-juurdepääs
Tencent Cloud TokenHubi praeguse hinnakirja järgi maksab kasutus 7,5 jüaani miljoni sisendtokeni ja 17,5 jüaani miljoni väljundtokeni kohta. Sisendit ja väljundit hinnastatakse eraldi, seega sõltub lõplik kulu nii mudelile saadetud visuaalse või tekstilise materjali hulgast kui ka vastuse pikkusest.
| Kasutuse tüüp | Hind |
|---|---|
| Sisend | 7,5 jüaani miljoni tokeni kohta |
| Väljund | 17,5 jüaani miljoni tokeni kohta |
Need on TokenHubi kasutuspõhised hinnad Hiina jüaanides, mitte tellimustasu ega kindel kuumakse. Konto juurdepääs, piirkondlik kättesaadavus, limiidid ja arveldamise nõuded tuleks enne tootmises kasutuselevõttu Tencentiga üle kontrollida, sest need kasutuslikud üksikasjad võivad mõjutada seda, kas loetletud lõpp-punkti saab konkreetse rakenduse puhul kasutada.
Mudelile pääseb ligi OpenAI-ga ühilduva vestluse lõpetamise liidese kaudu. See ühilduvus kirjeldab Tencenti dokumenteeritud päringuvormingut; iseenesest ei kinnita see kõigi teiste platvormidega seotud funktsioonide tuge. Esitatud uuring ei kinnita selle konkreetse mudeli puhul funktsioonikutseid, tööriistade kasutamist, voogedastust, peenhäälestust, pakktöötlust, puhverdamist ega eraldi vanemat JSON-režiimi.
Arutlus, kodeerimine, kiirus ja kulude kompromissid
HY-Vision-2.0-Instruct on eelkõige visuaalse arutluse mudel. Selle kasulik arutlustöö on seotud piltidega: graafikute tõlgendamine, diagrammidel põhinevatele küsimustele vastamine, dokumentidest tähenduse eraldamine ja visuaalsete sisendite võrdlemine. Seda ei ole dokumenteeritud spetsiaalse tarkvarakoodi kirjutamise mudelina.
Toimetuslikus võrdluses hindab esitatud analüüs mudeli arutlusvõimet 7 punktiga 10-st, kodeerimist 4 punktiga 10-st, kiirust 8 punktiga 10-st ja kulu 6 punktiga 10-st. Need on subjektiivsed toimetuslikud hinded, mitte Tencenti avaldatud võrdlustestid ega garantiid. Suhteliselt kõrgem kiirusehinnang kajastab mudeli kirjeldamist kiire mõtlemisega mudelina, samas kui madalam kodeerimishinnang tuleneb tõendite puudumisest selle kohta, et mudel oleks optimeeritud iseseisvate programmeerimisülesannete jaoks.
Hinnakujundus tekitab praktilise kompromissi. Kuna sisend maksab 7,5 jüaani miljoni tokeni kohta, võib korduv visuaalne kontroll olla lühikeste päringute korral säästlik, samal ajal kui väljund maksab 17,5 jüaani miljoni tokeni kohta. Rakendused peaksid vältima tarbetult pikki selgitusi, kui piisab lühikesest väljavõttest või klassifikatsioonist. Teisalt võimaldab 16 000 tokeni suurune väljundipiirang koostada üksikasjalikke aruandeid, kui lisapikkus on tegelikult vajalik.
Parimad kasutusalad
- Dokumentide ja ekraanipiltide analüüs: Esita küsimusi lehekülgede, kasutajaliideste, vormide või jäädvustatud töövoogude kohta.
- OCR-i abil toetatud väljavõte: Muuda piltidel olev tekst esialgseks struktureeritud või vabatekstiliseks esituseks, mida saab hiljem kontrollida.
- Graafikute ja diagrammide tõlgendamine: Selgita tehniliste või äriliste jooniste trende, seoseid, silte ja visuaalseid tõendeid.
- Visuaalsetele küsimustele vastamine: Vasta fotosid, illustratsioone, ekraanipilte ja muid pilte puudutavatele küsimustele.
- Visuaalne STEM-arutlus: Analüüsi diagramme ja lahenda küsimusi, mis nõuavad nii visuaalset taju kui ka arutlust.
- Mitme pildi võrdlemine: Võrdle ühe päringu raames omavahel seotud lehekülgi, pilte või diagramme.
Tootmissüsteemides tuleks olulised OCR-väljad ja järeldused üle kontrollida rakenduse tasemel valideerimise või inimese tehtava ülevaatuse abil. Visuaalsed mudelid võivad koostada usutavaid selgitusi ka siis, kui pilt on ebaselge, madala kvaliteediga, kärbitud või raskesti loetav.
Millal valida HY-Vision-2.0-Instruct?
Vali HY-Vision-2.0-Instruct siis, kui põhinõue on ühe või mitme pildi tekstipõhine mõistmine ja soovid kiirete vastustega mudelit. See sobib mõistlikult visuaalsetele tugivahenditele, dokumentide esmasele sortimisele, graafikute selgitamisele, ekraanipildiabilistele ja pildipõhisele küsimustele vastamisele.
Teist tüüpi mudel võib olla sobivam, kui ülesanne nõuab piltide loomist või töötlemist, heli- või videotöötlust, vektor-esitusi või kinnitatud tööriistakutsete töövoogu. Tekstipõhine kodeerimismudel on tõenäoliselt parem valik tarkvara loomiseks, kui see ei sõltu visuaalsest sisendist. Samuti ei tohiks garanteeritud struktureeritud väljundit vajav rakendus eeldada, et OpenAI-ga ühilduv liides pakub eraldi JSON-režiimi, sest selle konkreetse mudeli puhul ei ole seda võimekust esitatud dokumentatsioonis kinnitatud.
HY-Vision-2.0-Instruct ei ole parim valik ka siis, kui nõutav sisend on heli või video, sest nende võimekust ei ole kinnitatud. Sellistel juhtudel kasuta teenust, mille dokumentatsioon toetab vajalikku sisendit otsesõnu, mitte ära käsitle üldist multimodaalsuse märgistust toe tõendina.
Piirangud ja kontrollpunktid
Mudeli dokumenteeritud ulatus on piltide mõistmine tekstiliste vastustega. Esitatud tõendid puuduvad piltide genereerimise, loomuliku heli- või videosisendi, mittetekstilise väljundi, vektor-esituste, peenhäälestuse, pakktöötluse API-juurdepääsu, puhverdamise, veebiotsingul põhineva maandamise või eraldiseisva JSON-režiimi toe kohta. Kui Tencent teenust hiljem laiendab, tuleks neid puudujääke käsitleda kinnitamata võimekustena, mitte kindlalt võimatute funktsioonidena.
Enne mudelile tootmisvoos tuginemist kontrolli üle praegune TokenHubi mudeliloend, piirkondlik kättesaadavus, limiidid, autentimisnõuded, hinnad ja päringupiirangud. Testi ka kavandatud töökoormusele tüüpilisi pilte. Selgetel graafikutel hästi toimiv mudel võib käituda teisiti väikese teksti, ebatavalise paigutuse, halva valgustuse, tihedate dokumentide või väga täpset numbrilist väljavõttu nõudvate piltide puhul.
Kokkuvõttes tuleks HY-Vision-2.0-Instructi mõista kui praegust Tencent TokenHubi mudelit kiireks tekstipõhiseks visuaalseks analüüsiks. Selle peamine eripära on laiaulatuslike piltide mõistmise ülesannete, mitme pildi toe ja 44 000 tokeni suuruse kontekstiakna kombinatsioon – mitte võime luua meediat või toimida üldotstarbelise kodeerimis- ja tööriistakasutuse mudelina.