Mis on Tongyi Embedding Vision Plus?
Tongyi Embedding Vision Plus on Alibaba Cloud Model Studio sõltumatu multimodaalne embedingumudel. Kirjaliku vastuse genereerimise või pildi loomise asemel teisendab see toetatud sisu tihedateks arvvektoriteks ehk embedding'uteks. Rakendused saavad neid vektoreid võrrelda, et hinnata semantilist sarnasust ja leida indekseeritud kogumist seotud üksusi.
Mudel on mõeldud töövoogudeks, kus eri meediumitüüpe tuleb koos otsida. Näiteks võib tootekataloog salvestada piltide embedding'ud ja kasutada otsingupäringuna tekstilist kirjeldust. Meediumiteek võib võrrelda üles laaditud pilti videote embedding'utega, samal ajal kui soovitussüsteem saab sobitada tooteid, pilte ja kirjeldusi nende tähenduse, mitte ainult täpsete märksõnade alusel.
Esitatud dokumentatsiooni kohaselt on Tongyi Embedding Vision Plus saadaval Alibaba Cloud Model Studio kaudu ning kuulub teenusepakkuja multimodaalsete embedingumudelite valikusse. Seda tuleks käsitleda otsingu- ja representatsioonimudelina, mitte üldotstarbeliste keelemudelite sarja vestlusliku liikmena.
Kuidas mudel sisu esitab
Mudel tagastab esitatud sisu kohta eraldi embedding'u. Dokumenteeritud embedding'u suurus on 1 152 dimensiooni. Praktikas kujutatakse iga teksti, pildi, video või toetatud pildijada sisu numbriloendina. Seejärel saab vektorandmebaas või otsingusüsteem need väärtused indekseerida ja võrrelda uusi päringuid salvestatud sisuga.
Kuna mudel loob genereeritud meediumi asemel embedding'uid, ei ole selle väljund lõik teksti, pealdis, pilt, helifail ega video. Embedding on vahepealne esitus, mida teine rakendus kasutab sarnasuspõhiseks otsinguks, järjestamiseks, klassifitseerimiseks, soovituste tegemiseks või semantiliseks indekseerimiseks.
Toetatud sisendtüübid
Tongyi Embedding Vision Plus toetab hiina- ja ingliskeelset teksti, JPG-, PNG- ja BMP-pilte ning avaliku URL-i kaudu edastatavat videot. Dokumenteeritud videovormingud on MP4, MPEG, AVI, MOV, MPG, WEBM, FLV ja MKV. Mudel suudab töödelda ka kuni kaheksast pildist koosnevaid mitme pildi jadasid, mis võib olla kasulik juhul, kui üht visuaalset objekti tuleb kirjeldada mitme kaadri või vaate kaudu.
Seega on toetatud modaalsuste valik laiem kui ainult teksti embedingumudelil: tekst, üksikpildid, videod ja mitme pildi sisendid saavad osaleda samas otsingustrateegias. Mudel toetab pildi- ja videosisendit, kuid ei paku pildi- ega videoväljundit.
Sisendipiirangud ja praktilised nõuded
Dokumenteeritud tekstipiirang on 1 024 tokenit päringu kohta. Iga pildi suurus võib olla kuni 3 MB ning mitme pildi päringus võib olla kõige rohkem kaheksa pilti. Videosisendi suurus on piiratud 10 MB-ga ja video tuleb edastada avaliku URL-i kaudu.
Need piirangud on tootmisliku indekseerimistoru ettevalmistamisel olulised. Pikad kirjeldused võib enne embedding'u loomist olla vaja jagada lühemateks kirjeteks. Piltide suurust võib olla vaja vähendada või neid tihendada, et täita ühe pildi suurusepiirangut, ning videod võivad enne esitamist vajada eeltöötlust või majutamist avalikult ligipääsetavas asukohas. Esitatud uuring ei täpsusta kontekstiakent peale 1 024 tokeni suuruse tekstisisendi piirangu ega dokumenteeri genereeritud väljundi tokenipiirangut, sest mudel ei genereeri teksti.
Milleks Tongyi Embedding Vision Plusi kasutatakse?
Mudel on kõige kasulikum siis, kui rakendus peab leidma või rühmitama eri meediumitüüpide vahel semantiliselt seotud sisu. Toetatud kasutusjuhud on järgmised:
- Tekstipõhine pildiotsing: loomulikus keeles toote- või stseenikirjelduse sobitamine salvestatud piltidega.
- Piltidevaheline sarnasuse otsing: visuaalselt või semantiliselt seotud kataloogitoodete, fotode või võrdluspiltide leidmine.
- Tekstipõhine videootsing: kirjaliku päringuga seotud videote leidmine.
- Videotevaheline sobitamine: sarnaste klippide või seotud meediumiüksuste tuvastamine videokogust.
- Multimodaalsed soovitused: kirjelduste, tootepiltide ja videosisu kasutamine soovituste järjestamise signaalidena.
- Semantiline klassifitseerimine: sisu korraldamine selle esitatud tähenduse, mitte ainult käsitsi määratud märksõnade alusel.
- Meediumi indekseerimine: otsitavate esituste loomine e-kaubanduse kataloogide, galeriide, turvakaamerate kogude ja autonoomse sõidu andmekogumite jaoks.
Tüüpilise rakenduse korral luuakse indekseeritava sisu embedding'ud, salvestatakse saadud vektorid ning luuakse iga saabuva otsingupäringu jaoks embedding samas esituseruumis. Seejärel saab vektoriotsingusüsteem tagastada kõige lähedasemad kandidaadid. Mudel ise pakub esitused; otsing, filtreerimine, järjestamine ja rakendusepõhine äriloogika jäävad mudelist väljapoole.
Peamised tugevused ja kompromissid
Tongyi Embedding Vision Plusi peamine tugevus on selle eri modaalsusi hõlmav ulatus. Ainult teksti embedingumudel sobib juhul, kui kõik andmed on keelelised, kuid see mudel on loodud kogude jaoks, kus teksti, pilte, videoid või pildijadasid tuleb võrrelda ühtses töövoos. Selle 1 152-dimensiooniline väljund pakub fikseeritud suurusega esitust, mida saab eri toetatud sisendtüüpide puhul järjepidevalt indekseerida.
Teine praktiline eelis on see, et esitatud hinnainfo kohaselt on embedding'u väljund tasuta. Rahvusvahelises Singapuri piirkonnas maksab tekst, pilt ja video 0,09 dollarit 1 miljoni sisendtokeni kohta, samal ajal kui embedding'u väljundi hinnaks on märgitud 0 dollarit. See suunab mudeli suhteliselt odavate partiipõhiste indekseerimis- ja sarnasuspõhiste otsingutorude poole, kuigi süsteemi kogukulu võib hõlmata ka salvestusruumi, vektoriotsingut, võrguliiklust, meediumi töötlemist ja majutust.
Kompromissiks on spetsialiseeritus. Mudel ei vasta küsimustele, kirjuta koodi, võta videoid loomulikus keeles kokku, kutsu väliseid tööriistu ega genereeri meediumi. Kui otsingutulemusi tuleb selgitada, teisendada või kasutada lõpliku vastuse koostamiseks, on vaja eraldi generatiivset mudelit või rakendusekomponenti.
Hind, kiirus ja võimekuste positsioneerimine
Dokumenteeritud rahvusvaheline Singapuri piirkonna hind on 0,09 dollarit 1 miljoni teksti-, pildi- ja videosisendi tokeni kohta. Embedding'u väljund on tasuta. Esitatud uuring ei sisalda eraldi kuutellimuse, aastase kohustuse ega alternatiivse piirkondliku hinna infot, mistõttu ei tohiks neid üksikasju eeldada.
Uuring sisaldab toimetuslikke võrdlushindeid: kiiruse ja maksumuse eest 8 ning arutlus- ja kodeerimisvõime eest 1. Need on embedingumudeli hinnangud, mitte teenusepakkuja avaldatud võrdlustulemused. Kiiruse ja maksumuse hinded peegeldavad mudeli keskendunud representatsiooniülesannet ja avaldatud hinnastust; need ei tõesta garanteeritud latentsust ega läbilaskevõimet. Samuti näitavad madalad arutlus- ja kodeerimishinded, et need ei ole mudeli mõtestatud kasutusalad, mitte seda, et mudelit oleks üldise arutlus- või programmeerimissüsteemina võrreldud.
Selle konkreetse mudeli voogedastusrežiimi ei ole dokumenteeritud. See on kooskõlas embedingutöövooga, kus rakendus ootab tavaliselt vektorit, mitte järk-järgult genereeritavat vastust. Esitatud uuringus ei ole selle mudeli puhul samuti märgitud tööriistade kasutamise, funktsioonikutsete, veebiotsingu, struktureeritud väljundi, konteksti vahemällu salvestamise, Batch API juurdepääsu ega peenhäälestuse tuge.
Piirangud, millega arvestada
Tongyi Embedding Vision Plus ei ole vestlus- ega generatiivne mudel. See tagastab ainult vektoreid ega saa seetõttu otse anda loomulikus keeles selgitust, miks kaks üksust on sarnased. Rakendused, mis vajavad kirjeldusi, küsimustele vastamist, pealdisi või genereeritud soovitusi, vajavad pärast otsingut teist mudelit.
Sisendipiirangud võivad mõjutada ka andmete süsteemi sisestamise ülesehitust. Tekst on piiratud 1 024 tokeniga päringu kohta, piltide suurus 3 MB-ga pildi kohta, mitme pildi päringud kaheksa pildiga ning videod peavad olema kuni 10 MB suurused ja avaliku URL-i kaudu kättesaadavad. Mudeli dokumenteeritud keelevalik hõlmab hiina ja inglise keelt; esitatud uuring ei kinnita laiemat keele tuge.
Selle konkreetse mudeli puhul ei ole dokumenteeritud ka peenhäälestuse võimalust. Organisatsioonid, kellel on väga spetsiifiline visuaalne terminoloogia või valdkonnapõhised sarnasuse nõuded, peaksid enne suure indekseerimisprojekti alustamist hindama, kas standardne esitus on piisav.
Millal valida Tongyi Embedding Vision Plus?
Vali see mudel siis, kui peamine probleem on eri meediumite otsimine või võrdlemine. See sobib hästi tooteotsingusüsteemile, mis ühendab kirjeldused ja pildid, videoarhiivile, kus on vaja teksti- ja visuaalset otsingut, või soovitustorule, mis peab eri sisutüüpe järjepidevalt esitama. Fikseeritud 1 152-dimensioonilised vektorid ja tasuta embedding'u väljund võivad olla kasulikud ka kuluteadlikes indekseerimisprojektides, arvestades teenusepakkuja kehtivaid hindu ja juurutustingimusi.
Ainult tekstil põhineva töövoo puhul võib sobivam olla spetsiaalne tekstimanustusmudel, näiteks Alibaba Cloudi text-embedding-v4, eriti juhul, kui pildi- ja videotugi pole vajalik. Vestluslik või multimodaalne generatiivne mudel on sobivam siis, kui rakendus peab looma vastuseid, pealdisi, kokkuvõtteid, koodi või muud kasutajale suunatud sisu. Lühidalt öeldes tuleks Tongyi Embedding Vision Plus valida multimodaalse otsingu kvaliteedi ja mugavuse, mitte arutlusvõime, genereerimise või tööriistapõhise automatiseerimise pärast.
Kokkuvõte
Tongyi Embedding Vision Plus on Alibaba Cloudi spetsialiseeritud embedingumudel, mis ühendab hiina- ja ingliskeelse teksti piltide, videote ja mitme pildi jadadega. Selle 1 152-dimensioonilised vektorid toetavad eri modaalsuste vahelist otsingut, sarnasuste leidmist, klassifitseerimist, soovitusi ja semantilist indekseerimist. Mudeli madal avaldatud sisendhind ja tasuta embedding'u väljund on otsinguinfrastruktuuri jaoks atraktiivsed, kuid genereeritud väljundi, tööriistade, peenhäälestuse ja vestlusvõimekuse puudumine määratleb selle rolli selgelt: see on multimodaalse otsingu representatsioonikiht, mitte üldotstarbeline AI-assistent.