Mis on Kinfra-VL-Embedding-8b?
Kinfra-VL-Embedding-8b on 8 miljardi parameetriga multimodaalne vektor-esituste mudel, mida pakub Tencent Cloud TokenHubi kaudu. Selle teenuseidentifikaator on kinfra-vl-embedding-8b. Erinevalt generatiivsest keelemudelist ei koosta see vastuseid ega loo meediat. Selle asemel teisendab see toetatud sisendid arvulisteks vektoriteks, mida saab semantilise sarnasuse alusel võrrelda.
Vektor on arvude loend, mis esindab mingi üksuse tähendust või sisu. Otsingurakendus saab võrrelda kasutaja tekstipäringu vektorit salvestatud dokumentide, piltide või videote vektoritega. Lähestikku paiknevaid vektoreid käsitatakse asjakohasemana, mistõttu saab süsteem sisu leida ka siis, kui sõnastus ei ole täpselt sama.
Kinfra-VL-Embedding-8b on loodud spetsiaalselt teksti, piltide ja videote paigutamiseks ühisesse esitusruumi. See võimaldab teha näiteks otsinguid, mille käigus leitakse loomulikus keeles kirjeldustega seotud videoid, sobitatakse pilt asjakohase tekstiga või leitakse segakogust visuaalselt ja semantiliselt sarnast meediat.
Võimalused ja kontrollitud tehnilised andmed
Mudel toetab kolme sisendvormingut: teksti, pilte ja videot. Tencenti dokumentatsiooni kohaselt võib pildi- ja videosisend olla URL-i või base64-sisuna; toetatud videoformaatide hulka kuuluvad MP4, AVI ja MOV. Esitatud dokumentatsiooni järgi toetab videotöötlus kuni 64 valitud kaadrit.
| Tehniline näitaja | Dokumenteeritud üksikasjad |
|---|---|
| Pakkuja | Tencent Cloud |
| Mudeliperekond | Kinfra-VL-Embedding |
| Mudeli suurus | 8 miljardit parameetrit |
| Mudeli tüüp | Multimodaalne vektor-esituste mudel |
| Sisendvormingud | Tekst, pildid ja video |
| Väljund | Normaliseeritud vektor-esitused |
| Vektori mõõt | 4096 |
| Maksimaalne multimodaalse jada pikkus | 32 768 tokenit |
| Maksimaalne valitud videokaadrite arv | 64 |
| Keelte katvus | Tencenti andmetel rohkem kui 30 peamist keelt |
4096-mõõtmeline väljund on fikseeritud ja seda ei saa kohandada. See ühtlus on vektorindeksi loomisel kasulik, sest iga mudeli loodud üksus on sama mõõtmega. Väljund on vektor-esitus, mitte tekstiline vastus, seega ei ole vaja seadistada genereeritavate tokenite maksimumi ega proosaväljundi pikkuse piirangut.
Milleks seda kasutatakse?
Kinfra-VL-Embedding-8b sobib kõige paremini eri tüüpi meediat kombineerivate otsingu- ja sobitamisprotsesside jaoks. Tüüpilised rakendused on järgmised:
- Multimodaalne semantiline otsing: dokumentide, piltide või videote leidmine tekstipäringu põhjal.
- Videootsing: klippide leidmine nende sisu, stseenide või tähenduse kirjelduste alusel.
- Pildi ja teksti sobitamine: pealkirjade, tootekirjelduste või kasutajapäringute võrdlemine piltidega.
- Ristmodaalne otsing: ühe vormingu kasutamine päringuna ja teise vormingu kasutamine tulemuste kogumina, näiteks videote otsimine teksti abil.
- Meedia dubleerimise tuvastamine ja sarnasuse hindamine: seotud või peaaegu dubleeriva sisu tuvastamine eri tüüpi kogumites.
- Semantiline sobitamine: üksuste järjestamine tähenduse, mitte ainult täpsete märksõnakattuvuste põhjal.
Näiteks võib videoteek teisendada nii oma tekstilised metaandmed kui ka videosisu vektor-esitusteks ning kasutada seejärel tekstipäringut „inimesed valmistavad toitu professionaalses köögis“, et leida asjakohased klipid. Pildiotsingusüsteem võib võrrelda tootefotot tekstikirjelduste või teiste tootepiltidega.
Hinnastamine ja juurdepääs TokenHubi kaudu
Tencent teeb mudeli kättesaadavaks Tencent Cloud TokenHubi multimodaalsete vektor-esituste lõpp-punkti kaudu. Esitatud hinnastamisdokumentatsioon loetleb sisendi eraldi hinnad miljoni tokeni kohta:
- Tekstisisend: 0,084 USA dollarit miljoni tokeni kohta
- Pildisisend: 0,126 USA dollarit miljoni tokeni kohta
- Videosisend: 0,252 USA dollarit miljoni tokeni kohta
Tencenti hiinakeelses hinnastamisdokumentatsioonis on vastavad hinnad teksti puhul 0,6 RMB, piltide puhul 0,9 RMB ja video puhul 1,8 RMB miljoni tokeni kohta. Pildi- ja videosisend on seega tekstisisendist kallim ning video töötlemine on kolmest dokumenteeritud sisendikategooriast kõige kallim.
Need hinnad kehtivad mudeli sisendi töötlemisele. Esitatud uuringus eraldi väljundihinda ei dokumenteerita, sest mudel tagastab genereeritud teksti asemel vektor-esitused. Tegelik rakenduse kulu sõltub ka indekseeritavate üksuste arvust, sisu vektoriteks teisendamise sagedusest ja töödeldava video mahust.
Peamised tugevused ja kompromissid
Mudeli peamine tugevus on keskendumine ülitäpsele multimodaalsele otsingule. Üks vektor-esituste süsteem suudab esitada teksti, pilte ja videot, vähendades vajadust hallata iga vormingu jaoks täiesti eraldi otsingutorustikku. Selle 4096-mõõtmelised vektorid pakuvad ka suhteliselt üksikasjalikku esitust rakendustes, kus oluline on peenelt eristav sobitamine.
Tencent positsioneerib 8B mudelit täpsusele suunatud töökoormuste jaoks. Esitatud dokumentatsiooni kohaselt on selle MMEB-V2 skoor 75,26 ja multimodaalse otsingu keskmine tulemus 0,795. Need on teenusepakkuja esitatud võrdlustestide näitajad ning neid tuleks käsitada võrdlustulemustena, mitte iga andmestiku või rakenduse garantiina.
Mudeliga kaasnevad ka praktilised kompromissid. 8 miljardi parameetriga vektor-esituste mudel vajab üldjuhul rohkem arvutusressurssi kui väiksem mudel ning Tencenti dokumentatsioon positsioneerib selle kvaliteetsemaks alternatiiviks oma 2B multimodaalsele vektor-esituste mudelile. Suurem mudel võib seega tähendada suuremat latentsust ja kasutuskulu. Selle andmebaasi jaoks koostatud toimetuslikus kiiruse ja kulu hinnangus saab mudel mõlemas kategoorias hindeks 6 punkti 10-st; need on võrdlevad toimetuslikud hinnangud, mitte Tencenti antud hinded.
Järeldusvõime, programmeerimine ja tööriistade tugi
Kinfra-VL-Embedding-8b-d ei tohiks hinnata järeldus- ega programmeerimismudelina. See suudab kodeerida teksti, sealhulgas tehnilise või programmeerimisega seotud teksti semantilist sisu, kuid ei genereeri selgitusi, kirjuta tarkvara ega teosta mitmeastmelist järeldamist viisil, nagu seda teeb vestlusele suunatud keelemudel.
Mudel ei paku dokumenteeritud tööriista- ega funktsioonikutsete tuge, veebotsingut, voogedastusvastuseid ega struktureeritud tekstiväljundit. Selle väljund on vektor-esitus. Samuti ei genereeri see teksti, pilte, heli ega videot. Rakendused ühendavad selle tavaliselt vektoriandmebaasi või otsingukihiga ning kirjaliku vastuse vajaduse korral eraldi generatiivse mudeliga.
Olulised piirangud
32 768 tokeni piirang kehtib mudeli multimodaalsele sisendjadale. Seda ei tohi segi ajada generatiivse mudeli kontekstiakna või vastuse maksimaalse pikkusega. Dokumenteeritud genereeritud väljundi tokenipiirangut ei ole, sest väljund on fikseeritud suurusega vektor.
Vektor-esituste kvaliteet sõltub indekseeritavast sisust, otsingu ülesehitusest ning mudeli ümber kasutatavast sarnasuse või järjestamise meetodist. Kõrge võrdlustesti tulemus ei välista vajadust katsetada otsingut sihtkeelte kombinatsiooni, meediatüüpide ja valdkonnaga. Mudeli väljund on ka fikseeritult 4096-mõõtmeline, mistõttu teistsugust vektorisuurust vajavad süsteemid peavad kasutama sobivat projektsiooni või teist vektor-esituste mudelit.
Videotöötlus vajab erilist tähelepanu. Videosisend on teksti- ja pildisisendist kallim ning dokumenteeritud kaadrite valimise piirang tähendab, et pikka või kiiresti muutuvat videot ei pruugita esitada kõigis võimalikes üksikasjades. Meeskonnad peaksid kontrollima, kas saadaolevad valitud kaadrid sisaldavad neid sündmusi, mida nad soovivad otsida.
Millal valida Kinfra-VL-Embedding-8b?
Vali Kinfra-VL-Embedding-8b siis, kui peamine nõue on täpne semantiline otsing teksti, piltide ja video vahel, eriti juhul, kui ühtne multimodaalne indeks on kasulikum kui vormingupõhised eraldi süsteemid. See sobib hästi videootsinguks, pildi ja teksti sobitamiseks ning meediakogude jaoks, kus otsingukvaliteet on olulisem kui võimalikult väike kulu või latentsus.
Väiksem multimodaalne vektor-esituste mudel, näiteks Tencenti dokumenteeritud 2B alternatiiv, võib olla sobivam juhul, kui rakendus töötleb väga suuri sisumahte, seab ranged nõuded vastuseajale või talub otsingukvaliteedi mõningast langust. Ainult tekstist koosneva korpuse ja päringute korral sobib tõenäoliselt paremini tekstipõhine vektor-esituste mudel. Generatiivset keelemudelit tuleks kasutada selle mudeli kõrval või asemel siis, kui rakendus peab vastama küsimustele, tegema leitud sisust kokkuvõtteid, kirjutama koodi, kasutama tööriistu või looma loomulikus keeles vastuseid.
Praktilises mõttes on Kinfra-VL-Embedding-8b otsingukomponent, mitte täielik otsingurakendus. See pakub semantilisi vektoreid, kuid ümbritsev süsteem vajab endiselt indekseerimist, lähima naabri otsingut, järjestamist, juurdepääsu kontrolli ning vajaduse korral eraldi mudelit leitud tulemuste selgitamiseks.