Mis on Kinfra-VL-Embedding-2b?
Kinfra-VL-Embedding-2b on Tencenti multimodaalne embedding-mudel otsingu ja semantilise sobitamise jaoks. Embedding on sisu arvuline esitus: sarnase tähenduse või visuaalse ja semantilise sisuga elemendid saab vektorandmebaasis paigutada lähestikku. Seejärel saavad rakendused vektorite sarnasuse abil leida seotud elemente isegi siis, kui päring ja tulemus kasutavad erinevaid modaalsusi.
Näiteks võib jaemüüja kasutada tekstikirjeldust visuaalselt sarnaste tootepiltide leidmiseks, samal ajal kui meediaplatvorm võib otsida videosisu tekstipäringu abil. Kinfra-VL-Embedding-2b on mõeldud selliste ristmodaalsete võrdluste toetamiseks, paigutades teksti, pildid ja video ühisesse vektorruumi.
Mudel on Tencent Cloud TokenHubi kaudu saadaval identifikaatoriga kinfra-vl-embedding-2b. Tegemist on otsingumudeliga, mitte vestlus- ega generatiivse mudeliga. Selle väljund on ujukomavektor, mitte loomulikus keeles antud vastus.
Kuidas see Tencenti mudelivalikusse sobitub
Tencent positsioneerib Kinfra-VL-Embedding-2b oma Kinfra multimodaalsete embedding-mudelite valiku väiksema liikmena. Teenusepakkuja esitatud teabe kohaselt on see suurema Kinfra-VL-Embedding-8b mudeli kiirusele keskenduv alternatiiv. Seega on 2b versioon mõeldud rakendustele, kus läbilaskevõime, latentsus ja käituskulu on olulisemad kui suurima saadaoleva mudeli valimine.
See positsioneerimine on eriti oluline veebipõhistes otsingusüsteemides, kus rakendus võib vajada paljude kasutajapäringute või meediaelementide kiiret embedding'uks teisendamist. Mudeli väiksem suurus ei muuda seda üldotstarbeliseks keelemudeliks; selle põhifookus on endiselt multimodaalsete vektorite genereerimine.
Toetatud sisendid ja väljund
Kinfra-VL-Embedding-2b toetab kolme sisendmodaalsust:
- Tekst: multimodaalse päringu osana edastatav tekstisisu.
- Pildid: piltide URL-id või base64-kodeeritud pildiandmed.
- Video: videote URL-id või base64-kodeeritud videoandmed.
Päringus võib multimodaalse jada osana kombineerida mitut sisenditüüpi. Teenus tagastab edastatud jada kohta ühe ühendatud embedding'u, mitte iga elemendi jaoks eraldi genereeritud kirjeldusi või vastuseid.
| Spetsifikatsioon | Teenusepakkuja teave |
|---|---|
| Väljundi tüüp | Ujukomaga embedding-vektor |
| Embedding'u dimensioon | 2048 |
| Maksimaalne jada pikkus | 32 768 tokenit |
| Sisendmodaalsused | Tekst, pilt ja video |
| Vaikimisi normaliseerimine | L2-normaliseerimine |
| Keelte tugi | Rohkem kui 30 peamist keelt |
Väljundi fikseeritud dimensioon on 2048 ja seda ei saa esitatud dokumentatsiooni kohaselt kohandada. L2-normaliseerimine on vaikimisi sisse lülitatud, mistõttu sobivad saadud vektorid levinud sarnasuspõhiste otsingute töövoogudesse. Teenusepakkuja nimetab enam kui 30 peamise keele tuge, sealhulgas hiina, inglise, jaapani, korea, prantsuse, saksa, vene, portugali ja hispaania keelt.
Milleks seda kasutada saab?
Mudel sobib kõige paremini rakendustele, kus on vaja võrrelda tähendust eri sisutüüpide vahel. Levinud kasutusjuhud on järgmised:
- Pildiotsing teksti abil ja tekstiotsing pildi abil: tekstipäringu sobitamine asjakohaste piltidega või pildiga seotud teksti leidmine.
- Video semantiline otsing: asjakohaste videote või videoklippide leidmine teksti- või multimodaalse päringu abil.
- Multimodaalne teadmiste otsing: dokumente, pilte ja videoid sisaldavate kogumite ühine otsimine.
- Sisu dubleerimise tuvastamine: semantiliselt sarnaste meediaelementide või kirjelduste tuvastamine.
- Soovitused: kasutajate huvide, tootekirjelduste, piltide või videosisu võrdlemine ühises vektorruumis.
- Sarnasuspõhine klassifitseerimine: kategooriate määramine või avastamine embedding-ruumis lähedal asuvate näidete põhjal.
Tüüpilises otsingutöövoos saadab rakendus sisu esmalt mudelile, salvestab tagastatud vektorid vektorandmebaasi ning teisendab hiljem kasutajapäringu embedding'uks, enne kui käivitab sarnasuspõhise otsingu. Kinfra-VL-Embedding-2b vastutab esituse loomise etapi eest; see ei paku andmebaasi, järjestusliidest ega lõplikku loomulikus keeles selgitust.
Hinnastamine ja API-juurdepääs
Tencent Cloud avaldab TokenHubis hinnad sisendmodaalsuse alusel eraldi. Loetletud hinnad on järgmised:
- Tekstisisend: 0,07 USA dollarit miljoni sisendtokeni kohta.
- Pildisisend: 0,098 USA dollarit miljoni sisendtokeni kohta.
- Videosisend: 0,21 USA dollarit miljoni sisendtokeni kohta.
Neid hindu tuleks hinnata rakenduses tegelikult kasutatava sisumixi põhjal. Videosisendi ühe miljoni tokeni hind on kõrgem kui teksti- või pildisisendil, mistõttu erinevad videomahuka otsingutöövoo käituskulud teksti- või pildiotsingu omadest.
Dokumenteeritud multimodaalne lõpp-punkt on /v1/embeddings/multimodal. See võtab vastu tüübitud multimodaalseid sisendobjekte ja tagastab ühendatud vektortulemuse. Esitatud teabe põhjal ei ole võimalik tuvastada eraldi väljundtokenite tasu, sest see mudel ei genereeri teksti ega muud meediat.
Tugevused ja kompromissid
Mudeli peamine tugevus on teksti, piltide ja video käsitlemine ühes embedding-töövoos. See võib lihtsustada süsteeme, mis vajavad ristmodaalset otsingut, selle asemel et hallata iga sisutüübi jaoks eraldi esitusi. Ka fikseeritud 2048-dimensiooniline väljund on praktiline vorming vektorite salvestamiseks ja sarnasuspõhiseks otsinguks.
Tencenti positsioneerimine rõhutab kiirust ja veebipõhist otsingut. Väiksem 2b variant on mõeldud pakkuma suurema multimodaalse embedding-mudeliga võrreldes väiksema latentsusega ja potentsiaalselt soodsamat võimalust, eriti siis, kui oluline on suur päringumaht. Tegemist on teenusepakkuja positsioneerimisväitega, mitte sõltumatu võrdlustulemusega; esitatud uuringud ei sisalda mõõdetud latentsuse ega kvaliteedi võrdlusi.
Kompromiss seisneb selles, et tegemist on spetsialiseeritud embedding-mudeliga. See ei genereeri vestlusvastuseid, kokkuvõtteid, koodi, pilte, heli ega videot. Samuti ei paku see dokumenteeritud arutlus- ega tööriistakutsumise funktsioone. Toimetuse võimekuse hinnangus on arutlus- ja kodeerimisvõime märgitud minimaalseks, sest need ei ole mudeli eesmärgipärased funktsioonid, mitte seetõttu, et teenusepakkuja avaldaks arutlus- või kodeerimisvõime võrdlustesti.
Piirangud ja rakendamisel arvestatavad asjaolud
Fikseeritud 2048-dimensioonilist väljundit ei saa mudeli seadistuse kaudu vähendada ega suurendada. Seetõttu peaksid vektorandmebaasi valivad meeskonnad kontrollima, kas see toetab vastavat dimensiooni, ning kasutama indekseeritud sisu ja päringute puhul järjepidevalt sama embedding-konfiguratsiooni.
Kuigi dokumenteeritud maksimaalne jada pikkus on 32 768 tokenit, sõltuvad videopäringud ka teenusepakkuja piirangutest, mis puudutavad toetatud vorminguid, pikslite koguarvu ja kaadrisagedust. Videotöötluse töövoog peaks need piirangud enne sisu lõpp-punkti saatmist valideerima. Suured või pikad videod võivad vajada ettevalmistamist Tencent Cloudi sisendireeglite kohaselt.
Ka multimodaalne sisend tuleb hoolikalt kavandada. Teksti, piltide ja video kombineerimine loob ühe ühendatud esituse, mis on kasulik siis, kui sisendid kuuluvad kokku, kuid võib olla vähem sobiv juhul, kui rakendus vajab iga komponendi jaoks eraldi otsitavaid vektoreid. Sellisel juhul võib süsteem vajada eraldi päringuid või teistsugust indekseerimislahendust.
Ainult teksti hõlmava otsingu puhul võib spetsiaalne tekstembeddingu mudel olla sobivam. Kinfra-VL-Embedding-2b on kõige kasulikum siis, kui otsinguülesanne hõlmab ristmodaalset võrdlust või video mõistmist. Seda ei tohiks valida lihtsalt seetõttu, et rakendus kasutab vektoreid; ainult tekstipõhiste andmete korral võib kitsama fookusega tekstimudel olla lihtsam ja soodsam.
Millal valida Kinfra-VL-Embedding-2b?
Vali Kinfra-VL-Embedding-2b siis, kui rakendus vajab teksti, piltide ja video jaoks ühist esitust, eriti latentsustundlikus otsinguteenuses. See sobib hästi näiteks järgmisteks kasutusjuhtudeks:
- ristmodaalne toodete või meedia otsing;
- loomulikus keeles päringutel põhinev videoavastus;
- suure päringumahuga multimodaalsed otsingusüsteemid;
- soovituste või dubleerimise tuvastamise töövood, kus võrreldakse erinevaid sisutüüpe; ja
- meeskonnad, kes kasutavad Tencent Cloud TokenHubi ja soovivad fikseeritud 2048-dimensioonilist embedding-liidest.
Kaalu mõnda muud lahendust siis, kui töökoormus hõlmab ainult teksti, nõuab genereeritud vastuseid, sõltub tööriista- või funktsioonikutsungutest või vajab iseseisvalt seadistatavaid vektordimensioone. Suuremat Kinfra-VL-Embedding-8b mudelit võib olla mõistlik hinnata siis, kui prioriteet on võrdlus Tencenti suurema jõudlusega multimodaalse võimalusega, mitte kergema 2b variandi kasutamine. Esitatud uuringud ei sisalda otsest kvaliteedi- ega latentsusvõrdlust, mistõttu tuleks seda otsust valideerida rakendusele tüüpiliste andmetega.
Kokkuvõte
Kinfra-VL-Embedding-2b on Tencenti fokuseeritud mudel multimodaalseks otsinguks. See teisendab teksti, pildid ja video normaliseeritud 2048-dimensioonilisteks vektoriteks, toetab kuni 32 768 tokeni pikkuseid jadasid ning hinnastab kasutust sisendmodaalsuse alusel. Mudeli väärtus seisneb ristmodaalse toe ühendamises kerge ja kiirusele suunatud juurutusprofiiliga. Sama selged on ka piirangud: tegemist ei ole generatiivse assistendiga, väljundi suurus on fikseeritud ning videotöövood nõuavad tähelepanu teenusepakkuja sisendipiirangutele ja modaalsusepõhisele kõrgemale hinnale.