Mis on multimodal-embedding-v1?
multimodal-embedding-v1 on Alibaba Cloud Model Studio platvormi ainult manustusi genereeriv mudel, mille on välja töötanud Tongyi Lab. Vastuse kirjutamise või pildi genereerimise asemel teisendab see mudel sisendi arvuliseks vektoriks. See vektor on sisu tähenduse kompaktne esitus, mida saab salvestada, võrrelda, filtreerida või edastada masinõppesüsteemidele edasiseks töötlemiseks.
Mudel toetab kolme sisendmodaalsust: teksti, pilte ja videoid. Väljundiks on esitatud sisu eraldiseisvad manustused, mitte genereeritud kirjeldus ega üks vestluslik vastus. Kuna toetatud meediatüüpe kujutatakse samas 1 024-mõõtmelises ruumis, saab rakendus kasutada üht modaalsust päringuna ja teist otsingu sihtmärgina, kui esitused on omavahel ühilduvad. Näiteks võib tekstipäringuga otsida visuaalselt seotud pilte või videoid.
Seetõttu sobib multimodal-embedding-v1 eelkõige otsingu- ja indekseerimistorustike spetsialiseeritud komponendiks, mitte üldotstarbeliseks tehisintellekti assistendiks. Mudel ei genereeri teksti, pilte, heli ega videot.
Kus see Alibaba Cloudi kataloogis paikneb?
Alibaba Cloud Model Studio platvormil kuulub multimodal-embedding-v1 manustusmudelite kategooriasse. Mudeli kanooniline identifikaator on multimodal-embedding-v1; kaasasolevas dokumentatsioonis kirjeldatakse seda Tongyi Labi multimodaalse vektormudelina, mitte Qweni kaubamärgi all oleva generatiivse mudelina.
Selle roll on kitsam kui vestlus- või arutlusmudelil. Tüüpiline rakendus võib luua vektorid tootekataloogi, meediateegi või dokumendikogu jaoks ning kasutada seejärel eraldi otsingu-, andmebaasi-, klassifitseerimis- või kasutajaliidese kihti, et muuta need vektorid kasulikuks. Mudel ise ei tagasta silte, soovitusi, vastuseid ega klassifikatsioone.
Toetatud sisendid ja väljund
| Võimekus | Dokumenteeritud käitumine |
|---|---|
| Tekstisisend | Toetatud, maksimaalselt 512 tokenit |
| Pildisisend | Toetatud URL-i või Base64 andme-URI kaudu |
| Videosisend | Toetatud URL-i kaudu |
| Väljund | Tihe manustusvektor |
| Väljundi mõõt | Fikseeritud 1 024 dimensioonile |
| Genereeritud tekst, pilt, heli või video | Ei ole toetatud |
1 024-mõõtmeline väljund on fikseeritud ja seda ei saa API kaudu seadistada. Vektoriandmebaas võib need väljundid salvestada ja võrrelda neid sarnasuse mõõdiku, näiteks koosinussarnasuse abil. Mudel pakub esitused; ümbritsev rakendus vastutab indeksi, sarnasuse meetodi, järjestusloogika ja ärireeglite valimise eest.
Päringupiirangud ja sisu töötlemine
Dokumenteeritud tekstisisendi maksimaalne pikkus on 512 tokenit. Pikem tekst tuleb seega enne manustamist jagada väiksemateks lõikudeks. Lõikudeks jagamine toimub rakenduse tasandil: mudel ei paku pikkade dokumentide jaoks suuremat kontekstiakent.
Mudeli dokumentatsioon kirjeldab päringuid, mis sisaldavad kuni 20 sisuüksust, sealhulgas kuni 1 pilt, 1 video ja 20 tekstikirjet. Mudeli ülevaates on samal ajal märgitud tugi kuni 8 pildile, kusjuures iga pildi suurus on piiratud 3 MB-ga, samas kui API päringupiirangute dokumentatsioon kirjeldab multimodal-embedding-v1 päringut sellisena, mis lubab maksimaalselt ühe pildi ja ühe video. Need kirjeldused ei ole täielikult ühesugused, seega peaksid rakendused järgima konkreetse lõpp-punkti ja Alibaba Cloudi ajakohase dokumentatsiooni kehtestatud piiranguid, mitte eeldama, et iga lõpp-punkt lubab ühes päringus kaheksat pilti.
Video sisestatakse URL-i kaudu. API dokumentatsiooni kohaselt saab pilte esitada URL-i või Base64 andme-URI kaudu. Neid sisendnõudeid tuleb arvestada andmete sisestamise teenuse kavandamisel: teenus peab tegema meedia vastuvõetaval kujul kättesaadavaks, jõustama failisuuruse piirangud ning käsitlema ebaõnnestunud või ligipääsmatuid URL-e enne tagastatud vektorile tuginemist.
Milleks multimodal-embedding-v1 hästi sobib?
Mudeli tugevamad kasutusjuhud on süsteemid, kus eri tüüpi meediat tuleb võrrelda või ühise vektoriesituse abil otsida.
- Tekstist pildini otsing: teisendada tekstipäring vektoriks ja otsida pildiindeksist semantiliselt seotud visuaalset sisu.
- Piltide sarnasus: tuvastada visuaalselt või semantiliselt seotud pilte, võimalikke duplikaate või lähedasi kataloogitooteid.
- Videootsing: indekseerida videote esitused ja leida tekstilise või meediapäringu põhjal asjakohaseid videoklippe.
- Tootekataloogi sobitamine: võrrelda tootekirjeldusi ja tootepilte ühise otsingutöövoo raames.
- Klasterdamine: rühmitada meediat või teksti manustuste sarnasuse põhjal, et kollektsiooni korrastada.
- Edasine klassifitseerimine: kasutada manustusi eraldi klassifikaatori tunnustena, selle asemel et paluda manustusmudelil silte tagastada.
- Soovitused ja sisu korraldamine: kasutada vektorisarnasust ühe signaalina seotud sisu või avastamissüsteemides.
Need on rakendusmustrid, mitte klassifikatsioonid, mida mudel otse tagastab. Tootmissüsteem vajab endiselt vektorisalvestit või indekseerimiskihti, sarnasuse lävendeid, hindamisandmeid ning loogikat ebaselgete või madala kvaliteediga vastete käsitlemiseks.
Peamised tugevused ja kompromissid
multimodal-embedding-v1 keskne tugevus on modaalsuste joondamine. Teksti, pilte ja videoid saab kujutada ühises ruumis, mis võib lihtsustada otsingusüsteeme, kus muidu oleks iga meediatüübi jaoks vaja eraldi otsingumudeleid ja järjestusloogikat. Fikseeritud 1 024-mõõtmeline vorming annab arendajatele ka prognoositava skeemi salvestamiseks ja indekseerimiseks.
Spetsialiseeritus on samal ajal ka kompromiss. Mudelil puudub vestluslik väljund, mistõttu ei saa see selgitada, miks tulemus leiti, videot kokku võtta, kasutajale vastata ega pilti genereerida. Nende ülesannete jaoks on vaja teisi komponente. Samuti ei tagasta mudel iseseisvalt klassifikatsioone; manustuste tõlgendamiseks on vaja klassifikaatorit või reeglipõhist kihti.
Fikseeritud dimensioonide arv võib ühilduvuse seisukohast olla mugav, kuid ei võimalda vektori suurust vähendada väiksema indeksi jaoks ega suurendada potentsiaalselt rikkalikuma esituse saamiseks. 512 tokeni piirangust piisab lühikeste päringute ja lõikude jaoks, kuid mitte terve pika dokumendi manustamiseks ühe päringuga.
Arutlus, kodeerimine ja tööriistade tugi
Selle mudeli arutlus- ja kodeerimistulemusi ei ole avaldatud ning need võimekused ei ole mudeli eesmärk. multimodal-embedding-v1 ei esita nähtavat arutluskäiku, kirjuta koodi mudeli väljundina ega toimi üldotstarbelise programmeerimisassistendina. See teisendab toetatud sisendid vektoriteks.
Kaasasolevate spetsifikatsioonide kohaselt ei ole funktsioonikutsed, struktureeritud väljundid, veebiotsing ega muud tegevuspõhised funktsioonid toetatud. Ka voogedastust ei ole toetatuna loetletud. See eristus on oluline: struktureeritud API-vastuses tagastatav vektor ei ole sama mis struktureeritud väljundi funktsioon valideeritud JSON-i genereerimiseks või tööriistade kutsumiseks.
Hind ja saadavus
Alibaba Cloudi dokumentatsioon loetleb multimodal-embedding-v1 jaoks tasuta prooviperioodi, mitte standardset tasulist tokenipõhist hinda, vähemalt kaasasoleva uuringu põhjal. Kinnitatud arvulist sisendi- ega väljundhinda siin saadaval ei ole, seega tuleks hind enne juurutamist või eelarvestamist üle kontrollida Alibaba Cloud Model Studio ajakohasest hinnadokumentatsioonist.
Mudel on saadaval Hiina (Pekingi) piirkonnas. Piirkondlik saadavus võib mõjutada arhitektuuri, andmete suunamise otsuseid, latentsust ning seda, kas teenus sobib konkreetsete vastavus- või juurutusnõuetega. Kaasasolev uuring ei kinnita saadavust teistes piirkondades.
Millal see mudel valida?
Vali multimodal-embedding-v1 siis, kui peamine vajadus on indekseerida ja võrrelda teksti, pilte ning videoid ühises vektoriruumis, eriti ristmodaalse otsingu või meedia avastamise jaoks. See sobib, kui fikseeritud 1 024-mõõtmeline väljund on vastuvõetav, 512-tokenist tekstipiirangut saab lõikudeks jagamise abil hallata ning töökoormus võib toimida Alibaba Cloud Model Studio Hiina (Pekingi) piirkonnas.
Teine manustusvõimalus võib olla sobivam, kui rakendus vajab seadistatavat vektori dimensioonide arvu, pikemat tekstisisendi piirangut, muud juurutuspiirkonda või ühele modaalsusele spetsialiseerunud mudelit. Generatiivne mudel sobib paremini siis, kui rakendus vajab vastuseid, kokkuvõtteid, selgitusi, koodi või meedia genereerimist. Kui soovitud tulemus on sarnasusevektori asemel silt või järjestatud äriotsus, on vaja eraldi klassifitseerimis- või soovitussüsteemi.
Kokkuvõte
multimodal-embedding-v1 on kõige parem mõista kui spetsialiseeritud vektoriseerimisteenust. See teisendab teksti, pildid ja videod võrreldavateks 1 024-mõõtmelisteks esitusteks ning võib toimida otsingu-, kataloogisobitamise, klasterdamise ja soovituste töövoogude aluseks oleva otsingukihina. Selle väärtus tuleneb ristmodaalsest ühilduvusest ja prognoositavast väljundist, peamised piirangud on aga fikseeritud vektorisuurus, lühike tekstipiirang, piirkondlik saadavus, ainult tasuta prooviperioodi kohta käiv hinnainfo ning generatiivsete, arutlus- ja tööriistakasutuse võimekuste puudumine.