Mis on text-embedding-v3?
text-embedding-v3 on Alibaba Cloud Model Studio kaudu pakutav ja Tongyi Labi arendatud tekstivektorite mudel. See teisendab teksti vektoriks ehk arvude loendiks, mis esindab teksti tähenduse eri aspekte. Tarkvara saab neid vektoreid võrrelda, et leida tähenduslikult sarnaseid lõike, dokumente, päringuid või kasutajate huvisid isegi siis, kui neis ei kasutata täpselt samu sõnu.
See erineb vestluslikust keelemudelist. text-embedding-v3 ei ole mõeldud eelkõige selgituste kirjutamiseks, dokumentide kokkuvõtmiseks ega küsimustele vastamiseks. Tavaliselt saadab rakendus tekstile mudelisse, salvestab saadud vektori vektorandmebaasi ja võrdleb hiljem päringuvektorit salvestatud vektoritega. Näiteks RAG-süsteemis saab kõige sarnasemad lõigud välja otsida ja edastada eraldi generatiivsele mudelile.
Mudel kuulub Alibaba Cloudi Qwen3-Embeddingi perekonda. Pakkuja praeguse positsioneerimise kohaselt on text-embedding-v3 endiselt kasulik olemasolevate juurutuste ja indeksite jaoks, samas kui uute tekstiotsingu- ja RAG-juurutuste puhul soovitatakse võimaluse korral kasutada text-embedding-v4.
Põhispetsifikatsioonid ja toetatud modaalsused
| Spetsifikatsioon | text-embedding-v3 |
|---|---|
| Pakkuja | Alibaba Cloud Model Studio |
| Mudeli tüüp | Tekstivektorite mudel |
| Sisend | Tekst |
| Väljund | Vektor-esitus |
| Sünkroonse sisendi maksimum | 8,192 tokenit |
| Toetatud keeled | Rohkem kui 50 peamist keelt |
| Toetatud dimensioonid | Vaikimisi 1,024; saadaval on ka 768 või 512 |
| Pildi-, heli- ja videosisend | Ei ole toetatud |
| Genereeritud teksti-, pildi-, heli- või videoväljund | Ei ole toetatud |
8,192 tokeni piirang kehtib sünkroonse vektoriseerimise API vastu võetavale sisendile. Token on teksti töötlemiseks kasutatav ühik, milleks võib olla terve sõna, sõnaosa, kirjavahemärk või muu keelespetsiifiline üksus. Seetõttu tuleb pikad dokumendid enne vektoriseerimist väiksemateks lõikudeks jagada. Tükeldamine on kasulik ka otsingul, sest otsingusüsteemid toimivad üldjuhul paremini siis, kui üksikud vektorid esindavad keskendunud lõike, mitte terveid raamatuid või suuri omavahel mitteseotud materjalikogumeid.
Vektorite dimensioonid mõjutavad salvestusruumi ja sarnasuseotsingu kulusid. Vaikimisi kasutatav 1,024-dimensiooniline esitus võib säilitada rohkem üksikasju, samas kui 768 ja 512 dimensiooni vähendavad salvestatud vektorite mahtu. Sobiv valik sõltub indeksi ülesehitusest ja rakenduse ühilduvusnõuetest. Olemasoleva indeksi dimensioonide muutmine eeldab üldjuhul indekseerimisplaani, sest erineva dimensiooniga vektoreid ei saa lihtsalt samas võrdlustöövoos segamini kasutada.
Milleks text-embedding-v3 sobib
- Semantiline otsing: Kasutaja päringu ja dokumentide sobitamine tähenduse, mitte täpsete märksõnade kattuvuse alusel.
- Otsinguga täiendatud genereerimine: Asjakohaste lõikude leidmine enne seda, kui eraldi keelemudel vastuse genereerib.
- Soovitused: Sisu, toodete või kasutajate huvide esitamine vektoritena ja nendevaheliste seoste võrdlemine.
- Klasterdamine: Dokumentide või muude tekstielementide rühmitamine semantilise sarnasuse alusel ilma ette määratud siltideta.
- Klassifitseerimine: Vektorite kasutamine tunnustena järgmise etapi klassifikaatoris või sarnasusel põhinevas kategoriseerimissüsteemis.
- Mitmekeelne otsing: Teksti vektoriseerimine rohkem kui 50 peamises keeles rakenduste jaoks, mis vajavad keelteülest või mitmekeelset otsingut.
Lihtsa dokumendiotsingu töövoo korral saab rakendus jagada dokumendid lõikudeks, saata need vektoriseerimiseks ja salvestada tagastatud vektorid koos algse teksti ning metaandmetega. Kui kasutaja esitab päringu, vektoriseerib rakendus päringu sama mudeli abil ja otsib lähedasi salvestatud vektoreid. Seejärel saab leitud lõigud otse kuvada või edastada generatiivsele mudelile.
Tugevused ja praktilised kompromissid
text-embedding-v3 kõige olulisem tugevus ei ole teksti genereerimine ega tööriistade kasutamine, vaid selle keskendunud roll mitmekeelse vektoriseerimismudelina. Dokumenteeritud keelevalik ja 8,192-tokenine sisendimaht muudavad selle sobivaks paljudele tavapärastele otsingu- ja otsingutäienduse töövoogudele. Kohandatavad dimensioonid annavad arendajatele võimaluse valida vaikimisi esituse ja väiksemate vektorite vahel, mis võivad vähendada salvestus- ja indekseerimiskulusid.
Ühilduvus on veel üks oluline põhjus selle kasutamiseks. Alibaba Cloud kirjeldab text-embedding-v3 mudelit sobivana olemasolevate v3-vektoriindeksite haldamiseks. Kui rakendusel on juba selle mudeliga loodud tootmiskeskkonna indeks, võib sama mudeli kasutamise jätkamine vältida dokumentide uuesti vektoriseerimist, indeksite taastamist, otsingukvaliteedi valideerimist ja teenusteülese migratsiooni koordineerimist.
Kompromiss seisneb selles, et pakkuja soovitab uute tekstiotsingu- ja RAG-juurutuste jaoks text-embedding-v4 mudelit. See ei tähenda, et text-embedding-v3 oleks kasutuskõlbmatu, kuid nullist alustavad meeskonnad peaksid enne v3-põhisele indeksile pühendumist uuemat võimalust võrdlema. Kaasasolev uuring ei esita arvulist võrdlust selle kohta, kui palju üks mudel teisest paremini toimib, seega ei tohiks kvaliteedierinevust eeldada ilma rakenduse enda andmetega testimata.
Toimetuslikus hinnangus saab see mudel vektoriseerimise töökoormuste eest kiiruse hindeks 8 punkti 10-st ja kuluhindeks 8 punkti 10-st. Need on käesoleva ülevaate võrdlevad hinnangud, mitte Alibaba Cloudi antud hinded ega avaldatud võrdlustulemused. Need peegeldavad mudeli keskendunud vektoriseerimisrolli ja madalat avaldatud tokenihinda, kuid tegelik läbilaskevõime ja kogukulu sõltuvad päringu suurusest, piirkiirustest, indeksi salvestusest, andmebaasi taristust ja rakenduse ülesehitusest.
Hinnakujundus ja piirkiirused
Singapuri rahvusvahelise juurutuse puhul on avaldatud hinnaks 0,07 dollarit 1 miljoni sisendtokeni kohta. Väljund on märgitud tasuta. Alibaba Cloud dokumenteerib kaasasolevas hinnauuringus ka 500 000 tokeni suuruse tasuta kvoodi. Hinnakujundus võib sõltuda juurutusest või piirkonnast, seega peaksid kasutajad enne tootmiskasutust kontrollima kehtivat Model Studio hinnakirja.
Mudeli kohta esitatud rahvusvahelised piirkiirused on 6 000 päringut minutis ja 24 000 000 tokenit minutis. Need piirangud on ühised operatiivsed tingimused, mitte garantii, et iga päring lõpetatakse sama kiirusega. Suuri andmete sisestamise töökoormusi töötlevad rakendused peaksid koondama töö vastavalt dokumenteeritud API käitumisele, jälgima piirkiiruse ületamist ja kavandama piirkiiruse vastustele sobiva korduskatsete käsitluse.
Kuna vektoriseerimise hind põhineb sisendtokenitel, mõjutab dokumentide tükeldamine otseselt kulu. Väga väikesed lõigud võivad suurendada päringute arvu ja tekitada rohkem salvestatavaid vektoreid, samas kui väga suured lõigud võivad muuta otsingu ebatäpsemaks ja läheneda 8,192-tokenisele sisendipiirile. Praktiline ülesehitus peaks tasakaalustama otsingukvaliteeti, tokenikasutust, päringute mahtu ja vektorandmebaasi kulusid.
Piirangud ja toetamata võimalused
text-embedding-v3 võtab vastu teksti ja tagastab vektor-esitused. See ei ole multimodaalne vektoriseerimissüsteem: esitatud spetsifikatsioonid ei toeta pildi-, heli- ega videosisendit. Samuti ei ole see mõeldud teksti genereerimiseks, mistõttu ei tohiks seda valida vestlusroti vastuste kirjutamise, kokkuvõtete koostamise või mitmeastmeliste juhiste järgimise eest vastutavaks komponendiks.
Dokumenteeritud võimekuslippude järgi ei ole toetatud tööriistade kasutamine, funktsioonikutsete tegemine, veebiotsing, struktureeritud väljundid, konteksti vahemällu salvestamine, pakktöötlus ega peenhäälestus. Seega ei ole toetatud funktsioonikutsete ega veebiotsingu töövoogu, mida saaks otse selle mudeliga ühendada. Rakendus võib kombineerida selle vektoreid muude teenuste, andmebaaside või keelemudelitega, kuid need võimalused kuuluvad ümbritsevasse süsteemi, mitte text-embedding-v3 mudelisse endasse.
Uuringus ei esitata mõtlemis- ega kodeerimishindeid ning need ei ole vektoriseerimismudeli peamised asjakohased mõõdikud. Mudelit ei tohiks hinnata mõtlemis- ega koodigenereerimise mudelina. Samuti ei esita uuring eraldi teadmiste lõppkuupäeva; vektoriseerimismudelid teisendavad neile antud sisendit ega vasta avaldatud vestlusliku teadmiste lõppkuupäeva põhjal.
Millal valida text-embedding-v3?
Vali text-embedding-v3 siis, kui rakendus kasutab juba v3-vektoreid ja indeksi ühilduvuse säilitamine on mudeli vahetamisest väärtuslikum. See sobib ka juhul, kui rakendus vajab mitmekeelset teksti vektoriseerimist, semantilist otsingut, RAG-otsingut, soovitusi, klasterdamist või klassifitseerimist ning dokumenteeritud 8,192-tokenine piirang ja toetatud dimensioonid vastavad selle nõuetele.
See võib olla eriti praktiline väljakujunenud töövoo puhul, kus suure korpuse uuesti vektoriseerimine tekitaks migratsiooniriski või tegevuskulu. Sama mudeli kasutamine nii salvestatud dokumentide kui ka saabuvate päringute jaoks väldib samuti vajadust indeks kohe uuesti üles ehitada.
Uue tekstiotsingu- või RAG-süsteemi loomisel kaalu selle asemel text-embedding-v4 mudelit, sest Alibaba Cloud soovitab seda praegu uute juurutuste jaoks. Kaasasolev uuring ei sisalda võrdlevat hinnainfot ega võrdlusmõõtmisi, mistõttu tuleks otsust kontrollida tüüpiliste dokumentide, päringute, keelte, latentsusnõuete ja kuluhinnangutega. Uue indeksi puhul võib eelistada uuemat mudelit, samas kui olemasoleva indeksi korral võib text-embedding-v3 olla väiksema häirega valik.
Kokkuvõte
text-embedding-v3 on keskendunud mitmekeelne teksti-vektoriks teisendamise mudel, mitte üldotstarbeline vestluslik tehisintellektisüsteem. Selle dokumenteeritud 8,192-tokenine sisendimaht, enam kui 50 peamise keele tugi, kohandatavad vektoridimensioonid ja madal rahvusvaheline sisendihind muudavad selle sobivaks tavapärastele otsingu- ja sarnasusel põhinevatele töökoormustele. Alibaba Cloudi praeguses tootekataloogis on selle kõige selgem roll ühilduvuse tagamine: see on endiselt kasulik olemasolevate v3-vektoriindeksite puhul, samas kui uued projektid peaksid enne pikaajaliselt kasutatava indeksi loomist hindama pakkuja soovitatud text-embedding-v4 mudelit.