Mis on Kinfra-Text-Embedding-0.6b?
Kinfra-Text-Embedding-0.6b on Tencent Cloudi pakutav tekstivektorite mudel. Vestlusvastuse loomise asemel teisendab see sisendteksti kindla pikkusega arvuliseks esituseks, mida nimetatakse vektoriks (embedding). Iga väljund sisaldab 1 024 dimensiooni. Rakendused saavad neid vektoreid võrrelda semantilise sarnasuse hindamiseks, seotud sisu leidmiseks, dokumentide rühmadesse jaotamiseks või teksti klassifitseerimiseks.
Seetõttu sobib mudel pigem otsingu- ja masinõppesüsteemide komponendiks kui üldotstarbeliseks vestlusrobotiks. Näiteks võib teadmuspõhine rakendus teisendada vektoriteks nii kasutaja küsimuse kui ka talletatud dokumendid ning leida seejärel dokumendid, mille vektorid on küsimuse omadele kõige lähemal. Otsingu abil täiendatud genereerimise süsteem (retrieval-augmented generation) võib kasutada neid tulemusi eraldi keelemudeli kontekstina.
Mudeli identifikaator Tencent Cloudi TokenHubis on kinfra-text-embedding-0.6b. Tencent positsioneerib seda kerge mudelina suuremahulise tekstiotsingu, suure samaaegsete päringute arvuga teenuste ja rakenduste jaoks, kus väiksem latentsus või madalam hind on maksimaalsest semantilisest täpsusest olulisem.
Tehnilised näitajad ja sisendipiirangud
Järgmised on mudeli kohta dokumenteeritud peamised näitajad:
| Näitaja | Dokumenteeritud väärtus |
|---|---|
| Pakkuja | Tencent Cloud |
| Mudeli suurus | Ligikaudu 0,6 miljardit parameetrit |
| Mudeli tüüp | Tekstivektorite mudel |
| Väljund | Fikseeritud 1 024-dimensiooniline vektor |
| Konteksti pikkus | 32 768 tokenit |
| Toetatud keeled | Rohkem kui 30 levinud keelt |
| Kohandatud väljunddimensioonid | Ei ole toetatud |
| Sisendmodaalsus | Tekst |
| Väljundmodaalsus | Arvulised vektorid |
Toetatud keelte hulka kuuluvad muu hulgas hiina, inglise, jaapani, korea, prantsuse, saksa, vene, portugali ja hispaania keel. Mitme keele tugi muudab mudeli sobivaks otsinguandmekogumitele, mis sisaldavad rohkem kui üht keelt, kuigi kaasasolev dokumentatsioon ei kinnita, et selle kvaliteet oleks kõigis toetatud keeltes ühesugune.
Tencent dokumenteerib konteksti pikkuseks 32 768 tokenit, kuid TokenHubi kasutusjuhistes on samuti märgitud, et üks tekstisisend ei tohiks sisaldada rohkem kui 2 000 tähemärki. Need on eri tüüpi piirangud: kontekstispetsifikatsioon kirjeldab mudeli tokenimahtu, samas kui lõpp-punkti juhis on esitatava teksti praktiline päringupiirang. Rakendused peaksid järgima rangemat lõpp-punkti juhist ning jagama pikad dokumendid enne nende vektoriteks teisendamist osadeks või eeltöötlema neid muul viisil.
Tencent soovitab ühe päringu kohta kasutada samuti kuni 128 tekstisisendit. Tagastatava vektori suurus on alati 1 024 dimensiooni; kaasasoleva dokumentatsiooni kohaselt ei saa rakendused konfigureeritava dimensiooniparameetri abil väiksemat ega suuremat väljundit küsida.
Milleks mudel on mõeldud
Kinfra-Text-Embedding-0.6b on eelkõige otsingu- ja teksti esitusmudel. Selle vektorväljundit saab kasutada järgmistel eesmärkidel:
- Semantiline otsing: leida päringu tähendusele vastavaid lõike ka siis, kui neis ei kasutata täpselt samu sõnu.
- Suuremahuline dokumendiotsing: indekseerida suuri kogusid teadmuspõhiste rakenduste, ettevõtteotsingu või sisu avastamise jaoks.
- Korduma kippuvate küsimuste sobitamine: võrrelda uut küsimust varem koostatud küsimuste ja vastustega.
- Klasterdamine: rühmitada dokumente, tugipileteid või kasutajapäringuid semantilise sarnasuse alusel.
- Klassifitseerimine: kasutada vektoreid teksti kategooriatesse liigitamise tunnustena.
- Sarnasuse arvutamine: mõõta dokumentide, päringute või muude tekstikirjete vahelisi seoseid.
- Otsingu abil täiendatud genereerimine: edastada leitud asjakohane tekst eraldi genereerivale mudelile.
Mudel ise loomulikus keeles vastust ei genereeri. Tüüpiline otsingutöövoog hõlmab seetõttu teksti eeltöötlust, vektorite genereerimist, vektorindeksi loomist, sarnasuse otsingut ja soovi korral eraldi vastuse genereerimise etappi. Selline eraldatus võimaldab rakendusel kasutada Kinfra-Text-Embedding-0.6b-d soodsaks otsinguks ning jätta lõplike vastuste koostamise suuremale keelemudelile.
Juurdepääs TokenHubi kaudu ja hinnastamine
Tencent pakub mudelit TokenHubi OpenAI-ga ühilduva vektorite lõpp-punkti kaudu aadressil https://tokenhub.tencentmaas.com/v1/embeddings. Päringus tuleb esitada mudeli identifikaator ning kas üks tekstistring või tekstistringide massiiv. Ühilduvuskiht võib lihtsustada integreerimist rakendustes, mis kasutavad juba levinud vektoripäringute vormingut, kuid see ei muuda mudeli väljunditüüpi ega dokumenteeritud sisendipiiranguid.
Tencenti avaldatud hinnakirja järgi maksab Kinfra-Text-Embedding-0.6b 0,07 dollarit miljoni tekstisisendi tokeni kohta. Esitatud hinnainfo määrab tasu tekstisisendi eest ega loetle tagastatavate vektorite eest eraldi väljundtokenite tasu. Täieliku otsingusüsteemi tegelik maksumus võib siiski hõlmata salvestusruumi, vektorindekseerimist, võrguliiklust ja vastuste genereerimiseks kasutatavat eraldi mudelit.
Selle hinna juures on mudel mõeldud sagedasteks vektoripäringuteks ja suurte kogude töötlemiseks. Meeskonnad peaksid siiski hindama tokenite mahtu oma dokumentide ja päringuliikluse põhjal. Muutmata sisu tarbetu korduv vektoriteks teisendamine, liiga suurte tekstilõikude saatmine või kallima mudeli kasutamine iga tavapärase päringu korral võib suurendada kulusid, parandamata otsingukogemust samas proportsioonis.
Tugevused ja kompromissid
Kinfra-Text-Embedding-0.6b peamine tugevus on suhteliselt väikese mudeli suuruse, laia keeletoe, fikseeritud vektoriväljundi ja madala avaldatud sisendhinna tasakaal. 1 024-dimensiooniline väljund on paljude semantilise otsingu süsteemide jaoks piisavalt suur, jäädes samal ajal indeksi kavandamise ja salvestusmahu planeerimise seisukohalt prognoositavaks. Fikseeritud suurus lihtsustab ka juurutamist, sest igal kirjel on sama kujuga vektor.
Ligikaudu 0,6 miljardi parameetriga mudeli suurus on oluline jõudluse ja latentsuse suhtes tundlikes juurutustes. Tencent esitleb mudelit eelkõige suure samaaegsete päringute arvuga ja kulutundlike töökoormuste jaoks. Need on pakkuja positsioneerimisväited, mitte kindla vastamisaja garantii: tegelik jõudlus sõltub teenuse koormusest, päringu suurusest, pakettide kaupa töötlemisest, võrgutingimustest ja kasutatavast vektorandmebaasist.
Peamine kompromiss puudutab vektorite kvaliteeti. Tencenti avaldatud CMTEB-võrdluses saab Kinfra-Text-Embedding-0.6b Mean(Task) skooriks 66,64 ja otsingu skooriks 71,01. Esitatud uurimuse kohaselt saavutab suurem Kinfra-Text-Embedding-4b nende näitajate puhul kõrgema tulemuse. See toetab selget eristust: 0.6b mudel eelistab tõhusust, samas kui suurem sõsarmudel võib olla sobivam juhul, kui otsingukvaliteet on kulust või latentsusest tähtsam.
Mudelil puuduvad ka konfigureeritavad väljunddimensioonid. Mõne muu vektorilaiuse järgi kavandatud süsteemid peavad kas oma indeksit kohandama või valima teise vektorimudeli. Dokumenteeritud väljund on vektor, mitte tekst, pilt, heli ega video, mistõttu ei saa see asendada genereerivat, nägemis-, kõne- või multimodaalset mudelit.
Arutlus-, programmeerimis- ja tööriistavõimekus
Kinfra-Text-Embedding-0.6b ei ole mõeldud arutlevaks dialoogiks, koodi genereerimiseks ega autonoomseks tööriistade kasutamiseks. See võtab vastu teksti ja tagastab vektorid; loomulikus keeles lõpetusi see ei tagasta, ei toeta pildi- ega helisisu mõistmist ning selle kohta ei ole dokumenteeritud funktsioonikutsete töövoogu. Seetõttu ei ole sellel genereeritava vastuse jaoks praktilist iseseisvat maksimaalse väljundtokenite arvu seadistust.
Toimetuslikud võimekuse hinnangud peavad selle sobivust arutluseks ja programmeerimiseks minimaalseks, sest need ülesanded eeldavad genereeritavat väljundit, mida see mudel ei paku. Need on toimetuslikud hinnangud, mitte pakkuja avaldatud võrdlustulemused. Mudelit saab siiski kasutada arutlus- või programmeerimissüsteemide taustal, näiteks asjakohase programmeerimisdokumentatsiooni või varasemate tugijuhtumite leidmiseks, kuid tegeliku selgitamise, koodi genereerimise või otsustamise peab tegema teine mudel.
Millal seda mudelit valida
Vali Kinfra-Text-Embedding-0.6b siis, kui rakendus vajab suurt hulka tekstivektoreid ja kasulikud on järgmised omadused:
- Madal avaldatud sisendhind on oluline.
- Suur päringumaht või latentsustundlik otsing eelistab kerget mudelit.
- Fikseeritud 1 024-dimensiooniline vektor sobib kavandatud vektorindeksiga.
- Andmed sisaldavad mitut dokumenteeritud enam kui 30 levinud keelest.
- Töökoormus hõlmab semantilist otsingut, korduma kippuvate küsimuste sobitamist, klasterdamist, klassifitseerimist või teadmuspõhist otsingut, mitte vastuste genereerimist.
- Rakendus suudab järgida ühe sisendi 2 000 tähemärgi juhist ja soovitust kasutada ühe päringu kohta kuni 128 sisendit.
See võib olla eriti mõistlik lähtekoht suure mahuga otsingusüsteemile, mille puhul saab otsingukvaliteeti hinnata süsteemi enda päringute abil. Esinduslikel andmetel testimine on oluline, sest odav ja kiire mudel võib siiski sobimatuks osutuda, kui leidmata tulemused põhjustavad suuri ärikulusid.
Millal võib teine valik olla sobivam
Kaalu Tencenti suuremat mudelit Kinfra-Text-Embedding-4b juhul, kui esitatud CMTEB-võrdlus ja rakenduse enda hindamine näitavad, et parem otsingukvaliteet õigustab suuremaid kulusid, latentsust või ressursikulu. 0.6b mudel ei ole iga otsinguülesande jaoks automaatselt parim valik lihtsalt seetõttu, et selle sisendhind on madal.
Genereeriv keelemudel on sobivam siis, kui eesmärk on kirjutada vastuseid, teha leitud lõikudest kokkuvõtteid, selgitada koodi või pidada vestlust. Nägemis-, heli- või multimodaalset mudelit on vaja juhul, kui otsitav sisu sisaldab peale teksti ka neid modaalsusi. Mõni teine vektoriteenus võib olla eelistatav siis, kui süsteem vajab teistsugust vektordimensiooni, selle mudeli puhul dokumenteerimata võimekust või sisendi ja väljundi vormingut, mida TokenHubi tekstivektorite lõpp-punkt ei toeta.
Kokkuvõte
Kinfra-Text-Embedding-0.6b on Tencent Cloudi sihipärane vektorimudel, mis teisendab mitmekeelse teksti fikseeritud 1 024-dimensioonilisteks vektoriteks. Selle tugevaim kasutusjuht on suure mahuga semantiline otsing, kus on olulised prognoositav vektori suurus, madal avaldatud sisendhind ja tõhusus. Piirangud on sama selged: mudel ei genereeri vastuseid, väljunddimensioone ei saa kohandada, lõpp-punkti juhiste kohaselt on üksiksisendi pikkus piiratud 2 000 tähemärgiga ja partiis võib olla kuni 128 tekstisisendit ning suurem mudel võib pakkuda paremat otsingukvaliteeti. Meeskondadele, kes neid piire mõistavad, on see praktiline kerge komponent otsingu, soovituste, klassifitseerimise ja otsingu abil täiendatud rakenduste jaoks.