Kinfra-Text-Embedding-4b

Mida Kinfra-Text-Embedding-4b teeb

Kinfra-Text-Embedding-4b on Tencent Cloudi kaudu pakutav tekstivektorite mudel. Selle asemel et vastata viibale vastusega, teisendab see teksti arvuliseks esituseks, mida nimetatakse embedding'uks ehk vektorrepresentatsiooniks. Sarnase tähendusega tekstid võivad vektorandmebaasis või sarnasusarvutuses anda lähestikku paiknevad vektorid isegi siis, kui neis kasutatakse erinevaid sõnu.

Näiteks võib teadmistebaasi rakendus teisendada vektoriteks nii kliendi küsimuse kui ka hulga tugidokumente. Semantilise otsingu süsteem leiaks seejärel dokumendid, mille tähendus on küsimusega seotud, ega toetuks ainult täpsetele märksõnavastetele. Leitud tekstilõigud võiks hiljem edastada eraldi generatiivsele mudelile, kuid Kinfra-Text-Embedding-4b ise ei ole lõpliku vastuse kirjutamise komponent.

Mudel on Tencenti Kinfra embedding'u tootevaliku ainult teksti töötlev liige. Dokumentatsiooni kohaselt on sisendiks tekst, mitte pildid, heli või video, ning väljundiks on ujukomavektoritest koosnev embedding, mitte loomulikus keeles tekst.

Kinfra-Text-Embedding-4b koht Tencent Cloudi valikus

Tencent Cloud loetleb Kinfra-Text-Embedding-4b praegu saadaoleva mudelina, mida saab kasutada TokenHubi ja Tencent Cloudi embeddings API kaudu. Teenuse kanooniline identifikaator on kinfra-text-embedding-4b. Teenus kasutab OpenAI-ga ühilduvat embeddings-päringu ja -vastuse struktuuri, mis võib vähendada integreerimistööd rakendustes, mis on juba üles ehitatud selle üldise liidese ümber. Ühilduvust API-vorminguga ei tohiks segi ajada vestluse lõpetamise, tööriistakutsete või teksti genereerimise toega; mudel on endiselt embedding'u teenus.

Kinfra perekonnas on 4b mudel paigutatud suurema tekstivektorite mudelina, mis on mõeldud kõrge semantilise kvaliteedi ja sügavama teksti mõistmise jaoks. Esitatud dokumentatsioon ei sisalda võrdlustabelit teiste Kinfra mudelitega, mistõttu tuleks väiteid selle suhtelise täpsuse kohta käsitleda Tencenti tootepositsioneerimisena, mitte sõltumatult kontrollitud pingereana.

Kontrollitud tehnilised andmed

32 000 tokeni suurune konteksti näitaja kirjeldab mudeli dokumenteeritud kontekstivõimekust, samal ajal kui API dokumentatsioon sätestab eraldi ühe sisendstringi piiranguks 2000 märki. Praktikas peaks rakendus järgima rangemat päringutaseme reeglit ja jagama pikad dokumendid enne nende vektoriteks teisendamist osadeks. 2000 märgile vastav täpne tokenite arv sõltub keelest ja teksti sisust, mistõttu ei tohiks märgipiirangut käsitleda otsese tokenite teisendusena.

Esitatud mudeliandmete kohaselt ei saa väljundi dimensiooni kohandada. Seetõttu tuleb vektorandmebaasi indeks, sarnasuspõhise otsingu teostus ja kõik järgnevad masinõppemudelid seadistada täpselt 2560 väärtusele vektori kohta.

Keeled ja toetatud modaalsused

Tencent Cloud dokumenteerib toe enam kui 30 levinud keelele. Uuringus loetletud näited hõlmavad hiina, inglise, jaapani, korea, prantsuse, saksa, vene, portugali ja hispaania keelt. See muudab mudeli sobivaks mitmekeelsete otsingusüsteemide, eri keeli hõlmavate teadmistebaaside ja organisatsioonide jaoks, mille dokumendid ning kasutajapäringud on mitmes suuremas keeles. Dokumentatsioon ei esita keelte kaupa kvaliteedipingerida, mistõttu peaksid meeskonnad jõudlust kontrollima oma terminoloogia, valdkondade ja keelepaaride põhjal.

Kinfra-Text-Embedding-4b võtab vastu teksti ja tagastab embedding'u vektorid. See ei toeta natiivina pildi-, heli- ega videosisendit ning ei loo esmase väljundina teksti, pilte, heli, videot ega muusikat. Seega ei ole tegemist multimodaalse mõistmise mudeli ega generatiivse mudeliga. Kui rakendus peab otsima piltide ja teksti hulgast, on vaja eraldi multimodaalset embedding'u süsteemi või täiendavat töötlusvoogu; esitatud uuringus ei nimetata selleks konkreetset Tencenti alternatiivi.

Hinnastamine ja API kasutamine

Tencent Cloudi rahvusvahelisel hinnalehel on Kinfra-Text-Embedding-4b hinnaks märgitud 0,084 USA dollarit miljoni sisendtokendi kohta. Hiina TokenHubi hinnalehel on hinnaks märgitud 0,6 RMB-d miljoni sisendtokendi kohta. Need on piirkonnapõhised hinnad ning kohaldatav summa võib sõltuda Tencent Cloudi piirkonnast, kontost ja teenuse konfiguratsioonist. Mudeli eest võetakse tasu sisendtokenite alusel; genereeritud teksti eest eraldi hinda ei ole, sest vastuseks on embedding'u vektor.

API võtab vastu ühe tekstistringi või tekstistringide massiivi. Tüüpilise andmete sisestamise töövoo puhul jagatakse dokumendid sobiva suurusega osadeks, saadetakse need dokumenteeritud päringusoovitusi järgides pakettidena, salvestatakse tagastatud 2560-dimensioonilised vektorid ning hiljem teisendatakse sama mudeli abil vektoriks ka kasutaja päring, enne kui käivitatakse sarnasuspõhine otsing.

OpenAI-ga ühilduv päringu- ja vastusevorming võib integreerimiskihis teisaldatavuse jaoks kasulik olla. See ei taga siiski, et kõik teise teenusepakkuja SDK funktsioonid on saadaval; päringupiirangute, autentimise, piirkondliku kättesaadavuse ja töökorralduse puhul jääb autoriteetseks Tencent Cloudi dokumentatsioon.

Peamised tugevused ja kompromissid

• Suure dimensiooniga fikseeritud vektorid: 2560-dimensiooniline väljund pakub indekseerimiseks ja võrdlemiseks ühtlase suurusega esitust. Kompromiss on see, et salvestus- ja indeksinõuded võivad olla suuremad kui väiksema embedding'u mudeli puhul.
• Mitmekeelne tugi: Rohkem kui 30 keele tugi on kasulik rahvusvahelise otsingu ja dokumendikogude puhul. Tegelik kvaliteet võib keele ja valdkonna järgi erineda, mistõttu on esinduslike andmetega hindamine endiselt oluline.
• Pikk dokumenteeritud kontekst: 32 000 tokeni pikkune kontekst annab mudelile märkimisväärse dokumenteeritud kontekstivõimekuse, kuigi 2000 märgi piirang ühe stringi kohta määrab endiselt üksikute päringute tingimused.
• Kasutuspõhine hinnastamine: Rahvusvahelisel hinnalehel toodud määr 0,084 USA dollarit miljoni sisendtokendi kohta võib muuta mahuka embedding'u loomise majanduslikult atraktiivseks, eriti võrreldes üldotstarbelise generatiivse mudeli kasutamisega otsingu ettevalmistamiseks. Kulude võrdlemisel teiste embedding'u teenustega tuleb arvestada nende piirkondi, kvoote, dimensioone ja arveldusreegleid.
• Spetsialiseeritud töö: Kuna mudel on loodud embedding'ute jaoks, aitab see vältida vestlusmudeli kasutamise tarbetuid kulusid ja keerukust vektorite loomisel. Sama spetsialiseeritus tähendab, et see ei saa vastata küsimustele, kirjutada kokkuvõtteid ega olla lõplike vastuste generaator.

Toimetuse andmed hindavad mudelit kiiruse ja hinna poolest soodsalt: võrdlushinnang on kiirusele 8 ja hinnale 9. Need on toimetuse hinnangud, mitte Tencenti avaldatud võrdlustulemused ega garantiid. Esitatud uuring ei sisalda sõltumatuid latentsuse, saagise, läbilaskevõime ega kvaliteedi võrdlustulemusi.

Parimad kasutusjuhud

• Semantiline otsing: Asjakohaste dokumentide leidmine siis, kui päringus ja dokumendis kasutatakse erinevat sõnastust, kuid väljendatakse seotud ideid.
• Otsinguga täiendatud genereerimine: Otsingukihi loomine, mis leiab eraldi keelemudeli jaoks konteksti pakkuvad tekstilõigud.
• Ettevõtte teadmistebaasid: Eeskirjade, juhendite, tootedokumentatsiooni ja sisemiste dokumentide indekseerimine tähenduspõhiseks otsinguks.
• Mitmekeelne otsing: Otsing hiina, inglise, jaapani, korea ja teistes toetatud keeltes, tingimusel et tulemuslikkust kontrollitakse organisatsiooni andmetel.
• Sarnasuse ja duplikaatide tuvastamine: Dokumentide, piletite, küsimuste või tootekirjelduste võrdlemine vektoritevahelise kauguse abil.
• Tekstiklassifitseerimise tugi: Embedding'ute kasutamine tunnustena järgmise etapi klassifikaatoris või rühmitussüsteemis.
• Semantiline klasterdamine: Suurte kogude korraldamine tähenduse, mitte täpsete terminite alusel.

Otsingusüsteemi puhul on järjepidev eeltöötlus oluline. Rakendus peaks kasutama sobivat osadeks jagamise strateegiat, säilitama kasulikud metaandmed, näiteks dokumendiidentifikaatorid ja juurdepääsuõigused, ning rakendama indekseeritud sisule ja saabuvatele päringutele sama embedding'u mudelit. Need rakenduslikud valikud ei ole mudeli spetsifikatsioonid, kuid mõjutavad otseselt loodava otsingusüsteemi kasulikkust.

Millal valida Kinfra-Text-Embedding-4b

Vali see mudel siis, kui peamine vajadus on kvaliteetne tekstiesitus mitmekeelse otsingu, info leidmise või sarnasuspõhiste töövoogude jaoks ning fikseeritud 2560-dimensiooniline indeks on sobiv. See on eriti asjakohane juhul, kui rakendus kasutab juba Tencent Cloudi TokenHubi, vajab loetletud piirkondlikku hinnastamist või saab kasu OpenAI-ga ühilduvast embeddings-liidesest.

Väiksem või odavam embedding'u lahendus võib olla sobivam juhul, kui salvestusruum, mälu, indekseerimiskiirus või päringu latentsus on olulisem kui Tencenti positsioneerimisest tulenev semantiline võimekus. Esitatud uuringus ei nimetata väiksemat sama perekonna mudelit ega esitata võrdlustulemusi, mistõttu tuleks valik teha testimise, mitte eeldatavate tulemuste põhjal.

Generatiivne keelemudel on sobivam siis, kui rakendus peab vastama küsimustele, koostama kokkuvõtteid, kirjutama koodi, lahendama ülesandeid või genereerima klientidele mõeldud teksti. Kinfra-Text-Embedding-4b võib sellise süsteemi otsingukihti toetada, kuid ei asenda genereerivat mudelit. Multimodaalne mudel on sobivam siis, kui lähteandmed sisaldavad pilte, heli või videot, sest selle mudeli dokumenteeritud sisend on ainult tekst.

Piirangud, mida enne juurutamist kontrollida

• Väljundi dimensioon on fikseeritud 2560-le, mistõttu ei saa mõne muu vektorisuuruse jaoks loodud olemasolevaid indekseid ilma ühilduva üleviimise või eraldi indeksita taaskasutada.
• Dokumentatsiooni kohaselt on iga sisendstringi pikkus piiratud 2000 märgiga ning API soovitab ühes päringus kasutada kuni 128 stringi. Pikkade dokumentide sisestamine nõuab seetõttu läbimõeldud osadeks jagamist ja pakktöötlust.
• Mudel ei genereeri sidusat teksti ning dokumenteeritud andmetel ei toeta see vestlust, arutlemist, koodi loomist, veebiotsingut, tööriistakutseid ega funktsioonikutsungeid.
• Teadmiste lõppkuupäeva ei ole dokumenteeritud. See on embedding'u mudeli puhul üldiselt vähem keskne kui faktipõhise genereeriva mudeli puhul, kuid tähendab, et teenusepakkuja ei ole esitanud kuupäeva, mida saaks kasutada andmete värskuse garantiina.
• Esitatud uuring ei kinnita peenhäälestuse, pakktöötlus-API, vahemällu salvestamise ega kohandatava väljundidimensiooni olemasolu. Süsteemi kavandamisel ei tohiks neid võimalusi eeldada.
• Hinnastamine ja kättesaadavus võivad Tencent Cloudi piirkonna ja konto konfiguratsiooni järgi erineda. Enne tootmiskulude prognoosimist tuleb kohaldatavad ärilised tingimused üle kontrollida.

Kokkuvõttes tuleks Kinfra-Text-Embedding-4b-d käsitleda spetsialiseeritud otsingukomponendina: see on mitmekeelne tekstist vektoriks teisendav mudel, millel on suur fikseeritud väljund ja dokumenteeritud pikk kontekst, mitte üldotstarbeline tehisintellektiassistent. Selle väärtus sõltub sellest, kas saavutatud semantiline kvaliteet ja keelekate õigustavad 2560-dimensiooniliste vektoritega seotud salvestus-, indekseerimis- ja integreerimisnõudeid.