Titan Text Embeddings V2

Mida Titan Text Embeddings V2 teeb

Amazon Titan Text Embeddings V2 teisendab teksti embedding'uks ehk arvude loendiks, mis esindab sisendi tähendust ja seoseid. Sarnase tähendusega tekstid võivad anda üksteisele lähedased vektorid isegi siis, kui neis ei kasutata täpselt samu sõnu.

Seetõttu sobib mudel ühe komponendina suuremas otsingu- või masinõppesüsteemis. Rakendus võib dokumendid indekseerimise ajal vektoriteks teisendada, teisendada vektoriks ka kasutaja otsingupäringu ning võrrelda päringuvektorit vektoriandmebaasis või otsingumootoris talletatud dokumendivektoritega. Mudel loob esitused, kuid järgnev otsingusüsteem teeb sarnasusarvutused ja tagastab vasted.

Mudel on saadaval Amazon Bedrocki kaudu ning selle kanooniline mudeli ID on amazon.titan-embed-text-v2:0. Mõnes AWS-i kataloogis on selle nimetus Titan Embeddings G1 - Text v2. Tegemist on teksti embedding'u mudeliga, mitte vestlusmudeliga, seega on selle peamine väljund vektor, mitte loomulikus keeles vastus.

Koht Amazoni mudelite kataloogis

Titan Text Embeddings V2 kuulub Amazoni Titan-mudelite perekonda ja seda pakutakse hallatava mudeliteenuse Amazon Bedrock kaudu. Selle roll on üldotstarbelise generatiivse mudeliga võrreldes kitsam: see pakub semantilise esituse kihti rakendustele, mis peavad teksti leidma, võrdlema, korrastama või välja otsima.

Seda tuleb AWS-i mudeli valimisel arvesse võtta. Generatiivne mudel võib sobida vastuse koostamiseks pärast asjakohaste dokumentide leidmist, kuid Titan Text Embeddings V2 on mõeldud leidmise ja sobitamise etappi. See ei asenda vektoriandmebaasi, otsinguindeksit, ümberjärjestajat ega vastuseid genereerivat mudelit.

Sisendi ja vektori väljundi näitajad

8 192 tokeni või 50 000 märgi piirang kehtib iga sisestatud teksti kohta. Pikad dokumendid tuleks enne embedding'uks teisendamist üldjuhul jagada loogilisteks osadeks või lõikudeks. Tükeldamine võimaldab otsingusüsteemil tagastada kõige asjakohasema lõigu, selle asemel et käsitleda kogu dokumenti ühe suure ja vähem täpse esitusena.

Rakendused saavad valida 1 024, 512 või 256 dimensiooni. Vaikimisi kasutatav 1 024-dimensiooniline väljund võib säilitada rohkem esituse üksikasju, samal ajal kui väiksemad vektorid võivad vähendada salvestusvajadust ja otsingu koormust. Õige valik sõltub rakenduse otsingukvaliteedi eesmärgist, korpusest ja taristust. Väiksem vektor ei ole automaatselt parem ega halvem; seda tuleks hinnata esinduslike andmete põhjal.

Saadaval on valikuline normaliseerimine ning AWS-i dokumentatsioon kirjeldab ka binaarseid embedding'eid päringuvaliku embeddingTypes kaudu. Need funktsioonid võivad olla kasulikud, kui rakendusel on konkreetsed salvestus-, indekseerimis- või sarnasuspõhise otsingu nõuded, kuid nende mõju tuleks sihtotstarbelises vektoriotsingu süsteemis testida.

Keeled ja toetatud modaalsused

Mudel võtab vastu tekstisisendi ja tagastab embedding'id. See ei toeta pildi-, heli-, video-, kõne- ega muusikasisendit või -väljundit ega genereeri loomulikus keeles vastuseid. Selle modaalsus on seega teadlikult kitsas: mudel on loodud teksti esitamiseks, mitte multimodaalseks mõistmiseks.

Mudel on optimeeritud peamiselt inglise keele jaoks. AWS-i dokumentatsioon kirjeldab eelvaates enam kui 100 keele tuge ja hoiatab, et keelteülene otsing võib olla ebaoptimaalne. Mitmekeelne rakendus peaks enne mudeli kasutamist tootmises testima nii samakeelseid kui ka keelteüleseid päringuid oma dokumentidel.

Hind ja juurdepääs

Nõudepõhise järeldamise hind on 0,02 dollarit miljoni sisendtokeni kohta, mis vastab hinnale 0,00002 dollarit 1 000 sisendtokeni kohta. Embedding-tulemuse eest ei ole kirjeldatud eraldi väljundtokenite tasu, sest mudel tagastab genereeritud teksti asemel vektoreid.

Mudelile pääseb ligi Amazon Bedrock Runtime API kaudu, kasutades toimingut InvokeModel. AWS loetleb nõudepõhise ja provisioneeritud läbilaskevõimega järeldamise võimalused ning mudel toetab valitud piirkondades pakkjäreldamist. Seega võib saadavus sõltuda AWS-i piirkonnast ja valitud Bedrocki juurdepääsurežiimist.

Madal sisendtokenite hind on eriti oluline suurte dokumendikogude indekseerimisel või otsingupäringute korduval embedding'uks teisendamisel. Süsteemi kogukulu võivad siiski suurendada salvestus, vektorite indekseerimine, andmebaasipäringud, võrguliiklus ja pärast otsingut kasutatav generatiivne mudel. Titan Text Embeddings V2 katab töövoo embedding'u osa, mitte kogu RAG-rakenduse kulu.

Parimad kasutusjuhud

• Semantiline otsing: dokumentide leidmine tähenduse, mitte ainult täpsete märksõnade põhjal.
• Otsinguga täiendatud genereerimine: asjakohaste lõikude leidmine, mida eraldi keelemudel saab vastuse koostamisel kasutada.
• Teadmusbaasist otsimine: tugiartiklite, eeskirjade, juhendite või sisemise dokumentatsiooni indekseerimine ja otsimine loomulikus keeles väljendatud kavatsuse põhjal.
• Sarnasuse tuvastamine: seotud dokumentide, peaaegu identsete dokumentide või võrreldava sisu leidmine.
• Klassifitseerimine ja klasterdamine: embedding'ute kasutamine tunnustena teksti korraldamiseks või rühmitamiseks, kus klassifitseerimise või klasterdamise teeb järgnev masinõppemeetod.
• Ümberjärjestamine ja soovitused: päringute, dokumentide, toodete või muude tekstikirjete semantilise seose võrdlemine.
• Suuremahuline indekseerimine: väiksema vektordimensiooni valimine, kui salvestus- ja otsingukulud on maksimaalsest esitlusvõimest olulisemad.

Praktiline dokumendiotsingu töövoog võib jagada juhendi sidusateks osadeks, luua iga osa kohta ühe embedding'u, salvestada need vektorid koos dokumendi metaandmetega ja teisendada iga saabuva päringu embedding'uks. Seejärel leiab otsingukiht kõige lähedasemad osad. Kui rakendus kasutab RAG-i, saab eraldi generatiivne mudel need osad kontekstina vastu võtta ja lõpliku vastuse koostada.

Mida mudel ei tee

Titan Text Embeddings V2 ei vasta küsimustele, ei kirjuta proosat, ei loo koodi ega käivita tööriistu. Sellel ei ole dokumenteeritud loomulikku tööriista- ega funktsioonikutsete võimekust, voogedastusväljundi režiimi ega vestlusliku vastuse liidest. Selle väljund on mõeldud rakenduse taristu töödeldavaks, mitte otse lõppkasutajale kuvamiseks.

Samuti ei teosta see iseseisvalt kogu otsingutoimingut. Vektoriandmebaas või otsinguteenus peab embedding'ud salvestama ja sarnasust arvutama, samal ajal kui rakenduse kood määrab filtreerimise, järjestuse, juurdepääsuõigused ja leitud tulemuste kasutamise viisi. RAG-süsteemis on leitud teksti vastuseks muutmiseks vaja täiendavat generatiivset mudelit.

Kuna mudel kodeerib talle edastatud teksti ega vasta fikseeritud maailmateadmiste kogumi põhjal, ei esita AWS selle kohta tavapärast teadmiste lõppkuupäeva. Oluline sisu on rakenduse saadetud tekst, mitte mudeli kaudu kättesaadav üldotstarbeline teadmistebaas.

Tugevused ja kompromissid

Mudeli selgeimad tugevused on madal nõudepõhise sisendi hind, seadistatavad vektordimensioonid, suur sisendi piirang ja otsene integratsioon Amazon Bedrockiga. Valikud 256, 512 ja 1 024 dimensiooni võimaldavad meeskondadel tasakaalustada otsingukvaliteeti, salvestusruumi ja otsingu jõudlust. Vaikimisi kasutatav 1 024-dimensiooniline väljund on saadaval siis, kui rakendus vajab suurimat toetatud esitust, samas kui väiksemad väljundid võivad suuremahuliste indeksite puhul olla säästlikumad.

Selle peamine kompromiss on spetsialiseeritus. See ei ole üldotstarbeline arutlus- ega kodeerimismudel ega suuda kasutajale suunatud ülesannet iseseisvalt lõpule viia. Süsteem, mis vajab genereeritud selgitusi, koodi, struktureeritud vastuseid või mitmeetapilist arutlust, peab ühendama embedding'u mudeli teiste komponentidega.

Teine oluline tegur on keelevalik. Inglise keelele keskenduvad töökoormused vastavad kõige otsesemalt dokumenteeritud kasutusotstarbele. Mitmekeelsed ja keelteülesed stsenaariumid võivad toimida, kuid eelvaate staatus ja AWS-i hoiatus võimaliku ebaoptimaalse keelteülese otsingu kohta muudavad hindamise hädavajalikuks.

Millal valida Titan Text Embeddings V2

Vali Titan Text Embeddings V2 siis, kui keskne vajadus on teisendada tekst otsitavateks või võrreldavateks esitusteks prognoositava ja madala sisendtokenite hinnaga. See on mõistlik kandidaat semantilise dokumendiotsingu, RAG-i otsinguetapi, sisu rühmitamise, duplikaatide tuvastamise ja AWS Bedrockil töötavate soovitustöövoogude jaoks.

Selle seadistatavad dimensioonid on eriti kasulikud siis, kui sama rakendus peab tasakaalustama täpsust indeksi suuruse või päringukuluga. Mudel sobib hästi ka juhul, kui ülejäänud rakendus kasutab juba Amazon Bedrocki ja embedding'u järeldamise hoidmine selles teenuses pakub eeliseid.

Kaalu teist tüüpi lahendust, kui ülesanne nõuab otsest loomuliku keele genereerimist, täiustatud arutlust, koodi genereerimist, pildi- või helisisu mõistmist või multimodaalset otsingut. Mitmekeelse või keelteülese otsingu puhul võrdle tulemusi alternatiividega, mis on nende keelte jaoks loodud ja hinnatud. Iga juurutuse puhul mõõda otsingu kvaliteeti esinduslike päringute ja dokumentidega, selle asemel et eeldada, et suurim vektor või madalaim hind annab automaatselt parima üldtulemuse.

Kokkuvõte

Amazon Titan Text Embeddings V2 on Amazon Bedrocki spetsialiseeritud mudel semantiliseks esituseks, mitte vestlusrobot ega vastuste genereerija. See võtab vastu kuni 8 192 tokenit või 50 000 märki, toodab seadistatava suurusega 256-, 512- või 1 024-dimensioonilisi vektoreid ning nõudepõhise järeldamise korral maksab 0,02 dollarit miljoni sisendtokeni kohta. Selle väärtus seisneb teksti muudetavuses otsitavaks, võrreldavaks ja otsingusüsteemides kasutatavaks. Parimad tulemused saavutatakse siis, kui seda kasutatakse koos hoolikalt tükeldatud dokumentide, sobiva vektorotsingu kihiga ja vajaduse korral eraldi mudeliga lõplike vastuste genereerimiseks.