Amazon Titan Embeddings G1 - Text

Mida Amazon Titan Embeddings G1 - Text teeb

Amazon Titan Embeddings G1 - Text on ainult teksti manustamiseks mõeldud mudel, mida Amazon pakub Amazon Bedrocki kaudu. Lõikude, vastuste, koodi, piltide, heli või video loomise asemel teisendab see etteantud teksti arvuliseks vektoriks. See vektor on teksti tähenduse kompaktne esitus, mida saab salvestada vektorandmebaasi või muusse otsinguindeksisse.

Näiteks võib teadmistebaas sisaldada lõiku konto parooli lähtestamise kohta. Kasutaja võib otsida fraasi „Ma ei saa sisse logida“, isegi kui neid täpseid sõnu lõigus ei esine. Rakendus saab manustada nii salvestatud lõigu kui ka päringu, võrrelda nende vektoreid ja leida teksti, mille semantiline seos on kõige lähedasem.

Seega on see mudel otsingu- ja masinõppesüsteemide ehitusplokk, mitte täielik vestlusrobot. Otsingu, sarnasuse arvutamise, järjestamise, filtreerimise ja vastuse genereerimise eest peab hoolitsema ümbritsev rakendus või mõni muu teenus.

Koht Amazoni mudelite valikus

Bedrocki kanooniline mudeli ID on amazon.titan-embed-text-v1. AWS viitab sellele ka nimega Titan Text Embeddings V1. AWS-i dokumentatsiooni kohaselt käivitati mudel 28. septembril 2023 ning see on endiselt saadaval valitud Amazon Bedrocki piirkondades ja kindlate kontokonfiguratsioonidega.

G1 on Amazoni Titan Text Embeddingsi mudeliperekonna varasem põlvkond. Uuem Titan Text Embeddings V2 on eraldi järeltulija, mitte G1 teine nimi. V2 toetab seadistatavaid väljunddimensioone ja täiendavaid manustamisvalikuid, samas kui G1 tagastab fikseeritud suurusega vektori. See erinevus on oluline uue indeksi valimisel või olemasoleva vektorandmebaasiga integreerimisel, kui selle dimensioonid on juba kindlaks määratud.

Kontrollitud tehnilised andmed

Mudel võtab vastu mittetühja tekstistringi ja tagastab JSON-vastuse, mis sisaldab välja embedding ja välja inputTextTokenCount. Maksimaalse väljundtokenite arvu seadistust ei ole, sest väljund on genereeritud teksti asemel fikseeritud manustus. Esitatud dokumentatsioonis ei ole märgitud tavapärast teadmiste lõppkuupäeva; mudel töötleb rakenduse antud teksti.

Kuidas manustusväljundit kasutatakse

Manustus on kasulik, sest arvulisi vektoreid saab matemaatiliselt võrrelda. Tüüpilise töövoo puhul jagatakse dokumendid esmalt loogilisteks lõikudeks, saadetakse iga lõik mudelile Titan Embeddings G1 - Text ning salvestatakse tagastatud vektorid koos algteksti ja metaandmetega. Kui kasutaja esitab otsingupäringu, manustab rakendus ka selle sama mudeli abil ja otsib lähedasi vektoreid.

Levinud järgmise etapi toimingud on järgmised:

• Semantiline otsing: sisu leidmine tähenduse, mitte täpsete märksõnavastete põhjal.
• Otsinguga täiendatud genereerimine: asjakohaste lõikude leidmine enne nende edastamist eraldi teksti genereerivale mudelile.
• Dokumentide otsing: seotud lõikude, eeskirjade, tugimaterjalide või kirjete leidmine.
• Isikupärastamine ja soovitused: kasutajate huvide, üksuste või sisu esituste võrdlemine.
• Klastritesse jagamine: seotud dokumentide või sõnumite rühmitamine ilma iga kategooria käsitsi määramiseta.
• Klassifitseerimine: vektoriesituste kasutamine järgmise etapi klassifikaatori sisendina.
• Indekseerimine: sisu ettevalmistamine vektorandmebaaside ja teadmistebaasisüsteemide jaoks.

Pikad dokumendid tuleks üldjuhul enne manustamist jagada tähenduslikeks osadeks. Terve suure dokumendi saatmine ühe vektorina võib hägustada eri teemade erinevusi ja muuta otsingu ebatäpsemaks isegi siis, kui dokument mahub 8192-tokenise sisendipiiri sisse.

Tugevused ja praktilised kompromissid

Mudeli kõige selgem tugevus on spetsialiseeritus. See on keskendunud üksnes teksti manustusteks teisendamisele, mistõttu ei pea rakendused maksma vestlusliku genereerimise eest, kui neil on vaja ainult indekseerimist või semantilist võrdlust. Dokumenteeritud hind 0,10 dollarit miljoni sisendtokeni kohta sobib tekstikogumite töötlemiseks, kuigi tegelik kulu sõltub tokenite mahust, piirkonnast ning Bedrocki ja andmebaasiteenuste kasutamisest.

Fikseeritud 1536-dimensiooniline väljund tagab samuti prognoositavuse. Meeskonnad saavad kujundada indeksi ühe teadaoleva vektorisuuruse ümber ning kasutada sama dimensioonide arvu nii dokumentide kui ka päringute puhul. Kompromiss seisneb väiksemas paindlikkuses võrreldes mudeliga Titan Text Embeddings V2, mille seadistatavad dimensioonid võivad aidata rakendustel leida tasakaalu salvestusruumi, otsingujõudluse ja ühilduvusnõuete vahel.

Esitatud hinnangus sai mudel võrreldud alternatiividega võrreldes kõrge hinnangu kiiruse ja kulude osas. Need on toimetuslikud hinnangud, mitte AWS-i avaldatud võrdlustulemused. Soodsa hinna- ja kiirusprofiili praktiline põhjus on see, et G1 täidab fokuseeritud manustamisülesannet, mitte keerukat arutlemist või teksti genereerimist. Seda ei tohiks siiski kirjeldada arutlusmudelina.

Võimalused, mida see ei paku

Amazon Titan Embeddings G1 - Text toetab ainult tekstisisendit ja manustusväljundit. Esitatud spetsifikatsioonide kohaselt ei võta see vastu pilte, heli ega videot ning ei genereeri teksti, pilte, kõnet, muusikat ega videot. Uuritud spetsifikatsioonis ei ole toetatud ka natiivset tööriista- ega funktsioonikutset, veebiotsingut, voogedastusega genereerimist, partiilist API-tuge ega peenhäälestust.

Generatiivse järelduse juhtelemente, nagu maxTokenCount või topP, ei ole. Need parameetrid oleksid asjakohased teksti genereeriva mudeli puhul, kuid G1 fikseeritud manustusvastuse korral need ei kehti. Samuti puuduvad sellel vestluslik arutlus- ja kodeerimisvõimekus. See võib aidata tarkvarasüsteemil leida koodidokumentatsiooni või klassifitseerida lähtekooditeksti, kuid ei kirjuta, käivita ega silu koodi ega arutle selle üle nii, nagu seda teeks kodeerimismudel.

Mudel ei tegele ka ise otsinguga. Bedrocki päring tagastab vektori, kuid rakendus peab selle salvestama, seda võrdlema, filtreid rakendama ja otsustama, mida kasutajale näidata. Kui lõplik kasutuskogemus peab vastama küsimustele loomulikus keeles, on vaja eraldi genereerivat mudelit.

Hind ja saadavus

AWS-i käivitamismaterjalides ja esitatud uurimuses on hinnaks märgitud 0,10 dollarit miljoni sisendtokeni kohta. See on tokenipõhine järeldushind, mitte kuutellimus. Eraldi väljundtokenite hinda ei ole esitatud, sest mudel toodab genereeritud teksti asemel manustuse. Rakenduda võivad piirkonna-, teenusetaseme- ja kontopõhised hinnastamistingimused, mistõttu tuleks enne juurutamist kontrollida AWS-i kehtivat hinnastusdokumentatsiooni.

Juurdepääs toimub Amazon Bedrocki kaudu, täpsemalt Bedrock Runtime InvokeModel API kaudu. Saadavus sõltub piirkonnast. Uuritud AWS-i materjalides nimetatakse Bedrock Knowledge Basesi puhul valitud piirkondi, sealhulgas ap-northeast-1, eu-central-1, us-east-1 ja us-west-2, kuid saadavus võib piirkonna ja konto konfiguratsiooni järgi erineda.

Millal seda mudelit valida

Vali Amazon Titan Embeddings G1 - Text siis, kui põhinõue on teksti teisendamine vektoriks ning ümbritsev süsteem suudab hallata salvestamist ja otsingut. See sobib näiteks järgmisteks kasutusjuhtudeks:

• tugidokumentatsiooni või asutusesiseste eeskirjade semantiline otsinguindeks;
• otsingukiht küsimustele vastamise või RAG-rakenduse jaoks;
• suuremahuline dokumentide sisestamine, mille puhul on prognoositavad väljunddimensioonid kasulikud;
• teksti sarnasusel põhinevad soovituste, isikupärastamise, klastritesse jagamise või klassifitseerimise töövood;
• olemasolev Bedrocki või vektorandmebaasi arhitektuur, mis põhineb 1536-dimensioonilistel manustustel.

Kui rakendus vajab seadistatavaid manustusdimensioone või uuemaid manustamisfunktsioone, võib sobivam olla mõni muu valik; esitatud uurimuses nimetatakse asjakohase alternatiivina mudelit Titan Text Embeddings V2. Teksti genereeriv mudel on sobivam siis, kui süsteem peab vastama küsimustele, tegema leitud lõikudest kokkuvõtteid, kirjutama sisu või genereerima koodi. Kui teksti kõrval tuleb esitada ka pilte, heli või videot, on vaja multimodaalset manustusmudelit.

Kokkuvõte

Amazon Titan Embeddings G1 - Text on kõige paremini mõistetav kui keskendunud taristukomponent teksti semantiliseks võrdlemiseks. Selle põhiomadused on mudeli ID amazon.titan-embed-text-v1, 8192-tokenine sisendipiir, fikseeritud 1536-dimensiooniline ujukomaarvudest koosnev väljund ning tokenipõhine Bedrocki hinnastamine. See on kasulik, kui rakendus vajab järjepidevaid ja suhteliselt väikese kuluga teksti manustusi, kuid tegemist ei ole üldotstarbelise tehisintellektiabilisega ning see ei asenda seda ümbritsevaid otsingu-, andmebaasi-, andmehõive- ega genereerimiskihte.