Amazon Titan Multimodal Embeddings G1

Mida Amazon Titan Multimodal Embeddings G1 teeb

Amazon Titan Multimodal Embeddings G1 on Amazon Web Servicesi pakutav manustusmudel, mis on saadaval Amazon Bedrocki kaudu. Vastuse, pildi või muu sisu genereerimise asemel teisendab see sisendi arvuliseks vektoriks. Vektor on arvude loend, mis esitab sisendi tähendust või visuaalseid omadusi kujul, mida tarkvara saab võrrelda.

Mudeli peamine eripära on see, et tekst ja pildid teisendatakse ühiseks semantiliseks ruumiks. Seetõttu saab rakendus võrrelda tekstikirjeldust pildivektoritega, võrrelda üht pilti teisega või ühendada teksti- ja pilditeabe ühe otsingutöövoo sees. Näiteks võib jaemüüja indekseerida tootefotosid ning lubada ostjatel otsida fraasidega, nagu „mustad nahksaapad“, laadida üles võrdluspildi või kasutada korraga nii pilti kui ka kirjeldust.

Mudelit tuvastatakse Bedrockis kanoonilise mudeli ID järgi amazon.titan-embed-image-v1. See kuulub Amazoni Titani mudeliperesse, kuid on spetsiaalselt manustusmudel, mitte vestlus- ega generatiivmudel.

Milline on selle koht Amazoni mudelivalikus

Titan Multimodal Embeddings G1 on mõeldud rakendustele, mis vajavad visuaalse ja tekstilise sisu otsingule suunatud esitusi. See on eraldi Amazoni teksti genereerimise, vestluse ja piltide genereerimise lahendustest. Selle väljund on mõeldud vektoriindeksisse salvestamiseks ning otsingu-, soovitus- või sobitussüsteemis kasutamiseks.

See eristus on mudeli valimisel oluline. Generatiivne mudel võib olla sobivam tootekirjelduste kirjutamiseks, küsimustele vastamiseks või dokumendi loomulikus keeles analüüsimiseks. Titan Multimodal Embeddings G1 on asjakohasem siis, kui põhiülesanne on leida päringuga semantiliselt või visuaalselt sarnaseid üksusi.

Toetatud sisendid ja väljund

Mudel võtab vastu vähemalt ühe kahest sisenditüübist: inputText või inputImage. See toetab:

• Ainult tekstiga päringuid, mille tulemuseks on tekstimanustused.
• Ainult pildiga päringuid, mille tulemuseks on pildimanustused.
• Teksti ja pilti kombineerivaid päringuid, mille tulemuseks on teksti- ja pildimanustuste keskmisel põhinev manustus.

Pildid edastatakse Bedrocki käitusaja päringus base64-kodeeritud andmetena. Väljund on ujukomaarvudest koosnev manustusvektor. Mudel ei tagasta otse loomulikus keeles teksti, genereeritud pilte, heli ega videot. Seetõttu vajab rakendus eraldi otsingu-, järjestus- või genereerimiskomponente, kui see peab esitama kasutajale nähtava vastuse.

Sisendipiirangud ja tehnilised piirangud

Tekstisisendi maksimaalne pikkus on 256 tokenit. Dokumentide manustamise jaoks on see suhteliselt lühike piirang, mistõttu tuleb pikad dokumendid tavaliselt enne manustamist väiksemateks lõikudeks jagada või kokku võtta. Mudeli esitatud dokumentatsioon ei kirjelda Titan Multimodal Embeddings G1 kui pika kontekstiga dokumentide manustamise mudelit.

Järeldusrežiimis võib pilt olla kuni 25 MB suurune ja mõõtmetega kuni 2 048 × 2 048 pikslit. Toetatud pilditöövoogude hulka kuuluvad pilt-pildiga sarnasuse otsing ja tekst-pildiks otsing, eeldusel et rakendus tegeleb pildi kodeerimise, vektori salvestamise, indekseerimise ja sarnasuse otsinguga.

Vektori dimensiooni valik mõjutab salvestus- ja otsingukonfiguratsiooni. 1 024-dimensiooniline vektor sisaldab rohkem väärtusi kui 256-dimensiooniline vektor ning võib vajada rohkem salvestusruumi ja arvutusressursse. Väiksemad dimensioonid võivad olla kasulikud juhul, kui prioriteediks on indeksi mahu või otsinguga seotud koormuse vähendamine, kuid esitatud uuringud ei anna võrdlustulemust, mis näitaks, kuidas täpsus eri saadaolevate suuruste vahel muutub. Praktikas tuleks valitud dimensioon määrata koos vektoriandmebaasi konfiguratsiooniga ning dimensioonide hilisem muutmine võib nõuda eraldi indeksit või vektorite uuesti manustamist.

Milleks see kasulik on

Tekstipõhine pildiotsing ja multimodaalne otsing

Üks selgemaid kasutusjuhtumeid on visuaalse kataloogi otsimine keele abil. Pildipanga, meediaarhiivi, tootekataloogi või ettevõtte varade hoidla saab oma pildid manustada ning seejärel võrrelda neid kasutaja tekstipäringuga. Teksti ja pilti ühendav päring võib lisada tingimusi, mida ainult ühe modaalsuse abil oleks keeruline väljendada.

Näiteks võib kasutaja esitada toolifoto ja lisada „heledamast kangast“. Rakendus saab kasutada kombineeritud esitust, et leida visuaalselt seotud kataloogikaupu, võttes arvesse ka tekstilist kirjeldust.

Piltide sarnasus ja duplikaadilaadne otsing

Ainult piltidel põhinevad manustused võimaldavad rakendustel leida visuaalselt seotud sisu. See võib toetada võrdluspildi järgi otsingut, sarnaste toodete leidmist, varade korrastamist ja visuaalset sirvimist. Mudel loob esituse, kuid ümbritsev rakendus määrab, kuidas sarnasust mõõdetakse, millist andmebaasi kasutatakse ja kuidas tulemused järjestatakse.

Soovitused ja isikupärastamine

Ühised teksti- ja pildivektorid võivad aidata sobitada kasutajaid toodete või sisuga, kui kataloogikirjetel on nii kirjeldav tekst kui ka pildid. Soovitussüsteem võib võrrelda kasutaja vaadatud toodet teiste kataloogivektoritega või ühendada seotud toodete valimisel tekstilise tooteteabe visuaalsete omadustega.

Valdkonnapõhine visuaalne ja tekstiline sobitamine

Amazon Bedrock toetab kohandamist pildi-teksti paaride abil. See on asjakohane juhul, kui baasmudel ei esita piisavalt hästi organisatsiooni spetsiifilist visuaalset sõnavara, tootekataloogi või pildi ja teksti vahelisi seoseid. Esitatud dokumentatsioon kirjeldab treeningandmekogumeid suurusega 1 000 kuni 500 000 näidet ning valideerimisandmekogumeid suurusega 8 kuni 50 000 näidet. Treeningpildid võivad olla PNG- või JPEG-vormingus ning pildi suuruse piirang on 25 MB.

Kohandamisega seotud kaalutlused

Kohandamine ei tähenda mudeli muutmist üldotstarbeliseks keele- või nägemisassistendiks. Selle eesmärk on kohandada seda, kuidas manustusruum konkreetset valdkonda esitab. Organisatsioon, millel on spetsiifilised tooted, valdkonnaterminoloogia või korduvad visuaalsed mustrid, võib kasutada pildi-teksti paare, et muuta sarnasus ja otsing oma andmete jaoks asjakohasemaks.

Kohandamine toob kaasa ka operatiivse töö. Meeskonnad vajavad sobivaid paarisnäiteid, valideerimiskogumit, vektorite loomise ja uuendamise protsessi ning valitud väljunddimensiooni jaoks konfigureeritud indeksit. Esitatud uuringud kinnitavad, et Bedrock seda kohandamisvõimalust toetab, kuid ei esita konkreetse andmekogumi kohta võrdlustulemust ega garanteeritud paranemist.

Hind ja juurdepääs

AWS kirjeldab Titan Multimodal Embeddings G1 kasutuspõhist hinnastamist. Esitatud hinnateabe järgi maksab tekstisisend 0,0008 dollarit 1 000 tokeni kohta ja iga sisendpilt 0,00006 dollarit. Hind võib AWS-i piirkonniti erineda ning muutuda vastavalt kehtivatele Amazon Bedrocki hinnatingimustele.

Esitatud uuringutes ei ole eraldi väljundtokenite hinda, sest mudel tagastab genereeritud teksti asemel manustusvektorid. Tootmissüsteemi kogukulu võib siiski hõlmata vektoriandmebaasi salvestust, indekseerimist, otsingut, rakenduse taristut ja muid Bedrocki teenuseid, mida manustamistöövoo ümber kasutatakse.

Juurdepääs toimub Amazon Bedrocki käitusaja kaudu ning saadavus sõltub AWS-i piirkonnast ja konto konfiguratsioonist. Arendajad peaksid enne tootmissüsteemi kavandamist kontrollima, et mudel oleks soovitud juurutuspiirkonnas lubatud.

Võimekus, kiirus ja kompromissid

See mudel ei ole vestluse mõttes arutlusmudel. See ei koosta mitmeastmelisi selgitusi, vasta küsimustele ega kasuta väliseid tööriistu. Selle eesmärk on luua esitusi, mida muu tarkvara saab võrrelda. Esitatud hindamises on mudeli arutlusoskuse skoor 1 ja kodeerimisskoor 1; need on kataloogihinnangud, mitte pakkuja avaldatud võrdlustulemused, ning neid ei tohiks tõlgendada manustuste kvaliteedi mõõdikutena.

Kataloogis on kiirusskooriks märgitud 8 ja kuluskooriks 8. Need on toimetuslikud või andmebaasitaseme hinnangud, mitte AWS-i garantiid. Juurutuse tegelik kiirus ja maksumus sõltuvad päringute mahust, pildi suurusest, valitud vektori dimensioonist, AWS-i piirkonnast, järeldusrežiimi valikust ja ümbritsevast otsingutaristust.

Generatiivse mudeliga võrreldes võib Titan Multimodal Embeddings G1 olla otsingu või sobitamise jaoks korduvate vektorite loomisel otsesem ja soodsam lahendus. Ainult teksti manustava mudeliga võrreldes sobib see paremini olukordadesse, kus pildid on päringu või kataloogi keskne osa. Samas muudavad inglise keelele keskendumine ja 256-tokenine tekstipiirang spetsiaalse pika dokumendi või mitmekeelse manustuslahenduse sobivamaks suurte mitmekeelsete teadmistebaaside jaoks.

Olulised piirangud

• See ei genereeri vastuseid: väljund on manustusvektor, mistõttu vajavad rakendused eraldi otsingu- ja esitluskihti.
• Inglise keele tugi: dokumenteeritud keeletugi hõlmab inglise keelt; esitatud uuringud ei kinnita laialdast mitmekeelset võimekust.
• Lühike tekstipiirang: maksimaalne sisend on 256 tokenit, mis on terve dokumendi manustamiseks piirav.
• Piltide töötlemine jääb rakenduse ülesandeks: pildid tuleb kodeerida ja edastada dokumenteeritud suurusepiirangute piires, samal ajal kui salvestuse, indekseerimise, sarnasuse arvutamise ja tulemuste järjestamise korraldab rakendus.
• Dimensioonide muutmine mõjutab taristut: 256, 384 ja 1 024 dimensiooni vahel vahetamine võib nõuda eraldi vektoriindeksit või vektorite uuesti manustamist.
• Kohalikku tööriista- ega funktsioonikasutust ei ole: esitatud spetsifikatsioonide kohaselt ei soorita mudel toiminguid, sirvi veebi, kutsu funktsioone ega edasta vestluslikku väljundit voona.
• Otsest meedia genereerimist ei ole: mudel ei tooda väljundina teksti, pilte, heli ega videot.

Millal valida Amazon Titan Multimodal Embeddings G1

Valige Titan Multimodal Embeddings G1 siis, kui rakendus peab kasutama teksti ja pilte samas otsingu- või sarnasussüsteemis. See sobib hästi visuaalsete tootekataloogide, tekstipõhise pildiotsingu, piltide sarnasuse, multimodaalsete soovituste, isikupärastamise ja AWS-i keskkonnas toimuva spetsialiseeritud pildi-teksti sobitamise jaoks.

See sobib vähem juhul, kui peamine vajadus on vestluslik arutlemine, koodi genereerimine, dokumentide kokkuvõtete loomine, mitmekeelne semantiline otsing või sisu genereerimine. Sellistel juhtudel võib sobivam olla generatiivne mudel, pika kontekstiga tekstimanustusmudel või mitmekeelne manustusmudel. Põhiküsimus mudeli valimisel on, kas rakendus vajab visuaalsete ja tekstiliste sisendite jaoks ühist vektoriruumi. Kui vajab, on mudeli peamised praktilised eelised selle Bedrocki integratsioon, konfigureeritavad dimensioonid ning pildi-teksti kohandamise tugi.

Kokkuvõte

Amazon Titan Multimodal Embeddings G1 on fokuseeritud manustusmudel, mis ühendab teksti ja pildid otsingu- ja soovitussüsteemides. Selle 256-, 384- ja 1 024-dimensioonilised väljundid, kombineeritud sisendite tugi ning Bedrocki kohandamisvõimalus muudavad selle kasulikuks multimodaalses otsingus. Sama olulised on mudeli piirangud: see keskendub inglise keelele, võtab vastu ainult 256 tekst tokenit, tagastab vastuste asemel vektoreid ning eeldab, et rakendus tagab ülejäänud vektoriotsingu taristu.