Mis on Amazon Nova Multimodal Embeddings?
Amazon Nova Multimodal Embeddings on Amazon Web Servicesi pakutav manustusmudel, millele pääseb ligi Amazon Bedrocki kaudu. Manustus on sisu numbriline esitus. Sarnase tähendusega üksused paigutatakse vektorandmebaasis või sarnasuspõhises otsingusüsteemis üksteisele lähemale isegi siis, kui need ei sisalda samu sõnu ega kasuta sama meediumivormingut.
Oluline erinevus seisneb selles, et see mudel ei genereeri loomulikus keeles vastuseid. See tagastab vektorid, mida muu tarkvara saab kasutada materjali leidmiseks, järjestamiseks, klassifitseerimiseks, soovituste koostamiseks või klasterdamiseks. Näiteks võib tootemeeskond teisendada tekstipäringu „punane matk seljakott” manusteks ja otsida selle abil tootekataloogist tootepilte, samal ajal kui meediaorganisatsioon võib otsida video- ja helikogudest loomulikus keeles kirjeldatud sisu.
Amazon positsioneerib mudelit agentse otsingu ja otsinguga täiendatud genereerimise (RAG), semantilise otsingu, soovituste, digivarade halduse, dokumentide klassifitseerimise ja klasterdamise jaoks. RAG-süsteemis aitab mudel enne eraldi generatiivse mudeli vastuse loomist asjakohast materjali leida.
Kuidas see sobitub Amazon Bedrockiga?
Mudel kuulub Amazoni Nova mudeliperre ja seda saab kasutada hallatud mudelina Amazon Bedrockis. Dokumenteeritud mudeli ID on amazon.nova-2-multimodal-embeddings-v1:0. Bedrock haldab juurdepääsu mudelile ning pakub sünkroonse ja asünkroonse väljakutsumise võimalusi, samal ajal kui rakendus vastutab vektorite salvestamise ja sarnasuspõhise otsingu tegemise eest.
See muudab Nova Multimodal Embeddingsi erinevaks vestluslikust Nova mudelist või üldotstarbelisest keelemudelist. See on otsingu- ja organiseerimissüsteemide põhikomponent, mitte vestlusroboti lõpp-punkt. Tüüpiline arhitektuur võib ühendada selle objektisalvestuse, vektorandmebaasi, rakendusepõhise järjestusloogika ja eraldi teksti genereeriva mudeliga.
Toetatud sisu ja vektorväljund
Kontrollitud toetatud sisendite hulka kuuluvad tekst, tavapärased pildid, dokumendipildid, video ja heli. Mudel teisendab need sisendid ühtsesse semantilisse ruumi, võimaldades nii tavapäraseid sama modaalsuse piires tehtavaid otsinguid kui ka eri modaalsuste vahelisi otsinguid.
- Tekst: Tekstisisendid toetavad ligikaudu kuni 8172 tokenit.
- Pildid ja dokumendipildid: Kasulikud visuaalseks otsinguks ning skannitud või pildipõhistest dokumentidest materjali leidmiseks.
- Video: Dokumenteeritud otsetöötluse töövoos võib üksik sisend sisaldada kuni 30 sekundit videot.
- Heli: Dokumenteeritud otsetöötluse töövoos võib üksik sisend sisaldada kuni 30 sekundit heli.
Pikema teksti-, video- ja helisisendi korral saab asünkroonne töötlus kasutada teenusepakkuja hallatavat segmenteerimist. See sobib paremini pakktöötluseks või suuremate failide jaoks kui iga vara töötlemine väikese sünkroonse päringuna.
Mudel toetab manustuse mõõtmeid 256, 384, 1024 ja 3072, kusjuures vaikeväärtusena on dokumenteeritud 3072. Suurem vektor võib säilitada rohkem esituse üksikasju, kuid vajab ka rohkem salvestusruumi ning võib suurendada vektorindekseerimise ja sarnasuspõhise otsingu kulusid või ressursivajadust. Väiksemad mõõtmed võivad olla kasulikud juhul, kui salvestusruumi tõhusus, indeksi suurus või otsingu kiirus on maksimaalsest otsingukvaliteedist olulisemad.
API töötlus ja seadistamine
Amazon Nova Multimodal Embeddings toetab sünkroonset väljakutsumist väiksemate või latentsustundlike sisendite jaoks. Selle asünkroonne API on mõeldud suuremate failide ja teenusepakkuja hallatava segmenteerimise jaoks ning tulemused kirjutatakse Amazon S3-sse. Seega on režiimi valik nii tehniline kui ka korralduslik küsimus: sünkroonsed päringud sobivad interaktiivsete importimis- või otsingutöövoogude jaoks, samas kui asünkroonne töötlus sobib paremini suuremahuliste meediatöötlusvoogudega.
Päringutes saab määrata manustuse eesmärgi, sealhulgas üldise indekseerimise, otsingu, klassifitseerimise või klasterdamise. Allavoolu ülesandega sobiva eesmärgi valimine aitab kavandatava kasutuse selgelt määratleda ja võimaldab rakendusel korraldada manustamise töövoo vastavalt täidetavale ülesandele.
Heli sisaldava video puhul saavad rakendused taotleda kombineeritud heli-video-manust või heli- ja videokomponendi jaoks eraldi manustusi. Eraldi esitused võivad olla kasulikumad siis, kui rakendus peab otsima kõneldavat sisu visuaalsetest stseenidest sõltumatult, samas kui kombineeritud esitus võib toetada päringuid, mis sõltuvad kogu meediakogemusest.
Hind ja saadavus
Mudel sai Amazon Bedrocki kaudu üldiselt kättesaadavaks 28. oktoobril 2025. Esitatud mudeliandmete kohaselt on see aktiivne ning mudelikaardi järgi ei ole selle kasutusea lõppkuupäev varasem kui 28. oktoober 2026.
Olemasolevas uuringus ei ole esitatud üht kindlat hinda. AWS-i hinnastamine sõltub modaalsusest ning põhineb töödeldaval sisendil ja töötlusrežiimil, mitte tavapärasel väljundtokenite hinnastamisel. Praegustes AWS-i hinnanäidetes on välja toodud eraldi modaalsuspõhised tasud, sealhulgas vide töötluse sekundipõhine hind ja sobivate asünkroonsete töökoormuste madalam pakktöötluse hind. Kuna hinnad võivad sõltuda modaalsusest, pakktöötlusest või sünkroonsest töötlusest ning AWS-i piirkonnast, tuleks juurutamise kuluhinnangud koostada Amazon Bedrocki ajakohase hinnakirja põhjal, mitte eeldada üldist päringupõhist hinda.
Tavapärast maksimaalset väljundtokenite piirangut ei ole, sest mudel ei genereeri teksti. Selle väljund on manustusvektor ning olulised väljundivalikud on toetatud mõõtmed: 256, 384, 1024 või 3072.
Peamised tugevused
- Modaalsusteülene otsing: Teksti, pilte, dokumente, videot ja heli saab esitada ühes semantilises ruumis, vähendades vajadust koordineerida eri meediumite otsinguks eraldiseisvaid manustusmudeleid.
- Lai meediatoetus: Mudel toetab sisutüüpe, mis on sageli jaotatud eri otsingusüsteemide vahel, sealhulgas dokumendipilte, videot ja heli.
- Paindlikud vektorisuurused: Neli manustuse mõõdet võimaldavad meeskondadel tasakaalustada otsingukvaliteeti, salvestusruumi vajadust ja otsinguinfrastruktuuri kulusid.
- Pakktöötluseks sobiv töötlus: Asünkroonne väljakutsumine ja segmenteerimine toetavad suuremaid faile ning suuremahulisi importimistöövooge.
- Ülesandepõhine seadistamine: Manustuse eesmärgid hõlmavad indekseerimise, otsingu, klassifitseerimise ja klasterdamise kasutusjuhtumeid.
Need tugevused on eriti olulised organisatsioonidele, kelle meediakogu sisaldab eri tüüpi sisu. Üks otsingukogemus võib loomulikus keeles esitatud päringu põhjal leida skannitud lehe, tootefoto, videolõigu või helisalvestise.
Piirangud ja kompromissid
Nova Multimodal Embeddings ei ole vestluslik ega generatiivne mudel. See ei kirjuta selgitusi, vasta küsimustele, genereeri koodi, loo pilte, sünteesi kõnet ega tagasta oma vektorite kohta usalduskoore. Proosavormis vastust vajav rakendus peab lisama eraldi genereerimis- või küsimustele vastamise komponendi.
Ka manustuste kvaliteet sõltub andmetest ja otsinguülesandest. AWS soovitab mudelit hinnata esinduslike kliendiandmetega, sest taustatingimused, valgustus, kaamera nurk, helikvaliteet, kõneleja aktsent, erialaterminoloogia ja muud omadused võivad mõjutada sarnasustulemusi. Visuaalselt mürarikas pildikogu või väga spetsiifiline sõnavara võib nõuda põhjalikku testimist ja eeltöötlust.
Mudel ei asenda vektorandmebaasi ega muud sarnasuspõhist otsingusüsteemi. Meeskonnad peavad valima indeksi, salvestama vektorid ja metaandmed, haldama importimist ning otsustama, kuidas tulemusi filtreerida või järjestada. Suuremad vektorid võivad mõnes töökoormuses otsingut parandada, kuid suurendavad salvestusruumi ja indekseerimise vajadust. Väiksemad vektorid võivad vähendada infrastruktuurikulusid, kuid nende sobivust tuleks hinnata esinduslike otsingupäringute põhjal.
Olulised on ka otsetöötluse piirangud. Tekst toetab ligikaudu 8172 tokenit, samas kui üksikud video- ja helisisendid toetavad dokumenteeritud töövoos kuni 30 sekundit. Pikem sisu nõuab segmenteerimist või asünkroonset töötlust, mis muudab töövoo keerukamaks ega pruugi sobida interaktiivse päringu jaoks, mille puhul on vaja kohest tulemust.
Arutlus-, kodeerimis- ja tööriistade tugi
Sellel mudelil puudub tavapärases keelemudeli tähenduses vestluslik arutlusvõime. Selle ülesanne on arvutada semantilisi esitusi, mitte teha mitmeetapilist arutluskäiku või selgitada, miks kaks üksust on sarnased. Esitatud toimetuslikus hinnangus on arutlus- ja kodeerimisvõime saanud hindeks 1 kümnest, sest need funktsioonid jäävad mudeli eesmärgist väljapoole, mitte seetõttu, et mudel oleks manustamise jaoks halb valik.
Mudel ei paku sisseehitatud tööriista- ega funktsioonikutseid, voogedastatavaid vastuseid ega genereerivat JSON-väljundit. Esitatud mudeliandmete kohaselt ei toeta see ka peenhäälestust ega vahemällu salvestamist. Pakktöötlus on asünkroonse töövoo kaudu toetatud, kuid seda ei tohiks segi ajada vestlusliku pakkgeneratsiooni API-ga.
Parimad kasutusjuhtumid
- Modaalsusteülene meediaotsing: Leia tekstikirjelduste põhjal fotosid, videot või heli või leia visuaalselt ja semantiliselt seotud varasid.
- Multimodaalne RAG: Leia asjakohased leheküljed, diagrammid, pildid ja meedia, enne kui edastad tulemused eraldi vastuseid genereerivale mudelile.
- Digivarade haldus: Korralda ja leia suuri turunduspiltide, salvestiste, dokumentide ja videote kogusid.
- Kaubanduse soovitused: Sobita ühises otsinguruumis tootekirjeldusi, kliendipäringuid, kataloogipilte ja seotud tooteid.
- Klassifitseerimine ja klasterdamine: Rühmita eri tüüpi meediasisu või määra sisu kategooriatesse semantilise sarnasuse põhjal.
Millal valida see mudel?
Vali Amazon Nova Multimodal Embeddings siis, kui keskne probleem on eri tüüpi meedia leidmine, korraldamine või võrdlemine ning modaalsusteülene otsing pakub väärtust. See sobib hästi meeskondadele, kes juba kasutavad Amazon Bedrocki ning AWS-i salvestus- või andmeteenuseid, eriti juhul, kui kasulikud on asünkroonne importimine ja seadistatavad vektori mõõtmed.
Vali tekstipõhine manustusmudel siis, kui korpus ja päringud koosnevad eranditult tekstist ning puudub vajadus otsida pilte, heli, videot või dokumentide visuaalset sisu. Tekstipõhine lahendus võib pakkuda selle kitsama ülesande jaoks lihtsamat ja potentsiaalselt soodsamat töövoogu, kuigi esitatud uuringus ei ole määratletud konkreetset konkureerivat mudelit ega hinda.
Vali generatiivne keele- või multimodaalne vestlusmudel siis, kui rakendus peab vastama küsimustele, sisu kokku võtma, koodi genereerima, tulemusi selgitama või loomulikus keeles vastuseid koostama. Nova Multimodal Embeddings võib sellise rakenduse jaoks pakkuda otsingukihti, kuid see ei asenda genereerimiskihti.
Praktiline hindamisnimekiri
Enne juurutamist testi mudelit tegelike päringute ja esindusliku meediaga, mitte ära tugine ainult üldisele sarnasusskoorile. Võrdle otsingukvaliteeti saadaolevate vektori mõõtmete korral, mõõda sünkroonse ja asünkroonse töötluse mõju ning arvesta valitud vektorisuuruse mõjuga salvestusruumile ja indekseerimisele. Video ja heli puhul testi, kas kombineeritud manustused või eraldi modaalsuspõhised manustused vastavad paremini kasutajate eeldatavale otsingukäitumisele.
Hinda kulusid ka modaalsuse ja töötlusrežiimi järgi. Video- ja helitöökoormused võivad tekstist ja piltidest erineda ning pikemad failid võivad vajada segmenteerimist. Lõpuks käsitle leitud tulemusi allavoolu süsteemi tõendusmaterjalina, mitte manustusmudeli enda loodud selgitustena. Mudeli väärtus seisneb sisu struktureerimises tõhusaks semantiliseks võrdluseks.