Mis on Gemini Embedding 2?
Gemini Embedding 2 on Google DeepMindi esimene algupäraselt multimodaalne embedding-mudel. Proosa, pildi või muu genereeritud meediafaili tagastamise asemel teisendab see toetatud sisu arvuliseks vektoriks: väärtuste loendiks, mis esindab sisu tähendust kujul, mida tarkvara saab võrrelda.
Oluline erinevus seisneb selles, et Gemini Embedding 2 on otsingu- ja esitlusmudel, mitte vestlusmudel. Näiteks saab see aidata rakendusel leida tekstipäringuga seotud pilte, tuvastada kirjeldusele vastava videosisu või leida PDF-faili, mis on helisalvestisega semantiliselt sarnane. Vastuse kirjutamiseks, leitud materjali kokkuvõtmiseks või uue meedia loomiseks on endiselt vaja eraldi generatiivset mudelit.
Google pakub mudelit Gemini API ja Vertex AI kaudu. Selle stabiilne Gemini API mudelitunnus on gemini-embedding-2. Google'i mudelite valikus täidab see koos generatiivsete Gemini mudelitega spetsiaalset rolli: see pakub vektor-esitusi, mida kasutatakse teabe korraldamiseks ja leidmiseks, sealhulgas mitut meediatüüpi hõlmava teabe puhul.
Kuidas ühine embedding-ruum töötab
Traditsioonilised otsingusüsteemid vajavad teksti, piltide, heli ja video jaoks sageli eraldi töötlusvooge. Gemini Embedding 2 on loodud seda eraldatust vähendama. Eri modaalsustest pärit sisu kaardistatakse ühtsesse vektorruumi, kus seotud tähendused peaksid sarnasusarvutuse põhjal paiknema lähestikku.
Praktiliselt võiks otsingurakendus teisendada päringu „punane auto sõitmas läbi lumise mägitee” vektoriks ja võrrelda seda fotodest või videoklippidest loodud vektoritega. Sama üldist lähenemist saab kasutada dokumendikogu otsimiseks multimeedia-tõendite põhjal, kirjalike kirjeldustega seotud helisalvestiste leidmiseks või tootepildi ühendamiseks asjakohaste tekstidokumentidega.
Mudel toetab ka läbipõimitud multimodaalset sisu. Teksti saab edastada koos pildi või muu toetatud sisendiga ning mudel võib kombineeritud sisu jaoks luua koondembedding'u. See on kasulik siis, kui tähendus sõltub nii pildiallkirjast kui ka kirjeldatavast meediast.
Toetatud sisendid ja töötlemispiirangud
Gemini Embedding 2 toetab teksti, pilte, heli, videot ja PDF-dokumente. Sisendi üldine piirang on 8192 tokenit, mis jagunevad päringusse kaasatud sisu vahel. Tokenipiirang ei tähenda seega lihtsalt seda, et iga toetatud faili saab samal ajal edastada maksimaalse kestuse või suurusega.
| Sisendi tüüp | Toetatud üksikasjad | Uuringutega kinnitatud piirang |
|---|---|---|
| Tekst | Tekstisisu semantiliseks esituseks | Kuni 8192 tokenit |
| Pildid | PNG ja JPEG | Kuni kuus pilti päringu kohta |
| Heli | MP3 ja WAV | Kuni 180 sekundit |
| Video | MP4 ja MOV; H.264, H.265, AV1 ja VP9 koodekid | Kuni 120 sekundit |
| PDF-dokumendi sisend | Üks kuni kuueleheküljeline PDF päringu kohta |
Need piirangud mõjutavad süsteemi ülesehitust. Pikad dokumendid tuleb enne indekseerimist võib-olla osadeks jagada. Pikemaid videoid võib olla vaja töödelda segmentidena ning sisukogu võib ühe lähtesisuüksuse jaoks vajada mitut embedding-päringut. Tükeldamine ja segmentimine võimaldavad leida ka täpsema lõigu või meediavahemiku, mitte tagastada tervet suurt faili.
Embedding'u mõõtmed ja salvestusruumi kompromissid
Mudel toetab konfigureeritavaid embedding'u mõõtmeid vahemikus 128 kuni 3072. Google soovitab tavapäraste kvaliteedi- ja salvestusruumi kompromisside puhul kasutada 768, 1536 või 3072 mõõdet. Suurema mõõtmelisusega vektorid vajavad üldjuhul rohkem salvestusruumi ja sarnasuspäringute ajal rohkem arvutusressursse, väiksemad vektorid võivad aga muuta suurte indeksite käitamise odavamaks ja kiiremaks.
Gemini Embedding 2 kasutab Matryoshka Representation Learningut, mis võimaldab suuremat esitust tõhusama salvestamise ja võrdlemise huvides kärpida. Mudel normaliseerib vähendatud mõõtmetega loodud embedding'ud automaatselt. See lihtsustab koosinussarnasusel põhinevaid töövooge, sest rakendus ei pea vaikimisi kasutatavast 3072 mõõtmest väiksemate mõõtmete taotlemisel eraldi normaliseerimist tegema.
Sobiv mõõtmete arv sõltub rakenduse täpsuse, latentsuse ja taristu nõuetest. Rangete salvestuspiirangutega suur arhiiv võib eelistada väiksemat esitust, samal ajal kui suure väärtusega otsingusüsteem võib valida suurema. Esitatud uuringud ei anna võrdlustulemusi selle kohta, kuidas kvaliteet iga mõõtmete arvu puhul muutub, mistõttu tuleks valikut kontrollida rakenduse enda hindamisandmetega.
Milleks Gemini Embedding 2 kõige paremini sobib
Modaalsusteülene semantiline otsing
Modaalsusteülene otsing on mudeli kõige selgem eristav omadus. Tekstipäringut saab võrrelda samas vektorruumis olevate piltide, videote, heli või PDF-ide vektoritega. See võimaldab näiteks otsida videokogust loomulikus keeles kirjelduste abil, teha pildiarhiivis otsinguid kirjalike päringute põhjal või indekseerida tekstilist ja mittetekstilist tõendusmaterjali ühes meediahoidlas.
Multimodaalne otsinguga täiendatud genereerimine
Gemini Embedding 2 võib pakkuda multimodaalse otsinguga täiendatud genereerimise ehk RAG-süsteemi otsingukihti. Rakendus teisendab esmalt lähtematerjali embedding'uteks, salvestab vektorid otsinguindeksisse ja leiab kasutaja päringuga sarnanevad kirjed. Seejärel võib eraldi generatiivne mudel saada valitud teksti, piltide, heli, video või dokumendi konteksti ning koostada vastuse või kokkuvõtte.
Selline eraldatus on kasulik, sest embedding-mudel keskendub asjakohase materjali leidmisele ja generatiivne mudel selle selgitamisele. See tähendab ka, et Gemini Embedding 2 ei tohiks hinnata nagu vestlusrobotit: see ei vasta küsimustele otse ega paku loomulikus keeles selgitusi.
Klassifitseerimine, klasterdamine ja soovitused
Vektoreid saab kasutada tunnustena sarnasusel põhinevas klassifitseerimises, duplikaatide tuvastamises, sisu klasterdamises ja soovitussüsteemides. Näiteks võib teenus rühmitada eri meediatüüpe teema järgi, leida visuaalselt või semantiliselt sarnaseid üksusi, tuvastada võimaliku dubleeriva sisu või soovitada kasutaja parajasti vaadatava üksusega seotud dokumente ja meediat.
Need kasutusviisid ei eelda, et mudel genereeriks tavapärases mõttes väljundit. Tagastatud embedding'ud on arvandmed, mida rakendus salvestab ja töötleb vektorandmebaasi või muu sarnasuspõhise otsingusüsteemiga.
Hinnakujundus ja API kättesaadavus
Gemini Embedding 2 on saadaval Gemini API ja Vertex AI kaudu. Hinnakujundus põhineb sisendi modaalsusel, sest mudel tagastab genereeritud teksti asemel embedding'ud. Esitatud hinnad tavapärasel tasulisel paketil on järgmised:
- Tekst: 0,20 dollarit 1 miljoni tokeni kohta.
- Pildid: 0,45 dollarit 1 miljoni tokeni kohta; samaväärne avaldatud hind on 0,00012 dollarit pildi kohta.
- Heli: 6,50 dollarit 1 miljoni tokeni kohta; samaväärne avaldatud hind on 0,00016 dollarit sekundi kohta.
- Video: 12,00 dollarit 1 miljoni tokeni kohta; samaväärne avaldatud hind on 0,00079 dollarit kaadri kohta.
Pakktöötlus on saadaval hinnaga 50% tavapärastest sisendihindadest. Tegelikud kulud võivad sõltuda modaalsusest, tokeniseerimisest, videokaadrite töötlemisest ja sellest, kas töökoormus läbib Gemini API või Vertex AI. Pildi-, sekundi- ja kaadripõhiseid samaväärseid hindu tuleks seetõttu käsitleda praktiliste avaldatud hindadena, mitte garantiina, et iga päring arveldatakse üksnes selle ühiku alusel.
Võimalused ja piirangud
Gemini Embedding 2 toetab multimodaalset sisendit ja embedding-väljundit. See ei paku otse teksti-, pildi-, video-, heli-, muusika- ega tegevusväljundit. Seda ei kirjeldata ka arutlus- või kodeerimismudelina ning esitatud mudeliandmetes on tööriistade kasutamine, voogedastus, peenhäälestus, vahemällu salvestamine ja JSON-režiim selle mudeli puhul märgitud toetamata või kättesaamatuks.
See ei takista mudeli kasutamist keerukas rakenduses. Arendaja saab selle ühendada vektorandmebaasi, generatiivse mudeli, metaandmefiltrite ja rakenduse loogikaga. Erinevus seisneb selles, et need võimalused kuuluvad ümbritsevale süsteemile, mitte Gemini Embedding 2-le endale.
Selle peamine kiiruse- ja kulueelis tuleneb spetsialiseeritusest ja konfigureeritavast vektorisuurusest, mitte pikkade vastuste genereerimisest. Tekstiembedding'ud on märkimisväärselt odavamad kui avaldatud heli- ja videohinnad, samas võivad meediasisendid vajada rohkem töötlemist. Pakktöötlus võib vähendada suurte võrguühenduseta indekseerimistööde maksumust, kuid interaktiivne meediaotsing peab võib-olla tasakaalustama otsingu kvaliteeti, latentsust ja päringu hinda.
Üleminek mudelilt Gemini Embedding 001
Gemini Embedding 2 kasutab embedding-ruumi, mis ei ühildu mudeliga gemini-embedding-001. Vanema mudeli olemasolevaid vektoreid ei tohiks otse võrrelda Gemini Embedding 2 loodud vektoritega. Seetõttu tuleb üleminekuks indekseeritud sisu uuesti embedding'uteks teisendada ja salvestatud vektorid asendada, enne kui sarnasuspäringud uuele mudelile üle viia.
Erineb ka päringu ülesehitus. Erinevalt mudelist gemini-embedding-001 ei kasuta Gemini Embedding 2 vanemat parameetrit task_type. Ainult teksti hõlmavate otsingu- ja sarnasustoimingute puhul soovitab Google ülesande juhise viipas sõnastada. Rakendused peaksid oma päringute koostamise ja hindamisprotsessi üle vaatama, mitte käsitlema üleminekut pelgalt mudelinime muutmisena.
Piirangud, millega arvestada
Mudeli kõige olulisem piirang tuleneb selle eesmärgist: see loob esitusi, mitte selgitusi. See ei suuda iseseisvalt leitud PDF-i kokku võtta, kasutaja küsimusele vastata, koodi kirjutada ega visuaalset tulemust genereerida. Need ülesanded vajavad pärast otsingut või analüüsi eraldi mudelit.
Sisendipiirangud võivad mõjutada ka leidmise tõhusust ja indekseerimisstrateegiat. Päring võib sisaldada ühe kuni kuueleheküljelise PDF-faili, heli on piiratud 180 sekundiga ja video 120 sekundiga. Suured või pikad lähtematerjalid tuleb jagada väiksemateks üksusteks, mis tekitab rakenduse tasandil valiku tükipiiride, kattuvuse, ajatemplite ja metaandmete kohta.
Esitatud andmetes puuduvad võrdlustulemused täpse otsingukvaliteedi, eri töökoormuste latentsuse või iga valdkonna jaoks sobivaima embedding'u mõõtme kohta. Neid tegureid tuleks mõõta tüüpiliste päringute ja dokumentide abil. Eelkõige peaks mitut modaalsust ühendav süsteem kontrollima, kas valitud koondamismeetod leiab õige meedia, mitte eeldama, et ühine vektorruum välistab igasuguse valdkonnapõhise häälestamise vajaduse.
Millal valida Gemini Embedding 2?
Vali Gemini Embedding 2, kui rakendus vajab mitme meediatüübi jaoks ühtset embedding-töövoogu, eriti siis, kui ühe modaalsuse päring peab leidma sisu teisest modaalsusest. See sobib hästi modaalsusteüleseks otsinguks, segameedia RAG-i, teksti ja meediaüleseks soovitamiseks ning suurte kogude semantiliseks korraldamiseks.
See on mõistlik valik ka siis, kui konfigureeritavad mõõtmed on olulised. Meeskond saab valida väiksema vektoriesituse, et vähendada salvestus- ja otsingukulusid, või kasutada suuremat esitust, kui hindamistulemused õigustavad lisakulu. Pakktöötlus on kasulik olemasolevate kogude indekseerimiseks, selle asemel et iga üksust interaktiivselt embedding'uks teisendada.
Ainult tekstile mõeldud embedding-võimalus võib olla sobivam, kui andmed on täielikult tekstilised ja multimodaalsest lisavõimekusest pole praktilist kasu. Generatiivne Gemini mudel on sobivam siis, kui nõutav tulemus on vastus, kokkuvõte, selgitus, genereeritud kood või uus meedia. Rakenduste puhul, mis juba kasutavad mudelit gemini-embedding-001, võib Gemini Embedding 2 pakkuda laiemat modaalsuste valikut, kuid vektorruumide ühildumatus tähendab, et üleminek hõlmab täielikku uuesti embedding'uteks teisendamist.
Kokkuvõttes tuleks Gemini Embedding 2 mõista eelkõige teabe leidmise ja korraldamise taristuna. Selle väärtus seisneb eri tüüpi sisu ühendamises ühises semantilises indeksis, samal ajal kui ümbritsev rakendus ja teised mudelid tegelevad salvestamise, otsingupoliitika, arutluse ja kasutajale suunatud genereerimisega.