Gemini Embedding

Mis on Gemini Embedding?

Gemini Embedding on Google DeepMindi tekstivektorite mudel. Selle kanooniline mudelitunnus on gemini-embedding-001 ning see on saadaval Gemini API ja Google Cloud Vertex AI kaudu. Vestlusvastuse genereerimise asemel teisendab mudel teksti numbriliseks vektoriks, mida nimetatakse ka embedding'uks ehk vektorkujutiseks.

Vektorkujutis esindab sisendteksti tähenduse ja kasutusega seotud olulisi mustreid. Otsingurakendus saab võrrelda kasutaja küsimuse vektorit dokumentide või tekstilõikude põhjal loodud vektoritega. Sarnase tähendusega tekstid paiknevad vektorruumis üldjuhul üksteisele lähemal kui omavahel mitteseotud tekstid, isegi siis, kui neis ei kasutata samu märksõnu.

Seetõttu on Gemini Embedding kasulik suurema rakenduse ühe komponendina. See võib aidata dokumendisüsteemil leida asjakohaseid tekstilõike, pakkuda sobivaid kandidaattulemusi otsinguga täiendatud genereerimise (RAG) töövoo jaoks, rühmitada sarnast sisu, tuvastada peaaegu duplikaate, klassifitseerida teksti või soovitada seotud üksusi. See ei kirjuta iseseisvalt lõplikku vastust, ei võta dokumenti kokku, ei sirvi veebi ega kasuta tööriistu.

Gemini Embeddingi koht Google'i mudelivalikus

Gemini Embedding kuulub Google'i Gemini kataloogi esituste ja otsingu osasse, mitte genereerivate mudelite hulka. Genereerivad Gemini mudelid võtavad vastu viipasid ja tagastavad teksti või muud genereeritud sisu. Gemini Embedding võtab vastu teksti ja tagastab vektorid, mida kasutatakse järgnevas tarkvaratöötluses.

See erinevus on mudeli hindamisel oluline. Tegemist ei ole väiksema vestlusmudeliga ning seda ei tohiks valida assistendi jaoks, mis peab teavet otse selgitama. Selle eesmärk on muuta tekstid arvutuslikult võrreldavaks. Tüüpilises arhitektuuris võib Gemini Embedding leida asjakohased tekstilõigud ja seejärel edastada need eraldi genereerivale mudelile, mis koostab vastuse.

Google'i dokumentatsiooni kohaselt on Gemini Embedding 2 soovitatav järeltulija rakendustele, mis vajavad uuemat embedding'u võimalust, samal ajal kui gemini-embedding-001 suletakse kavakohaselt 14. mail 2028. Sulgemiskuupäev muudab migratsiooni kavandamise mudeli praktilise kasutuse seisukohast oluliseks, eriti uute süsteemide puhul, mis peaksid töötama mitu aastat.

Tehnilised näitajad ja piirangud

2 048 tokeni piirang kehtib igale tekstisisendile eraldi ning mõjutab seda, kui pika tekstilõigu saab ühe päringu käigus vektoriks teisendada. Pikemad dokumendid tuleb enne indekseerimist üldjuhul väiksemateks osadeks jagada. Tükeldamisstrateegia võib mõjutada otsingu kvaliteeti: liiga lühikesed lõigud võivad kaotada konteksti, liiga pikad lõigud võivad aga sisaldada mitut omavahel mitteseotud teemat ja muuta otsingu ebatäpsemaks.

Väljundi dimensioon määrab, mitu arvu iga vektor sisaldab. Gemini Embedding võib luua 128 kuni 3 072 dimensiooniga vektoreid. Google soovitab tavapäraste juurutuste puhul 768, 1 536 või 3 072 dimensiooni. Suuremad vektorid võivad säilitada rohkem esitusteavet, kuid vajavad rohkem salvestusruumi ja võivad suurendada vektorotsingu ressursinõudeid. Väiksemad vektorid võivad neid kulusid vähendada, kuid iga rakendus peaks kvaliteedi ja kulude vahelist kompromissi oma andmetel eraldi testima.

Miks seadistatavad dimensioonid on olulised?

Gemini Embedding kasutab Matryoshka Representation Learning'u meetodit, mis võimaldab rakendustel taotleda väiksemaid vektorkujutisi, kärpides täielikku esitust. Praktikas tähendab see, et meeskond saab valida oma andmebaasi ja latentsuse eelarvega sobiva vektori suuruse, selle asemel et olla seotud ühe kindla dimensioonide arvuga.

See paindlikkus on kasulik siis, kui rakendus sisaldab miljoneid indekseeritud tekstilõike. Dimensioonide arvu vähendamine võib kahandada salvestusruumi vajadust ja vähendada sarnasuseotsingute käigus töödeldavate andmete hulka. Dimensioonide muutmine ei ole siiski pelgalt kosmeetiline seadistus. Indeksisse salvestatud vektorid ja sissetulevate päringute jaoks loodud vektorid peavad kasutama omavahel ühilduvat dimensioonide arvu ja konfiguratsiooni.

Meeskonnad peaksid indekseerimise ja päringute tegemise ajal kasutama ühtselt sama embedding'u mudelit, ülesandekonfiguratsiooni, dimensioonide arvu ja normaliseerimisviisi. Kui dokumendid indekseeritakse ühe seadistusega, kuid kasutajapäringud teisendatakse vektoriteks teise seadistusega, ei pruugi sarnasusskoorid enam olla otseselt võrreldavad. Seega pakub mudel juurutamisel paindlikkust, kuid seda paindlikkust tuleb hallata vektorandmebaasi kavandamise osana.

Milleks Gemini Embedding sobib?

Semantiline otsing

Märksõnaotsing sõltub suurel määral täpsest sõnade kattuvusest. Embedding'ul põhinev otsing võrdleb selle asemel vektorkujutisi, võimaldades päringul ja dokumendil sobituda ka siis, kui need väljendavad sama mõtet erinevate sõnadega. Näiteks võib kasutajatoe otsingusüsteem leida dokumendi „konto kasutajatunnuste lähtestamise” kohta, kui kasutaja küsib, kuidas „unustatud parooli muuta”.

Embedding'u mudel ei asenda kogu otsingusüsteemi. Rakendus vajab endiselt indeksit, sarnasuseotsingu meetodit, järjestusloogikat ning viisi leitud tulemuste kuvamiseks või kasutamiseks. Gemini Embedding pakub vektorkujutist, mis muudab semantilise võrdlemise võimalikuks.

RAG ja dokumentidele tuginemine

RAG-süsteemis jagatakse dokumendid tekstilõikudeks ja teisendatakse need vektoriteks juba ette. Kui kasutaja esitab küsimuse, teisendatakse ka küsimus vektoriks ning seda võrreldakse salvestatud tekstilõikude vektoritega. Seejärel saab kõige asjakohasemad tekstilõigud edastada eraldi genereerivale mudelile kontekstiks.

See lähenemine võib aidata genereerival süsteemil kasutada privaatset dokumendikogu, ilma et kogu kogu tuleks lisada igasse viipa. Gemini Embedding sobib otsinguetapiks, kuid ei genereeri põhjendatud vastust ise. Google kirjeldab embedding'ul põhinevat otsingut ka selliste teenuste kaudu nagu File Search ja Vertex AI andmeteenused.

Klassifitseerimine, klasterdamine ja soovitused

Embedding'u vektorid võivad olla sisendtunnusteks tavapärases või kohandatud rakendusloogikas. Meeskond saab rühmitada sarnaseid dokumente, tuvastada duplikaat- või seotud kirjeid, klassifitseerida kasutajatoe pöördumisi, leida võrreldavaid tooteid või soovitada sarnasuse põhjal sisu. Need rakendused võivad vajada täiendavaid mudeleid, reegleid või märgendatud andmeid; Gemini Embedding pakub esitust, mitte täielikku klassifitseerimis- või soovitustoodet.

Sisend, väljund, arutlusvõime ja tööriistade tugi

Gemini Embedding töötab ainult tekstiga. Esitatud mudelispetsifikatsioonide kohaselt ei võta see loomuliku embedding'u sisendina vastu pilte, heli, videot ega PDF-faile. PDF tuleb seega enne selle sisu töötlemist sobivaks tekstiks teisendada. Mudel ei tooda ka teksti, pilte, heli, videot ega muud otsest meediaväljundit. Selle väljund on embedding'u vektor.

Tavapärases vestluslikus tähenduses ei ole see arutlusmudel. See ei lahenda probleemi samm-sammult ega tagasta selgitust ning sellel ei ole dokumenteeritud väljundi maksimaalset tokenipiirangut, sest see ei genereeri tokeneid. Samuti ei paku see natiivset koodi genereerimist, funktsioonikutseid, veebiotsingut ega tööriistade kasutamist. Arendaja võib kasutada selle vektoreid keerukas arutlus- või kodeerimisrakenduses, kuid need võimalused pärineksid teistest komponentidest.

Esitatud kataloog hindab selle sobivust arutlemiseks ja kodeerimiseks toimetuslikul madalal tasemel, mitte teenusepakkuja avaldatud võrdlustestide tulemuste põhjal. Sama kataloog annab sellele suhteliselt kõrged kiiruse- ja kuluskoorid, sest embedding'u päringud tagastavad kompaktseid vektorandmeid ja on mõeldud otsingutöökoormusteks. Need skoorid on võrdluseks mõeldud hinnangud, mitte latentsuse, läbilaskevõime või kogu süsteemi maksumuse garantiid.

Hind ja juurdepääs API-le

Gemini Embedding on saadaval Gemini API ja Vertex AI kaudu. Esitatud Vertex AI hinnadokumentatsiooni kohaselt maksavad veebipäringud 0,00015 dollarit 1 000 sisendtokeni kohta ja pakettpäringud 0,00012 dollarit 1 000 sisendtokeni kohta. Viidatud Vertex AI hinnainfo kohaselt embedding'u väljundi eest eraldi tasu ei võeta.

Esitatud hinnakirjas on pakettöötlus odavam valik ja sobib suure dokumendikogu indekseerimiseks, kui tulemusi pole kohe vaja. Veebipäringud sobivad paremini interaktiivsete päringute vektoriteks teisendamiseks, kui rakendus peab kasutaja otsingut kohe töötlema. Tegelikud kulud sõltuvad ka sellest, kui sageli dokumente uuesti vektoriteks teisendatakse, kuidas dokumendid tükeldatakse ning millist arvelduskanalit ja piirkonda kasutatakse.

Selles võrdluses avaldatud hinnad on Vertex AI hinnad. Gemini API saadavus ja hinnad võivad Vertex AI omadest erineda, mistõttu tuleks enne tootmiskulude hindamist kontrollida valitud juurdepääsutee kehtivaid tingimusi.

Olulised piirangud ja migratsiooniga seotud küsimused

Kõige otsesem tehniline piirang on 2 048 tokeni suurune sisendipiir. Pikki aruandeid, raamatuid, transkriptsioone või suuri koodihoidlaid töötlevad rakendused peavad need tekstilõikudeks jagama. Sisu tükeldamine tekitab rakenduse kavandamise probleemi: süsteem peab säilitama kasulikuks otsinguks piisavalt kohalikku konteksti, muutmata samal ajal iga lõiku tarbetult suureks.

Mudel on piiratud ka tekstiga. See ei ole õige valik ühe embedding'u ruumi jaoks, mis hõlmaks pilte, heli, videot ja teksti. Tõeliselt multimodaalsete otsinguvajadustega rakendused peaksid hindama nendele modaalsustele mõeldud mudelit, sealhulgas vajaduse korral Google'i dokumenteeritud järeltulijasuunda.

Lõpuks on gemini-embedding-001 kavandatud sulgemiskuupäev 14. mail 2028. Täna käivitatav süsteem peaks hoidma embedding'u töövoo asendatavana: säilitama lähtedokumendid, salvestama iga indeksi puhul kasutatud mudeli ja dimensioonide arvu ning kavandama vektorite uuesti genereerimise. Migratsioon võib nõuda vektorindeksi uuesti ülesehitamist, sest ei tohiks automaatselt eeldada, et järeltulijamudeli embedding'u vektorid on olemasoleva indeksiga arvuliselt ühilduvad.

Millal valida Gemini Embedding?

Vali Gemini Embedding siis, kui peamine vajadus on teksti esitus semantilise otsingu, RAG-otsingu, dokumentide sarnasuse, klasterdamise, klassifitseerimise tunnuste või soovituste jaoks. See on eriti praktiline juhul, kui seadistatavad dimensioonid aitavad tasakaalustada otsingu kvaliteeti, vektorite salvestamist ja otsingukulusid ning kui 2 048 tokeni sisendipiir sobib rakenduse tükeldamisstrateegiaga.

See võib sobida tekstipõhisele otsingutöövoole, millel on küsimustele vastamiseks juba eraldi genereeriv mudel. Dokumenteeritud Vertex AI hinnad muudavad pakettindekseerimise interaktiivse töötlemisega võrreldes suhteliselt odavaks, kuigi kogu süsteemi maksumusse kuuluvad ka salvestusruum, vektorotsing, andmetöötlus ja pärast otsingut kasutatav genereeriv mudel.

Vali mõni muu lahendus siis, kui mudel peab otse küsimustele vastama, koodi genereerima, tööriistu kasutama, veebi sirvima, töötlema loomulikke pildi- või helisisendeid või vältima teadaolevat sulgemiskuupäeva. Uue pika elueaga juurutuse puhul võib sobivam olla ka uuem embedding'u mudel, kui see pakub vajalikku modaalsuste tuge või selgemat elutsüklit. Sõltumata alternatiivist tuleks võrdlus teha rakenduse enda otsingutestide põhjal, mitte eeldada, et suurem vektor või uuem mudel annab automaatselt paremaid tulemusi.