Granite-Embedding-278M-Multilingual

Mida Granite-Embedding-278M-Multilingual teeb

Granite-Embedding-278M-Multilingual on IBM Researchi Granite Embeddingsi perekonda kuuluv ainult kodeeriv mudel. Vastuse kirjutamise asemel loeb see etteantud teksti ja teisendab selle arvuliseks esituseks, mida nimetatakse manuseks (embedding). Saadud vektor kajastab tähendusmustreid, mida saab tekstide arvutuslikuks võrdlemiseks kasutada.

Näiteks saab otsingurakendus kodeerida kasutaja päringu ja dokumendikogu ning seejärel leida dokumendid, mille vektorid on päringuvektorile lähedal. Nii saab süsteem leida asjakohaseid tekstilõike ka siis, kui päringus ja dokumendis kasutatakse erinevat sõnastust. Sama lähenemine sobib duplikaatide tuvastamiseks, semantiliseks klasterdamiseks, soovitusteks ja otsinguga täiendatud genereerimiseks (RAG), mille puhul edastatakse leitud tekstilõigud eraldi generatiivsele mudelile.

Mudel on manuseid loov komponent, mitte täielik juturobot. See ei genereeri algupäraselt proosateksti, vasta küsimustele, kasuta tööriistu, loo koodi ega genereeri pilte, heli või videot.

Kontrollitud spetsifikatsioonid

Dokumenteeritud arhitektuur sisaldab ka 3072 ühikuga vahekihti ja 250 002 tokenist koosnevat sõnavara. Dokumenteeritud manuste töövoos kasutab mudel CLS-esitust ja normaliseerib saadud vektori. Normaliseerimine muudab väljundi sarnasuse arvutamiseks mugavaks, kuid täpset indekseerimis- ja kaugusekonfiguratsiooni tuleks siiski sihtvektoriandmebaasis testida.

Keeletugi ja sisendipiirangud

Mudel treeniti ja seda hinnati 12 keeles: inglise, saksa, hispaania, prantsuse, jaapani, portugali, araabia, tšehhi, itaalia, korea, hollandi ja hiina keeles. Seetõttu sobib see mitmekeelseks otsinguks ja keelteüleseks otsinguks, näiteks saksa keeles esitatud päringu sobitamiseks ingliskeelse dokumendikoguga, kui rakendus ja hindamisandmed seda kasutust toetavad.

Keelekatvust ei tohiks tõlgendada nii, et jõudlus on igas ülesandes kõigi keelte puhul võrdne. Otsingu kvaliteet võib erineda olenevalt keelest, valdkonnast, terminoloogiast, dokumendi stiilist ning päringute ja tekstilõikude ettevalmistamise viisist. IBMi dokumentatsioon kirjeldab ka võimalust mudelit täiendavate keelte jaoks peenhäälestada, kuid see ei tähenda, et kõik täiendavad keeled oleksid kohe kasutusvalmis.

Maksimaalne järjestuse pikkus on 512 tokenit. Sellest pikem tekst kärbitakse dokumenteeritud konfiguratsioonis, mistõttu tuleks pikad dokumendid enne kodeerimist jaotada sisukateks lõikudeks. Tükeldamine on oluline nii leidmise tõhususe kui ka praktilise otsingu seisukohast: terve pika dokumendi taandamine üheks kärbitud vektoriks võib välja jätta lõigu, mis vastab kasutaja päringule.

Väljund ja toetatud modaalsused

Granite-Embedding-278M-Multilingual võtab vastu teksti ja toodab tihedaid teksti manuseid. Iga väljund sisaldab 768 arvulist komponenti. Neid vektoreid saab salvestada vektorindeksisse ja võrrelda koosinussarnasuse või muu rakenduse toetatud kaugusmõõdiku abil.

Proosateksti väljundpiirang puudub, sest mudel ei genereeri proosateksti. Sellel puudub kontrollitud pildi-, heli-, video-, kõne- või muusika sisendi ja väljundi võimekus. Samuti ei paku see loomupärast struktureeritud vastuste genereerimist, tööriistade kasutamist, funktsioonikutseid, voogedastusega genereerimist ega veebiotsingut. Need funktsioonid tuleb lisada ümbritsevate rakendusekomponentidega ja vajaduse korral eraldi generatiivse mudeliga.

Tugevused ja kompromissid

Mudeli peamine tehniline tugevus on mitmekeelse toe, fikseeritud 768-mõõtmelise vektoriruumi ja suhteliselt kompaktse kodeerija kombinatsioon. See sobib semantiliseks otsinguks otsesemalt kui üldotstarbeline keelemudel, sest selle väljund on mõeldud indekseerimiseks ja sarnasuse võrdlemiseks, mitte vestluseks. Apache 2.0 litsents võib olla kasulik ka organisatsioonidele, kes peavad käitama või kohandama avatud litsentsiga mudelit, arvestades oma projekti litsentsi- ja juurutustingimusi.

Sama olulised on mudeli piirangud. 512 tokeni sisendipiirang nõuab pikkade dokumentide puhul hoolikat tükeldamist. Manused ei selgita, miks tulemus leiti, ning mudel ei suuda iseseisvalt lõplikku vastust sõnastada. Tootmiskeskkonna RAG-süsteem ühendaks selle tavaliselt dokumendisalve, vektoriandmebaasi, otsinguloogika ja eraldi vastuseid genereeriva keelemudeliga.

Mudel ei ole enam IBMi praegune juurutusvalik. IBM nimetab uuemaks järglaseks mudelit Granite-Embedding-311M-Multilingual-R2. Uute projektide puhul tuleks hinnata seda järglast, mitte eeldada, et 278M mudeliga loodud vektoreid saab taaskasutada. Manuseruumid ja dimensioonid sõltuvad konkreetsest mudelist, mistõttu tuleb migreerimisel tavaliselt dokumendi- ja päringuvektorid uuesti genereerida ning vastav indeks uuesti koostada.

Kus see mudel kõige paremini sobib

• Mitmekeelne semantiline otsing: kodeeri päringud ja dokumendid, et leida tekste tähenduse, mitte täpsete märksõnade kattuvuse põhjal.
• RAG-i otsing: leia asjakohased tekstilõigud enne konteksti edastamist eraldi generatiivsele mudelile.
• Dokumentide klasterdamine: rühmita dokumendid semantilise sarnasuse alusel korraldamiseks või analüüsiks.
• Duplikaatide ja peaaegu identsete tekstide tuvastamine: võrdle vektorite sarnasust, et tuvastada lähedase tähendusega tekstid.
• Soovituste funktsioonid: esita dokumendid, tooted või kasutajapäringud vektoritena sarnasusel põhinevate soovituste jaoks.
• Tekstiklassifitseerimise tunnused: kasuta manuseid allavoolu klassifitseerija sisendina.

See sobib eriti hästi siis, kui rakendus vajab mitmekeelse teksti esitusi ning suudab korraldada mudeli enda majutamise või ühilduda Transformersi ja Sentence Transformersi töövooga. Mudel ei sobi juhul, kui peamine vajadus on interaktiivne abiline, koodi genereerimine, arutlemine, autonoomne tööriistade kasutamine või sisu otsene loomine.

Hind ja saadavus

Selle mudeli praegust IBMi majutatud API hinda ei ole kontrollitud. Mudelit levitati Apache 2.0 litsentsi alusel, kuid litsents ei kõrvalda järelduste tegemiseks vajaliku taristu, vektorite salvestamise, indeksi koostamise ega otsingu kvaliteedi hindamise kulusid.

IBMi elutsüklidokumentatsioon märgib vananemise kuupäevaks 8. mai 2026 ja sulgemise kuupäevaks 8. augusti 2026. Arvestades, et esitatud teave pärineb 25. septembrist 2026, tuleks mudelit käsitleda kasutuselt kõrvaldatuna, mitte uute IBMi majutatud juurutuste jaoks saadaval olevana. See võib endiselt olla asjakohane varasemate eksperimentide taasesitamisel, olemasoleva süsteemi auditeerimisel või ajaloolise vektorindeksi hooldamisel, kui manusemudeli muutmine mõjutaks võrreldavust.

Juurutus- ja migratsioonijuhised

Ühilduv juurutus tokeniseerib iga tekstisisendi koos kärpimise ja polsterdamisega, hangib kodeerija väljundi, valib CLS-esituse ja normaliseerib saadud vektorid. Dokumendid tuleks tükeldada alla 512 tokeni pikkusteks osadeks ning indekseeritud dokumentide ja saabuvate päringute puhul tuleks kasutada sama eeltöötlus- ja normaliseerimisviisi.

Enne mudeli kasutuselevõttu või kasutuse jätkamist hinda otsingut tüüpiliste päringute põhjal kõigis olulistes keeltes ja valdkondades. Ära kontrolli ainult keskmist sarnasust: mõõda, kas õige tekstilõik jõuab esimestesse tulemustesse, uuri ebaõnnestunud juhtumeid ja testi pikki dokumente eraldi. Keelteülest jõudlust tuleks valideerida tegelike päringu-dokumendi paaridega, mitte tuletada seda üksnes toetatud keelte loendist.

Migreerimisel mudelile Granite-Embedding-311M-Multilingual-R2 või mõnele muule manusemudelile genereeri salvestatud dokumendivektorid uuesti, koosta vektorindeks uuesti ja korda otsingu hindamisi. Ära sega eri manusemudelite vektoreid ühte sarnasusruumi, välja arvatud juhul, kui valitud süsteem kirjeldab ühilduvust sõnaselgelt.

Millal seda mudelit valida

Vali Granite-Embedding-278M-Multilingual ainult siis, kui sul on konkreetne põhjus selle käitumise säilitamiseks, näiteks ajaloolise hindamise taasesitamine, olemasoleva mudeli vektoriruumist sõltuva rakenduse hooldamine või tulemuste võrdlemine varasema IBMi Granite'i juurutusega. Selle mitmekeelne ülesehitus ja 768-mõõtmelised väljundid on endiselt kasulikud tehnilised omadused, kuid mudeli kasutuselt kõrvaldamise tõttu on see uue tootmissüsteemi jaoks halb vaikevalik.

Uue töö puhul hinda IBMi nimetatud järglast Granite-Embedding-311M-Multilingual-R2 või muud praegu toetatud manusemudelit oma keelte, valdkondade, latentsusnõuete ja otsingu võrdlustestide põhjal. Väiksem manusemudel võib pakkuda väiksemaid taristukulusid või kiiremat töötlust, samas kui suurem või uuem mudel võib konkreetse keele või valdkonna puhul anda parema otsingukvaliteedi. Neid kompromisse ei saa esitatud spetsifikatsioonide põhjal üksi kindlaks teha, mistõttu tuleb neid mõõta kavandatud töökoormuse korral.