granite-embedding-small-english-r2

Mis on IBM Granite Embedding Small English R2?

IBM Granite Embedding Small English R2 on IBMi Granite Embedding R2 perekonda kuuluv tihe tekstivektorite mudel. See ei genereeri vastuseid ega jätka vestlust. Selle asemel teisendab see teksti arvulisteks esitusteks ehk vektoriteks. Sarnase tähendusega tekstid peaksid sarnasuse mõõdiku (näiteks koosinussarnasuse) järgi andma üksteisele lähedased vektorid.

Seetõttu sobib mudel ühe komponendina otsingu- või väljavõttesüsteemi. Näiteks võib tugirakendus teisendada kasutaja küsimuse vektoriks, võrrelda seda teadmistebaasi vektoritega ja edastada kõige asjakohasemad tekstilõigud eraldi vastuseid genereerivale mudelile. Sama lähenemist saab kasutada dokumentide vastendamiseks, duplikaatide tuvastamiseks, klasterdamiseks, soovitusteks ja klassifitseerimiseks.

Mudel avaldati 15. augustil 2025 ning seda levitatakse avatud kaaludena Apache 2.0 litsentsi alusel. IBMi mudelidokumentatsiooni järgi on see selle kompaktse ingliskeelse vektormudelite sarja mudeli granite-embedding-30m-english järglane.

Tehnilised andmed lühidalt

8192 tokeni piirang on mudeli jaoks teatatud maksimaalne toetatud sisendjada pikkus. See ei ole väljundtokenite piirang, sest mudel ei genereeri teksti. Selle väljund on iga kodeeritud sisendi kohta fikseeritud suurusega vektor, mis sisaldab 384 väärtust.

Kuidas vektormudel töötab

Granite Embedding Small English R2 kasutab bi-enkooderi arhitektuuri. Päring ja dokument kodeeritakse eraldi, mistõttu saab dokumentide vektorid ette arvutada ja vektorindeksisse salvestada. Kui kasutaja otsingu teeb, tuleb kodeerida ainult uus päring, enne kui süsteem leiab sellele lähedased dokumendivektorid.

Võrreldes iga päringu otse iga dokumendiga rist-enkooderi abil on see arhitektuur suurte kogumite puhul üldjuhul praktilisem. Kompromiss seisneb selles, et kõige asjakohasemate tulemuste täpsemaks järjestamiseks võib vaja minna eraldi ümberjärjestamise etappi. IBM kirjeldab R2 treenimisviisi osana otsingule suunatud eeltreenimist, kontrastiivset peenhäälestust, teadmiste destilleerimist ja mudelite ühendamist. Hinnatavate valdkondade hulka kuuluvad tekstiotsing, koodiotsing, pikkade dokumentide otsing, vestluspõhine otsing, tabeliotsing ja ettevõtteotsing.

Rakendused peaksid kasutama nii indekseeritud sisu kui ka saabuvate päringute puhul sama mudelit ja ühilduvat eeltöötlust. Järgida tuleks ka mudeli dokumentatsiooni vektorite koondamise ja normaliseerimise kohta, sest need üksikasjad mõjutavad seda, kuidas saadud vektorid sarnasuspõhises otsingus käituvad.

Milleks see kõige paremini sobib

• Semantiline otsing: Ingliskeelsete dokumentide või tekstilõikude leidmine tähenduse, mitte täpsete märksõnade kattuvuse alusel.
• Otsinguga täiendatud genereerimine: Asjakohase lähtematerjali leidmine enne selle edastamist generatiivsele mudelile.
• Ettevõtte teadmistebaasid: Tugiartiklite, eeskirjade, juhendite ja ettevõttesisese dokumentatsiooni otsimine.
• Dokumentide sarnasus: Aruannete, tekstilõikude, kirjete või muude tekstiosade võrdlemine.
• Klasterdamine ja klassifitseerimine: Vektorite kasutamine tunnustena rühmitamisel või järgnevates masinõppeülesannetes.
• Duplikaatsisu tuvastamine: Semantiliselt sarnase teksti leidmine ka siis, kui sõnastus erineb.
• Privaatsed juurutused: Avatud kaaludega mudeli käitamine organisatsiooni valitud taristus, selle asemel et sõltuda dokumenteeritud majutatud vektoriteenuse lõpp-punktist.

Mudeli kompaktne suurus ja 384-mõõtmeline väljund on eriti olulised siis, kui süsteem peab indekseerima palju dokumente. Väiksemad vektorid võtavad vähem salvestusruumi ning võivad vähendada vektorandmebaasi mälu- ja ribalaiusevajadust. Samuti võib neid olla suurematest vektormudelitest lihtsam suure koormuse juures teenindada, kuigi tegelik latentsus ja kvaliteet sõltuvad riistvarast, pakktöötlusest, teostusest ja otsingukoormusest.

Tugevused ja praktilised kompromissid

Granite Embedding Small English R2 kõige selgem tugevus on selle kompaktsus. Ligikaudu 47 miljonit parameetrit ja 384-mõõtmelised vektorid pakuvad ingliskeelse otsingu jaoks suhteliselt säästlikku lähtekohta. See võib olla kasulik kohalikes teenustes, piiratud ressurssidega juurutustes ja suurte indeksite puhul, kus vektorite salvestuskulud on olulised.

Selle 8192 tokeni suurune sisendimaht toetab ka pikemaid tekstilõike kui lühikese kontekstiga vektormudelid, kuigi kogu pika dokumendi edastamine ühe sisendina ei ole automaatselt parim otsingustrateegia. Dokumentide jagamine sisukateks osadeks võib muuta tulemused paremini tõlgendatavaks ja suurendada tõenäosust, et leitud tekst sisaldab otseselt kasulikku vastust.

Apache 2.0 litsents on veel üks praktiline eelis organisatsioonidele, kes vajavad avatud kaaludega mudelit teadustööks, kommertstarkvaraks või kontrollitud juurutuseks. IBMi avaldatud mudeliteave paigutab R2 mudeliperekonna otsingule suunatud töökoormuste, mitte üldise tekstigeneratsiooni konteksti.

Peamine kompromiss seisneb selles, et väiksem vektormudel ei pruugi igal keerukal otsingu võrdlustestil või spetsialiseeritud valdkonnas suurema mudeliga võrdväärselt toimida. Esitatud teave ei kinnita universaalset kvaliteedijärjestust, seega tuleks tegelikku jõudlust hinnata tüüpiliste päringute ja dokumentidega. Väiksemad vektorid säästavad ressursse, kuid meeskonnad peaksid hindama, kas salvestusruumi ja kiiruse eelised kaaluvad nende andmete puhul üles võimalikud erinevused otsingu kvaliteedis.

Sisendid, väljundid ja toetamata funktsioonid

Mudel võtab vastu tekstisisendi ja tagastab vektorid. See toetab ingliskeelseid päringuid, tekstilõike ja dokumente. Dokumenteeritud väljund ei ole tekst, pilt, heli ega video. Seetõttu puuduvad sellel vestlusvastuste genereerimise, piltide mõistmise, kõnetöötluse ja meedia genereerimise funktsioonid.

Granite Embedding Small English R2 ei ole arutlus- ega koodigeneratsiooni mudel. Kuigi IBM nimetab koodiotsingut üheks Granite Embedding R2 perekonna hindamisvaldkonnaks, tähendab see, et mudel aitab koodiga seotud teksti esitada ja otsida; see ei kirjuta, käivita ega selgita koodi generatiivse assistendina. Esitatud mudeliteave ei kinnita selle konkreetse mudeli puhul ka tööriistade kasutamist, funktsioonikutseid, voogedastust, JSON-režiimi, pakktöötluse API tuge ega peenhäälestuse tuge.

Eraldi maksimaalse väljundtokenite arvu seadistust ei ole, sest väljund on fikseeritud suurusega 384-mõõtmeline vektor. Arv 8192 kehtib sisendjadade kohta.

Hind ja juurutamine

IBMi esitatud dokumentatsioon ei sisalda selle mudeli kasutamiseks IBMi majutatud teenuses tokenipõhist hinda. Granite Embedding Small English R2 levitatakse avatud kaaludena, seega sõltub kasutamise hind juurutusviisist: näiteks kohalikust riistvarast, privaatsest serverist, pilvemasina kasutamisest või mõnest muust teenindusplatvormist. Kogukulu võivad mõjutada taristu, salvestusruum, päringute maht, pakktöötlus ja operatiivtugi.

See hinnastusmudel erineb majutatud vektoriteenuse API-st, mille puhul on avaldatud tasu miljoni tokeni kohta. Organisatsioonid, kes juba haldavad järeldustaristut, võivad avatud kaaludega mudeli puhul väärtustada kontrolli ja prognoositavaid omamiskulusid. Seevastu meeskonnad, kes soovivad kasutuspõhise hinnastusega valmis lõpp-punkti, võivad eelistada majutatud vektoriteenust, kui see vastab nende andmete, keele ja kvaliteedi nõuetele.

Mudel on saadaval IBMi Granite'i repositooriumides ning seda saab kasutada levinud avatud lähtekoodiga tööriistadega, nagu Transformers ja Sentence Transformers. Esitatud allikad viitavad Huggin Face'i mudelirepositooriumile ja IBMi lähtekoodirepositooriumile, kuid ei määratle selle konkreetse mudeli jaoks üht kohustuslikku teenindusraamistikku ega IBMi hallatavat lõpp-punkti.

Olulised piirangud

• Inglise keele fookus: Seda ei tohiks käsitleda üldise mitmekeelse vektormudelina. Kui otsing hõlmab mitut keelt, võib sobivam olla mõni mitmekeelne Granite'i vektormudel.
• Ei genereeri vastuseid: See otsib või esitab teksti, kuid ei anna küsimustele vastamise süsteemis lõplikku vastust.
• Kvaliteedi ja kompaktsuse kompromiss: Eriti keerukate otsinguülesannete korral võivad suuremad vektormudelid olla eelistatavad, kui nende suuremad ressursinõuded on vastuvõetavad.
• Juurutamise vastutus: Avatud kaalud välistavad sõltuvuse dokumenteeritud majutatud teenuse hinnast, kuid kasutaja peab ise valima, käitama ja turvama teenindustaristu.
• Sõltuvus töövoost: Otsingu kvaliteet sõltub tekstilõikudeks jagamisest, eeltöötlusest, indekseerimisest, sarnasusseadetest ning mudelit ümbritsevatest ümberjärjestamise või genereerimise etappidest.

Neid piiranguid tuleb mudeli hindamisel arvesse võtta. Tugev vektormudel ei suuda kompenseerida halvasti jaotatud dokumentidega täidetud indeksit, ebaühtlast eeltöötlust ega ebaolulist lähtematerjali.

Millal valida Granite Embedding Small English R2?

Vali see mudel siis, kui põhiülesanne on ingliskeelne semantiline otsing ning kompaktne avatud kaaludega mudel on väärtuslikum kui suurem majutatud või suurema jõudlusega alternatiiv. See sobib hästi kandidaadiks privaatses ettevõtteotsingus, RAG-i otsinguetapis, dokumentide sarnasuse hindamisel ja vektorandmebaasides, kus 384-mõõtmelised vektorid võivad vähendada indeksi suurust ja teenindamisega seotud koormust.

Kaalu mõnda muud lahendust, kui rakendus vajab mitmekeelset otsingut, genereeritud teksti, multimodaalseid sisendeid, tööriistade kasutamist või täielikult hallatud vektoriteenuse API-t, mille tokenipõhine hind on selgelt avaldatud. Suurem vektormudel võib olla sobivam ka siis, kui keeruka või spetsialiseeritud sisu puhul on otsingu kvaliteet mudeli suurusest ja taristu tõhususest olulisem. Täieliku RAG-rakenduse puhul tuleks seda mudelit käsitleda otsingukomponendina; lisaks võib vaja minna eraldi ümberjärjestajat ja generatiivset mudelit.

Kokkuvõte

IBM Granite Embedding Small English R2 on sihipärane mudel, mitte üldotstarbeline AI-assistent. Selle ligikaudu 47 miljonit parameetrit, 384-mõõtmelised vektorid, 8192 tokeni suurune sisendimaht, keskendumine inglise keelele, avatud kaalud ja Apache 2.0 litsents muudavad selle sobivaks kompaktsetele semantilise otsingu süsteemidele ja privaatsetele otsingutöövoogudele. Mudeli väärtus on suurim siis, kui olulised on tõhus indekseerimine ja kontroll juurutuse üle; mitmekeelne tugi, vastuste genereerimine või maksimaalne otsingukvaliteet võivad seevastu nõuda teistsugust või suuremat mudelit.