Mis on Granite Embedding 30M Sparse?
IBM Granite Embedding 30M Sparse on ingliskeelne hõre kodeerija teabeotsingu jaoks. Selle ametlik identifikaator Hugging Face'is on ibm-granite/granite-embedding-30m-sparse. IBM kirjeldab seda kui Granite Embedding Team'i välja töötatud 30 miljoni parameetriga hõredat bienkooderit, mis on välja antud Apache 2.0 litsentsi alusel.
Mudel teisendab teksti hõredaks esituseks: sõnavara märkide kogumiks ja õpitud asjakohasuskaaludeks. See erineb tihedast manustusmudelist, mis tagastab tavaliselt kindla pikkusega arvväärtuste loendi. Hõredat väljundit saab salvestada ja otsida pöördindeksite või hõredate vektorite taristu abil, säilitades samal ajal osa närvivõrgupõhisele otsingule omasest semantilisest laiendusest.
Näiteks võib päring aktiveerida kasutaja sisestatud sõnadega seotud termineid. Seetõttu võib asjakohaseks pidada dokumenti, mis sisaldab neid seotud termineid isegi siis, kui see ei korda päringut sõna-sõnalt. Samal ajal on märgipõhine esitus tavapärase tiheda vektoriga võrreldes paremini tõlgendatav ja leksikaalse otsinguga ühilduvam.
Granite'i mudelite reas
Granite Embedding 30M Sparse kuulub IBM-i Granite Embeddingu perekonda ja laiemasse Granite Experimentsi projekti. See on spetsialiseeritud otsingumudel, mitte üldotstarbeline Granite'i keelemudel. Selle eesmärk on kodeerida päringuid ja dokumente otsingu, sobitamise, järjestamise ning otsinguga täiendatud töövoogude jaoks.
Seda positsiooni on mudeli hindamisel oluline arvestada. Mudel ei anna vestlusvastuseid, ei kirjuta koodi, ei võta dokumente kokku ega genereeri struktureeritud vastuseid. Otsinguga täiendatud genereerimise süsteemis võib rakendus kasutada seda enne generatiivset mudelit, kuid kodeerija ise toodab ainult hõredaid manustusi.
Kuidas hõre väljund töötab?
Mudel kasutab RoBERTa-laadset kodeerija arhitektuuri, mis on treenitud tootma kaalutud sõnavaraaktivatsioone. Selle sõnavaras on 50 265 märki ning saadud esitus võib sisaldada aktiivseid dimensioone, mis vastavad mudeli arvates asjakohastele märkidele või märgilaiendustele.
Praktilises mõttes sarnaneb väljund pigem kaalutud sõnakogumile kui tihedale koordinaatvektorile. Otsingumootor saab nende kaalude abil sobitada päringuid ja dokumente hõredate indeksite kaudu. Selline lähenemine võib säilitada täpse või peaaegu täpse terminivaste ning samal ajal laiendada otsingu esitust seotud terminoloogia suunas.
Seetõttu on hõre otsing kasulik kesktee traditsiooniliste leksikaalsete meetodite, näiteks BM25, ja tiheda semantilise otsingu vahel. Seda võib olla lihtsam uurida kui tihedat vektorit, kuigi pikkade sisendite korral võib esitus muutuda vähem tõhusaks nii salvestusruumi kui ka arvutuste mõttes, kui aktiveeritakse palju sõnavaradimensioone.
Kontrollitud tehnilised andmed
| Tehnilised andmed | Väärtus |
|---|---|
| Teenusepakkuja | IBM |
| Mudelite perekond | Granite Embedding |
| Mudeli tüüp | Hõre teksti manustuste kodeerija |
| Parameetrid | Ligikaudu 30 miljonit |
| Arhitektuur | Ainult kodeerijaga RoBERTa-laadne transformer |
| Kihid | 6 |
| Tähelepanupead | 12 |
| Vahekihtide suurus | 1 536 |
| Aktivatsioon | GeLU |
| Sõnavara suurus | 50 265 märki |
| Maksimaalne jada pikkus | 512 märki |
| Peamine keel | Inglise keel |
| Väljund | Muutuva pikkusega hõre märgi-kaalu esitus |
| Litsents | Apache 2.0 |
| Väljalaske kuupäev | 26. veebruar 2025 |
512 märgi piirang on praktikas oluline. Pikemate dokumentidega töötavad rakendused peaksid need enne kodeerimist lõikudeks jagama ning seejärel neid lõike otsima ja järjestama, mitte püüdma kogu pikka dokumenti ühe sisendina manustada.
Otsingu ja teabeotsingu kasutusjuhtumid
Mudel on mõeldud süsteemidele, mis vajavad dokumentide või päringute esitusi, mitte genereeritud teksti. Sobivad rakendused on näiteks:
- Ettevõtte dokumentide otsing
- Tehnilise dokumentatsiooni otsing
- Semantilise ja märksõnapõhise otsingu hübriid
- Küsimustele vastamise otsinguetapid
- Päringu ja dokumendi sobitamine
- Otsingu järjestamise ja ümberjärjestamise töövood
- Pöördindeksil või hõredatel vektoritel põhinev otsing
IBM-i näited kasutavad Sentence Transformersi hõreda kodeerija liidest ja integratsiooni Milvusega hõredate vektorite otsinguks. Näidetes kasutatakse päringute ja dokumentide jaoks ka erinevaid aktiivsete märkide piiranguid: 50 aktiivset päringu märki ja 192 aktiivset dokumendi märki. Need väärtused on rakendusnäited, mitte universaalne nõue iga juurutuse jaoks.
Jõudlus ja praktilised kompromissid
IBM teatab mudeli BEIR Retrievali skooriks 50,8 oma esitatud 13 ülesandest koosneva hindamisvalimi põhjal. Sama IBM-i võrdlus näitab, et mudel saavutas veidi kõrgema skoori kui sarnase suurusega tihe Granite Embedding 30M Englishi mudel ning kõrgema skoori kui SPLADE-v3-distilbert. Need on teenusepakkuja esitatud võrdlustulemused ja neid ei tohiks käsitleda konkreetse otsingukorpuse tulemuslikkuse garantiina.
Hõreda väljundi peamine praktiline eelis on õpitud semantilise laienduse ja leksikaalset laadse sobitamise kombinatsioon. Hõredad esitused võivad töötada loomulikult pöördindeksitega ning muuta üksikute aktiveeritud terminite uurimise lihtsamaks. Need võivad sobida ka süsteemidele, mis juba toetavad hõredaid vektoreid või BM25-põhiseid hübriidseid töövooge.
Kompromiss seisneb selles, et hõre väljund ei ole iga töökoormuse puhul automaatselt odavam ega lihtsam. Pikad lõigud võivad aktiveerida rohkem sõnavaradimensioone, suurendades indeksi mahtu ja otsingule kuluvat tööd. Tihedad manustused võivad olla eelistatavad juhul, kui olemasolev vektorandmebaas ja kindla suurusega vektorite töövoog on nende jaoks juba optimeeritud. Tootmismeeskond peaks hindama oma andmetel otsingu kvaliteeti, latentsust, mälukasutust ja indeksi käitumist.
Sisendid, väljundid ja toetamata võimalused
Granite Embedding 30M Sparse võtab vastu tekstisisendi ja tagastab hõredad manustusesitused. See ei tagasta teksti, pilte, heli, videot ega vestlusvastuseid. Dokumenteeritud maksimaalset genereeritud väljundi pikkust ei ole, sest tegemist ei ole generatiivse mudeliga.
Mudelit ei tohiks käsitleda arutlus- ega kodeerimismudelina. See võib aidata leida tehnilist või programmeerimisteemalist dokumentatsiooni, kuid ei lahenda iseseisvalt ülesandeid, ei kirjuta koodi, ei kasuta tööriistu, ei sirvi veebi ega genereeri funktsioonikutsete argumente. Tavapärased keelemudeli funktsioonid, nagu vestluse lõpetamine, teksti genereerimise voogedastus, JSON-režiim ja veebiotsing, ei kuulu selle põhitoimingu juurde.
Dokumenteeritud multimodaalset tuge samuti ei ole. Toetatud modaalsus on ingliskeelne tekstisisend, mille väljundiks on hõredad arvulised esitused.
Hinnakujundus ja juurutamine
Kaalud on avalikult allalaaditavad ning IBM-i esitatud dokumentatsioon ei määra selle mudeli jaoks ametlikku majutatud teenuse märgi- ega päringupõhist hinda. Seetõttu ei ole kontrollitud teenusepakkuja API-hinda, mida välja tuua. Juurutamise maksumus sõltub rakenduses kasutatavast riistvarast, teeninduslahendusest, indeksitehnoloogiast, salvestusruumist ja otsinguliiklusest.
Kohalik juurutamine on mudeli kõige selgem kättesaadavusviis. Tüüpilise töövoo puhul kodeeritakse dokumendid ja päringud hõreda kodeerijaga, salvestatakse dokumentide esitused ühilduvasse hõredasse või hübriidindeksisse ning tehakse päringu ajal sellest indeksist otsing. Apache 2.0 litsents lubab laialdast kasutust vastavalt litsentsitingimustele, kuid meeskonnad peaksid siiski üle vaatama oma levitamise ja käitamisega seotud nõuded.
Peamised tugevused ja piirangud
Tugevused
- Väike suurus: ligikaudu 30 miljonit parameetrit.
- Loodud spetsiaalselt teabeotsingu jaoks, mitte kohandatud üldisest teksti genereerimise mudelist.
- Ühendab semantilise märgilaienduse leksikaalset laadse sobitamisega.
- Sobib pöördindeksil ja hõredatel vektoritel põhineva otsingu arhitektuuridega.
- Avatud kaalud ja Apache 2.0 litsents toetavad kohalikku juurutamist.
- Tiheda esitusega võrreldes võib seda olla lihtsam uurida, sest aktiivsed märgid on seotud äratuntavate sõnavaraüksustega.
Piirangud
- Esitatud mudelidokumentatsiooni kohaselt ainult ingliskeelne.
- Maksimaalne jada pikkus on 512 märki.
- See tagastab hõredaid manustusi, mitte loomulikus keeles vastuseid.
- See ei paku vestlust, genereerimist, tööriistade kasutust, veebiotsingut ega multimodaalset mõistmist.
- Pikemad lõigud võivad tekitada rohkem aktiivseid dimensioone ning suurendada indeksi või otsingu kulusid.
- Eksperimentaalse otsingumudelina vajab see võrdlust tihedate, leksikaalsete ja hübriidsete alternatiividega sihtkogumi põhjal.
Millal seda mudelit valida?
Vali Granite Embedding 30M Sparse juhul, kui rakendus vajab ingliskeelset otsingu kodeerijat, mis ühendab semantilise laienduse märksõnatundliku otsinguga. See on eriti mõistlik kandidaat ettevõtte dokumentide otsingu, tehniliste teadmistebaaside, BM25 ja vektorotsingu hübriidsüsteemide ning juurutuste jaoks, kus on olulised avatud kaalud ja kohalik kasutus.
Tihe manustusmudel võib olla sobivam siis, kui olemasolev taristu põhineb kindla pikkusega tihedatel vektoritel, kui hõreda indeksi kasv tekitab probleeme või kui tihe otsing toimib sihtandmetel paremini. Mitmekeelne mudel sobib paremini keeltevaheliseks või muukeelseks otsinguks. Generatiivset keelemudelit on vaja siis, kui süsteem peab küsimustele vastama, otsingutulemusi kokku võtma, koodi kirjutama või tööriistadega suhtlema.
Lühidalt öeldes tasub seda mudelit hinnata keskendunud otsingu komponendina. Selle väärtus tuleneb kompaktse mudeli suuruse, hõredate semantiliste esituste ja leksikaalse otsinguga ühilduvuse tasakaalust, mitte üldotstarbelisest keele genereerimisest.
Kättesaadavus
Granite Embedding 30M Sparse on saadaval IBM-i ametliku Granite'i organisatsiooni kaudu Hugging Face'is aadressil ibm-granite/granite-embedding-30m-sparse. IBM-i mudelikaart ja tehnilised materjalid määratlevad selle avatud kaaludega mudelina, mis avaldati 2025. aasta veebruaris Apache 2.0 litsentsi alusel.