Granite-Embedding-125M-English

Mis on Granite-Embedding-125M-English?

Granite-Embedding-125M-English on IBM-i Granite Embeddingi meeskonna pakutav avatud kaaludega tekstiembeddingu mudel. Lõikude genereerimise või küsimustele vastamise asemel teisendab see etteantud ingliskeelse teksti fikseeritud pikkusega arvuliseks esituseks, mida nimetatakse embedding'uks ehk vektorrepresentatsiooniks. Sarnase tähendusega tekstid võivad vektorandmebaasis või sarnasuse arvutamisel anda lähestikku paiknevad vektorid.

Seetõttu sobib mudel pigem otsingukomponendiks kui vestlusassistendiks. Näiteks võib teadmistebaasi rakendus teisendada oma dokumendid vektoriteks, salvestada tulemused ja teisendada seejärel kasutaja küsimuse vektoriks, et leida sarnase tähendusega tekstilõike. Eraldi generatiivne mudel võib neid leitud lõike hiljem vastuse koostamiseks kasutada.

Mudel on ainult kodeerija ning kasutab RoBERTa-laadset transformeriarhitektuuri. Sellel on ligikaudu 125 miljonit parameetrit ja see genereerib 768-mõõtmelisi embedinguid. IBM avaldas selle allalaaditavate avatud kaaludena Apache 2.0 litsentsi alusel.

Tehnilised andmed ja sisendipiirangud

Dokumenteeritud kasutusviis rakendab lõpliku esituse loomiseks CLS-i pooling'ut ja vektori normaliseerimist. Sisendid, mis on pikemad kui 512 tokenit, kärbitakse mudeli maksimaalse järjestuse pikkuseni. Praktikas peaksid rakendused pikad dokumendid enne nende vektoriteks teisendamist sobiva suurusega lõikudeks jaotama. Tükeldamine on otsingu ja RAG-i puhul eriti oluline, sest terve pika dokumendi sisestamine ühe kärbitud sisendina võib kõrvale jätta dokumendi lõpuosa teabe.

Mida mudel teha suudab

Granite-Embedding-125M-English on mõeldud ingliskeelsete tekstide semantiliste seoste mõõtmiseks. Märksõnaotsing võib asjakohase lõigu leidmata jätta, kui päringus ja dokumendis kasutatakse erinevaid sõnu; embedding'u-põhine otsing võib aga tuvastada erineva sõnastuse, kui selle aluseks olev tähendus on sarnane. Seega võib mudel toimida mitme rakenduse representatsioonikihina:

• Semantiline otsing: dokumentide või lõikude leidmine tähenduse, mitte täpsete märksõnade kattuvuse põhjal.
• Otsinguga täiendatud genereerimine: asjakohaste lähtelõikude leidmine enne, kui eraldi keelemudel vastuse genereerib.
• Ettevõtte teadmistebaasi otsing: ettevõtte sise-eeskirjade, juhendite ja tehnilise dokumentatsiooni otsimine.
• Küsimuste ja dokumentide sobitamine: kasutaja küsimuse võrdlemine võimalike vastuste või kirjetega.
• Sarnasuse ja duplikaatide tuvastamine: sarnast teavet väljendavate dokumentide, pöördumiste või lõikude tuvastamine.
• Klasterdamine: seotud tugipäringute, dokumentide või muu ingliskeelse teksti rühmitamine.
• Klassifitseerimise tunnused: embedding'ute kasutamine järgmise etapi klassifitseerija sisendtunnustena.
• Koodi ja tehnilise sisu otsing: ingliskeelse tehnilise dokumentatsiooni ja koodiga seotud teksti otsingu toetamine.

Väljund ei ole kokkuvõte, selgitus, silt ega vastus. See on vektor, mida on mõeldud teiste vektoritega võrdlemiseks. Täielik rakendus vajab endiselt embedding'u-indeksit või sarnasuspõhist otsingusüsteemi, dokumentide tükeldamise strateegiat ning vastuste vajaduse korral eraldi genereerimiskomponenti.

Avaldatud võrdlustulemused ja praktiline kvaliteet

IBM teatab oma avaldatud MTEB Retrievali hindamisel tulemuseks 52,3 ning avaldatud CoIR-i koodiotsingu hindamisel tulemuseks 50,3. Need on mudeli dokumentatsioonis esitatud võrdlustulemused. Neid tuleks käsitleda pakkuja teatatud tulemustena, mitte garanteeritud jõudlusena iga korpuse, keelekombinatsiooni, tükeldamisstrateegia, kaugusmõõdiku või tootmiskoormuse korral.

Mudeli suhteliselt väike suurus on kasulik siis, kui olulised on juurutamise maksumus, mälunõuded või lokaalse käitamise kiirus. Embeddingu kvaliteet sõltub siiski tugevalt valdkonnast ja ülesandest. Enne mudeli valimist suure mõjuga otsingusüsteemi jaoks peaks meeskond katsetama esinduslikke päringuid ja dokumente, eriti juhul, kui andmed sisaldavad erialatermineid või märkimisväärses mahus muud kui ingliskeelset sisu.

Juurutamine ja juurdepääs

Mudeli kaalud on kohalikuks kasutamiseks saadaval IBM Granite'i mudelite hoidlas Hugging Face'is. Uuringus nimetatakse toetatud laadimisviisidena Sentence Transformersi ja Hugging Face Transformersi teeki. Mudelit saab kasutada ka ühilduvate järeldusserverite ja vektorotsingu süsteemidega, kui need toetavad mudeli vormingut ja embedding'u töövoogu.

Esitatud uuringu põhjal ei tuvastatud ametlikku IBM-i hostitud tokenipõhist hinda. Mudelit levitatakse peamiselt avatud kaaludena, mistõttu otsene mudelilitsents ei tekita korduvat järeldustasu. Juurutamisega võivad siiski kaasneda taristu-, salvestus-, hostimis-, seire- ja vektorandmebaasi kulud. Need kulud sõltuvad mudeli käitamise viisist ega kujuta endast mudeli enda avaldatud hinda.

Kuna tegemist on allalaaditava embedding'u kontrollpunktiga, ei esitata seda vestluslõpp-punkti ega üldotstarbelise IBM-i hostitud assistendina. Esitatud spetsifikatsioonides ei määratleta genereeritavate tokenite maksimaalset arvu, sest mudel ei genereeri teksti. Samuti ei ole selles kirjes dokumenteeritud pildi-, heli- ega videosisendit või -väljundit.

Arutlemine, kodeerimine, tööriistad ja modaalsused

Granite-Embedding-125M-English ei teosta ahelmõtlemist ega genereeri loomulikus keeles arutluskäiku sellisel viisil nagu generatiivne keelemudel. Selle ülesanne on teksti kodeerida. Andmebaasirakendus võib saadud vektoreid kasutada arutlemise või otsingu toetamiseks, kuid sellist süsteemitasandi käitumist ei tohiks omistada embedding'u mudelile endale.

Koodi genereerimine jääb samuti mudeli eesmärgist välja. See võib aidata leida ingliskeelset tehnilist dokumentatsiooni või koodiga seotud teksti ning IBM teatab CoIR-i koodiotsingu võrdlustulemuse, kuid mudel ei kirjuta, muuda, käivita ega selgita koodi vestluspõhise kodeerimismudelina. Esitatud kirje ei kinnita ka tööriistade kutsumist, funktsioonide kutsumist, genereerimise voogedastust, struktureeritud JSON-väljundit ega toimingute käivitamist.

Selle toetatud sisend on ingliskeelne tekst ning otsene väljund on arvuline embedding'u-vektor. Mudel ei tagasta otse teksti, pilte, heli, videot ega muusikat. See kitsas modaalsusprofiil sobib otsingutaristule, kuid ei sobi olukorda, kus rakendus vajab lõppkasutajale mõeldud vastust või meedia genereerimist.

Peamised tugevused ja piirangud

Tugevused

• Kompaktne maht: ligikaudu 125 miljoni parameetriga on see väiksem kui paljud tänapäevased üldotstarbelised keelemudelid ning võib sobida lokaalseks või kulutundlikuks embedding'u töötluseks.
• Kasulik vektorisuurus: 768 dimensiooni annavad fikseeritud esituse, mis sobib levinud vektorindeksite ja sarnasusarvutustega.
• Avatud juurutamine: allalaaditavad kaalud ja Apache 2.0 litsents võimaldavad organisatsioonidel kontrollpunkti hinnata ja juurutada ilma varalisele hostitud embedding'u lõpp-punktile tuginemata.
• Kindel otstarve: mudel on loodud spetsiaalselt semantiliseks otsinguks ja sarnasuse leidmiseks, mitte teksti genereerimiseks vajaliku lisakoormuse kandmiseks.
• Tehnilise otsingu tugi: IBM teatab eraldi CoIR-i koodiotsingu tulemuse, mistõttu on tehniline ja koodiga seotud otsing üks kavandatud kasutusvaldkondi, kuigi mudel toetab ainult inglise keelt.

Piirangud

• Ainult ingliskeelne: seda ei tohiks käsitleda mitmekeelse embedding'u mudelina.
• 512 tokeni piirang: pikad sisendid tuleb tükeldada või kärbitakse need, mis võib tükeldamise hoolika kavandamiseta mõjutada leitavust.
• Genereerimisvõime puudub: mudel ei suuda iseseisvalt küsimustele vastata, dokumente kokku võtta, koodi kirjutada ega vestluslikku väljundit toota.
• Pärandmudeli staatus: IBM nimetab asenduseks mudelit Granite Embedding English R2, seega peaksid uued projektid enne selle mudeli standardseks valimist kontrollpunkti järglasega võrdlema.
• Rakendusest sõltuvad tulemused: võrdlustulemused ei taga sama head järjestuskvaliteeti konkreetse ettevõtte dokumentide, terminoloogia või päringumustrite korral.
• Käitusvastutus: ise hostimine annab juurutavale organisatsioonile vastutuse taristu, skaleerimise, uuenduste, turvalisuse ja vektorindeksi haldamise eest.

Millal seda mudelit valida

Vali Granite-Embedding-125M-English, kui vajad kompaktset, ingliskeelset embedding'u mudelit, mida saab Apache 2.0 litsentsi alusel alla laadida ja juurutada. See on mõistlik kandidaat semantilise otsingu prototüüpide, sisemise teadmistebaasi otsingu, sarnasuste sobitamise, dokumentide klasterdamise ja RAG-i töövoogude jaoks, kui lokaalne kontroll ja mudeli prognoositav kättesaadavus on olulisemad kui juurdepääs uusimale embedding'u väljalasele.

Selle suurus võib olla ahvatlev ka siis, kui suurema embedding'u mudeli käitamine oleks tarbetult kallis või keeruline. Näiteks võib väikemeeskond, kes indekseerib ingliskeelset dokumentatsiooni, eelistada hostitud teenusele kohalikku 125 miljoni parameetriga kodeerijat, kui ta soovib hoida embedding'u töövoogu oma keskkonnas.

Millal võib mõni teine valik olla sobivam

Uue projekti alustamisel ja IBM-i praeguse ingliskeelse embedding'u suuna otsimisel tasub hinnata IBM-i järglast Granite Embedding English R2. Esitatud uuringus nimetatakse R2 mudelit asenduseks, kuid selles ei ole piisavalt võrdlusmõõtmisi, et väita, et see ületab kõigi töökoormuste korral praeguse mudeli tulemusi.

Mitmekeelne embedding'u mudel on sobivam siis, kui korpus või kasutajate päringud sisaldavad regulaarselt muid keeli peale inglise keele. Generatiivset keelemudelit on vaja siis, kui rakendus peab kirjutama vastuseid, võtma leitud lõike kokku, genereerima koodi või pidama vestlust. Hostitud embedding'u teenus võib olla eelistatav, kui meeskond ei soovi mudelitaristut hallata, samas kui suuremat või uuemat embedding'u mudelit võib olla mõistlik katsetada juhul, kui otsingu kvaliteet on olulisem lokaalsest ressursitõhususest.

Mis tahes sellise valiku puhul tuleks hindamisel kasutada rakenduse tegelikke dokumente ja päringuid. Mõõda otsingu leitavust, järjestuse kvaliteeti, latentsust, mälukasutust ja käitamise kogukulu, mitte ära vali mudelit ainult parameetrite arvu või avaldatud võrdlustulemuse põhjal.

Praegune koht kataloogis

Granite-Embedding-125M-English on endiselt kasutatav allalaaditav IBM Granite'i kontrollpunkt, kuid esitatud uuringu põhjal ei ole see uusim ingliskeelne embedding'u valik. IBM-i Granite Embeddingi hoidlas on selle asendajana loetletud Granite Embedding English R2. Seetõttu tuleks vanemat mudelit käsitleda pärand- või asendatud mudelina, mis võib siiski olla väärtuslik olemasolevate juurutuste, korratavate katsete või projektide puhul, mis nõuavad konkreetselt selle Apache 2.0 litsentsiga kaalusid.