granite-embedding-english-r2

Mis on Granite Embedding English R2?

granite-embedding-english-r2 on IBM-i Granite Embeddingi kollektsiooni kuuluv ingliskeelne tekstiembeddingu mudel. Selle asemel et genereerida lõiku või vastata küsimusele otse, teisendab see teksti kindla pikkusega arvuliseks esituseks, mida nimetatakse embedding'uks. Sarnase tähendusega tekstid peaksid andma vektorid, mis asuvad sarnasuse mõõdiku, näiteks koosinussarnasuse, järgi teineteisele lähedal.

Seetõttu on mudel kasulik tehisintellektisüsteemi otsingufaasis. Näiteks võib ettevõte jagada sise-eeskirjade dokumendid lõikudeks, kodeerida need Granite Embedding English R2 abil ja salvestada saadud vektorid vektorandmebaasi. Kui töötaja esitab küsimuse, kodeerib rakendus küsimuse sama mudeliga, otsib lähedalasuvaid dokumendivektoreid ja edastab parimad vasted eraldi keelemudelile, kui vaja on loomulikus keeles vastust.

Mudel on tihe kaksikkodeerija (dense bi-encoder), mis tähendab, et päringuid ja dokumente saab kodeerida üksteisest sõltumatult. Seega saab dokumentide embedding'id arvutada enne kasutajate otsinguid, selle asemel et iga päringu korral kõik dokumendid uuesti läbi arvutada.

Tehnilised andmed ja koht IBM-i mudelivalikus

IBM kirjeldab seda mudelit Granite Embedding R2 kollektsiooni osana. English R2 mudel asendab selles kollektsioonis mudeli granite-embedding-125m-english. See on mõeldud konkreetselt ingliskeelse teksti jaoks ning seda ei tohiks käsitleda IBM-i mitmekeelse embedding'u variandi ega üldotstarbelise Granite'i keelemudelina.

Parameetrite arv on võrreldes palju suuremate esitlusmudelitega suhteliselt tagasihoidlik, mistõttu võib see mudel olla huvitav valik juhul, kui olulised on nii otsingu kvaliteet, juurutamise kontroll kui ka ressursivajadus. See on avaldatud suurusel ja võimekusel põhinev toimetuslik hinnang, mitte garantii väiksemate taristukulude kohta igas keskkonnas.

Sisendi ja väljundi käitumine

Mudel võtab vastu teksti ja tagastab iga kodeeritud sisendi kohta 768 arvust koosneva vektori. See ei genereeri algupäraselt teksti, pilte, heli, videot, kõnet ega muud generatiivset meediat. Selle väljund on mõeldud kasutamiseks otsingutarkvaras, vektorindeksites, klasterdussüsteemides, klassifikaatorites või teises tehisintellektimudelis.

Dokumenteeritud maksimaalne jadapikkus on 8192 tokenit. Sellest piirist pikemad sisendid kärbitakse, mistõttu tuleks pikad dokumendid tavaliselt enne indekseerimist sisukateks lõikudeks jagada. Tükeldamine ei ole pelgalt tehniline abinõu: lõigu suurus, kattuvus, pealkirjad, metaandmed ja see, kas lõik säilitab piisavalt konteksti, võivad otsingu kvaliteeti märgatavalt mõjutada.

IBM-i dokumenteeritud Sentence Transformersi näide tagastab vaikimisi normaliseerimata embedding'id. Koosinussarnasust kasutavad rakendused peaksid vektorid normaliseerima või seadistama vektorotsingu süsteemi kasutama ühilduvat kaugusearvutust. See detail on oluline, sest muidu korrektne otsingutöötlus võib anda erineva tulemuste järjestuse sõltuvalt vektorite normaliseerimisest ja indeksi seadetest.

Milleks seda kasutada saab?

Granite Embedding English R2 on mõeldud süsteemidele, mis peavad võrdlema teksti tähendust, mitte otsima ainult täpseid sõnakattuvusi. Praktilised kasutusviisid on järgmised:

• Semantiline otsing: sama küsimuse kohta vastavate dokumentide leidmine ka siis, kui neis kasutatakse teistsugust sõnastust.
• Otsinguga täiendatud genereerimine: lõikude valimine, mida anda kontekstiks eraldi tekstigeneratsiooni mudelile.
• Dokumentide sobitamine: kasutajatoe piletite, lepingute, teadmistebaasi artiklite või aruannete võrdlemine.
• Dubleerivate ja peaaegu dubleerivate dokumentide tuvastamine: sisu leidmine, mis on väikestest sõnastuserinevustest hoolimata olulisel määral sarnane.
• Soovitused: seotud dokumentide, protseduuride või tehniliste materjalide soovitamine.
• Klasterdamine: dokumentide või päringute rühmitamine semantilise teema järgi.
• Klassifitseerimise tunnused: embedding'ute kasutamine allavoolu klassifikaatori sisendtunnustena.
• Ettevõtete teabeotsing: tehnilise sisu, tabelite, pikkade dokumentide ja vestluspäringute ajaloo otsimine.

Tüüpilisel töötlusahelal on kaks etappi. Indekseerimise ajal puhastab ja tükeldab rakendus dokumendid, kodeerib iga lõigu ning salvestab vektorid koos algse teksti ja metaandmetega. Otsingu ajal kodeerib see kasutaja päringu, otsib lähedalasuvaid vektoreid, rakendab metaandmete filtreid või täiendavat järjestusloogikat ning tagastab kõige asjakohasemad lõigud. Granite Embedding English R2 teeb esituse loomise etapi; see ei ole ise täielik otsingumootor, andmebaas, ümberjärjestaja ega vastuseid genereeriv assistent.

Võrdlustestide väited ja tõhususega seotud kaalutlused

IBM esitab tulemusi teabeotsingu, koodiotsingu, pikkade dokumentide, vestluste ja tabelite otsingu võrdlustestides. Mudelikaardi kohaselt on selle keskmine tulemus loetletud võrdlustestides 59,5 ning eriti häid tulemusi rõhutatakse pikkade dokumentide otsingus ja vestluspõhises otsingus. Need on pakkuja esitatud võrdlustesti tulemused, mitte universaalsed jõudlusgarantiid.

Mudelikaart märgib ka, et kirjeldatud libiseva akna võrdlustesti seadistuse korral kodeerib mudel ühel H100 GPU-l ligikaudu 144 dokumenti sekundis. Seda näitajat ei tohiks käsitleda üldise läbilaskevõime lubadusena. Tegelik kiirus sõltub riistvarast, pakkide suurusest, jadapikkusest, tokeniseerimisest, libisevate akende kasutamisest ja ümbritsevast vektorindekseerimise töötlusahelast.

Selle 149 miljoni parameetri ja 768-dimensioonilise väljundi suurus pakub paljude otsingulahenduste jaoks praktilist tasakaalu, kuid parim valik sõltub töökoormusest. Väiksem mudel võib olla eelistatav juhul, kui peamised piirangud on mälu ja latentsus. Suurem või spetsialiseeritud mudel võib olla parem, kui valdkonnas kasutatakse keerukat terminoloogiat, on vaja mitmekeelsust või nõutakse ebatavaliselt suurt leitavust. Need alternatiivid on kompromissid, mitte väited, et Granite Embedding English R2 võidab iga hindamise.

Hinnastamine ja juurutusvõimalused

Selle mudeli ametlikku IBM-i majutatud teenuse tokeni- või päringupõhist hinda ei tuvastatud. Avaldatud mudeliteave kirjeldab Apache 2.0 litsentsi alusel allalaaditavaid kaalusid, mitte tavapärast majutatud API hinnakirja. See tähendab, et mudeli otsene litsents ei kehtesta korduvat kasutustasu, kuid selle käitamiseks on endiselt vaja sobivat arvutusvõimsust, salvestusruumi, haldust ja võib-olla ka kolmanda osapoole majutusteenust.

Mudeli saab alla laadida IBM-i Hugging Face'i organisatsioonist ning kasutada seda kohapeal Sentence Transformersi või Transformersi teekidega. Apache 2.0 litsents lubab seda tingimuste kohaselt kasutada nii ärilistel kui ka teaduslikel eesmärkidel. Ise hallatav juurutus võib olla kasulik organisatsioonidele, kes vajavad kontrolli dokumentide ja embedding'ute töötlemiskoha üle, kuid tootmises töötava otsinguteenuse haldamine jääb endiselt juurutaja vastutuseks.

IBM-i laiem watsonx-i portfell võib pakkuda seotud ettevõtetele mõeldud taristut, kuid esitatud uuring ei kinnita Granite Embedding English R2 spetsiaalset majutatud teenuse hinnakirja. Seetõttu ei tohiks hinda tuletada watsonx-i pakettidest ega mudeli avatud kaalude kättesaadavusest.

Võimekus ja piirangud

Sellel mudelil on selgelt piiritletud võimekus:

• Tekstisisend: Jah, ingliskeelse teksti jaoks.
• Embedding'u väljund: Jah, 768-dimensiooniliste vektoritena.
• Genereeritud tekstiväljund: Ei.
• Pildi-, heli- ja videosisend või -väljund: Dokumenteeritud tugi puudub.
• Arutlusvõime: See ei teosta vestluslikku ega samm-sammulist mõtlemist; selle roll on semantiline esitus.
• Kodeerimine: Esitatud võrdlustestide põhjal võib see toetada koodiotsingu kasutusjuhtumeid, kuid see ei ole koodigeneratsiooni mudel.
• Tööriistade või funktsioonide kutsumine: Algupärast tööriistakasutuse võimekust ei ole dokumenteeritud.
• Voogedastus või struktureeritud JSON-i genereerimine: Esitatud dokumentatsioonis ei ole see embedding'u väljundi puhul kohaldatav.

Kõige olulisem piirang on keelekasutus. Granite Embedding English R2 on treenitud ja positsioneeritud ingliskeelse teksti jaoks, mistõttu peaksid mitmekeelsetele kasutajatele teenuseid pakkuvad meeskonnad hindama selle asemel mitmekeelset embedding'u mudelit. Samuti ei ole see ümberjärjestaja. Otsingusüsteem võib siiski lisada eraldi ümberjärjestamise etapi, kuid see oleks teine komponent, mitte selle mudeli sisseehitatud funktsioon.

Otsingu kvaliteet võib varieeruda sõltuvalt tükeldamisstrateegiast, päringu sõnastusest, metaandmetest, valdkonna terminoloogiast, vektorite normaliseerimisest ja indeksi konfiguratsioonist. Mudeli 8192-tokenine piirang ei tähenda, et kogu pika dokumendi paigutamine ühte embedding'usse annaks alati parima otsingutulemuse. Paljudes rakendustes on väiksemaid teemakohaseid lõike koos kasulike metaandmetega lihtsam leida ja hinnata.

Millal valida Granite Embedding English R2?

See mudel on mõistlik kandidaat juhul, kui töökoormus seisneb peamiselt ingliskeelses semantilises otsingus ning meeskond soovib avatud kaalusid, lubavat litsentsi ja kohapealset või ise hallatavat juurutust. See sobib eriti hästi toodetele, mis vajavad sise-teadmistebaaside, tehnilise dokumentatsiooni, RAG-töötlusahelate, dokumentide sarnasuse või ettevõtte sisu leidmise jaoks otsinguvektoreid.

See võib olla eelistatav majutatud embedding'u teenusele siis, kui juurutamise kontroll, mudeliartefaktide eeldatav omand ja olemasoleva Hugging Face'i ning Sentence Transformersi töövooga lõimimine on olulisemad kui valmislahendusena pakutav API-juurdepääs. Samuti võib see olla atraktiivne juhul, kui 768-dimensiooniline vektor on sobiv kompromiss esituse suuruse ja indeksi salvestusruumi vahel.

Teine võimalus võib olla sobivam, kui rakendus vajab mitmekeelset otsingut, algupärast teksti genereerimist, pildi- või helimõistmist, kõnet, tööriistade kutsumist või hallatud majutatud lõpp-punkti koos avaldatud kasutushinnaga. Kui lähima naabri otsingust üksi ei piisa täpsuse tagamiseks, võib vaja minna ümberjärjestajat. Eraldi generatiivset keelemudelit on vaja siis, kui süsteem peab tulemusi selgitama või kasutajatele loomulikus keeles vastama.

Enne tootmises kasutuselevõttu peaksid meeskonnad mudelit testima esinduslike ingliskeelsete dokumentide ja päringutega. Hindamine peaks hõlmama vajalike lõikude leitavust, järjestuse kvaliteeti, latentsust, mälukasutust, indeksi suurust, normaliseerimisseadeid ja erinevate tükeldamismeetodite mõju. IBM-i esitatud võrdlustestid on kasulikud võrdluspunktid, kuid lõpliku valiku peaksid määrama organisatsiooni enda terminoloogia ja dokumentide struktuur.

Kokkuvõte

IBM-i granite-embedding-english-r2 on keskendunud otsingu kodeerija, mitte universaalne tehisintellektiassistent. Selle peamine tehniline profiil on selge: ligikaudu 149 miljonit parameetrit, ModernBERT-il põhinev arhitektuur, 768-dimensioonilised vektorid, 8192-tokenine sisendipiirang, spetsialiseerumine inglise keelele, avatud kaalud ja Apache 2.0 litsents. See võib moodustada RAG- või ettevõtte otsingusüsteemi semantilise otsingukihi, kuid ei genereeri vastuseid, paku algupäraseid tööriistu ega asenda vektorandmebaasi, ümberjärjestajat või keelemudelit. Kõige paremini sobib see ise hallatava ingliskeelse otsingu töökoormuse jaoks, kus kontroll ja praktiline embedding'u jõudlus on olulisemad kui täielikult hallatud API-kogemus.