Mis on Granite Embedding 30M English?
IBM Granite Embedding 30M English on IBM-i Granite Embeddingi perekonda kuuluv ainult kodeeriv (encoder-only) embedding-mudel. Vastuse kirjutamise asemel teisendab see teksti kindla pikkusega arvuliseks esituseks, mida nimetatakse embedding'uks. Sarnase tähendusega tekstid annavad tavaliselt vektorid, mis asuvad teineteisele lähedal, kui neid võrreldakse sellise kaugusmõõdu abil nagu koosinus-sarnasus.
See muudab mudeli kasulikuks otsingukomponendina. Näiteks võib otsingurakendus kodeerida kasutaja küsimuse, võrrelda seda vektorit dokumentidest varem loodud vektoritega ja tagastada semantiliselt kõige asjakohasemad lõigud. Seejärel saab retrieval-augmented generation'i süsteem edastada need lõigud eraldi keelemudelile vastuse genereerimiseks. Granite Embedding 30M English ise seda vastust ei genereeri.
Mudeli pakkuja on IBM ning see võeti kasutusele 2024. aasta detsembris. Selle kanooniline hoidla Hugging Face'is on ibm-granite/granite-embedding-30m-english. IBM-i praegune Granite Embeddingi dokumentatsioon nimetab uuemate juurutuste asenduseks mudelit Granite Embedding Small English R2. Seetõttu tuleks seda mudelit käsitleda pigem vanema, kuid endiselt kasutatava valikuna, mitte IBM-i uusima embedding-soovitusena.
Tehnilised andmed lühidalt
| Tehniline näitaja | Kinnitatud üksikasjad |
|---|---|
| Pakkuja | IBM |
| Mudelite perekond | Granite Embedding |
| Mudeli tüüp | Tihe kodeeriv embedding-mudel ja bi-kodeerija |
| Parameetrid | Ligikaudu 30 miljonit |
| Embedding'u suurus | 384 dimensiooni |
| Sisendi maksimaalne pikkus | 512 tokenit |
| Peamine keel | Inglise keel |
| Arhitektuur | Ainult kodeeriv, RoBERTa-laadne disain |
| Litsents | Apache 2.0 |
| Väljundi tüüp | Tihedad tekstiembedding'ud |
| Hostitud kasutuse hind | Selle mudeli ametlikku IBMi tokenipõhist hinda ei tuvastatud |
384-dimensiooniline väljund on praktilisest seisukohast oluline. Neid embedding'e kasutav vektorindeks vajab üldjuhul vähem salvestusruumi kui suurema embeddingu-dimensiooniga mudelil põhinev indeks. See võib vähendada mälukoormust ja muuta suuremahulise indekseerimise soodsamaks, kuigi tegelikud taristukulud sõltuvad dokumentide arvust, indeksi tüübist, riistvarast ja otsingusüsteemist.
Kuidas see töötab otsingusüsteemis?
Granite Embedding 30M English suudab kodeerida nii päringu kui ka dokumendilõigu samasse vektorruumi. Tüüpiline töövoog koosneb neljast etapist:
- Valmista dokumendid ette: jaga lähtematerjal mudeli sisendipiirangule vastavateks lõikudeks ning säilita kasulikud metaandmed, näiteks pealkiri, allikas ja jaotis.
- Kodeeri lõigud: töötle iga lõik mudeliga ja salvesta saadud 384-dimensioonilised vektorid vektorandmebaasi või muusse sarnasusel põhinevasse indeksisse.
- Kodeeri päring: teisenda kasutaja ingliskeelne otsinguküsimus sama mudeli abil vektoriks.
- Leia ja kasuta tulemusi: leia lähedased dokumendivektorid ning edasta valitud lõigud soovi korral eraldi generatiivsele mudelile.
Mudeli bi-kodeerija arhitektuur võimaldab dokumendid eelnevalt kodeerida. Otsingu puhul on see tavaliselt palju kiirem kui iga päringu otsene võrdlemine iga dokumendiga kallima ristkodeerija abil. Kompromiss seisneb selles, et kerge bi-kodeerija võib anda paarikaupa asjakohasuse hindamisel vähem täpseid tulemusi kui hilisem ümberjärjestamise etapp. Esitatud uuring toetab selle mudeli kasutamist otsinguks ja sarnasuse leidmiseks, kuid ei kinnita konkreetset ümberjärjestajat ega täielikku RAG-konfiguratsiooni.
Peamised kasutusjuhud
Mudel on mõeldud ingliskeelseteks otsingutöötlusteks, kus kompaktsed vektorid ja tõhus järeldamine on olulisemad kui laialdane keeletoetus või pikk kontekst. Sobivad rakendused hõlmavad järgmist:
- Semantiline otsing: dokumentide leidmine tähenduse, mitte täpsete märksõnade kattuvuse põhjal.
- RAG-indekseerimine: otsingukihi loomine, mis edastab asjakohased lõigud eraldi teksti genereerivale mudelile.
- Sarnasuse leidmine: küsimuste, klienditoe pöördumiste, tootekirjelduste või muude lühikeste tekstikirjete võrdlemine.
- Dubleerivate tekstide tuvastamine: sarnaseid ideid erineva sõnastusega väljendavate küsimuste või dokumentide leidmine.
- Soovitussüsteemide töövood: üksuste või kirjelduste esitamine ligikaudseks semantiliseks sobitamiseks.
- Vektorandmebaasi indekseerimine: suhteliselt kompaktsete indeksite loomine kohalike või enda hallatavate rakenduste jaoks.
Väike ressursivajadus muudab mudeli praktiliseks kandidaadiks ka protsessoripõhistes juurutustes, suure läbilaskevõimega pakkindekseerimisel ja rakendustes, kus järeldamine peab toimuma andmetele võimalikult lähedal. Need on juurutamisega seotud eelised, mitte konkreetse latentsusaja garantii: tegelik kiirus sõltub riistvarast, pakkide suurusest, jada pikkusest, tarkvarateekidest ja indeksi konfiguratsioonist.
Jõudluse ja kvaliteedi kompromissid
IBM teatab mudelikaardil MTEB Retrievali hindamisel tulemuseks 49,1 ja CoIR-i puhul 47,0. IBM kirjeldab mudelit ka kui võrreldavates ettevõttesisestes testides ligikaudu kaks korda kiiremaks kui sarnase suurusega embedding-mudeleid. Need on pakkuja esitatud tulemused ning neid ei tohiks käsitleda universaalsete tootmiskeskkonna jõudlusgarantiidena. Andmestiku valik, eeltöötlus, riistvara ja võrdlusseaded võivad tulemusi märgatavalt mõjutada.
Mudelikaart kirjeldab otsingule suunatud eeltreenimist, kontrastiivset peenhäälestust, teadmiste destilleerimist ja mudelite ühendamist. Praktilises mõttes seab mudeli disain eesmärgiks paigutada semantiliselt seotud tekstid üksteisele lähedale, hoides samal ajal mudeli väiksena. Tõenäoline kompromiss on lihtne: kompaktset 30 miljoni parameetriga mudelit võib olla odavam ja kiirem kasutada kui suuremat embedding-mudelit, kuid see ei pruugi pakkuda kõigi valdkondade, keelte või dokumenditüüpide puhul parimat otsingukvaliteeti.
Veel üks oluline kompromiss on maksimaalne pikkus 512 tokenit. Pikad dokumendid tuleks enne kodeerimist jagada sisukateks lõikudeks. Kui lõigud on liiga suured, võidakse need kärpida; kui need on liiga väikesed, võib süsteem kaotada ümbritseva konteksti ja vajada rohkem vektoreid. Seetõttu peaks tootmiskeskkonna töövoog valima lõikude suurused läbimõeldult ning säilitama dokumenditaseme metaandmed, et leitud lõike saaks õigesti tõlgendada.
Toetatud sisendid ja väljundid
Toetatud sisend on tekst, täpsemalt ingliskeelne tekst. Otsene väljund on 384-dimensiooniline tihe embedding-vektor. Mudel ei loo otse proosateksti, JSON-i, pilte, heli, videot ega kõnet. Samuti ei ole sellel tavapärast maksimaalset väljundtokenite seadistust, sest väljund on genereeritud teksti asemel embedding.
Esitatud mudeliteabes ei ole kinnitatud loomulikku tööriista- ega funktsioonikutsete liidest, voogedastusega genereerimist, veebiotsingu võimalust ega struktureeritud väljundi režiimi. Need funktsioonid kuuluvad ümbritsevatele rakendustele või muud tüüpi mudelitele, mitte Granite Embedding 30M Englishile endale. Seda tuleks integreerida spetsialiseeritud esitlusmudelina, mitte käsitleda vestlusroboti või üldotstarbelise keelemudelina.
Piirangud, millega arvestada
Inglise keelele keskenduv otsing
Mudel on treenitud ingliskeelse teksti jaoks ega ole mõeldud mitmekeelseks otsinguks. Rakendused, mis otsivad regulaarselt mitmes keeles, peaksid selle asemel hindama mitmekeelset embedding-mudelit. Mudeli kasutamine muukeelse sisu puhul ilma valideerimiseta võib anda nõrgemad või ebaühtlasemad sarnasustulemused.
Lühike kontekstiaken
Üle 512 tokeni pikkused sisendid kärbitakse. Märkamatu kärpimine võib eemaldada lõigu lõpust olulise teabe, mistõttu tuleks pikad dokumendid enne kodeerimist osadeks jagada. Tükeldamine on vajalik ka raamatute, aruannete, juhendite või pikkade veebilehtede indekseerimisel.
See ei ole genereeriv ega arutlusmudel
Granite Embedding 30M English ei suuda iseseisvalt küsimustele vastata, leitud materjali selgitada, koodi kirjutada, dokumente kokku võtta ega teha mitmeetapilist arutlust. See aitab leida asjakohast teksti, kuid tulemuste tõlgendamiseks ja vastuse koostamiseks on vaja teist mudelit või rakenduse komponenti.
Vanem mudel
IBM-i praegune Granite Embeddingi dokumentatsioon nimetab selle mudeli asenduseks Granite Embedding Small English R2. See ei tähenda, et vanem mudel oleks kasutuskõlbmatu. Olemasolevad süsteemid võivad saada kasu selle alleshoidmisest, kui need sõltuvad 384-dimensioonilisest indeksist, väikesest ressursivajadusest, juba loodud integratsioonist või stabiilsest käitumisest. Uued projektid peaksid seda enne uue vektorskeemi kasutuselevõttu asendusmudeliga võrdlema, sest embedding-mudelite vahetamine nõuab üldjuhul indekseeritud sisu uuesti kodeerimist.
Hind ja juurutamine
Granite Embedding 30M Englishi ametlikku IBMi hostitud tokenipõhist hinda ei tuvastatud. Mudel on Apache 2.0 litsentsi alusel avatud kaaludega ning esitatud uuringu kohaselt saab selle alla laadida ja lokaalselt käivitada Sentence Transformersi või Transformersi abil. Märgitud on ka kogukonna pakutavaid teisendusvõimalusi, sealhulgas ONNX-i ja GGUF-i variandid, kuigi mudeli kanooniliseks allikaks jääb algne hoidla.
Avatud kaalud ei tähenda, et juurutamine oleks tasuta. Kasutajad vastutavad endiselt arvutusressursside, salvestusruumi, vektorandmebaasi hostimise, seire ja arendustöö eest. Mudeli väike suurus võib võrreldes suuremate embedding-mudelitega neid kulusid vähendada, eriti pakkindekseerimise või lokaalse järeldamise puhul, kuid tegelik kokkuhoid sõltub töökoormusest. Organisatsioonid peaksid üle vaatama ka Apache 2.0 litsentsi ning ümbritseva tarkvara või hostimiskeskkonnaga seotud tingimused.
Millal valida Granite Embedding 30M English?
Vali see mudel siis, kui töökoormus seisneb peamiselt ingliskeelses semantilises otsingus ning olulised on järgmised prioriteedid:
- väike mudel ja suhteliselt kompaktsed vektorindeksid;
- kiire lokaalne või enda hallatav järeldamine;
- protsessorisõbralik pakkindekseerimine või suure läbilaskevõimega otsing;
- Apache 2.0 litsentsiga avatud kaaludega mudel;
- ühilduvus olemasoleva 384-dimensioonilise vektorindeksiga; või
- lihtne embedding-komponent, mitte generatiivne tehisintellektisüsteem.
Teine valik võib olla sobivam, kui rakendus vajab mitmekeelset otsingut, märksa pikemaid sisendeid, Granite'i uusimaid embedding-võimalusi või parimat võimalikku otsingukvaliteeti, mitte kompaktset ja tõhusat mudelit. Granite Embedding Small English R2 on dokumenteeritud järglane ning seda tuleks uute juurutuste puhul hinnata. Suurem embedding-mudel võib samuti olla eelistatud, kui kvaliteedivõit õigustab suuremaid mälu-, salvestus- ja järeldamiskulusid.
Uue süsteemi puhul võrdle kandidaatmudeleid rakenduse enda päringute ja dokumentidega. Testi tagasikutsumist, järjestuse kvaliteeti, latentsusaega, mälukasutust, indeksi suurust ja käitumist pikkade lõikude korral, mitte ära tugine ainult avaldatud võrdlusnäitajatele. Olemasoleva süsteemi puhul tuleks mudeli vahetamist käsitleda migratsioonina: kodeeri korpus uuesti, ehita vektorindeks ümber või migreeri see ning kontrolli, et järgneva otsingu ja RAG-i kvaliteet jääks vastuvõetavaks.
Kokkuvõte
IBM Granite Embedding 30M English on sihipärane ja kompaktne embedding-mudel, mitte üldotstarbeline tehisintellektiassistent. Selle ligikaudu 30 miljonit parameetrit, 384-dimensioonilised vektorid, inglise keelele keskendumine ja 512-tokenine sisendipiirang muudavad selle sobivaks kiireks semantiliseks otsinguks, sarnasuse leidmiseks ja RAG-indekseerimiseks, kui ressursitõhusus on prioriteet. Genereerimise, tööriistade kasutamise, mitmekeelse toe ja pika konteksti puudumine piirab selle kasutusala. Kuna IBM positsioneerib Granite Embedding Small English R2 nüüd selle mudeli asendajana, on Granite Embedding 30M English kõige atraktiivsem kergetes juurutustes ja olemasolevates süsteemides, kus hinnatakse väikest ressursivajadust või ühilduvust olemasoleva vektorindeksiga.