Mis on Granite-Embedding-107M-Multilingual?
Granite-Embedding-107M-Multilingual on IBM-i Granite Embeddingsi perekonda kuuluv avatud kaaludega tekstiembedding’u mudel. Teksti kirjutamise asemel teisendab see päringu, lause, tekstilõigu või dokumendi kindla pikkusega arvuliseks esituseks, mida nimetatakse embedding’uks. Sarnase tähendusega tekstid annavad tavaliselt üksteisele lähedased vektorid, mis võimaldab tarkvaral asjakohast sisu leida või järjestada.
Mudel on loodud mitmekeelsete infootsingu töökoormuste jaoks. Tüüpilises rakenduses teisendatakse kasutaja küsimus embedding’uks, võrreldakse saadud vektorit dokumendikogu vektoritega ja tagastatakse kõige lähemad tekstilõigud. Seejärel saab leitud lõigud anda eraldi generatiivsele mudelile otsinguga täiendatud genereerimise (RAG) süsteemis. Embedding’u mudel ise küsimusele ei vasta ega genereeri lõplikku vastust.
IBM määratleb selle kontrollpunkti tiheda kaksik-kodeerijana, milles on ligikaudu 107 miljonit parameetrit. See kasutab ainult kodeerijaga XLM-RoBERTa-laadset transformeri arhitektuuri koos CLS-koondamisega ning genereerib 384-mõõtmelisi vektoreid. Mudel on välja antud Apache 2.0 litsentsi alusel.
Toetatud keeled ja sisendi piirang
Mudel on peenhäälestatud inglise, saksa, hispaania, prantsuse, jaapani, portugali, araabia, tšehhi, itaalia, korea, hollandi ja hiina keele jaoks. IBM-i mudelikaardil on samuti märgitud, et kasutajad võivad seda peenhäälestada täiendavate keelte jaoks, kuid lisatud keele jõudlust tuleb kontrollida, mitte eeldada.
Sisendi maksimaalne pikkus on 512 tokenit. Tokenid on mudeli kasutatavad tekstiosad ega vasta täpselt sõnadele. Kui tekstilõik ületab piirangu, kärbitakse seda. Pikkade dokumentide puhul peaks rakendus lähteteksti enne embedding’ute loomist väiksemateks lõikudeks jagama. Seega on lõikudeks jagamine keskne rakendusnõue, mitte valikuline optimeerimine.
Mida mudel genereerib
| Spetsifikatsioon | Kontrollitud üksikasjad |
|---|---|
| Mudeli tüüp | Mitmekeelne tekstiembedding’u kodeerija |
| Parameetrite arv | Ligikaudu 107 miljonit |
| Embedding’u suurus | 384 mõõdet |
| Maksimaalne sisend | 512 tokenit |
| Peamised keeled | 12 keelt, sealhulgas inglise, hiina, jaapani ja araabia keel ning mitu Euroopa keelt |
| Litsents | Apache 2.0 |
| Teksti genereerimine | Ei ole toetatud; see ei ole generatiivne keelemudel |
Väljund on vektor, mitte loetav tekst. Seetõttu ei ole mudelil tavapärases keelemudeli tähenduses maksimaalse väljundi tokenite seadistust. Selle kasulik väljund on 384 väärtusest koosnev embedding’u esitus.
Peamised kasutusjuhud
- Mitmekeelne semantiline otsing: leida päringuga seotud dokumente ka siis, kui sõnastus erineb lähteteksti omast.
- Keelteülene otsing: otsida sisu ühes toetatud keeles, kasutades teises toetatud keeles kirjutatud päringut.
- RAG-i otsinguetapp: valida asjakohased dokumendilõigud enne nende edastamist eraldi teksti genereerivale mudelile.
- Sarnasuse võrdlemine: võrrelda kasutajatoe pileteid, tootekirjeldusi, küsimusi või tekstilõike tähenduse põhjal.
- Soovitused ja järjestamine: tuvastada seotud üksusi või järjestada kandidaate vektorite sarnasuse alusel.
- Klasterdamine ja klassifitseerimine: kasutada embedding’uid tunnustena järgnevates masinõppe töövoogudes.
Näiteks võib ettevõte luua mitmekeelse teadmistebaasi embedding’ud ühe korra, salvestada vektorid ja teisendada iga uue küsimuse otsingu ajal embedding’uks. Vektorotsingu süsteem saab saadud esitusi kasutada asjakohase materjali leidmiseks, tuginemata ainult täpsetele märksõnavastele.
Kiirus, maksumus ja jõudlus
Ligikaudu 107 miljoni parameetriga on tegemist suhteliselt kompaktse embedding’u kontrollpunktiga. Mudeli kohta koostatud uuring annab sellele toimetusliku kiirusehinde 9 punkti 10-st ja maksumusehinde 10 punkti 10-st. Need hinded on võrdlevad toimetuslikud hinnangud, mitte IBM-i avaldatud võrdlustestide tulemused. Need peegeldavad mudeli väikest suurust ja sobivust tõhusaks järeldamiseks, mitte kindla latentsuse või taristukulu garantiid.
IBM teatas, et mudel oli nende võrdlustes ligikaudu kaks korda kiirem kui teised sarnase embedding’u mõõtmega mudelid. Tegemist on teenusepakkuja esitatud väitega ning tegelik jõudlus sõltub riistvarast, pakettide töötlemisest, jada pikkusest, samaaegsusest, kvantimisest ja järeldustarkvarast. Kasutajad peaksid oma töökoormust ise mõõtma, eriti võrreldes kohalikku protsessoripõhist järeldamist GPU-põhise juurutuse või hallatava embedding’u teenusega.
Kompromiss seisneb võimekuses ja ulatuses. Kompaktne mudel võib vähendada mälu- ja töötlusnõudeid, kuid ei pruugi igas keeles, valdkonnas või otsinguvõrdluses suuremate või uuemate embedding’u mudelitega samale tasemele jõuda. 384-mõõtmeline väljund kasutab ka vähem salvestusruumi kui suurema mõõtmega alternatiivid, mis võib olla oluline siis, kui andmebaas sisaldab miljoneid vektoreid.
Juurutamine ja hinnastamine
Esitatud uuringus ei ole selle mudeli kohta kontrollitud ajakohast ametlikku majutatud API hinnakirja. Avatud kaaludega mudelina oli see mõeldud kohalikuks või kolmanda osapoole juurutuseks, seega sõltub tegelik maksumus kasutaja valitud taristust ja teenindusmeetodist. Apache 2.0 litsents lubab litsentsitingimustest lähtudes laialdast kasutust, kuid majutuse, salvestuse, andmebaasi ja käitamisega seotud kulud jäävad alles.
IBM-i dokumentatsiooni ja mudelimaterjalide kohaselt saab mudeli laadimiseks kasutada levinud avatud mudelite tööriistu, näiteks Transformersi või SentenceTransformersit. Esitatud uuring ei kinnita uute juurutuste jaoks praegu saadaolevat IBM-i hallatavat järelduslõpp-punkti.
Oluline on ka selle IBM watsonx.ai elutsükli ajalugu. IBM märgib majutatud kättesaadavuse kuupäevaks 6. jaanuari 2025, kasutuselt kõrvaldamise kuupäevaks 13. augusti 2025 ja eemaldamise kuupäevaks 12. novembri 2025. Esitatud uuringu kuupäeva seisuga on watsonx.ai juurutus kasutuselt kõrvaldatud. Kontrollpunkt on endiselt tuvastatav IBM-i Hugging Face’i organisatsiooni kaudu, kuid endise watsonx.ai loendi põhjal ei tohiks eeldada majutatud kättesaadavust, hooldust ega taristutuge.
Võimalused ja piirangud
Granite-Embedding-107M-Multilingual võtab vastu tekstisisendi ja tagastab embedding’u väljundi. See ei genereeri teksti, pilte, heli ega videot. Mudel ei paku vestluslikku arutlemist, koodi genereerimist, veebotsingut, tööriistade kutsumist, funktsioonide täitmist, voogedastusvastuseid ega struktureeritud JSON-i genereerimist. See võib toetada koodi- või RAG-rakendust otsingukomponendina, kuid ei ole ise koodimudel ega agent.
Mudelil ei ole ka sisulist generatiivset teadmiste lõppkuupäeva. Erinevalt vestlusmudelist ei ole see mõeldud küsimustele vastamiseks salvestatud maailmateadmiste põhjal. Selle ülesanne on esitada etteantud teksti semantilist sisu.
512 tokeni piirang on kõige olulisem praktiline kitsendus. Pikad dokumendid tuleb jagada lõikudeks ning lõigu suurus ja kattuvus võivad mõjutada otsingu kvaliteeti. Ka mudeli mitmekeelsus ei taga ühesugust kvaliteeti kõigis 12 keeles. Tulemusi võivad mõjutada valdkonnaspetsiifiline terminoloogia, ebaharilikud kirjasüsteemid, tõlkesuund ja dokumendi stiil.
Millal seda mudelit valida?
Vali Granite-Embedding-107M-Multilingual, kui vajad kompaktset mitmekeelset embedding’u mudelit semantiliseks otsinguks ja soovid Apache 2.0 kontrollpunkti avatud kaalude pakutavat paindlikkust. See sobib eriti hästi siis, kui:
- sinu otsingu- või RAG-süsteem hõlmab mitut toetatud keelt;
- vajad keelteülest otsingut, mitte ainult ingliskeelset vastete leidmist;
- soovid järeldamist käitada kohapeal või enda hallatavas taristus;
- salvestusruumi tõhusus on oluline, sest mudel genereerib 384-mõõtmelisi vektoreid;
- madal järeldamiskulu ja läbilaskevõime on olulisemad kui uusima või suurima embedding’u mudeli kasutamine.
Uuem või suurem embedding’u mudel võib olla sobivam, kui vajad paremat otsingukvaliteeti konkreetses valdkonnas, laiemat keelekatvust, pikemaid sisendeid või praegu toetatud hallatavat API-t. Esitatud uuringus nimetatakse IBM-i hilisemaid mudeleid Granite-Embedding-97M-Multilingual-R2 ja Granite-Embedding-311M-Multilingual-R2 järglasteks, kuid nende sobivust tuleks hinnata projekti täpsete keelte, andmete ja juurutusnõuete põhjal.
Kokkuvõte
Granite-Embedding-107M-Multilingual on keskendunud otsingukomponent, mitte üldotstarbeline tehisintellektiassistent. Selle peamised eelised on mitmekeelne tugi, väike parameetrite arv, 384-mõõtmeline väljund, Apache 2.0 litsents ning sobivus tõhusate semantilise otsingu ja RAG-i töövoogude jaoks. Peamised puudused on 512 tokeni sisendipiirang, generatiivsete ja tööriistade kasutamise võimaluste puudumine, ebaselge majutatud kättesaadavus pärast watsonx.ai teenuse eemaldamist ning võimalus, et uuemad embedding’u kontrollpunktid pakuvad mõnes töökoormuses paremat kvaliteeti.