Granite-Embedding-311M-Multilingual-R2

Mis on Granite Embedding 311M Multilingual R2?

Granite-Embedding-311M-Multilingual-R2 on IBM-i Granite Embeddingi mudeliperre kuuluv avatud kaaludega mudel. Embedding-mudel teisendab teksti arvude loendiks ehk vektoriks, mis kajastab teksti tähenduse eri aspekte. Otsingusüsteem saab võrrelda kasutaja päringu põhjal loodud vektorit dokumentidest loodud vektoritega ning tagastada semantiliselt seotud tekstilõike ka siis, kui sõnastus on erinev.

Mudel on mõeldud päringute, tekstilõikude, dokumentide ja toetatud programmeerimiskoodi jaoks. See sobib semantiliseks otsinguks, otsinguga täiendatud genereerimiseks (RAG), keelteüleseks otsinguks, sarnasuse tuvastamiseks, klasterdamiseks, soovitusteks, klassifitseerimiseks, duplikaatsisu tuvastamiseks ja koodiotsinguks. See ei ole vestlusrobot ega vastuste genereerimise mudel: täieliku küsimustele vastamise rakenduse loomiseks on vaja eraldi otsingusüsteemi, vektorandmebaasi, ümberjärjestajat või generatiivset mudelit.

IBM määratleb selle mudeli praeguse Granite Embedding R2 kollektsiooni osana. Esitatud mudeliteabe kohaselt on tegu ModernBERTi arhitektuuril põhineva 311 miljoni parameetriga mudeliga, mis on välja antud Apache 2.0 litsentsi alusel. Need omadused võimaldavad organisatsioonidel mudelit juurutada oma taristus või ühilduva kolmanda osapoole majutuse kaudu, selle asemel et sõltuda täpselt selle mudeli puhul tavapärasest IBM-i majutatud märgipõhisest API-lõpp-punktist.

Peamised spetsifikatsioonid lühidalt

Järjestuse pikkus on sisendi, mitte väljundi piirang. Mudel genereerib teksti asemel vektoreid, seega maksimaalne väljundmärkide arv ei ole asjakohane. Selle peamine väljund on fikseeritud suurusega embedding-esitus.

Mitmekeelse ja koodiotsingu võimalused

Granite-Embedding-311M-Multilingual-R2 toetab mitmekeelse treeninguandmestiku kaudu enam kui 200 keelt. IBM-i andmetel on mudelit 52 keele puhul täiendavalt otsingu jaoks treenitud. See eristus on oluline: lai keeletugi ei tähenda, et otsingukvaliteet oleks igas keeles ühesugune. Vähese ressursiga keeled, erialaterminoloogia, ebatavalised dokumendivormingud ja valdkonnaspetsiifiline kirjutamisviis tuleks enne juurutamist esinduslike andmetega läbi testida.

Mudel on mõeldud ka keelteüleseks otsinguks. Näiteks võib kasutaja esitada päringu ühes toetatud keeles, samal ajal kui indekseeritud dokument on kirjutatud teises keeles. See võib aidata organisatsioonidel otsida mitmekeelsetest teadmistebaasidest, ilma et iga keelepaari jaoks tuleks hallata täiesti eraldi otsingutorustikku.

Tarkvarameeskondade jaoks toetab mudel koodiotsingut Pythonis, Go-s, Javas, JavaScriptis, PHP-s, Rubys, SQL-is, C-s ja C++-is. Seda saab kasutada sarnaste funktsioonide leidmiseks, koodibaasist näidete otsimiseks, rakendusmustrite dokumentatsiooni leidmiseks või koodiassistendi otsingukihi toetamiseks. Embedding-mudel ise ei kirjuta ega muuda koodi ning sellel puudub natiivne koodi genereerimise võimekus.

32K sisendpikkus ja paindlikud vektori mõõtmed

Mudel toetab kuni 32 768 märgist koosnevaid järjestusi. Esitatud uuringu kohaselt on see oluliselt rohkem kui 512 märgi pikkune kontekst, mida seostatakse IBM-i eelmise põlvkonna Granite'i mitmekeelse embedding-mudeliga. Suurem piirang võib vähendada vajadust jagada pikki dokumente paljudeks väikesteks osadeks ning aidata mitme tekstilõigu või pikkade dokumentide otsingul.

Pikkade sisendite tugi ei tähenda automaatselt, et terve dokumendi indekseerimine on parim lahendus. Väga suur sisend võib pikendada järeldamist ja suurendada mälukasutust ning terve dokumendi üks vektor võib olla vähem täpne kui tähenduslike jaotiste põhjal loodud vektorid. Praktikas peaksid meeskonnad võrdlema dokumendi-, tekstilõigu- ja hierarhilise tükeldamise strateegiaid oma otsingupäringute põhjal.

Granite-Embedding-311M-Multilingual-R2 toetab Matryoshka mõõtmete vähendamist. See genereerib täieliku 768-mõõtmelise vektori, kuid rakendused võivad selle esituse kärpida 512, 384, 256 või 128 mõõtmeni. Väiksemad vektorid vajavad vähem salvestusruumi ja vähendavad vektorindeksis sarnasuse võrdlemise kulu. Kompromiss seisneb selles, et vähendatud mõõtmed võivad otsingukvaliteeti langetada, mistõttu tuleks sobiv suurus valida hindamise põhjal, mitte seda ette eeldada.

Arhitektuur ja juurutusvõimalused

Mudel kasutab kaksikkodeerija arhitektuuri. Päringud ja dokumendid kodeeritakse eraldi, mis võimaldab dokumendid ühe korra embedding'uteks teisendada ja enne kasutajate otsinguid indekseerida. Päringu ajal teisendab süsteem uue päringu embedding'uks ning võrdleb seda salvestatud vektoritega koosinussarnasuse või mõne muu kaugusfunktsiooni abil.

See lahendus on suuremahulise otsingu jaoks tõhus, kuid erineb ristkodeerijast, mis loeb päringut ja dokumenti koos. Tootmiskasutuseks mõeldud RAG-süsteem võib seetõttu kasutada seda mudelit kandidaatide kiireks leidmiseks ning lisada suurema täpsuse vajaduse korral eraldi ümberjärjestamise etapi.

IBM pakub mudelit oma Granite'i dokumentatsiooni ja ametlike mudeliressursside kaudu. Esitatud uuringus nimetatakse ka ONNX-i, OpenVINO, vLLM-i ja seotud järeldamisvoogude ühilduvust või juurutusinfot. Flash Attention 2 on valikuline ja võib ühilduva riistvara puhul tõhusust parandada. Täpne läbilaskevõime sõltub riistvarast, pakisuurusest, järjestuse pikkusest, täpsusest, käituskeskkonna seadistusest ja vektorindeksi ülesehitusest; esitatud teabe põhjal ei ole kindlaks määratud universaalset kiirusnäitajat.

Jõudluse, kiiruse ja kulude kompromissid

IBM positsioneerib mudelit mitmekeelse otsingu, ingliskeelse otsingu, koodiotsingu, pikkade dokumentide otsingu, vestlusliku mitmevoorulise otsingu ning otsinguna käsitletava arutlemise hindamise jaoks. Need on teenusepakkuja kirjeldatud kasutus- ja hindamisvaldkonnad, mitte garantii konkreetsele tulemusele igas andmestikus.

Ligikaudu 311 miljoni parameetriga mudel eelistab otsingukvaliteeti ja katvust võimalikult väikesele mälukasutusele. Esitatud võrdluse kohaselt seab Granite-Embedding-311M-Multilingual-R2 võrreldes väiksema Granite-Embedding-97M-Multilingual-R2-ga üldiselt kvaliteedi läbilaskevõimest ja ressursitõhususest ettepoole. 97M-i versioon võib olla sobivam, kui peamised piirangud on latentsus, mälu või servaseadmetes juurutamine. 311M-i mudel on parem kandidaat siis, kui mitmekeelne katvus, pikad sisendid, koodiotsing või täpsus on olulisemad kui taristunõuete minimeerimine.

Selle täpse avatud kaaludega mudeli kohta ei ole kontrollitud standardset IBM-i märgipõhist hinda. Seetõttu sõltub hind juurutusviisist. Ise majutavad kasutajad kannavad taristu-, salvestus- ja käituskulusid; kolmanda osapoole majutuse kasutajad võivad maksta vastavalt teenusepakkuja arvutusressursside või lõpp-punkti hinnakirjale. Vektorandmebaasi salvestus ja otsingutaristu toovad kaasa lisakulud. Mudelipõhise majutatud hinna puudumist ei tohiks tõlgendada nullkuluna.

Toetatud sisendid ja väljundid

Peamine sisend on tekst, sealhulgas loomuliku keele päringud, tekstilõigud, dokumendid ja toetatud lähtekood. Esitatud spetsifikatsioonides ei ole kinnitatud pildi-, heli- ega videosisendi tuge. Mudeli otsene väljund on embedding-vektor, mitte tekst, pilt, heli, video, struktureeritud vastus ega tööriistatoiming.

Esitatud mudelikirjes ei ole dokumenteeritud natiivset vestluslikku genereerimist, veebiotsingut, funktsioonikõnesid, tööriistade kasutamist, voogedastusvastust ega JSON-režiimi. Ümbritsev rakendus võib need võimalused lisada, kombineerides embedding'ud otsingumootori, tööriistade, agendiraamistiku või eraldi generatiivse mudeliga, kuid sellised võimekused kuuluksid rakendusele, mitte Granite-Embedding-311M-Multilingual-R2-le endale.

Parimad kasutusjuhud

• Mitmekeelne ettevõtteotsing: indekseeri sisemised eeskirjad, juhendid, pöördumised ja teadmistebaasi sisu, et teha keeltesisest semantilist otsingut.
• Otsinguga täiendatud genereerimine: leia asjakohased tekstilõigud enne nende edastamist eraldi keelemudelile, mis genereerib vastuse.
• Keelteülene avastamine: sobita eri toetatud keeltes kirjutatud päringuid ja dokumente.
• Pikkade dokumentide otsing: kodeeri lepingute, tehniliste juhendite, aruannete ja uurimismaterjalide suuri jaotisi või hoolikalt valitud lõike.
• Koodiotsing: leia toetatud programmeerimiskeeltes seotud koodi ja dokumentatsiooni.
• Sarnasuse tuvastamine ja dubleerimise eemaldamine: tuvasta seotud, peaaegu identsed või semantiliselt sarnased tekstid.
• Soovitused ja klasterdamine: rühmita dokumente või soovita sarnasusel põhinevat sisu.

Piirangud, millega arvestada

Kõige olulisem piirang on see, et tegemist on embedding-mudeliga, mitte generatiivse keelemudeliga. See ei saa iseseisvalt otsingutulemusi selgitada, küsimustele vastata, leitud tekstilõike kokku võtta ega vestlust pidada. Need funktsioonid nõuavad lisakomponente.

Keelekatvus on lai, kuid ebaühtlane otsingukvaliteet on endiselt võimalik. 52 keele täiustatud treeningukatvust ei tohiks käsitleda garantiina kõigi enam kui 200 toetatud keele puhul. Hindamine peaks hõlmama sihtrakenduses kasutatavaid keeli, terminoloogiat, päringustiile ja dokumenditüüpe.

Pikk kontekst hõlmab samuti kvaliteedi ja taristu vahelist kompromissi. Terve 32 000 märgist koosneva dokumendi sisestamine võib olla vähem tõhus kui fokuseeritud lõikude loomine ning pikemad järjestused võivad suurendada mälukasutust ja latentsust. Samamoodi võivad vektorite vähendamine 128 või 256 mõõtmeni kahandada salvestuskulusid, kuid mõjutada järjestamise kvaliteeti.

Lõpuks pakuvad avatud kaalud paindlikumat juurutamist, kuid annavad operaatorile ka rohkem vastutust. Meeskonnad peavad valima järeldamiskäituskeskkonna, hankima riistvara, haldama mudeliuuendusi, kaitsma salvestatud dokumente ja vektoreid, jälgima otsingukvaliteeti ning arvestama taristukuludega.

Millal valida Granite Embedding 311M Multilingual R2?

Vali see mudel siis, kui rakendus vajab mitmekeelset semantilist otsingut, keelteülest otsingut, koodiotsingut või pikkade sisendite tuge ning suudab kasutada suuremat kodeerijat kui kompaktne embedding-mudel. Apache 2.0 litsents ja avatud kaaludega juurutusvõimalused on kasulikud organisatsioonidele, kes vajavad majutuse ja andmete liikumise üle suuremat kontrolli, kui suletud majutatud embedding-API pakub.

Vali väiksem embedding-mudel, näiteks IBM-i Granite-Embedding-97M-Multilingual-R2, kui väike latentsus, vähene mälukasutus või servaseadmetes juurutamine on olulisem kui 311M-i mudeli võimalik eelis otsingukvaliteedis. Vali eraldi ümberjärjestaja siis, kui esialgne vektorotsing vajab täpsemat päringu ja dokumendi sobitamist, ning generatiivne mudel siis, kui süsteem peab looma loomulikus keeles vastuseid. Granite-Embedding-311M-Multilingual-R2-st tuleks sellises süsteemis mõelda kui otsingu aluskihist, mitte kui terviklikust süsteemist.