Mis on IBM slate-125m-english-rtrvr-v2?
IBM slate-125m-english-rtrvr-v2 on IBM watsonx.ai kaudu pakutav manustusmudel. Manustusmudel teisendab teksti arvuliseks esituseks, mida nimetatakse tavaliselt vektoriks. Sarnase tähendusega tekstid annavad sarnasuse mõõdiku, näiteks koosinussarnasuse abil võrreldes tavaliselt lähestikku paiknevad vektorid.
Seetõttu sobib mudel asjakohase teabe leidmiseks, mitte vastuse kirjutamiseks. Näiteks saab otsingut „kuidas saan oma konto parooli lähtestada?” võrrelda salvestatud tugitekstidega, mis kasutavad teistsugust sõnastust, kuid käsitlevad sama toimingut. Mudel võib esitada ka dokumente, küsimusi, tootekirjeldusi või muud ingliskeelset teksti, et neid hiljem omavahel võrrelda.
Mudel on ainult kodeeriv bi-kooder. Praktikas kodeerib see päringu ja võimaliku dokumendi eraldi, mistõttu saab dokumendivektorid eelnevalt arvutada ning vektorandmebaasi või otsinguindeksisse salvestada. Päringu ajal tuleb rakendusel kodeerida ainult uus päring ja võrrelda seda salvestatud vektoritega. See erineb generatiivsest keelemudelist, mis loob loomulikus keeles vastuseid tokenite kaupa.
Kontrollitud tehnilised andmed ja toetatud sisendid
| Tehnilised andmed | Üksikasjad |
|---|---|
| Pakkuja | IBM |
| Kanooniline mudeli ID | ibm/slate-125m-english-rtrvr-v2 |
| Mudeli tüüp | Manustus- ja otsingumudel |
| Arhitektuur | Ainult kodeeriv bi-kooder, põhineb RoBERTa-base'i laadsel arhitektuuril |
| Ligikaudne suurus | 125 miljonit parameetrit |
| Keel | Inglise keel |
| Maksimaalne sisendi pikkus | 512 tokenit |
| Manustuse suurus | 768 dimensiooni |
| Peamine väljund | Vektormanustused |
| Sarnasuse meetod | Koosinussarnasus |
| Väljalase watsonx.ai-s | 15. august 2024 |
512 tokeni piirang kehtib iga mudelile esitatava sisendi kohta. Seetõttu tuleb pikemad dokumendid enne indekseerimist väiksemateks tekstiosadeks jagada. Tükeldamisstrateegia võib mõjutada otsingu kvaliteeti: väga väikesed tükid võivad kaotada konteksti, samas kui väga suured tükid võivad piirangut ületada või sisaldada mitut omavahel seostumatut teemat.
Mudel võtab vastu teksti ja loob manustused. See ei loo algupäraselt proosateksti, struktureeritud JSON-i, pilte, heli, videot ega kõnet. Selle mudeliga ei ole kontrollitult seotud ka algupärast tööriistade kasutamist, funktsioonikutseid, voogedastusega genereerimist, koodi käivitamist ega veebiotsingu võimekust. Seda tuleks käsitleda otsingutorustiku komponendina, mitte komponendina, mis vastab kasutaja küsimusele otse.
Treeninguviis ja selle praktiline tähendus
IBM kirjeldab otsingule suunatud treeningut, mis hõlmab RetroMAE eeltreeningut, päringu- ja tekstiosapaaridel põhinevat kontrastiivõpet, leitud raskeid negatiivseid näiteid, juhendatud otsinguandmeid ja mudelite ühendamist. Nende meetodite eesmärk on õpetada mudelit paigutama asjakohased päringud ja tekstiosad oma manustusruumis lähestikku ning eraldama need eksitavatest või teemaga mitteseotud alternatiividest.
IBM-i dokumentatsioon kirjeldab hindamistööd, milles kasutati BEIR-i ja Long NQ otsingu võrdlusteste. Esitatud uurimismaterjal ei sisalda võrdlustestide tulemusi, mistõttu ei tohiks neid käsitleda konkreetse rakenduse täpsusgarantiina. Jõudlus võib varieeruda olenevalt teemast, kirjutamisstiilist, dokumentide kvaliteedist, tükeldamismeetodist, indeksi seadistusest ja otsingulävest.
Mudeli ingliskeelsus on oluline piirang. See võib olla mõistlik valik ingliskeelsete korpuste jaoks, kuid see ei ole sobiv vaikevalik mitmekeelse otsingu ega süsteemide jaoks, mis peavad päringuid ja dokumente eri keelte vahel usaldusväärselt sobitama.
Parimad kasutusjuhud
slate-125m-english-rtrvr-v2 sobib töökoormustele, mille esimene ülesanne on asjakohase teksti valimine. Tüüpilised rakendused on järgmised:
- Semantiline otsing: tekstiosade leidmine tähenduse, mitte täpsete märksõnade kattuvuse alusel.
- Otsinguga täiendatud genereerimine: toetavate tekstiosade leidmine, mida eraldi keelemudel saab vastuse koostamisel kasutada.
- Küsimuse ja tekstiosa sobitamine: kasutaja küsimuse sobitamine asjakohase abikeskuse, eeskirjade või teadmistebaasi sisuga.
- Dokumentide sobitamine: taotluste, pöördumiste, aruannete või muude kirjete semantilise sarnasuse võrdlemine.
- Dubleerivate või peaaegu dubleerivate tekstide tuvastamine: erineva sõnastusega, kuid sarnase mõttega küsimuste või dokumentide leidmine.
- Dokumentide klasterdamine: ingliskeelse sisu rühmitamine semantiliste seoste alusel.
- Vektorandmebaasi indekseerimine: dokumentide ja päringute teisendamine vektoriteks lähimate naabrite ligikaudseks otsinguks.
Levinud arhitektuuris jagatakse lähtedokumendid tekstiosadeks, luuakse iga tekstiosa kohta üks manustus, salvestatakse need vektorid koos algse tekstiga ning manustatakse iga saabuv päring otsingu ajal. Seejärel saab lähimad tekstiosad otse tagastada või edastada need ümberjärjestajale ja generatiivsele mudelile. slate-125m-english-rtrvr-v2 täidab selle töövoo esituse ja otsinguga seotud osa; see ei genereeri lõplikku vastust.
Piirangud ja kompromissid
Peamine piirang on mudeli ulatus. See ei ole vestlusmudel, arutlusmudel, programmeerimisabiline ega üldotstarbeline keelemudel. See ei suuda iseseisvalt otsingutulemusi selgitada, järgida mitmeastmelist juhist, kasutada välist tööriista ega luua loomulikus keeles vastust. Neid funktsioone vajav rakendus peab lisama teised komponendid.
512 tokeni sisendipiirang muudab pikkade dokumentide eeltöötluse vajalikuks. Dokumenti ei saa lihtsalt saata ühe piiramatu kontekstiaknana. Süsteemid, mis vajavad pika konteksti mõistmist, võivad eelistada suurema toetatud sisendipikkusega mudelit või kasutada keerukamat hierarhilist otsingulahendust.
Mudel on ainult ingliskeelne, mistõttu mitmekeelne otsing ei kuulu selle kirjeldatud fookusesse. IBM-i elutsükli dokumentatsioon nimetab mudeli kasutusea lõpu lähenedes soovituslike alternatiividena Granite Embedding 278M Multilingual ja multilingual-e5-large. Need alternatiivid on asjakohased, kui oluline on keelte katvus või jätkuv elutsükli tugi, kuid esitatud uurimismaterjal ei paku nende ja slate-125m-english-rtrvr-v2 otsest võrdlust.
Ka vektorotsingul on märksõnaotsingust erinevad kvaliteediomadused. Semantiline sarnasus võib leida kontseptuaalselt seotud teksti, mis ei sisalda täpselt otsitud terminit, kuid võib tagastada ka üldjoontes seotud tekstiosi, mis ei vasta küsimusele piisavalt täpselt. Tootmiskeskkonnas võib olla kasulik ühendada vektorotsing märksõnaotsingu, filtreerimise või ümberjärjestamise etapiga. Valik sõltub andmetest ja nõutavast täpsustasemest.
Hind ja praktiline kasutuspositsioon
Esitatud IBM-i mudeliteabes on sisendi hinnaks märgitud 0,0001 dollarit 1000 sisendtokendi kohta. Väljundtokenite hinda ei ole esitatud, sest see mudel tagastab genereeritud teksti asemel manustusi. Tegelik kulu sõltub seega indekseerimiseks ja päringute töötlemiseks saadetava teksti mahust. Suure korpuse indekseerimine võib nõuda oluliselt rohkem sisendit kui üksikute otsingute töötlemine, mistõttu tuleb hinnata nii algset andmete laadimist kui ka jooksvaid uuendusi.
Hind on atraktiivne töökoormuste puhul, kus on vaja kodeerida suures koguses ingliskeelset teksti, kuid ainuüksi hind ei määra kogu süsteemi maksumust. Täielik otsinguteenuse lahendus võib vajada ka vektorite salvestust, indekseerimise taristut, ümberjärjestamist, eraldi generatiivset mudelit, monitooringut ja dokumenditöötluse etappe. Mudeli suhteliselt kompaktne suurus võib samuti olla eeliseks olukordades, kus otsingu läbilaskevõime ja kasutuskulu on olulisemad kui lai generatiivne võimekus.
Toimetuslikus hindamises kirjeldatakse mudelit suure kiiruse- ja kuluskooriga, vastavalt 7 ja 9. Need on võrdlevad toimetuslikud hinnangud, mitte IBM-i avaldatud jõudlusgarantiid. Uurimismaterjal ei sisalda latentsusnäitajat, läbilaskevõime sihti, riistvaranõuet ega teenusetaseme kohustust.
Elutsükkel ja saadavus
IBM tegi mudeli watsonx.ai-s kättesaadavaks 15. augustil 2024. IBM märkis selle 8. mail 2026 kasutusest mahakantuks ning praeguse elutsükliinfo kohaselt on selle kavandatud eemaldamise kuupäev toetatud watsonx.ai piirkondades 12. jaanuar 2027. Saadavuse ja elutsükli üksikasjad võivad sõltuda konkreetsest watsonx.ai piirkonnast ja tootekeskkonnast.
See olek mõjutab valikut. Mudel võib endiselt olla kasulik olemasoleva ingliskeelse otsingutorustiku puhul, mida on selle mudeli vastu juba valideeritud, eriti juhul, kui üleminekut ei saa kohe teha. Uue tootmislahenduse juurutamisel tuleb siiski arvestada eemaldamise kuupäeva, migratsiooni testimise, manustusindeksite uuesti loomise ning võimalusega, et ühe manustusmudeliga loodud vektorid ei ühildu otseselt teise mudeliga loodud vektoritega.
Millal seda mudelit valida?
Vali slate-125m-english-rtrvr-v2 siis, kui vajad semantiliseks otsinguks spetsiaalset ingliskeelset manustusmudelit, sisendid mahuvad pärast tükeldamist 512 tokeni piiresse ning saad arvestada mudeli kasutusest mahakantud olekuga. See on eriti mõistlik juba olemasolevate watsonx.ai töövoogude, ingliskeelse vektorindekseerimise, RAG-i otsinguetappide ja dokumendisobituse süsteemide puhul, kus mudeli käitumist on juba testitud.
Teine lahendus on sobivam siis, kui rakendus vajab mitmekeelset otsingut, pikemat konteksti, otsest teksti genereerimist, sisseehitatud arutlusvõimet, programmeerimisabi, tööriistade kasutamist või pikema tugiperioodiga mudelit. Vastuste kirjutamisega peaks tegelema generatiivne mudel, samas kui selline manustusmudel nagu see peaks tegelema sarnasusel põhineva otsinguga. Uue juurutuse korral tasub hinnata IBM-i dokumenteeritud soovitusi Granite Embedding 278M Multilingual ja multilingual-e5-large, eriti juhul, kui süsteem peab jätkama tööd pärast kavandatud eemaldamise kuupäeva.
Kokkuvõttes on slate-125m-english-rtrvr-v2 kõige paremini mõistetav kitsa fookusega otsingukomponendina. Selle 768-dimensioonilised vektorid, ingliskeelsus ja 512-tokeniline sisendipiirang määravad selle praktilise otsingule suunatud rolli. Genereerimisvõime puudumine ei ole vektorindekseerimise seisukohast puudus, kuid see tähendab, et kasulikud rakendused peavad paigutama mudeli laiemasse otsingu-, ümberjärjestamise või küsimustele vastamise torustikku.