Mida IBM slate-30m-english-rtrvr-v2 teeb
IBM slate-30m-english-rtrvr-v2 on IBM watsonx.ai kaudu saadaval olev vektor-esitusmudel. Vastuse kirjutamise asemel teisendab see sisendi, näiteks otsingupäringu, dokumendilõigu või tugiküsimuse, arvuliseks esituseks, mida nimetatakse vektoriks. Sarnase tähendusega tekstid peaksid andma vektorid, mis on sarnasuse mõõdiku, näiteks koosinussarnasuse abil võrreldes lähestikku.
Seetõttu on see mudel pigem otsingu- ja taastamissüsteemi komponent kui vestlusmudel. Tüüpiline süsteem võib teisendada dokumendikogu vektoriteks, salvestada saadud vektorid vektorindeksisse, teisendada kasutaja küsimuse vektoriks ja leida lõigud, mille vektorid on kõige sarnasemad. Seejärel saab eraldi generatiivne mudel kasutada neid lõike vastuse koostamiseks retrieval-augmented generation (RAG) töövoos.
Canonical watsonx.ai mudeliidentifikaator on ibm/slate-30m-english-rtrvr-v2. IBM on teenusepakkuja ning mudel kuulub Slate'i otsingu- ja taastamismudelite perekonda.
Tehnilised andmed ja sisendipiirangud
| Spetsifikatsioon | Kontrollitud väärtus |
|---|---|
| Mudeli tüüp | Ingliskeelne otsingu- ja taastamisülesannete vektor-esitusmudel |
| Arhitektuur | Bi-encoder |
| Ligikaudne parameetrite arv | 30 miljonit |
| Vektori suurus | 384 dimensiooni |
| Maksimaalne sisendi pikkus | 512 tokenit |
| Peamine keel | Inglise keel |
| Väljund | Vektor-esitused |
512 tokeni piirang kehtib iga kodeeritava sisendi kohta. Praktikas tuleb sellest pikemad dokumendid tavaliselt enne indekseerimist lõikudeks jagada. Lõigu suurus ja kattuvus mõjutavad otsingu kvaliteeti, seega peaks juurutus kasutama oma dokumendistruktuuri testimiseks katseid, mitte eeldama, et üks kindel tükeldamisstrateegia sobib igale dokumendikogule.
Mudelil ei ole genereeritud teksti väljundipiirangut, sest see ei genereeri teksti. Selle väljund on vektor-esitus ning IBM ei hinnasta selle mudeli puhul väljundtokeneid eraldi.
Arhitektuur ja treeningu taust
IBM kirjeldab aluseks olevat slate.30m.english mudelit väikese RoBERTa-laadse transformer-mudelina, millel on kuus kihti ja ligikaudu 30 miljonit parameetrit. V2-otsingumudel destilleeriti IBM-i suuremast mudelist slate.125m.english.rtrvr-v2 ning kohandati otsingu- ja taastamisülesannete jaoks. Destilleerimise käigus kantakse suurema mudeli kasulikud omadused üle väiksemasse mudelisse, mille tulemusena on see üldjuhul odavam ja kiirem, kuid selle võimekus võib olla väiksem kui suuremal lähtemudelil.
IBM-i mudelikaardi kirjelduse kohaselt hõlmas treening otsingule suunatud eeltreeningut, teadmiste destilleerimist, kontrastiivõpet, hangitud päringu-lõigu paare ning juhendatud otsinguandmeid. Loetletud allikate hulka kuuluvad Natural Questions, SQuAD, Stack Exchange, SPECTER, S2ORC, SearchQA, HotpotQA, FEVER, MIRACL, IBM Docs ja IBM Software Supporti andmed. Need üksikasjad on teenusepakkuja esitatud treeninguandmed, mitte garantii, et mudel toimib kõigi organisatsioonide terminoloogia või dokumendivaldkondade puhul sama hästi.
Tugevused, kiirus ja avaldatud jõudlusnäitajad
slate-30m-english-rtrvr-v2 peamine praktiline tugevus on selle väike suurus. 30 miljoni parameetriga kodeerija võib olla mõistlik valik siis, kui rakendus peab teisendama vektoriteks palju lõike, hoidma mälukasutust kontrolli all või eelistama soodsat järeldamist maksimaalselt võimalikule otsingukvaliteedile. Selle 384-dimensioonilised vektorid on samuti väiksemad kui paljude suuremate vektor-esitusmudelite vektorid, mis võib vähendada vektorindeksi salvestus- ja võrdluskulusid.
IBM-i mudelikaardi kohaselt saavutas mudel 30. juunil 2024 avaldatud versioonis BEIR-15 näitaja nDCG@10 väärtuse 49,06 ja LongNQ näitaja nDCG@10 väärtuse 62,07. Samuti teatatakse, et järjestamisel kulus määratud A100 40 GB GPU testseadistuses päringu kohta ligikaudu 0,20 sekundit. Need on teenusepakkuja esitatud tulemused kindlate hindamis- ja riistvaratingimuste korral; neid ei tohiks käsitada universaalsete latentsus- ega kvaliteedigarantiidena.
Selle mudeli puhul seisneb peamine kompromiss otsingu tõhususe ning ulatuse ja võimekuse vahel. Suurem või mitmekeelne vektor-esitusmudel võib keerukate, mitmekesiste või muukeelsete andmete puhul paremini toimida, samal ajal kui slate-30m-english-rtrvr-v2 võib olla atraktiivne juhul, kui piisab ainult ingliskeelsest otsingust ja kompaktsest ressursijalajäljest.
Toetatud modaalsused ja võimalused
Mudel võtab vastu teksti ja tagastab arvulised vektor-esitused. See ei toeta pildi-, heli- ega videosisendit ning ei tooda otse teksti, pilte, heli, videot ega kõnet. Seega ei ole tegemist multimodaalse generatiivse mudeliga ning seda ei tohiks hinnata vestlusroboti, pildigeneraatori ega häälassistendi ootuste põhjal.
- Tekstisisend: Toetatud ingliskeelsete päringute, lõikude ja dokumentide puhul.
- Vektor-esituse väljund: Toetatud 384-dimensiooniliste vektoritena.
- Teksti genereerimine: Ei ole toetatud.
- Arutlemine: Eraldiseisvat arutlemisvõimekust ei pakuta; mudel hindab semantilist seotust otsingu eesmärgil.
- Koodi genereerimine: Ei ole toetatud. Mudel võib kodeerida koodiga seotud teksti, kuid see ei ole koodi genereerimise mudel.
- Tööriistad ja funktsioonid: Selle vektor-esitusmudeli puhul ei ole tuvastatud loomulikku tööriistakutset ega funktsioonide käivitamist.
- Voogedastus ja struktureeritud väljund: Dokumenteeritud vektorväljundi puhul ei ole kohaldatav.
Need piirangud ei ole puudused, kui mudelit kasutatakse suurema otsingu- või RAG-süsteemi ühe etapina. Samas tähendab see, et vastuste sõnastamiseks, tööriistade kutsumiseks või rakenduse toimingute tegemiseks on vaja eraldi mudelit.
Hind ja olelusringi staatus
Esitatud watsonx.ai hinnainfo kohaselt on sisendi hinnaks 0,0001 USA dollarit 1000 sisendtokendi kohta. Kuna mudel tagastab genereeritud tokenite asemel vektor-esitusi, ei ole esitatud andmetes eraldi hinnastatud väljundtokenite kategooriat. Tegelik arveldamine võib siiski sõltuda IBM-i kontost, piirkonnast, platvormitingimustest ja watsonx.ai kehtivatest hinnastamistingimustest.
IBM teatas mudelist 15. augustil 2024 ja märkis selle hiljem 8. mail 2026 iganenuks. Olelusringi ajakava on piirkonnapõhine. IBM kavandas Dallases kasutuselt kõrvaldamise 8. septembriks 2026. Frankfurtis, Londonis, Tokyos, Sydneys, Torontos, AWS Mumbai piirkonnas ja AWS GovCloudis kavandati kasutuselt kõrvaldamine 12. jaanuariks 2027. Pärast piirkondlikku kasutuselt kõrvaldamise kuupäeva loodud projekt ei tohiks eeldada, et mudel on seal endiselt saadaval.
Seetõttu tuleks slate-30m-english-rtrvr-v2 käsitada pigem pärand- või migratsioonijuhtumina kui uue tootmissüsteemi soovitusliku lähtekohana. IBM loetleb soovitatud alternatiividena mudelid granite-embedding-278m-multilingual ja multilingual-e5-large. Need on migratsiooni sihtmudelid, mitte aliased, mis säilitaksid automaatselt identsed vektorid või järjestamiskäitumise. Mudelite vahetamisel võib olla vaja dokumendid uuesti indekseerida ja otsingu kvaliteeti uuesti testida.
Parimad kasutusjuhud
- Ingliskeelne semantiline otsing: Lõikude leidmine tähenduse, mitte täpse märksõnade kattuvuse põhjal.
- Tihe vektorotsing: Kompaktse vektorindeksi loomine ingliskeelse dokumendikogu jaoks.
- RAG-otsing: Asjakohaste lõikude valimine enne nende saatmist eraldi vastuseid genereerivale mudelile.
- Küsimuste sobitamine: Sarnaste tugipäringute, korduvate küsimuste või seotud KKK-kirjete tuvastamine.
- Dokumentide indekseerimine: Ettevõtte dokumentide, tugisisu või tehniliste lõikude kodeerimine hilisemaks otsinguks.
- Piiratud ressurssidega juurutused: Väiksema kodeerija kasutamine juhul, kui mälu, salvestusruum või järeldamise kulu on olulisem kui maksimaalne otsingukvaliteet.
Pikkade dokumentide puhul jagage lähtematerjal tähenduslikeks lõikudeks, teisendage iga lõik vektoriks ja säilitage piisavalt metaandmeid lähtematerjali asukoha taastamiseks. RAG-rakenduse puhul tuleb leitud lõikude asjakohasus ja värskus siiski enne nende kasutajale kuvamist või generatiivsele mudelile edastamist üle kontrollida.
Millal seda mudelit valida – ja millal mitte
Valige slate-30m-english-rtrvr-v2 ainult siis, kui selle kompaktne ingliskeelse otsingu profiil sobib juurutusega ja asjaomane watsonx.ai piirkond seda endiselt toetab. See võib olla mõistlik valik olemasoleva IBM-i töökoormuse puhul, mis mudelit juba kasutab, kontrollitud migratsioonitestides või kitsas ingliskeelses otsinguülesandes, kus selle avaldatud tõhusus ja madal tokenihind on väärtuslikud.
Teistsugune lahendus on sobivam siis, kui rakendus vajab mitmekeelset otsingut, pikemaid sisendeid, keerukate valdkondade puhul paremat otsingukvaliteeti või toetatud mudelit uue tootmisjuurutuse jaoks. IBM-i loetletud alternatiive granite-embedding-278m-multilingual ja multilingual-e5-large tuleks hinnata siis, kui oluline on laiem keelevalik või ajakohane migratsioonitee. Kui rakendus peab kirjutama vastuseid, kokku võtma leitud lõike, genereerima koodi või suhtlema tööriistadega, on vaja generatiivset keelemudelit.
Kõige olulisem operatiivne piirang on mudeli iganenud staatus. Isegi kui selle kvaliteet ja hind sobivad, võib uus selle mudeli peale ehitatud süsteem peagi vajada välditavat migratsiooni. Meeskonnad peaksid võrdlema asendusmudeleid oma päringute põhjal, mõõtma leidmise ja järjestamise kvaliteeti, arvestama vektorite erinevate dimensioonidega ning indeksi uuesti üles ehitama, mitte eeldama, et olemasolevad vektor-esitused on omavahel vahetatavad.