Mida Cohere Rerank Multilingual v3.0 teeb
Cohere Rerank Multilingual v3.0 on Cohere’i semantiline ümberjärjestusmudel. See ei ole vestlusrobot, tekstiembedimise mudel ega üldotstarbeline tekstigeneraator. Selle asemel täidab see otsingutorustikus kindlat ülesannet: võrdleb kasutaja päringut võimalike dokumentide kogumiga ja hindab, kui asjakohane iga kandidaat selle päringu jaoks on.
Tüüpiline süsteem leiab märksõnaotsingu, vektorotsingu või nende kombinatsiooni abil esmalt hallatava hulga kandidaate. Seejärel uurib Rerank Multilingual v3.0 päringu ja dokumentide paare otsesemalt ning järjestab kandidaatide loendi ümber. See teise etapi protsess võib parandada kõige kasulikumate tulemuste positsiooni olukorras, kus esialgne otsingusüsteem leidis mitu üsna sobivat, kuid ebatäiuslikku vastet.
Mudel avaldati 9. aprillil 2024. Cohere’i praeguses kataloogis on see vanema põlvkonna Rerank-mudel: pakkuja loetleb nüüd ka uuemad mudelid Rerank 3.5 ja Rerank 4. See ei tähenda, et v3.0 olemasolevate töökoormuste jaoks ei sobiks, kuid uut juurutust alustavad meeskonnad peaksid seda kvaliteedi, keeletoe, latentsuse ja saadavuse poolest uuemate võimalustega võrdlema.
Põhivõimekused ja toetatud andmed
Cohere’i dokumentatsiooni ja mudeliinfo kohaselt toetab mudel semantilist ümberjärjestamist enam kui 100 keeles. Seetõttu sobib see kogudele, kus dokumendid on kirjutatud mitmes keeles või kus päringu ja tulemuse keel võivad erineda. Näiteks võib kasutaja otsida mitmekeelsest teadmistebaasist ühes keeles kirjutatud päringuga ning kasutada ümberjärjestajat teises keeles kirjutatud asjakohase materjali leidmise hõlbustamiseks.
- Päringu ja dokumendi asjakohasus: võrdleb iga kandidaati esitatud päringuga, mitte ei tugine ainult märksõnade kattuvusele.
- Mitmekeelne otsing: toetab esitatud Cohere’i dokumentatsiooni kohaselt enam kui 100 keelt.
- Poolstruktureeritud andmed: suudab ümber järjestada JSON-is või sarnases tekstivormingus esitatud kirjeid, mis on kasulik tootekataloogide, tugikirjete ja är andmebaaside puhul.
- Normaliseeritud skoorid: tagastab asjakohasusskoorid vahemikus 0–1, mis võimaldab rakendustel tulemusi sortida või rakendada rakendusepõhist lävendit.
- Automaatne tükeldamine: Cohere’i dokumentatsiooni kohaselt käsitleb mudel automaatselt pikki päringu ja dokumendi kombinatsioone, kui need ületavad rakendatava konteksti piirangu.
Ümberjärjestamine ei loo kasutajale lõplikku vastust. Selle väljund on esitatud dokumentidega seotud järjestusinfo. Dokumentide kuvamiseks, viidete koostamiseks või vastuse kirjutamiseks peab neid tulemusi kasutama eraldi otsingurakendus või generatiivne mudel.
Konteksti pikkus ja sisendipiirangud
Rerank Multilingual v3.0 konteksti pikkus on päringu ja dokumentide töötlemise ühises aknas 4096 tokenit. Nii päring kui ka iga dokument mõjutavad konteksti arvutust. Seda tuleb arvestada pikkade kirjete saatmisel: tähemärkide arvu poolest lühike dokument võib siiski kasutada palju tokeneid, eriti kui see sisaldab tihedat teksti või struktureeritud sisu.
Cohere’i ümberjärjestamise dokumentatsiooni kohaselt võidakse pikad dokumendid automaatselt tükkideks jagada. Automaatne tükeldamine vähendab vajadust iga dokument rakenduses käsitsi osadeks jagada, kuid ei kõrvalda vajadust läbimõeldud otsingukujunduse järele. Kogu korpuse, väga suurte kirjete või tarbetult suure kandidaatide hulga saatmine võib suurendada töötlemiskoormust ja muuta järjestustorustiku vähem tõhusaks.
Mudelil ei ole tavapärast genereeritud väljundi maksimaalset piirangut, sest see ei genereeri proosateksti. Selle vastus koosneb esitatud kandidaatide asjakohasus- ja järjestusinfost. Esitatud mudelikirje ei määra eraldi väljundi maksimaalset tokenite arvu.
Koht otsingutorustikus
Rerank Multilingual v3.0 on kõige mõistlikum käsitleda otsingu teise etapi komponendina. Praktiline torustik võib toimida järgmiselt:
- Kasutaja esitab loomulikus keeles päringu.
- Märksõna-, vektor- või hübriidotsingusüsteem leiab kandidaatide kogumi.
- Rerank Multilingual v3.0 võrdleb päringut nende kandidaatidega.
- Rakendus sorteerib kandidaadid tagastatud asjakohasusskooride alusel.
- Kõrgeima järjestusega lõigud kuvatakse kasutajale või edastatakse eraldi vastuse genereerimise mudelile.
Selline tööjaotus on kasulik, sest esialgsed otsingusüsteemid on optimeeritud võimalike vastete kiireks leidmiseks, samal ajal kui ümberjärjestaja saab kasutada rohkem arvutusressursse päringu ja iga kandidaadi vahelise seose hindamiseks. Seega ei asenda ümberjärjestaja indeksit ega andmebaasiotsingumootorit, vaid täpsustab selle toodetud tulemusi.
Otsinguga täiendatud genereerimise ehk RAG-i puhul võib mudel parandada tõendite valimise etappi enne seda, kui generatiivne mudel vastuse kirjutab. Paremini järjestatud lõigud võivad vähendada tõenäosust, et vastusemudel saab ebaolulise või nõrgalt seotud konteksti, kuigi ümberjärjestaja ise ei kontrolli fakte ega loo viiteid.
Tugevused ja kompromissid
Selle mudeli kõige selgem tugevus on spetsialiseeritus. See keskendub asjakohasuse järgi järjestamisele ega kuluta ressursse otsingutorustiku jaoks ebavajalikele võimekustele. Mitmekeelne tugi on eriti oluline rahvusvahelistes tugikeskkondades, ettevõtete dokumendihoidlates ja keelteülese otsingu rakendustes.
Veel üks praktiline eelis on võime töödelda poolstruktureeritud andmeid. Ümberjärjestamist ei pea piirama proosateksti lõikudega: rakendus võib esitada ärikirje väljad teksti- või JSON-laadses vormis ning paluda mudelil hinnata kirje vastavust päringule. Sellise lähenemise kvaliteet sõltub sellest, kui selgelt väljad on esitatud ja millised väljad on kaasatud.
Peamine kompromiss seisneb selles, et tegemist ei ole täieliku tehisintellektiassistendiga. See ei saa vastata küsimusele, dokumenti kokku võtta, koodi kirjutada, pilti luua ega heli või videot genereerida. Esitatud mudelikirjelduse järgi ei paku see ka algupärast multmodaalset sisendit ega väljundit: toetatud sisend on tekst ja väljund on järjestusinfo. Lõpliku loomulikus keeles vastuse jaoks tuleb lisada veel üks komponent.
Ümberjärjestamine lisab pärast esmast otsingut ka täiendava etapi ja kulu. Vastutasuks võib see parandada suhteliselt väikese kandidaatide kogumi kvaliteeti. Sobiv tasakaal sõltub rakenduse latentsuse ja eelarve nõuetest. Väikseimat võimalikku latentsust vajav süsteem võib kasutada ainult esmast otsingumeetodit, samal ajal kui asjakohasuse kvaliteeti olulisemaks pidav süsteem võib tipukandidaadid ümber järjestada.
Hinnastamine ja juurdepääs
Cohere pakub Rerank Multilingual v3.0 mudelit Rerank API kaudu ja valitud partnerite juurutuskeskkondades. Mudeli kasutust arvestatakse otsinguühikute, mitte genereeritud väljundtokenite või generatiivsete mudelite tavapärase sisend- ja väljundtokenite kombinatsiooni alusel.
Selle konkreetse mudeli täpset praegust avalikku iseteeninduslikku hinda ei õnnestunud esitatud uuringu põhjal kinnitada. Seetõttu ei ole siin usaldusväärset arvulist hinda esitada. Tootmiskulude hindamisel peaksid meeskonnad tutvuma Cohere’i värske hinnakirja ja konto puudutava dokumentatsiooniga, sest hind võib sõltuda juurutuskeskkonnast ning tehtud otsingute või töödeldud dokumentide arvust.
Otsinguühikupõhine arvestus tähendab, et kulude planeerimisel tuleb arvesse võtta, kui palju kandidaatdokumente iga päringu kohta ümberjärjestajale saadetakse. Kandidaatide hulga vähendamine enne ümberjärjestamist võib mõjutada nii latentsust kui ka kasutust, kuid liiga väike kogum võib välja jätta dokumendi, mis oleks pidanud esimeseks järjestuma.
Modaalsused, arutlemine, kodeerimine ja tööriistad
Rerank Multilingual v3.0 võtab vastu tekstipäringuid ning dokumentide või poolstruktureeritud kirjete tekstilisi esitusi. See tagastab skoorid ja järjestusinfo, mitte otsest mittetekstilist meediat ega genereeritud proosateksti. Seega ei ole sellel esitatud spetsifikatsiooni kohaselt pildi-, heli- ega videosisendi või -väljundi võimekust.
Mõisted nagu arutlemine ja kodeerimine on selle lõpp-punkti puhul vähem asjakohased kui vestlusliku keelemudeli puhul. Mudel hindab semantilist asjakohasust, kuid see ei ole mõeldud oma mõttekäigu näitamiseks ega programmeerimisülesannete lahendamiseks. Seda ei tohiks valida koodi genereerimiseks, koodi käivitamiseks, tööriistade kutsumiseks ega funktsioonide orkestreerimiseks. Esitatud mudelikirje märgib, et tööriistade kasutamine, voogedastus, JSON-režiim, vahemällu salvestamine, pakett-API tugi ja peenhäälestus ei ole selle mudeli puhul saadaval või toetatud.
Need piirangud kirjeldavad mudeli lõpp-punkti, mitte kõiki funktsioone, mis võivad eksisteerida suuremas Cohere’i juurutuses või rakenduses. Ümbritsev süsteem võib ühendada ümberjärjestaja otsinguinfrastruktuuri, äriloogika või mõne teise mudeliga, kuid neid lisavõimekusi ei tohiks omistada Rerank Multilingual v3.0-le endale.
Parimad kasutusjuhud
- Mitmekeelne ettevõtteotsing: järjestada eri piirkondade töötajatele ümber sise-eeskirju, protseduure ja teadmistebaasi artikleid.
- Klienditoe otsing: leida kõige asjakohasemad tugimaterjalid või varasemad juhtumid enne nende esitamist teenindajale või vastuse genereerimise süsteemile.
- RAG-i tõendite valimine: valida eraldi generatiivse mudeli jaoks tugevamad lõigud, mida kontekstina kasutada.
- Keelteülene teabeotsing: parandada otsingut olukorras, kus päring ja kandidaatdokumendid ei ole kõik kirjutatud samas keeles.
- Dokumentide leidmine: järjestada lepinguid, aruandeid, juhendeid või kirjeid loomulikus keeles esitatud taotluse alusel.
- Struktureeritud äriotsing: võrrelda päringut teksti või JSON-laadsete andmetena esitatud toote-, kliendi-, pileti- või laokirjetega.
Millal seda mudelit valida
Vali Rerank Multilingual v3.0 juhul, kui olemasolev otsingusüsteem leiab juba kandidaate, kuid nende järjestus ei ole piisavalt usaldusväärne – eriti siis, kui korpus hõlmab paljusid keeli või sisaldab poolstruktureeritud kirjeid. See sobib hästi rakendustele, mis vajavad vestlusvastuse asemel asjakohasusskoore ja järjestatud dokumente.
Kui ülesanne on ainult järjestamine, võib see olla üldotstarbelisest generatiivsest mudelist sobivam. Spetsiaalse ümberjärjestaja kasutamine väldib olukorda, kus vestlusmudel peab jäljendama hindamissüsteemi, ning hoiab väljundi keskendununa otsinguotsustele. See võib olla sobivam ka ainult vektorsarnasusele tuginemisest juhul, kui oluline on päringu ja iga kandidaadi täpne semantiline vastavus.
Uue rakenduse alustamisel kaalu uuemat Cohere’i Reranki põlvkonda, sealhulgas Rerank 3.5 või Rerank 4, kui praegune mudeli saadavus, kvaliteet, keeletugi või tööomadused on olemasoleva v3.0 integratsiooniga ühilduvusest olulisemad. Esitatud uuring ei paku üksikasjalikku võrdlusanalüüsi, seega tuleks uuemaid mudeleid hinnata, mitte eeldada, et need sobivad iga töökoormuse jaoks paremini.
Vali teist tüüpi mudel juhul, kui rakendus peab genereerima vastuse, teksti kokku võtma või teisendama, koodi kirjutama, pilte tõlgendama või tööriistu kutsuma. Rerank Multilingual v3.0 võib aidata nende ülesannete jaoks vajalikku teavet valida, kuid see ei ole komponent, mis ülesanded ise täidab.
Kokkuvõte
Cohere Rerank Multilingual v3.0 on spetsialiseeritud mitmekeelne asjakohasusmudel, mis parandab otsingutulemuste järjestust. Selle enam kui 100 keele tugi, 4096-tokenine konteksti pikkus, poolstruktureeritud andmete tugi ja vahemikus 0–1 asjakohasusskoorid muudavad selle kasulikuks ettevõtete otsingu- ja RAG-torustikes. Sama olulised on ka selle piirid: see ei genereeri vastuseid, ei paku multimodaalset väljundit ega asenda otsingusüsteemi, mis talle kandidaadid edastab. Kõige väärtuslikum on see distsiplineeritud teise etapina otsingu ja selle vahel, kuidas rakendus lõpptulemust kuvab või genereerib.