Mis on Cohere Rerank 3.5?
Cohere Rerank 3.5 on Cohere'i spetsialiseeritud mitmekeelne ümberjärjestusmudel. Selle API mudelitunnus on rerank-v3.5. Vestlusliku keelemudelina ei genereeri see vastust, kokkuvõtet ega muud proosateksti. Selle asemel analüüsib see otsingupäringu ja kandidaatdokumentide loendi omavahelist seost, määrab asjakohasusskoorid ning tagastab kandidaadid asjakohasuse järgi järjestatuna.
Rerank 3.5 töötab tavaliselt pärast esmast otsingusammu. Märksõnaotsingumootor, vektorandmebaas, hübriidotsingusüsteem või muu indeks leiab esmalt potentsiaalselt asjakohased dokumendid. Seejärel võrdleb Rerank 3.5 päringut nende kandidaatidega üksikasjalikumalt. Ümberjärjestatud tulemused saab kuvada otse või edastada neile kontekstina mõnele retrieval-augmented generation-süsteemile, kus neid kasutab teine mudel.
Seetõttu on Rerank 3.5 otsingukvaliteedi komponent, mitte täielik otsingutoode. See ei asenda indeksit, dokumendihoidlat, embedditavat mudelit, andmebaasi ega esmase etapi otsingusüsteemi.
Kuidas mudel otsingutulemusi parandab
Esmased otsingusüsteemid on tavaliselt optimeeritud kiiruse jaoks. Need võivad kasutada märksõnade sobitamist, vektorite sarnasust või mõlemat, et koostada suhteliselt suur kandidaatide kogum. Need meetodid aitavad leida võimalikke vasteid, kuid esimesed tulemused ei pruugi alati olla kasutaja täpse küsimuse suhtes semantiliselt kõige asjakohasemad.
Rerank 3.5 vaatleb iga kandidaati päringu kontekstis ja koostab asjakohasusskoori, mis on normaliseeritud vahemikku 0 kuni 1. Näiteks võib ettevõtte teadmistebaas esmalt leida 50 dokumenti küsimusele kulupoliitika kohta. Seejärel saab Rerank 3.5 tuvastada, millised dokumendid käsitlevad tegelikult hüvitamise piirmäärasid, selle asemel et valida lihtsalt need, mis sisaldavad seotud sõnu nagu „kulud” või „reisimine”.
Mudel suudab järjestada nii lihttekstina esitatud dokumente kui ka YAML-stringidena serialiseeritud struktureeritud teavet. See võimaldab hinnata selliseid kirjeid nagu tootenimekirjad, tugipäringud, eeskirjad või projektikirjed, ilma et iga üksus tuleks teisendada struktureerimata lõiguks.
Sisendid, keeled ja konteksti piirangud
Cohere kirjeldab Rerank 3.5 mitmekeelse mudelina, mis toetab rohkem kui 100 keelt. Toetatud keelte valik vastab üldjoontes Cohere'i mitmekeelsete embedding-mudelite omale, kuigi tegelik järjestuskvaliteet võib eri keelte ja kasutusjuhtude puhul erineda. Mitmekeelne tugi on eriti oluline organisatsioonidele, kes otsivad rahvusvahelisest tugisisust, eeskirjadest, tooteteabest või kasutajate loodud dokumentidest.
Mudeli konteksti pikkus on iga päringu ja dokumendi hindamise kohta 4096 tokenit. Token on mudeli töödeldav tekstiühik ning see võib tähistada sõnaosa, tervet sõna või kirjavahemärki. Piirang kehtib hinnatava päringu ja dokumendi sisule, mistõttu peavad pikkade dokumentidega töötavad rakendused arvestama teksti ettevalmistamise viisiga.
Cohere'i ümberjärjestusteenus võib pikemad dokumendid automaatselt lõikudeks jagada. Automaatne tükeldamine on mugav, kuid rakendused, mis vajavad prognoositavat järjestuskäitumist, võivad valida oma lõigu suuruse ja tükeldamisstrateegia. Kohandatud tükeldamine hõlbustab ka pealkirjade, jaotiste piiride, kirjete tunnuste ja muu tulemuste kuvamisel vajaliku metaandmestiku säilitamist.
- Tekstipäringud koos kandidaatdokumentidega
- Lihttekst või YAML-stringidena esitatud struktureeritud kirjed
- Cohere'i dokumentatsiooni kohaselt rohkem kui 100 toetatud keelt
- Kuni 4096 tokenit iga päringu ja dokumendi hindamise kohta
- Asjakohasusskoorid normaliseerituna vahemikku 0 kuni 1
- Toetus päringutele, mis sisaldavad kuni 10 000 dokumenti, arvestades tükeldamise ja teenuse piiranguid
Rerank 3.5 koht Cohere'i tootevalikus
Rerank 3.5 kuulub Cohere'i otsingumudelite perekonda. See täiendab, mitte ei asenda embedditamiseks, genereerimiseks või dokumentide töötlemiseks kasutatavaid mudeleid ja süsteeme. Tüüpilises Cohere'il põhinevas otsingutorustikus tuvastab embeddingu- või otsingusüsteem kandidaatteksti, Rerank 3.5 parandab selle järjestust ning eraldi generatiivne mudel koostab kõige kõrgemalt hinnatud lõikude põhjal vastuse.
Mudel avaldati 2. detsembril 2024 ja esitatud mudeliinfo järgi on see aktiivne. Selle mudeliperekond on „Rerank” ning mudelitüübiks on märgitud „other”, mitte üldotstarbeline tekstigeneratsiooni mudel. Cohere dokumenteerib mudelit oma API kaudu ning loetleb selle kättesaadavuse teenustes, mille hulka kuuluvad Amazon Bedrock, Microsoft Azure AI Foundry ja Oracle Cloud Infrastructure.
Tugevused ja praktilised kasutusjuhud
Rerank 3.5 on kõige kasulikum siis, kui rakendus leiab juba usutavad kandidaadid, kuid vajab nende paremat järjestamist. Selle peamised praktilised tugevused on päringust sõltuv asjakohasuse hindamine, mitmekeelne tugi, struktureeritud andmete käsitlemine ja lõimimine ettevõtete otsingutöövoogudesse.
- Ettevõtteotsing: Järjestage ümber ettevõtte sisepoliitikate, tehnilise dokumentatsiooni, personalisisu või teadmistebaaside dokumendid.
- Retrieval-augmented generation: Valige kõige asjakohasemad lõigud enne nende saatmist eraldi vastuseid genereerivale mudelile, aidates vähendada ebaolulise konteksti hulka.
- Hübriidotsing: Parandage tulemusi, mis saadakse märksõna- ja vektorotsingu kombineerimisel.
- Klienditugi: Järjestage abikeskuse artikleid, sisemisi tõrkeotsingu kirjeid või varasemaid tugijuhtumeid kliendi küsimuse suhtes.
- Dokumentide leidmine: Leidke suurtest ettevõttehoidlatest asjakohaseid lepinguid, aruandeid, e-kirju või projektifaile.
- Struktureeritud otsing: Järjestage YAML-vormingus toote-, finants-, projekti- või tegevusandmeid loomulikus keeles esitatud päringu alusel.
- Mitmekeelne otsing: Otsige mitmes keeles kirjutatud sisust olukordades, kus ühe keele märksõnastrateegiast ei piisaks.
Kuna mudel tagastab genereeritud selgituste asemel dokumendiviited ja skoorid, kasutavad arendajad skoori tavaliselt tulemuste valimiseks, filtreerimiseks või ümberjärjestamiseks. Skoor sõltub päringust: ühe päringu skoori ei tohiks automaatselt käsitleda teise päringu skooriga otse võrreldavana, kui seda pole tüüpiliste rakenduseandmete põhjal testitud ja kalibreeritud.
Väljund, arutlemine, kodeerimine ja tööriistade tugi
Rerank 3.5 võtab vastu tekstisisendi ja tagastab järjestusinfo, sealhulgas dokumentide indeksid ning asjakohasusskoorid. See ei genereeri teksti, pilte, heli, videot, embeddinguid ega muud otsest meediaväljundit. Samuti ei toimi see vestlusliku arutlemis- või kodeerimismudelina.
Esitatud spetsifikatsioonides ei ole selle mudeli jaoks dokumenteeritud tööriista- ega funktsioonikutsete võimalust. Voogedastus on märgitud toetamata ning mudelit ei kirjeldata peenhäälestust toetavana. Need omadused peegeldavad selle kitsast järjestusrolli: mudel hindab talle esitatud sisu, mitte ei soorita toiminguid ega genereeri mitmeastmelist vastust.
Toimetuslikud võimekusehinnangud hindavad selle sobivust arutlemiseks ja kodeerimiseks üldotstarbeliste generatiivsete mudelitega võrreldes madalaks. Need on võrdlevad toimetuslikud hinnangud, mitte teenusepakkuja avaldatud võrdlustulemused. Praktikas suudab mudel hinnata asjakohasust, kuid seda ei tohiks valida koodi genereerimiseks, üldiseks arutlemiseks, kokkuvõtete tegemiseks ega kasutajatega suhtlemiseks.
Hinnastamine ja juurutamine
Cohere hindab Reranki mudeleid otsingute, mitte genereeritud väljundtokenite alusel. Rerank 3.5 praegust avalikku iseteeninduslikku otsingupõhist hinda ei õnnestunud esitatud ametlikust hinnamaterjalist kontrollida, mistõttu ei tohiks eeldada kindlat päringu- või tokenipõhist hinda.
Cohere'i Model Vaulti dokumentatsioonis on Rerank 3.5 hinnaks märgitud 5,00 dollarit tunnis keskmise jõudlustasemega eksemplari eest. Sama dokumentatsioon viitab, et saadaval võivad olla ka pikema perioodi kuu- ja aastahinnad, kuid esitatud uurimismaterjal ei kinnita nende alternatiivide puhul üht kindlat vaikimisi korduvhinda. Seetõttu tuleb Model Vaulti hinnastamist käsitleda iseteenindusliku API-põhise otsinguhinnast eraldi.
Mudel on saadaval Cohere'i hallatavates teenustes ning selle juurutamist on dokumenteeritud Amazon Bedrocki, Microsoft Azure AI Foundry ja Oracle Cloud Infrastructure'i kaudu. Sobiv juurutusviis sõltub organisatsiooni pilve-, turbe-, vastavus- ja taristunõuetest.
Piirangud ja kompromissid
Kõige olulisem piirang on see, et Rerank 3.5 ei ole iseseisev otsingulahendus. See vajab teise otsingusüsteemi koostatud kandidaatide kogumit, mistõttu lisab rakendusele teise töötlemisetapi ja sellega seotud latentsuse. Liiga paljude kandidaatide saatmine võib suurendada ka kulusid või töötlusaega, seega on kandidaatide arvu valik oluline disainiotsus.
4096 tokeni pikkune hindamiskontekst on väiksem kui uuemate Rerank 4 mudelite dokumenteeritud kontekstiaknad. Pikki dokumente võib olla vaja lõikudeks jagada ning halb tükeldamine võib eraldada asjakohase lõigu selle tähendust selgitavast pealkirjast või metaandmetest. Meeskonnad peaksid tükeldamist, kandidaatide arvu ja skoorilävesid testima oma dokumentide ja päringutega.
Rerank 3.5 ei suuda samuti kirjutada vastust ega selgitada loomulikus keeles, miks konkreetne tulemus valiti. Kui rakendus vajab vestluslikke vastuseid, kokkuvõtteid, koodi või agendi toiminguid, on vaja eraldi generatiivset mudelit. Samuti on embeddingumudel ja sobiv otsinguindeks endiselt vajalikud juhul, kui peamine nõue on vektorotsing väga suurest korpusest.
Millal valida Rerank 3.5?
Valige Rerank 3.5 siis, kui teie süsteem leiab juba kandidaatdokumendid ning peamine probleem on nende täpsem järjestamine kasutaja päringu alusel. See sobib hästi mitmekeelse ettevõtteotsingu, hübriidotsingu, RAG-torustike ja struktureeritud kirjete jaoks, kui semantiline asjakohasus on olulisem kui lihtne märksõnade kattuvus.
Selle kitsam roll võib olla ka eelis. Võrreldes üldotstarbelise keelemudeli kasutamisega otsingutulemuste hindamiseks on spetsiaalne ümberjärjestusmudel loodud just päringu ja dokumendi vaheliste seoste hindamiseks ning järjestatud kandidaatide tagastamiseks. Esitatud toimetuslik hinnang peab selle kiirust ja kulu samuti soodsaks, kuid need on võrdlevad hinnangud, mitte garanteeritud teenusetaseme näitajad.
Teine võimalus võib olla sobivam siis, kui rakendus vajab genereeritud vastuseid, tööriistade kasutamist, kodeerimist, pildi- või helitöötlust või dokumendi kohta palju suuremat konteksti. Uuem ümberjärjestusmudel võib olla eelistatav, kui selle suurem kontekstiaken vähendab oluliselt vajadust dokumente tükeldada. Seevastu võib lihtsam märksõna- või ainult vektoripõhine otsingusüsteem olla piisav juhul, kui väga väike latentsus või minimaalne töötlemiskulu on olulisem kui täiendav asjakohasuse hindamise etapp.
Enne juurutamist hinnake Rerank 3.5 tegelike päringute, keelte, dokumendivormingute ja veajuhtumitega. Pöörake erilist tähelepanu sellele, kas struktureeritud kirjed serialiseeritakse järjepidevalt, kas pikki dokumente tükeldatakse prognoositavalt ning kas asjakohasusskoore kasutatakse kalibreeritud lävedena või üksnes järjestussignaalina.