Mis on rerank-english-v3.0?
rerank-english-v3.0 on Cohere'i ingliskeelne semantiline ümberjärjestusmudel. Seda kasutatakse pärast seda, kui esialgne otsingusüsteem on loonud kandidaatide kogumi. Mudel võrdleb kasutaja päringut iga esitatud dokumendiga, määrab asjakohasusskoori ja tagastab indeksid, mis näitavad eelistatud järjestust.
Seega on tegemist otsingu teise etapi komponendiga. Esimese etapi süsteem, näiteks märksõnaotsing, vektorotsing või nende hübriid, leiab suure hulga võimalikke vasteid. Seejärel võrdleb Rerank English v3.0 päringut ja dokumente otsesemalt, et täpsust parandada. Kõrgeima asetusega lõike saab kasutajale kuvada või edastada eraldi generatiivsele mudelile otsinguga täiendatud genereerimise (RAG) töövoos.
See ei otsi iseseisvalt korpusest, ei vasta küsimustele loomulikus keeles ega asenda embedding'u-mudelit. Rakendus peab esitama päringu ja kandidaatdokumendid.
Kuidas see sobitub otsinguprotsessi
Ümberjärjestamine on kasulik, sest märksõna- või vektorotsingu esimene tulemus ei ole alati parim. Märksõnapõhised süsteemid võivad semantilistest seostest mööda vaadata, samas kui vektorsüsteemid võivad tagastada üldjoontes sarnast sisu, mis täpsele küsimusele ei vasta. Ümberjärjestaja uurib algset päringut ja leitud kandidaate koos, mis võib lõplikku järjestust parandada.
- Leia kandidaadid: Kasuta potentsiaalselt asjakohaste dokumentide leidmiseks BM25-t, vektorandmebaasi või hübriidotsingusüsteemi.
- Järjesta kandidaadid ümber: Saada algne päring ja kandidaatdokumendid mudelile rerank-english-v3.0.
- Filtreeri või järjestа ümber: Kasuta tagastatud indekseid ja asjakohasusskoore parimate lõikude või kirjete valimiseks.
- Genereeri vajaduse korral vastus: Edasta valitud kontekst eraldi teksti genereerivale mudelile.
Näiteks võib ettevõtte kasutajatugi leida päringule „Kui kaua võib töötaja ettevõtte sülearvutit enda käes hoida pikaajalise puhkuse ajal?” mitu eeskirjadokumenti. Rerank English v3.0 võib tõsta pikaajalist puhkust käsitleva lõigu kõrgemale dokumentidest, kus mainitakse eraldi kas sülearvuteid või puhkust.
Põhivõimekus ja toetatud sisendid
- Ingliskeelsete dokumentide semantiline ümberjärjestamine päringu põhjal.
- Asjakohasusskoorid ja järjestusindeksid genereeritud vastuste asemel.
- Poolstruktureeritud sisu tugi, sealhulgas JSON-i sarnased kirjed, tabelid, e-kirjad, arved ja kood, kui need on esitatud toetatud serialiseeritud vormingus.
- Integreerimine leksikaalsete, vektor- ja hübriidotsingusüsteemidega.
- Kasutamine ettevõtete otsingus, teadmistebaasides, dokumentide leidmisel ja RAG-i otsinguetappides.
- Selliste dokumentide automaatne tükeldamine, mis ületavad dokumendi kohta tõhusa konteksti mahu.
Mudel võtab vastu tekstipõhise päringu ja dokumendisisu. Esitatud uuring ei viita pildi-, heli- ega videosisendi toele ning mudel ei väljasta pilte, heli, videot, embedding'u-vektoreid ega genereeritud teksti. Selle struktureeritud tulemus sisaldab järjestusteavet, kuid seda ei tohiks segi ajada üldotstarbelise struktureeritud väljundi või JSON-i genereerimise režiimiga.
Kontekstiaken ja päringupiirangud
Cohere dokumentatsiooni kohaselt on Rerank 3.0 mudelite konteksti pikkus 4096 tokenit. Võrdluseks jagavad päring ja dokument saadaolevat konteksti. Selle mudelipõlvkonna päringud võivad kasutada kuni 2048 tokenit, jättes ülejäänud mahu dokumentide võrdlemiseks.
Pikad dokumendid võidakse automaatselt lõikudeks jagada. Lõpp-punkt suudab dokumenteeritud max_chunks_per_doc piirangute kohaselt töödelda ühe päringu kohta kuni 10 000 dokumenti või lõiku. Kuna tükeldamine võib ühest lähtedokumendist luua mitu järjestusüksust, võib suur dokumendikogu kasutada rohkem otsingumahtu, kui algne dokumentide arv eeldada lubaks.
Dokumenteeritud genereeritud väljundi tokenite maksimumi ei ole, sest tegemist ei ole genereeriva mudeliga. Vastus koosneb järjestusindeksitest ja asjakohasusskooridest, mitte lõpetatud tekstist ega vestluslikust vastusest.
Hinnakujundus ja kasutusökonoomika
Cohere'i hinnakirjas on rerank-english-v3.0 hind 2,00 dollarit 1000 otsinguühiku kohta. Üks otsinguühik hõlmab üht päringut kuni 100 järjestatava dokumendiga, arvestades mudeli tükeldamiskäitumist. Mitmeks lõiguks jagatud pikemad dokumendid võivad seega suurendada järjestustöö mahtu.
See hinnastruktuur muudab kandidaatide kogumi suuruse ja dokumentide ettevalmistamise oluliseks kuluteguriks. Väikese ja kvaliteetse kandidaatide kogumi saatmine on üldjuhul ökonoomsem kui tarbetult suure tulemuste hulga ümberjärjestamine. Praktiline kompromiss seisneb selles, et suurem kandidaatide kogum võib enne ümberjärjestamist parandada saagist, kuid suurendab samal ajal latentsust ja otsinguühikute kulu.
Esitatud hind pärineb uuringus toodud teenusepakkuja hinnateabest. Tegelikud arveldustingimused, konto nõuded ja edasine saadavus tuleks enne tootmises kasutuselevõttu üle kontrollida Cohere'i kehtivast hinnakirjast ja mudelidokumentatsioonist.
Tugevused ingliskeelses otsingus
- Selge eesmärk: Mudel on loodud asjakohasuse järjestamiseks, mitte üldiseks teksti genereerimiseks, mistõttu on selle roll otsinguarhitektuuris selge.
- Kasulik teise etapi täpsus: See võib täpsustada selliste süsteemide tulemusi, mis küll kandidaadid leiavad, kuid ei järjestа neid piisavalt täpselt.
- Paindlikud dokumenditüübid: Teksti, serialiseeritud kirjeid, tabeleid, äridokumente ja koodi saab käsitleda järjestatavate kandidaatidena.
- Ühilduvus olemasoleva otsinguga: Meeskonnad saavad lisada selle märksõna- või hübriidotsingule, ilma et peaksid olemasolevat indeksit või vektorandmebaasi välja vahetama.
- Sobivus RAG-i jaoks: Parem järjestus võib aidata allavoolu vastusemudelil saada oma kontekstitäiuse piires kõige asjakohasemad lõigud.
Need on mudeli dokumenteeritud rollil põhinevad võimekuse hinnangud. Need ei tähenda, et mudel parandab kõigi andmekogumite või päringutüüpide tulemusi võrdselt; järjestuskvaliteeti tuleks hinnata sihtrakenduse tüüpiliste päringute põhjal.
Piirangud ja kompromissid
Kõige olulisem piirang on kasutusala. rerank-english-v3.0 ei leia dokumente iseseisvalt korpusest. Samuti ei genereeri see vastuseid, võta kokku tulemusi, loo embedding'u-vektoreid, transkribeeri heli, töötle pilte ega paku vestlusliidest. Rakendus vajab eraldi otsingu- ja vajaduse korral genereerimiskomponente.
Mudel on keskendunud inglise keelele. Mitmekeelseks ümberjärjestamiseks sobib paremini Cohere'i mitmekeelne mudel. Mudeli konteksti pikkus on samuti 4096 tokenit, mis on väiksem kui uuemate Cohere'i ümberjärjestusvalikute puhul reklaamitud kontekst. Pikkade aruannetega töötavad rakendused peavad arvestama automaatse tükeldamisega ning otsustama, kuidas mitmest lõigust saadud tulemusi ühendada või filtreerida.
Latentsus ja kulu kasvavad üldjuhul koos kandidaatdokumentide ja loodud lõikude arvuga. Suure korpuse iga dokumendi ümberjärjestamine ei ole kavandatud arhitektuur; ülesvoolu otsinguetapp peaks kogu esmalt kitsendama. Mudelil ei ole ka tööriista- ega funktsioonikutsete rolli. Ümbritsev rakendus võib kasutada selle skoore, et otsustada, mida otsida või kuvada, kuid mudel ise ei kutsu tööriistu ega soorita toiminguid.
Mõtlemise, kodeerimise ja kiiruse profiil
Rerank English v3.0 võrdleb asjakohasust, mitte ei teosta selgesõnalist mitmeastmelist arutluskäiku. Esitatud toimetajahinnang annab selle mõtlemisskooriks 2 punkti 10-st, kuid tegemist on spetsiaalse ümberjärjestaja toimetusliku võrdlusega, mitte Cohere'i avaldatud võrdlustesti või mõtlemisvõime hinnanguga. Seda ei tohiks hinnata üldise mõtlemismudelina.
Sama hinnang annab kodeerimise skooriks 3 punkti 10-st. See ei tähenda, et mudel genereeriks või siluks tarkvara. See võib järjestada koodilõike või tehnilisi kirjeid, kui need esitatakse kandidaatdokumentidena, mis on koodiotsingu puhul kasulik, kuid koodi genereerimiseks on vaja teist mudelit.
Esitatud toimetuslik kiirusskoor on 8 punkti 10-st ja kuluskoor 7 punkti 10-st. Need on subjektiivsed võrdlevad hinnangud, mitte teenusepakkuja spetsifikatsioonid. Praktikas võib spetsiaalne ümberjärjestaja olla kiirem ja odavam valik kui paluda üldotstarbelisel generatiivsel mudelil iga kandidaati uurida ja korraldada, kuid tegelik tulemus sõltub kandidaatide arvust, dokumentide pikkusest, tükeldamisest, võrguoludest ja juurutuskonfiguratsioonist.
Millal valida rerank-english-v3.0?
Vali see mudel siis, kui rakendusel on juba otsinguetapp ja ingliskeelsete tulemuste järjestust on vaja parandada. See sobib näiteks järgmisteks kasutusjuhtudeks:
- Ettevõtte teadmistebaasi ja KKK-de otsing.
- Dokumentide leidmine eeskirjadest, juhenditest, arvetest või aruannetest.
- RAG-süsteemid, mis peavad enne vastuse genereerimist välja valima parimad lõigud.
- Hübriidotsing, mis ühendab märksõna- ja vektorotsingu.
- Tehnilise dokumentatsiooni või koodihoidlate otsing.
- Poolstruktureeritud ärikirjete järjestamine loomulikus keeles esitatud päringute põhjal.
See sobib eriti hästi siis, kui olemasoleva otsinguvirna säilitamine on oluline. Ümberjärjestusetapi lisamine võib parandada tulemuste täpsust, ilma et oleks vaja täielikult minna leksikaalselt otsingult üle vektorotsingule.
Millal võib mõni teine valik olla sobivam?
Kasuta mitmekeelset ümberjärjestajat, kui päringud ja dokumendid hõlmavad mitut keelt. Kaalu uuemaid Cohere'i ümberjärjestusmudeleid, kui töökoormus vajab pikemat konteksti, uuemaid kvaliteedi- või läbilaskeomadusi või teistsugust kuluprofiili. Cohere'i kataloogis on alternatiividena loetletud rerank-v3.5 ning uuemad mudelid rerank-v4.0-fast ja rerank-v4.0-pro, kuid õige asendaja tuleks läbi katsetada sihtpäringutega, mitte eeldada sobivust ainult mudelinime põhjal.
Üldotstarbeline genereeriv mudel on parem valik siis, kui põhiülesanne on vastuse kirjutamine, dokumentide kokkuvõtmine, teksti teisendamine või vestluse pidamine. Embedding'u-mudel sobib paremini vektorindeksi jaoks vektorite loomiseks. Korpuse otsimiseks on endiselt vaja tavapärast otsingumootorit, välja arvatud juhul, kui mõni muu otsinguteenuse juba kasutusel on.
Kokkuvõte
rerank-english-v3.0 on sihipärane ingliskeelne semantiline ümberjärjestaja, mille eesmärk on parandada olemasoleva otsingu- või RAG-protsessi täpsust. Selle peamine väärtus seisneb päringu otseses võrdlemises esitatud kandidaatdokumentidega, sealhulgas poolstruktureeritud ettevõtte sisuga. 4096-tokenine kontekst, 10 000 dokumendi või lõigu suurune päringupiirang ning 2,00 dollari suurune hind 1000 otsinguühiku kohta annavad planeerimiseks kasulikud piirid. See sobib hästi ingliskeelse otsingu täpsustamiseks, kuid ei ole iseseisev otsingumootor, vestlusrobot, genereeriv mudel, mitmekeelne lahendus ega pika kontekstiga ümberjärjestaja.