Cohere Embed English Light v3.0 on Cohere’i teksti vektoresitlusmudel rakendustele, mis peavad hindama ingliskeelse sisu tähendust või sarnasust. See sobib eriti hästi semantiliseks otsinguks, otsingu abil täiendatud süsteemidele, dokumentide klassifitseerimiseks, klasterdamiseks ja muudeks töövoogudeks, kus tekst tuleb esitada vektorite, mitte proosa kujul.
Mudel kuulub Cohere’i Embed v3.0 perekonda ning seda pakutakse mudeli embed-english-v3.0 väiksema ja kiirema alternatiivina. Selle peamine kompromiss on lihtne: mudel loob kompaktseid 384-mõõtmelisi embedinguid ja on mõeldud päringute tõhusaks töötlemiseks, samas kui suuremad või spetsialiseeritumad mudelid võivad olla eelistatavamad siis, kui töövoog vajab laiemat keelekatvust, teistsuguse suurusega esitust või embedingust kaugemale ulatuvaid võimeid.
Mida Cohere Embed English Light v3.0 teeb
Embedding ehk vektor-esitus on sisu numbriline kujutis. Sarnase tähendusega tekstid annavad vektorandmebaasis või sarnasuse arvutamisel tavaliselt lähestikku paiknevad vektorid isegi siis, kui neis ei kasutata täpselt samu sõnu. Näiteks võib otsing „kuidas parooli lähtestada” leida tugidokumendi pealkirjaga „Kontole juurdepääsu taastamine”, sest mudel esitab nende tähenduse võrreldaval kujul.
Embed English Light v3.0 ei ole vestlus- ega generatiivne mudel. See ei anna vastuseid, kirjuta artikleid ega genereeri lähtekoodi. Selle väljund on embedinguvektor, mida teine rakendus saab kasutada järjestamiseks, filtreerimiseks, klassifitseerimiseks, klasterdamiseks või otsinguks. Seejärel võib eraldi generatiivne mudel kasutada leitud materjali vastuse koostamiseks.
Kontrollitud tehnilised andmed ja positsioneerimine
| Tehniline näitaja | Üksikasjad |
|---|---|
| Pakkuja | Cohere |
| Mudeliperekond | Embed v3.0 |
| Väljalaskekuupäev | 2. november 2023 Embed v3 perekonna puhul |
| Mudeli tüüp | Kerge ingliskeelse teksti embedingumudel |
| Embeddingsuurus | 384 dimensiooni |
| Maksimaalne sisend | 512 tokenit sisendi kohta |
| Tekstisisend | Toetatud |
| Pildisisend | Toetatud; päringu kohta on lubatud üks pilt ja pildi maksimaalne suurus on 5 MB |
| Väljund | Ainult embedingud; teksti, pildi, heli ega video genereerimist ei toimu |
| Asünkroonne töötlemine | Toetatud Cohere’i Embed Jobs API kaudu |
| Peenhäälestus | Esitatud tehniliste andmete põhjal ei ole tuge tuvastatud |
512 tokeni piirang kehtib iga sisendi kohta. Seetõttu tuleb pikad dokumendid enne embedingute loomist väiksemateks lõikudeks jagada. Otsingusüsteemi kvaliteet sõltub osaliselt sellest, kuidas lõigud jaotatakse: liiga lühike lõik võib kaotada konteksti, samas kui liiga pikk lõik võib ületada mudeli sisendipiiri.
Toetatud sisendid ja väljundid
Mudel võtab vastu ingliskeelset teksti ning Cohere’i Embed’i dokumentatsiooni kohaselt ka pildisisendeid. See muudab mudeli sisendi poolel multimodaalseks, kuid mitte multimodaalseks sisu genereerijaks. Väljund jääb vektor-esituseks, mitte pildiks, helifailiks, videoks ega loomulikus keeles vastuseks.
Pilditoel on konkreetsed piirangud: esitatud uuringu kohaselt on päringu kohta lubatud maksimaalselt üks pilt ja pildi maksimaalne suurus on 5 MB. Neid piiranguid tuleb arvestada pildiotsingu või teksti ja piltide kombineeritud otsingu töövoo loomisel. Samuti tuleks eristada pildi embedingut ja pildi mõistmist vestluslikus tähenduses: mudel pakub sarnasuse ja otsingu jaoks esitust, mitte kirjalikku visuaalset analüüsi.
Mudel ei paku tööriistade kutsumist, veebiotsingut, arutluskäigu jälgi, struktureeritud teksti genereerimist ega koodi käivitamist. Neid võimeid pole selle põhifunktsiooni täitmiseks vaja. Rakendus, mis peab leitud tulemusi tõlgendama, ärisüsteeme kasutama või lõpliku vastuse genereerima, ühendab tavaliselt embedingusammu teiste komponentidega.
Peamised kasutusviisid
- Semantiline otsing: Sobita kasutaja päring dokumentidega tähenduse, mitte täpsete märksõnade kattuvuse alusel.
- Otsingu abil täiendatud genereerimine: Teisenda dokumendid ja päringud vektoriteks, leia asjakohased lõigud ning edasta need eraldi generatiivsele mudelile.
- Klassifitseerimine: Võrdle uut sisu märgendatud näidetega või kasuta embedinguid järgmise etapi klassifikaatori tunnustena.
- Klasterdamine: Rühmita seotud tugipäringuid, tootetagasisidet, artikleid või muid ingliskeelseid kirjeid.
- Duplikaatide ja peaaegu duplikaatide tuvastamine: Leia kirjed, mis väljendavad erineva sõnastusega sarnaseid ideid.
- Suure mahu paketttöötlus: Kasuta Embed Jobs API-t asünkroonsete tööde puhul, kus tulemusi pole vaja kohe tagastada.
- Piltidega seotud ristmodaalne otsing: Kasuta toetatud pildisisendeid töövoogudes, mis vajavad pildiembedinguid, järgides ühe pildi ja 5 MB piiranguid.
384-mõõtmeline väljund on kasulik siis, kui süsteem talletab miljoneid vektoreid või peab sageli sarnasusi otsima. Väiksem mõõtmete arv tähendab üldjuhul väiksemat salvestus- ja arvutuskoormust kui suurema vektor-esituse puhul, kuigi tegelikku kvaliteedi ja kulude kompromissi tuleks hinnata rakenduse enda andmetega.
Kiiruse, hinna ja kvaliteedi kompromissid
Cohere positsioneerib Embed English Light v3.0 mudelist standardne English Embed v3.0 väiksema ja kiiremana. Esitatud toimetajahinnang hindab selle kiirust ja kulutõhusust kõrgelt, kuid need on hinnangud, mitte pakkuja avaldatud võrdlustulemused. Tegelik jõudlus sõltub päringu suurusest, paketttöötlusest, juurutuskeskkonnast, vektorandmebaasist ja rakenduse arhitektuurist.
Selle kompaktne väljund võib vähendada salvestusvajadust ja muuta sarnasuse otsingu suurel skaalal soodsamaks. Seetõttu on see mõistlik lähtekoht suurte ingliskeelsete kogumite, latentsustundliku otsingu ja süsteemide jaoks, kus 384-mõõtmeline vektor on piisav. Kompromiss seisneb selles, et kerge ingliskeelne mudel ei ole automaatselt parim valik iga keele, valdkonna või otsingu eesmärgi jaoks. Meeskonnad peaksid hindama esinduslikke päringuid ja dokumente, mitte eeldama, et väiksem vektor töötab iga ülesande puhul sama hästi.
Esitatud uuringus ei ole selle mudeli kohta toodud praegust täpset tokeni- ega päringupõhist API-hinda. Seetõttu ei tohiks siin esitada kontrollimata numbrilist hinda. Cohere pakub mudelile juurdepääsu Embed API ja asünkroonse Embed Jobs API kaudu, kuid tootmiskulu sõltub rakenduvast Cohere’i hinnast ja konto kokkuleppest.
Piirangud, mida arvestada
Kõige olulisem piirang on keeleulatus: see mudel on loodud ingliskeelse sisu jaoks. Mitmekeelne rakendus peaks kaaluma mitmekeelset embedinguvõimalust, selle asemel et eeldada, et inglise keelele spetsialiseeritud esitused toimivad kõigis keeltes ühtlaselt.
512 tokeni sisendipiirang muudab eeltöötluse vajalikuks pikkade veebilehtede, raamatute, transkriptsioonide ja suurte aruannete puhul. Sisu lõikudeks jagamine pole pelgalt rakenduse tehniline detail, vaid määrab, millist teavet saab hiljem leida. Metaandmed, nagu dokumendi pealkiri, jaotis, kuupäev või juurdepääsuõigused, tuleb võib-olla talletada iga vektori kõrval eraldi.
Embed English Light v3.0 ei asenda ka generatiivset mudelit. See ei saa vastata kasutaja küsimusele, leitud lõike kokku võtta, koodi kirjutada ega tööriistu kasutada. Täielik otsinguassistent vajab tavaliselt embedingumudelit, vektorindeksit, otsingu- ja järjestamisloogikat ning lõpliku vastuse jaoks eraldi mudelit või rakendusekihti.
Pildisisendi tugi ei kaota piltidega seotud piiranguid. Üks pilt päringu kohta ja maksimaalne suurus 5 MB võivad tootmise töövoos nõuda pildi suuruse muutmist, eeltöötlust või eraldi päringuid. Esitatud tehniliste andmete kohaselt ei ole tuvastatud ka peenhäälestuse tuge, mistõttu peaksid organisatsioonid enne selle mudeli kasutuselevõttu kontrollima Cohere’i praeguseid võimalusi, kui nad vajavad kohandatud embedingumudelit.
Millal valida Embed English Light v3.0
Vali see mudel siis, kui töökoormus on peamiselt ingliskeelne, väljundit kasutatakse semantiliseks sarnasuse hindamiseks või otsinguks ning oluline on läbilaskevõime, latentsus või vektorite salvestamise tõhusus. See sobib eriti hästi suurte tugisisu, sisemise dokumentatsiooni, KKK-de, tootetagasiside ja muu teksti kogumite jaoks, mida tuleb otsida tähenduse, mitte märksõnade järgi.
Selle kerge ülesehitus on ahvatlev ka siis, kui rakendus ei vaja embedingupunktist generatiivset vastust ja suurte pakettide puhul saab kasutada asünkroonseid töid. 384-mõõtmeline väljund pakub kompaktset esitust süsteemidele, kus väga suure hulga vektorite talletamine ja otsimine on oluline kaalutlus.
Teine võimalus võib olla sobivam siis, kui rakendus vajab mitmekeelset katvust, teistsugust embedingusuurust, pikemat sisendipiiri või kindlale valdkonnale optimeeritud mudelit. Kui süsteem peab otsingutulemusi selgitama või vestlust pidama, on sobivaks lisakomponendiks generatiivne mudel. Piltidega seotud töövoogude puhul veendu, et ühe pildi töötlemine päringu kohta ja 5 MB piirang sobivad kavandatud andmete sissetoomise töövooga.
Praktiline hindamise kontrollnimekiri
- Kogu sihtrakendusest pärinevad esinduslikud ingliskeelsed päringud ja dokumendid.
- Jaga dokumendid lõikudeks nii, et iga lõik jääks 512 tokeni sisendipiiri sisse, säilitades samal ajal vajaliku konteksti.
- Mõõda otsingu asjakohasust, mitte ainult vastuse kiirust või salvestusmahtu.
- Võrdle kompaktset 384-mõõtmelist esitust suurema või mitmekeelse alternatiiviga, kui andmed on mitmekesised.
- Hinda algse indekseerimise, uuenduste ja korduvate päringute embedingute kulu, kasutades kontole rakenduvat Cohere’i praegust hinnakirja.
- Testi pildipäringuid eraldi, kui pildiembedingud kuuluvad lahenduse juurde, võttes arvesse ühe pildi ja 5 MB piiranguid.
Kokkuvõttes tuleks Cohere Embed English Light v3.0 mõista eelkõige tõhusa otsingukomponendi, mitte universaalse tehisintellektimudelina. Selle kompaktsed vektorid, inglise keelele spetsialiseerumine, 512 tokeni sisendipiirang, pildisisendi tugi ja asünkroonsete tööde võimalus muudavad selle sihipäraseks valikuks skaleeritava semantilise otsingu ja sarnaste embedingutöövoogude jaoks. Mudel on kõige väärtuslikum siis, kui süsteem eelistab tõhusat esitust ja kiireid sarnasustoiminguid genereerimisele, laiale keelekatvusele või täiustatud agendikäitumisele.