Mis on Command R 08-2024?
Command R 08-2024 on Cohere’i keelemudeli Command R ajatempliga versioon, mis avaldati 30. augustil 2024. See on teksti genereeriv mudel tootmisrakendustele, mis peavad töötama etteantud dokumentidega, vastama hangitud teabe põhjal küsimustele, suhtlema väliste tööriistadega või looma struktureeritud ärisisu.
Mudel on eriti asjakohane otsinguga täiendatud genereerimise ehk RAG-i puhul. RAG-süsteemis leiab rakendus dokumendikogumist asjakohased lõigud ja lisab need enne vastuse küsimist mudeli konteksti. Command R 08-2024 saab kasutada seda etteantud materjali, et koostada allikapõhiseid vastuseid ja viiteid, selle asemel et tugineda ainult mudeli treeningu käigus omandatud teadmistele.
Cohere positsioneerib mudelit vestlusrakenduste, dokumentide põhise küsimustele vastamise, ettevõtteotsingu, agentide töövoogude ja mitmekeelse ärikasutuse jaoks. Seda ei esitleta tipptasemel arutlusmudelina ning see ei genereeri pilte, heli ega videot.
Milline on selle koht Cohere’i praeguses mudelivalikus?
Command R 08-2024 kuulub Cohere’i generatiivsete mudelite Commandi perekonda. Cohere’i praeguses mudelikataloogis on aktiivsena loetletud command-r-08-2024, kuid enamiku uute kasutusjuhtude puhul soovitatakse uuemaid Command A mudeleid. Seetõttu on Command R 08-2024 pigem ühilduvusele ja kuludele keskenduv valik kui Cohere’i uusim üldine soovitus.
Mudel võib siiski olla praktiline valik, kui rakendus on juba üles ehitatud Command R-i käitumise ümber, vajab madalat märgihinda, kasutab mitmekeelset RAG-i või sõltub väljakujunenud tööriistakasutuse töövoost. Uut projekti alustavad meeskonnad peaksid seda võrdlema Cohere’i kataloogi uuemate valikutega, eriti juhul, kui tugevam arutlusvõime või uuemad võimalused on olulisemad kui ühilduvus ja madalad kulud.
Võimalused, kontekst ja väljundi piirangud
Command R 08-2024-l on kontrollitud kontekstiaken suurusega 128 000 tokenit. Kontekstiaken näitab, kui palju teksti saab mudel päringu puhul arvesse võtta, sealhulgas juhiseid, vestlusajalugu, hangitud tekstilõike ja muud etteantud sisu. See suur piirang on kasulik dokumendirohkete rakenduste puhul, kuigi tegelikult kasutatava konteksti hulk sõltub rakenduse viiba ülesehitusest ja otsingustrateegiast.
Mudel suudab ühe vastuse jooksul genereerida kuni 4000 väljundtokenit. Sellest piisab vastuste, kokkuvõtete, väljavõetud kirjete, aruannete ja paljude vestlusinteraktsioonide jaoks, kuid see võib olla piirav rakendustes, mis eeldavad väga pikkade dokumentide või ulatuslike arutluskäikude genereerimist.
Esitatud mudelidokumentatsiooni kohaselt toetab mudel järgmist:
- Tekstisisend ja tekstiväljund
- Etteantud dokumentide kasutamine otsinguga täiendatud genereerimises
- Dokumendipõhised vastused koos viidetega
- Tööriistade ja funktsioonide kasutamine
- Struktureeritud väljundi genereerimine
- Pika kontekstiga vestlused ja dokumentide analüüs
- Mitmekeelne genereerimine kümnes optimeeritud keeles
2024. aasta augusti värskendus parandas juhiste järgimist, struktureeritud andmete analüüsi, mitmekeelset RAG-i, pikkuse ja vormingu juhtimist ning mudeli võimet otsustada, millal tööriistu kasutada. Cohere teatas ka varasema Command R-i versiooniga võrreldes paremat läbilaskevõimet ja väiksemat latentsust. Need on teenusepakkuja väited; tegelik kiirus sõltub lõpp-punktist, juurutusest, päringu mahust, samaaegsusest ja taristust.
Toetatud modaalsused ja väljunditüübid
Command R 08-2024 on ainult tekstipõhine. See võtab vastu teksti ja tagastab teksti. See ei võta algupäraselt vastu pildi-, heli- ega videosisendit ning ei loo pildi-, heli-, video-, muusika- ega kõneväljundit.
See eristus on süsteemi kavandamisel oluline. Rakendus võib mudelit siiski kombineerida eraldi dokumenditöötluse, OCR-i, kõnetöötluse või nägemise komponentidega, kuid need võimalused ei ole Command R 08-2024 enda loomupärased funktsioonid. Mudeli tugevus seisneb otseselt etteantud või ümbritseva rakenduse hangitud teksti töötlemises.
Arutlusvõime, kodeerimine ja tööriistade kasutamine
Command R 08-2024 on loodud praktiliseks juhiste järgimiseks, allikapõhiseks genereerimiseks, andmete väljavõtmiseks ja agentide tüüpi töövoogudeks. See suudab otsustada, millal toetatud tööriistu kasutada, ning lisada tööriistadelt saadud teabe vastusesse. Seetõttu sobib see assistentidele, mis pärivad ettevõtte süsteemidest teavet, hangivad kirjeid või teevad rakenduse määratud funktsioonide kaudu toiminguid.
Tööriistade kasutamist ei tohiks segi ajada sisseehitatud koodi täitmisega. Esitatud uuring kinnitab tööriistade ja funktsioonide tuge, kuid ei tuvasta loomupärast koodi täitmise keskkonda. Seega peavad arendajad välised tööriistad ise looma ja turvama.
Mudel suudab tekstiväljundi osana genereerida koodi ja struktureeritud andmeid, mistõttu sobib see kodeerimisabiks, skeemipõhiseks andmete väljavõtmiseks ja automatiseerimisloogikaks. Esitatud uuring ei sisalda siiski võrdlustesti, mis tõendaks tipptasemel programmeerimisvõimekust. Selle sobivust kodeerimisülesanneteks tuleks seetõttu hinnata konkreetse tarkvaraülesande nõuete põhjal.
Uuring annab mudeli arutlusvõimele hindeks 6 punkti 10-st ja kodeerimisvõimele samuti 6 punkti 10-st. Need on toimetuslikud või andmebaasipõhised hinnangud, mitte Cohere’i avaldatud tulemused, ning neid tuleks käsitleda võrdlusabina, mitte kontrollitud võrdlustesti tulemustena. Mudeli peamine eelis on allikapõhisuse, konteksti suuruse, mitmekeelse toe ja kulude tasakaal, mitte maksimaalne avatud otsast lõpuni arutlusvõime.
Hind ja kättesaadavus
Cohere’i hinnakirjas maksab Command R 08-2024 0,15 dollarit miljoni sisendtokeni kohta ja 0,60 dollarit miljoni väljundtokeni kohta. Sisendtokenid on mudelile saadetav tekst, väljundtokenid aga mudeli genereeritav tekst. Seega võib ulatuslikult hangitud dokumente sisaldav päring kasutada rohkem sisendtokeneid isegi siis, kui lõplik vastus on lühike.
Mudel on saadaval Cohere’i API kaudu ning selle dokumentatsioon hõlmab valitud pilve- ja ettevõttekeskkonna juurutusvõimalusi. Cohere’i laiem juurutusmudel hõlmab ka privaatseid ja ettevõtete keskkondi, kuid esitatud uuring ei kinnita, et kõik juurutusvõimalused pakuvad identset hinda või toimimist. Enne tootmisarhitektuurile pühendumist peaksid meeskonnad kontrollima konkreetse lõpp-punkti tingimusi.
Toimetuslikus andmebaasis saab mudel kiiruse hindeks 8 punkti 10-st ja kulude hindeks 9 punkti 10-st. Need on toimetuslikud hinnangud, mitte teenusepakkuja avaldatud reitingud. Need peegeldavad mudeli eesmärgipärast kompromissi: suhteliselt soodne ja tootmiskasutusele suunatud tekstiloome koos kasuliku konteksti ja tööriistavõimalustega, mitte maksimaalselt sügav arutlusvõime.
Parimad kasutusjuhud
Command R 08-2024 sobib hästi rakendustele, kus vastus peaks põhinema äridokumentidel või hangitud kirjetel. Praktilised näited on järgmised:
- Ettevõttesisene küsimustele vastamine: töötajate või klientide küsimustele vastamine eeskirjade, juhendite, lepingute või tootedokumentatsiooni põhjal.
- Mitmekeelsed otsinguassistendid: vestlusliideste loomine teabe jaoks, millele kasutajad võivad pääseda ligi toetatud keeltes.
- RAG-i töövood: otsingu- või hankesüsteemi ühendamine allikapõhiste loomuliku keele vastuste ja viidetega.
- Dokumenditöötlus: väljade väljavõtmine, sisu klassifitseerimine, kirjete kokkuvõtmine või struktureerimata teksti teisendamine määratletud skeemi.
- Tööriistu kasutavad agendid: mudelipõhise assistendi võimaldamine kutsuda heakskiidetud ärifunktsioone, hankida andmeid või koordineerida töövoo etappe.
- Pika konteksti analüüs: suurte etteantud dokumentide või pikkade vestluste läbivaatamine, ilma et kogu materjali peaks kohe väikesteks päringuteks jagama.
128 000 tokeni suuruse kontekstiakna ja madalate tokenihindade kombinatsioon võib olla eriti kasulik töökoormuste puhul, mis töötlevad korduvalt suuri tekstikoguseid. Rakendused peaksid siiski otsingut hoolikalt kasutama: suure dokumendikogumi saatmine iga päringuga võib suurendada kulusid ja müra isegi siis, kui konteksti piirang seda lubab.
Piirangud ja kompromissid
Kõige olulisem piirang on see, et Command R 08-2024 on ainult tekstipõhine. See ei sobi esmaseks mudeliks piltide otseseks mõistmiseks, heli transkribeerimiseks, videoanalüüsiks ega piltide ja videote genereerimiseks. Need töövood nõuavad teisi mudeleid või eeltöötlusteenuseid.
Selle maksimaalne väljund on 4000 tokenit, millest ei pruugi piisata erakordselt pikkade aruannete või ühe vastusena ulatuslikku genereeritud sisu vajavate rakenduste jaoks. Mudeli teadmiste lõpptähtaeg on samuti 1. juuni 2024. Sellelt ei tohiks eeldada teadmisi hilisemate sündmuste või muutuvate äriandmete kohta, välja arvatud juhul, kui ajakohane teave antakse otsingu, dokumentide või tööriistade kaudu.
Struktureeritud väljundi tugi on dokumenteeritud, kuid eraldiseisvat pärandvormingus JSON-režiimi tuge ei ole esitatud uuringus kontrollitud. Arendajad peaksid testima täpset vastusevormingu käitumist selle Cohere’i lõpp-punkti ja mudeli konfiguratsiooniga, mida nad kavatsevad kasutada, selle asemel et eeldada, et struktureeritud väljund ja JSON-režiim on omavahel asendatavad.
Lõpuks ei ole see mudel parim valik, kui keskne nõue on tipptasemel arutlusvõime, võimalikult tugev kodeerimisvõime või loomupärane multimodaalne liides. Paljude uute Cohere’i projektide jaoks võib sobivam olla uuem Command A mudel, samas kui konkreetsete ülesannete puhul võib eelistada spetsiaalset nägemis-, heli- või arutlusmudelit.
Millal seda mudelit valida?
Vali Command R 08-2024, kui vajad soodsat ettevõtetele mõeldud tekstimudelit, millel on suur kontekstiaken, mitmekeelne RAG, viited, struktureeritud genereerimine ja tööriistade kasutamise võimalus. See on eriti mõistlik valik siis, kui oluline on ühilduvus Command R-i perekonnaga või kui töökoormus väärtustab läbilaskevõimet ja kulude kontrolli uuemate arutlusvõimaluste asemel.
Vali mõni muu variant, kui vajad loomupärast pildi- või helitöötlust, väga pikka väljundit, ajakohaseid teadmisi ilma välise allikapõhisuseta või parimat saadaolevat arutlus- ja kodeerimisvõimet. Uue Cohere’i juurutuse puhul võrdle mudelit teenusepakkuja uuemate Command A mudelitega. Ükskõik millise valiku puhul kontrolli kvaliteeti sihtotstarbelisest tootmiskoormusest pärit esinduslike dokumentide, keelte, tööriistakutsete ja tõrkejuhtumitega.