Mis on Cerebras Dragon-DocChat?
Cerebras Dragon-DocChat on Cerebrase 21. augustil 2024 välja antud avatud kaaludega otsingumudel. Selle eesmärk on parandada dokumentide otsingut vestluspõhistes küsimustele vastamise süsteemides, eriti siis, kui kasutaja küsimus sõltub vestluse varasematest voorudest.
Mudel on kahe kodeerijaga (dual encoder). Selle asemel et vastust otse genereerida, teisendab see kahte tüüpi teksti arvulisteks esitusteks, mida nimetatakse embedding'uteks:
- Päringu kodeerija esitab kasutaja küsimuse, sealhulgas rakenduse edastatud vestluskonteksti.
- Konteksti kodeerija esitab lõike või dokumendid, mis võivad vastust sisaldada.
Otsingutorustik võrdleb päringu embedding'ut dokumentide embedding'utega ja järjestab lõigud sarnasuse alusel. Seejärel saab kõige kõrgema asetusega lõigud edastada eraldi teksti genereerivale mudelile. Selline tööjaotus teeb Dragon-DocChatist otsingu- ja taaste mudeli, mitte iseseisva vestlusabilise.
Dragon-DocChati roll Cerebase'i mudelivalikus
Dragon-DocChat kuulub Cerebase DocChati uurimistöö hulka ning seda levitatakse kaasasoleva teabe põhjal avatud mudeli kontrollpunktidena, mitte märgipõhise hinnastusega majutatud mudelina. Cerebas kirjeldab seda kui mudelit dokumentide põhjal toimuva vestluspõhise küsimustele vastamise jaoks. Ametlik väljalase sisaldab eraldi päringu- ja konteksti kodeerija kontrollpunkte, mis on saadaval Cerebase mudeliressursside ja GitHubi hoidla kaudu.
Selle roll on kitsam kui Cerebase'i majutatud järeldusteenustel, mis pakuvad juurdepääsu keelemudelitele vestluse lõpetamiseks ja muudeks genereerimisülesanneteks. Dragon-DocChat on seevastu mõeldud liitmiseks otsinguga täiendatud genereerimise arhitektuuri (RAG) osaks. Tüüpilises lahenduses indekseerib rakendus dokumendid konteksti kodeerija abil, kodeerib iga uue kasutajaküsimuse päringu kodeerijaga, otsib kõige asjakohasemad lõigud ja edastab need vastuse genereerimise mudelile.
Treening ja otsingu ülesehitus
Cerebas ehitas Dragon-DocChati Dragon+ mudelile ning täiendas seda ChatQA vestluspõhiste küsimustele vastamise andmetega. Treeningmeetod kasutab kontrastiivset õppimist raskete negatiivsete näidetega. Praktilises mõttes treenitakse mudelit paigutama küsimuse lähedale lõigud, mis sellele vastavad, ning kaugemale usutavad, kuid valed lõigud.
Rasked negatiivsed näited on dokumentide otsingus eriti kasulikud, sest vale lõik võib sisaldada küsimusega palju samu sõnu, kuid siiski küsimusele mitte vastata. Selliste keeruliste alternatiividega treenimise eesmärk on parandada järjestamise kvaliteeti, mitte tugineda ainult märksõnade kattuvusele.
Cerebase'i andmetel saavutas Dragon-DocChat top-1 taastamismäära absoluutse paranemise 8,9% võrreldes Dragon+ mudeliga ja 3,5% võrreldes ChatQA Dragon-Multiturniga. Need on teenusepakkuja esitatud võrdlustesti väited ning neid ei tohiks käsitleda garantiina iga dokumendikogu, keele, tükeldamisstrateegia või otsinguimplementatsiooni puhul.
Sisendid, väljundid ja modaalsused
Dragon-DocChat võtab vastu tekstisisendi ja toodab embedding'uid. See ei genereeri otse loomulikus keeles vastuseid, pilte, heli ega videot. Seega puudub mudelil kaasasolevate spetsifikatsioonide põhjal tavapärase vestlusvastuse, pildigeneratsiooni, kõne või multimodaalse väljundi võimekus.
| Võimekus | Dragon-DocChat |
|---|---|
| Peamine väljund | Teksti embedding'ud otsingu jaoks |
| Tekstisisend | Jah |
| Pildi-, heli- või videosisend | Kinnitatud tugi puudub |
| Loomuliku keele teksti genereerimine | Ei |
| Tööriistade või funktsioonide kutsumine | Ei |
| Struktureeritud vastuste genereerimine | Ei |
| Veebiotsing | Ei |
Kaasasolevas uurimistöös ei ole täpsustatud täpset konteksti pikkust ega väljundmärkide maksimaalset piirangut. Kuna väljund on genereeritud proosa asemel embedding, ei ole tavapärane väljundmärkide maksimaalne arv kohaldatav. Rakendajad peaksid enne dokumendilõikude suuruse valimist või indekseerimistorustiku kavandamist tutvuma mudelikaardi ja kontrollpunkti konfiguratsiooniga.
Peamised tugevused ja kompromissid
Mudeli peamine tugevus on spetsialiseerumine. Spetsiaalselt vestluspõhiseks otsinguks loodud otsingumudel võib mitmevoorulises dokumendiotsingus olla sobivam kui üldine keelemudel, mida püütakse viipade abil otsingut tegema panna. Dragon-DocChat on loodud esitama nii küsimusi kui ka lõike viisil, mis toetab järjestamist, ning seda saab kasutada süsteemides, kus arendaja kontrollib dokumendiindeksit ja vastuse genereerimise kihti.
Avatud kaaludega kättesaadavus on veel üks praktiline eelis meeskondadele, kes peavad otsingut oma keskkonnas käitama või ümbritsevat torustikku kohandama. Kaasasolevas uurimistöös hinnatakse selle kiiruse ja kulude omadusi toimetuslikus skoorimises samuti soodsalt: kiiruse skoor on 8 punkti 10-st ja kuluskoor 9 punkti 10-st. Need skoorid on toimetuslikud hinnangud, mitte Cerebase'i avaldatud garantiid, ning tegelik jõudlus sõltub riistvarast, indekseerimise ülesehitusest, partiisuurusest ja dokumentide mahust.
Kompromiss seisneb selles, et Dragon-DocChat ei suuda kogu küsimustele vastamise töövoogu iseseisvalt lõpule viia. See otsib tõendusmaterjali, kuid ei selgita seda kasutajale. Vaja on eraldi genereerimismudelit, viipa, orkestreerimiskihti ja tavaliselt ka dokumenditöötluse torustikku. Võrreldes ühe üldotstarbelise mudeli kasutamisega otse küsimustele vastamiseks muudab see süsteemi keerukamaks.
Arutlemine, kodeerimine ja tööriistade tugi
Dragon-DocChati ei hinnata ega esitleta arutlusmudeli, kodeerimisabilise või autonoomse agendina. Selle ülesanne on hinnata asjakohasust: määrata, millised dokumendilõigud vastavad kõige paremini vestluspõhisele päringule. Kaasasolevate spetsifikatsioonide põhjal ei paku see vestlusvormingus arutluskäiku, ei genereeri koodi, ei kutsu tööriistu ega käivita funktsioone.
See võib siiski toetada tehnilist dokumentatsiooni või koodihoidlaid kasutavaid rakendusi, sest ka need on dokumentide otsingu kasutusjuhud. Mudeli ülesanne peaks olema asjakohaste lõikude leidmine, mitte koodi tõlgendamine, paiga kirjutamine või otsustamine, milline väline tegevus sooritada. Need ülesanded kuuluvad järgnevatele mudelitele ja rakenduse loogikale.
Hind ja kättesaadavus
Dragon-DocChati sisend- ega väljundmärkide hinda ei ole esitatud. Kaasasolevas uurimistöös määratletakse see avatud kaaludega uurimismudelina, mitte Cerebase'i majutatud märgipõhise hinnastusega API-mudelina. Seetõttu ei ole selle mudeli kohta kinnitatud päringupõhist, miljoni märgi põhist ega tellimuse hinda, mida raporteerida.
Selle kasutamisega võivad siiski kaasneda taristukulud. Meeskond võib vajada arvutusressursse dokumentide embedding'ute loomiseks, indeksi salvestamiseks, otsingupäringute teenindamiseks ja eraldi vastuse genereerimise mudeli käitamiseks. Avatud kontrollpunkti rahaline eelis sõltub kasutuselevõtukeskkonnast ja päringute mahust; seda ei tohiks segi ajada tasuta otsast lõpuni küsimustele vastamisega.
Millal valida Dragon-DocChat?
Dragon-DocChat on hea kandidaat siis, kui peamine probleem on tõendusmaterjali leidmine muutuvast või spetsialiseeritud dokumendikogust, eriti juhul, kui küsimused viitavad vestluse varasematele voorudele. Näideteks on RAG-süsteemis kasutatavad ettevõttesisesed teadmistebaasid, tehniline dokumentatsioon, eeskirjade kogud, tootejuhendid ja teadusarhiivid.
- Valige see siis, kui vajate spetsiaalset otsingumudelit, mitte mudelit, mis kirjutab vastused otse valmis.
- Valige see siis, kui avatud kaaludega kasutuselevõtt ja kontroll indekseerimistorustiku üle on olulised.
- Valige see siis, kui mitmevoorulise vestluse kontekst on tähtis ja ainult märksõnaotsingust ei piisa.
- Valige see siis, kui otsingu kvaliteet ja taristukulud on tähtsamad kui ühe kõikehõlmava abilise olemasolu.
Teine lahendus võib olla sobivam siis, kui rakendus vajab otseseid vestlusvastuseid, tööriistade kutsumist, koodi genereerimist, veebijuurdepääsu või multimodaalset mõistmist. Üldotstarbeline keelemudel on väikeste dokumendikogude või prototüüpide puhul samuti lihtsam, kui eraldi otsingukihi loomine ja hooldamine ei õigustaks lisanduvat keerukust. Seevastu seotud Llama3-DocChat vastuse genereerimise mudel on sobiv komponent siis, kui süsteem peab teisendama leitud tõendusmaterjali loomulikus keeles vastusteks; Dragon-DocChat ise jääb otsingukomponendiks.
Kokkuvõte
Cerebras Dragon-DocChati tuleks mõista kui avatud kaaludega otsingumudelit vestluspõhise RAG-i jaoks, mitte kui vestlusrobotit. Selle kahe kodeerijaga ülesehitus eraldab küsimuse mõistmise dokumendi esitamisest, võimaldades rakendustel enne eraldi generaatori käivitamist lõike otsida. Cerebas teatab märkimisväärsest top-1 taastamismäära paranemisest võrreldes nimetatud Dragon+ ja ChatQA Dragon-Multiturni lähtetasemetega, kuid kaasasoleva teabe põhjal ei ole mudelil kinnitatud majutatud kasutuse hinda, konteksti piirangut ega otsese vastuse genereerimise võimekust. Selle suurim väärtus on arendajatele, kes loovad kontrollitud ja dokumentidele tuginevaid otsingusüsteeme, mitte kasutajatele, kes otsivad iseseisvat abilist.