Mida Dragon-DocChat-Context-Encoder teeb
Cerebrase Dragon-DocChat-Context-Encoder on Dragon-DocChat otsingusüsteemi kontekstipoolne komponent. Selle ülesanne on esitada dokumendid või tekstilõigud vektorite ehk arvuliste esitustena, mis kajastavad lõikude semantilist sisu. Eraldi päringukodeerija esitab kasutaja vestlusliku küsimuse ning otsingusüsteem võrdleb neid kahte vektorikogumit, et tuvastada asjakohased tekstilõigud.
Selline tööjaotus on oluline. Kontekstikodeerija ei kirjuta vastuseid, jätka teksti, võta dokumente kokku ega pea vestlust. Selle asemel aitab see teisel süsteemil leida tõendusmaterjali, mida generatiivne keelemudel võib hiljem vastuse koostamisel kasutada. Tüüpilises otsingu abil täiendatud genereerimise töövoos kodeeritakse dokumendid ja indekseeritakse need ette, kasutaja küsimus kodeeritakse päringu ajal ning kõige sarnasemad dokumendivektorid edastatakse vastust genereerivale mudelile.
Dragon-DocChati tootevaliku koht Cerebrases
Dragon-DocChat on Cerebrase mitme vooruga otsingumudel. Kollektsioon sisaldab eraldi komponente päringute, kontekstide ja vastuste genereerimise jaoks. Dragon-DocChat-Context-Encoder on spetsiaalselt dokumendi- või kontekstikodeerija, samal ajal kui eraldi avaldatud Dragon-DocChat-Query-Encoder töötleb vestluslikke küsimusi. Need kaks kodeerijat on mõeldud koos kasutamiseks päringu ja dokumendi sarnasuse otsingus.
Mudel põhineb Dragon+ mudelil ning seda täiustati kontrastiivõppe ja raskete negatiivsete näidete abil, kasutades ChatQA vestlusliku küsimustele vastamise andmeid. Kontrastiivõpe õpetab kodeerijat paigutama asjakohased küsimuse ja tekstilõigu paarid vektorruumis üksteisele lähemale ning vähem asjakohased lõigud üksteisest kaugemale. Rasked negatiivsed näited muudavad ülesande keerukamaks, esitades mudelile lõike, mis võivad tunduda usutavad, kuid ei ole küsimusele parim vastus.
Cerebras positsioneerib saadud otsingumudelit vestluslikuks küsimustele vastamiseks, mille puhul praegune voor võib sõltuda varasematest voorudest. Näiteks järelküsimust „Mis oli selle peamine piirang?” on varasema aruteluta keeruline tõlgendada. Mudeli eesmärk on aidata tekstilõike leida, kasutades laiemat vestluskonteksti.
Tehnilised näitajad ja sisendipiirangud
Mudelikaardi järgi on Dragon-DocChat-Context-Encoder tihedaks otsinguks kasutatav BERT-i laadne kodeerija. Selle peamine väljund on tekstina loetava sisu asemel embedding ehk vektor-esitus. Ametlik näide kasutab Hugging Face Transformersit koos AutoTokenizer ja AutoModel.
| Näitaja | Kontrollitud üksikasjad |
|---|---|
| Pakkuja | Cerebras |
| Mudeli roll | Dokumendi- või kontekstikodeerija |
| Mudelite perekond | Dragon-DocChat |
| Arhitektuuri kirjeldus | BERT-i laadne kodeerija |
| Peamine väljund | Vektor-esitused |
| Ametlikus näites näidatud maksimaalne jadapikkus | 512 tokenit |
| Toetatud keel | Inglise keel |
| Juurutusmudel | Allalaaditavad kaalud Transformersiga kasutamiseks |
| Majutatud järeldamise hind | Dokumenteeritud pakkuja pakutavat hinda ei leitud |
512 tokeni piirang on ametlikus kasutusnäites näidatud maksimaalne jadapikkus ning seda tuleks kasutada esialgsete tükeldamisotsuste alusena. Sellest pikemad dokumendid tuleb enne kodeerimist tekstilõikudeks jagada. Tükeldamisstrateegia võib mõjutada otsingu kvaliteeti: liiga lühikesed lõigud võivad konteksti kaotada, liiga pikad lõigud aga ületada mudeli näidatud sisendipikkuse või ühendada omavahel mitteseotud teavet.
Näites kasutatakse tokeniseeritud dokumendipartiide puhul kärpimist ja maksimaalset pikkust 512. Seejärel kasutatakse esimest peitoleku vektorit näidatud kontekstiesitusena sarnasuse arvutamisel. Näite tootmiskeskkonda kohandamisel peaksid kasutajad järgima ametlikku teostust ja mudeli dokumentatsiooni, eriti juhul, kui nad muudavad ühendamist, partiide moodustamist, normaliseerimist või sarnasuse arvutamise meetodeid.
Esitatud otsingujõudlus
Cerebras esitab tulemused viie mitme vooruga küsimustele vastamise andmestiku kohta: Doc2Dial, QuAC, QReCC, INSCIT ja TopiOCQA. Dragon-DocChati hindamiskokkuleppe kohaselt saavutas süsteem keskmiseks Recall@1 tulemuseks 58.29 ja keskmiseks Recall@5 tulemuseks 84.19.
Recall@1 mõõdab, kui sageli on kõige kõrgemalt järjestatud leitud tulemus asjakohane, samas kui Recall@5 mõõdab, kui sageli leidub vähemalt üks asjakohane tulemus viie esimese hulgas. Need näitajad kirjeldavad otsingu-, mitte keelemudeli vastuse kvaliteeti. Samuti kirjeldavad need Dragon-DocChati otsingukorraldust ega tõesta, et kontekstikodeerija suudab küsimustele iseseisvalt vastata.
Cerebrase andmetel ületas Dragon-DocChati keskmine esimese tulemuse leidmise määr loetletud Dragon+ ja Nvidia Dragon-Multiturni lähtetasemete tulemusi. Need võrdlused aitavad mõista pakkuja hindamist, kuid tulemused võivad varieeruda sõltuvalt dokumentide tükeldamisest, indeksi koostamisest, päringu sõnastusest, valdkonnast, keelest ja juurutuses kasutatavast sarnasuse arvutamise töövoost.
Toetatud modaalsused ja võimalused
See on tekstisisendi ja embedding-väljundiga mudel. See on loodud töötlema ingliskeelseid dokumendilõike ja tagastama nende vektor-esitusi. Puuduvad tõendid, et see toetaks pilte, heli või videot, ning see ei genereeri otse pilte, heli, videot ega tekstivastuseid.
- Tekstisisend: Jah, dokumendilõikude jaoks.
- Embedding-väljund: Jah.
- Teksti genereerimine: Ei.
- Piltide, heli ja video sisend: Esitatud mudeliteabe kohaselt ei ole toetatud.
- Tööriista- või funktsioonikutsed: Kodeerija dokumenteeritud rolli puhul ei ole asjakohane.
- Voogedastus: Dokumenteeritud voogedastusliidest ei ole.
- Struktureeritud JSON-väljund: Dokumenteeritud võimalus puudub; mudel tagastab struktureeritud teksti asemel embedding'e.
- Arutlus ja programmeerimine: Need ei ole mudeli eesmärk. See suudab kodeerida neid teemasid käsitlevaid lõike, kuid ei ole juhiste järgimise ega koodi genereerimise mudel.
Kuna mudel loob üksnes esitusi, tuleb see siduda otsinguloogikaga ning tavaliselt ka eraldi generatiivse mudeliga, kui lõplik rakendus peab andma loomulikus keeles vastuse. Selline eraldatus võib olla eelis: dokumentide indekseerimist ja vastuste genereerimist saab optimeerida teineteisest sõltumatult. Samal ajal on see ka praktiline nõue, sest üksnes kodeerija paigaldamine ei loo terviklikku küsimustele vastamise assistenti.
Litsents, hinnastus ja juurutamine
Dragon-DocChat-Context-Encoder on avalikult saadaval avatud kaaludega mudelina oma Hugging Face'i repositooriumis. Esitatud uuringus ei tuvastatud Cerebrase majutatud järeldamise API-t ega selle mudeli tokenipõhist hinnastust. Hugging Face'i andmetel ei ole mudel Inference Providersi kaudu juurutatud, mistõttu peaksid kasutajad arvestama ise hallatava järeldamise või mõne muu ühilduva juurutusviisiga, mitte eeldama tellitavat majutatud lõpp-punkti.
Mudelikaardi järgi treeniti kodeerija Dragon+ mudeli põhjal ning sellele kehtib Dragon+ litsents. Samuti kasutab see GPT-4 abil loodud ChatQA sünteetilisi vestlusandmeid. Esitatud mudelikaardi teabe kohaselt on kasutamine piiratud mitteäriliste eesmärkidega ning nende genereeritud andmete puhul kehtivad asjakohased OpenAI tingimused. Meeskonnad peaksid enne mudeli juurutamist, eriti ärilistes või klientidele suunatud süsteemides, tutvuma otse kehtiva litsentsi ja andmekasutuse tingimustega.
Ise hallatav juurutus tähendab, et dokumenteeritud tokenipõhist pakkujahinda ei ole, kuid see ei muuda käitamist tasuta. Kasutaja vastutada jäävad arvutusressursid, salvestusruum, indekseerimine, jälgimine, partiide moodustamine ja hooldus. Tegelik kulu sõltub kodeeritavate tekstilõikude arvust, dokumentide muutmise sagedusest ning valitud riistvarast või majutuskeskkonnast.
Tugevused ja kompromissid
Mudeli kõige selgem tugevus on spetsialiseerumine. See on treenitud dokumentide otsinguks vestlusliku küsimustele vastamise olukordades, mitte üldiseks teksti genereerimiseks. Seetõttu sobib see sihipäraseks valikuks süsteemides, kus peamine probleem on asjakohaste tõendite leidmine mitme vestlusvooru põhjal.
- Fookus vestluslikul otsingul: Treening ja hindamine on suunatud mitme vooruga küsimustele vastamisele, mitte üksnes eraldiseisvatele võtmesõnapõhistele päringutele.
- Tihe semantiline otsing: Vektor-esitused võivad leida tekstilõike tähenduse põhjal, sealhulgas juhtudel, kui küsimuse ja dokumendi sõnastus erineb.
- Avatud kaaludega juurutus: Mudelit saab Transformersiga laadida ning kasutada ise hallatavas indekseerimis- ja otsingupinus.
- Komponentide selge eraldatus: Otsingut ja vastuste genereerimist saab skaleerida või asendada teineteisest sõltumatult.
- Spetsialiseerumine inglise keelele: Dokumenteeritud keelefookus võib olla kasulik ingliskeelsete teadmuskogude puhul, kuid annab samal ajal märku, et mitmekeelsust ei tohiks eeldada.
Kompromissid on sama olulised. 512 tokeni pikkune näide nõuab dokumentide hoolikat tükeldamist. Mudel ei ole täielik vestlusrobot, otsingumootor ega küsimustele vastamise rakendus. Esitatud uuringus ei ole dokumenteeritud majutatud hinnastust ega üldotstarbelist järeldamise API-t ning selle mitteärilise kasutamise piirangud võivad välistada mudeli paljude tootmisjuurutuste puhul. Lisaks vajab see ühilduvat päringukodeerijat; kontekstikodeerija kasutamine ilma sobiva päringu-esituseta ei võimaldaks kavandatud kahe kodeerijaga töövoogu.
Millal seda mudelit valida
Valige Dragon-DocChat-Context-Encoder siis, kui peamine ülesanne on indekseerida ingliskeelseid dokumente mitme vooruga vestluslikuks otsinguks ning teil on võimalik avatud kaaludega mudelit ise käitada. See sobib mõistlikult uurimissüsteemidele, dokumentidel põhinevale küsimustele vastamisele, semantilisele tekstilõikude indekseerimisele ja otsingu abil täiendatud genereerimise töövoogudele, kus lõpliku vastuse kirjutab eraldi mudel.
See võib olla eriti kasulik juhul, kui järelküsimuste otsingukvaliteet on olulisem kui ühe integreeritud vestlus-API olemasolu. Hindamine andmestikel Doc2Dial, QuAC, QReCC, INSCIT ja TopiOCQA annab pakkuja esitatud näidu, et Dragon-DocChati lähenemist katsetati mitmes vestlusliku küsimustele vastamise olukorras.
Teistsugune lahendus võib olla sobivam siis, kui vajate majutatud API-t, ärilise juurutuse õigusi, mitmekeelset otsingut, multimodaalset otsingut, otsest vastuste genereerimist või ühtset teenust, millel on sisseehitatud indekseerimine ja orkestreerimine. Generatiivne keelemudel on sobivam komponent ka juhul, kui nõue on koostada selgitus või lõplik vastus, mitte leida toetavaid tekstilõike. Täieliku Dragon-DocChati otsingukorralduse jaoks kasutage koos selle kontekstikodeerijaga sobivat Dragon-DocChat-Query-Encoderit, mitte ärge käsitlege kontekstikodeerijat eraldiseisva vestlusmudelina.
Kokkuvõte
Cerebrase Dragon-DocChat-Context-Encoder on spetsialiseerunud avatud kaaludega dokumendikodeerija vestluslikuks otsinguks. Selle väärtus seisneb ingliskeelsete tekstilõikude embedding'uteks teisendamises, et neid saaks vestluslike päringutega võrrelda, eriti otsingu abil täiendatud küsimustele vastamise süsteemides. Dokumenteeritud majutatud hinda ega teksti genereerimise liidest ei ole ning keskseteks kaalutlusteks on 512 tokeni pikkune näide, paariskodeerija nõue ja märgitud mitteärilise kasutamise piirangud. Meeskondadele, kes otsivad ise hallatavat ingliskeelsete tekstilõikude otsingut, on see sihipärane komponent; otsese vestluse, vastuste genereerimise või majutatud ärilise järeldamise jaoks sobib tõenäoliselt paremini teistsugune mudel või teenus.