Mis on Llama3-DocChat 1.0 8B?
Llama3-DocChat 1.0 8B on Cerebrase pakutav dokumentidele küsimustele vastamise mudel. Selle täielik kontrollpunkti identifikaator on cerebras/Llama3-DocChat-1.0-8B. Mudel põhineb Meta mudelil Llama 3 8B ja seda on täiendavalt treenitud vestluslikuks küsimustele vastamiseks, keskendudes kaasatud dokumentide kasutamisele teabeallikana.
Erinevalt üldisest vestlusrobotist, millelt oodatakse vastuseid ulatuslike eeltreenitud teadmiste põhjal, on DocChat mõeldud töötama otsinguga täiendatud genereerimise ehk RAG-i töövoos. Eraldi otsingukomponent leiab asjakohased tekstilõigud, need lisatakse viipa ning Llama3-DocChat koostab vastuse. Seetõttu sobib mudel eriti hästi dokumendiassistentidele, otsitavatele teadmistebaasidele, uurimisprototüüpidele ja ise hostitavatele RAG-rakendustele.
Kontrollpunkt on saadaval avatud kaaludena, mitte praegu dokumenteeritud Cerebrase hostitud järeldusmudelina, mille kohta oleks avaldatud märgi- või tokenipõhine hind. Juurutamine eeldab seega üldjuhul ühilduvat masinõppetarkvara, kohalikku taristut või avaldatud mudelit toetavat järeldusteenuse pakkujat.
Eesmärk ja positsioon Cerebrase kataloogis
Cerebras on enim tuntud kiire tehisintellektitaristu ja hostitud järeldusteenuste poolest, kuid Llama3-DocChat kuulub selle pakkumise teise ossa: tegemist on avaliku mudeliväljalaskega katsetamiseks ja juurutamiseks. Seda ei tohiks segi ajada tarbijatele mõeldud vestlusroboti ega praeguse kataloogikirjega, millele rakenduksid automaatselt Cerebrase pilvejäreldusteenuste hinnad ja kättesaadavus.
Mudeli positsioon on praktiline ja spetsialiseeritud. See vahetab üldotstarbelise tipptasemel assistendi laia haarde välja treenimise ja viipade järele, mis on keskendunud kaasatud konteksti põhjal vestluslike vastuste andmisele. 8B suurus muudab selle palju suurematest mudelitest sobivamaks kohalikuks või ise hostitavaks kasutuseks, kuigi tegelikud riistvaranõuded ja jõudlus sõltuvad valitud kvantimisest ning teenindusplatvormist. Kumbagi ei ole esitatud uurimismaterjalides täpsustatud.
Tehnilised andmed lühidalt
| Spetsifikatsioon | Kontrollitud teave |
|---|---|
| Pakkuja | Cerebras |
| Mudelite perekond | Llama 3 |
| Parameetrid | Ligikaudu 8 miljardit |
| Arhitektuur | Ainult dekooderiga Llama põhine põhjuslik keelemudel |
| Väljalaskekuupäev | 21. august 2024 |
| Maksimaalne positsioonipikkus | 8192 tokenit |
| Sisend | Tekst, sealhulgas kaasatud dokumendikontekst |
| Väljund | Tekst |
| Kaalud | Avalikult välja antud avatud kaaludega kontrollpunkt |
| Ametlik tokenipõhine hind | Selle kontrollpunkti kohta ei ole tuvastatud |
8192 tokeni piirang kehtib mudeli konfiguratsioonis ja mudelimaterjalides esitatud maksimaalsele positsioonimanuse pikkusele. Tegelikus kasutuses hõlmab piirang viipa, otsinguga leitud konteksti, vestluse ajalugu ja genereeritud vastust, sõltuvalt teenindusplatvormi rakendusest. Seetõttu tuleb suured dokumendid jagada osadeks, indekseerida ja valida otsingu abil asjakohased lõigud, mitte kleepida kogu dokumenti ühte päringusse.
Kuidas dokumentidel põhinevatele vastustele vastamine toimib
DocChat põhineb lihtsal ülesannete jaotusel. Otsingusüsteem leiab potentsiaalselt asjakohase teksti, keelemudel aga tõlgendab seda ja koostab vestlusliku vastuse. Cerebrase dokumenteeritud viibavorming paigutab kaasatud materjali <context> plokki ning palub mudelil vastata kasutaja küsimusele selle konteksti põhjal.
Tüüpiline töövoog võiks olla järgmine:
- Jaga lähtedokumendid sobiva suurusega tekstilõikudeks.
- Kasuta otsingumootorit või manustel põhinevat otsingusüsteemi, et leida küsimusega seotud lõigud.
- Paiguta valitud lõigud mudeli viipa selgesõnalise kontekstina.
- Palu mudelil vastata kaasatud materjali põhjal ja märkida, kui vastust sealt ei leia.
- Kuva vastus või kontrolli seda lähtelõikude põhjal.
Selline ülesehitus võib vähendada vajadust tugineda mudeli üldistele eeltreenitud teadmistele, kuid ei taga faktiliselt õigeid vastuseid. Otsing võib tagastada puudulikke või ebaolulisi lõike ning mudel võib endiselt hallutsineerida, tõendeid valesti tõlgendada või teha arutlus- ja arvutusvigu. Allikate viitamine, vastuste valideerimine ja mõistlik tekstilõikudeks jaotamine jäävad rakenduse ülesandeks.
Peamised tugevused
- Ülesandespetsiifilisus: Mudel on täiendavalt treenitud dokumentide põhjal vestluslikult küsimustele vastama, mitte esitletud üksnes üldise baasmudelina.
- Avatud juurutusvõimalused: Avalikud kaalud ning kaasnevad treenimis-, hindamis- ja andmete ettevalmistamise ressursid toetavad kohalikku katsetamist ja kohandatud teenindust.
- Tuttav Llama 3 vorming: Kontrollpunkt kasutab Llama 3 Instructi vestlusmalli, mis võib lihtsustada lõimimist süsteemidega, mis on juba Llama tööriistadele üles ehitatud.
- Mõõdukas mudelisuurus: Ligikaudu 8 miljardi parameetriga kontrollpunkt on väiksem kui paljud suured keelemudelid ja võib olla praktiline kandidaat ise hostitavaks testimiseks, arvestades riistvara ja teeninduse piiranguid.
- Selge kontekstipõhine käitumine: Kavandatud viibavorming eraldab kaasatud konteksti küsimusest ja juhendab assistenti märkima, kui vastust kontekstis ei ole.
Need tugevused on kõige kasulikumad siis, kui rakendusel on juba dokumendikogu ja otsingukiht. Mudel ei asenda indekseerimist, otsingut, juurdepääsu kontrolli, allikate haldamist ega hindamist.
Piirangud ja riskid
- Piiratud kontekstisuurus: 8192 tokeni pikkune positsioonipiirang on pikkade aruannete, raamatute või suurte kogude jaoks tagasihoidlik. Enamiku suuremate dokumendikogude puhul on vaja otsingut ja tekstide osadeks jagamist.
- Sisseehitatud otsing puudub: Mudel ei otsi ise veebist ega hangi dokumente. See vastab rakenduse edastatud konteksti põhjal.
- Ainult tekst: Dokumenteeritud mudel võtab vastu teksti ja toodab teksti. See ei töötle algupäraselt pilte, heli ega videot.
- Kontrollitud maksimaalne väljundipikkus puudub: Esitatud uurimismaterjalides on määratud kontekstipiirang, kuid eraldi maksimaalset väljundtokenite arvu ei ole esitatud.
- Dokumenteeritud tööriista- või funktsioonikutse puudub: Tööriistade kasutamist ei ole tuvastatud toetatud mudelivõimekusena. Rakendus võib siiski ehitada mudeli ümber välise töövoo, kuid see erineb sisseehitatud tööriistakutsetest.
- Valmishostitud teenus puudub: Avalikku kontrollpunkti ei ole määratletud praeguse Cerebrase hostitud API-mudelina, millel oleks ametlikud sisend- ja väljundtokenite hinnad.
- Litsents tuleb üle vaadata: Kontrollpunktile kehtib Meta Llama 3 Community License ning GPT-4 loodud sünteetiliste andmete ja üksikute andmekogudega seotud täiendavad piirangud. Kommertskasutajad peaksid enne juurutamist kohaldatavad tingimused üle vaatama.
- Teadaolevad kvaliteedipuudused: Esitatud materjalides kirjeldatakse puudujääke vastuseta küsimuste ja mõne arutlusülesande puhul, mistõttu on oluline hinnata mudelit tüüpiliste dokumentide põhjal.
Esitatud hindamistulemused ja võimekuse tõlgendamine
Cerebras teatas loetletud andmekogumite keskmiseks ChatRAG-i skooriks 55,71 ning 54,79, kui HybriDial välja jätta. Need on pakkuja esitatud võrdlustulemused, mitte tootmiskasutuse täpsuse garantiid. Tulemused võivad oluliselt muutuda sõltuvalt otsingu kvaliteedist, viiba koostamisest, dokumendivaldkonnast ja sellest, kuidas käsitletakse vastuseta küsimusi.
Mudel on eelkõige dokumentidele küsimustele vastamiseks mõeldud teksti genereerimise süsteem. Esitatud uurimismaterjalides ei tuvastata spetsiaalset arutlusrežiimi, sisseehitatud struktureeritud väljundi garantiid ega erilist programmeerimisspetsialiseerumist. Üldise keelemudelina võib see genereerida koodi või teha lihtsamaid arutlusi, kuid neid ei tohiks käsitleda mudeli põhivõimekustena. Toimetus hindab selle sobivust arutluseks ja programmeerimiseks 5 punktiga 10-st; need on võrdlevad toimetuslikud hinded, mitte pakkuja avaldatud mõõtmistulemused.
Mudeli andmetes on voogedastus märgitud toetatuks, kuid seda tuleks mõista teenindus- või lõimimisvõimekusena, mitte eraldi mudelifunktsiooni tõendina. Toetatuks on märgitud ka täiendav treenimine, kuid täpne treeningprotseduur, riistvaranõuded ja teenindusliidesed sõltuvad juurutuskeskkonnast.
Hind ja kättesaadavus
Llama3-DocChat 1.0 8B kohta ei ole esitatud kontrollitud sisendtokeni hinda, väljundtokeni hinda, tellimuse hinda ega ametliku hostitud lõpp-punkti hinda. Avalik mudelikontrollpunkt on saadaval Hugging Face'i kaudu ning Cerebras avaldas seotud lähtekoodi oma DocChati repositooriumi kaudu. Kulud sõltuvad seega sellest, kus ja kuidas kaalud juurutatakse, sealhulgas arvutusest, salvestusest, järeldustaristust ja pakkujapõhistest hostimistasudest.
Cerebrase laiemal platvormil on eraldi pilve- ja arendajatele mõeldud pakkumised, kuid ei tohiks eeldada, et need pakuvad just seda kontrollpunkti või muudavad selle kättesaadavaks platvormi üldise mudelihinnastuse alusel. Enne taristupakkuja valimist peaksid kasutajad kontrollima praegust lõpp-punktide kataloogi ja juurutustingimusi.
Millal seda mudelit valida?
Vali Llama3-DocChat 1.0 8B siis, kui põhiülesanne on tekstidokumentide põhjal vestluslikult küsimustele vastata ja soovid avatud kaaludega mudelit, mida saab testida või juurutada väljaspool üht tarbijatele mõeldud vestlusrobotit. See võib sobida järgmisteks kasutusjuhtudeks:
- Kohalikud RAG-prototüübid ja dokumendivestluse eksperimendid.
- Sisemised teadmisteassistendid, mille allikmaterjal on tekstina otsitav.
- Vestlusliku küsimustele vastamise, kontekstipõhisuse ja otsingustrateegiate uurimine.
- Rakendused, kus juhtimise või juurutuspaindlikkuse tõttu eelistatakse suuremale hostitud mudelile väiksemat avatud kontrollpunkti.
- Hindamistöövood, kus mudeli treeningu- ja võrdlusmaterjalid on kasulikud korratavateks eksperimentideks.
Mõni teine lahendus võib olla sobivam, kui rakendus vajab piltide, heli või video mõistmist, väga pikki kontekstiaknaid, sisseehitatud veebiotsingut, usaldusväärset tööriistakutset, läbipaistva tokenihinnaga hallatavat API-t või tugevamat üldist arutlusvõimet. Suurem üldotstarbeline mudel võib olla eelistatum ka siis, kui küsimused nõuavad sageli teadmisi, mida otsitud dokumentides ei ole. Seevastu lihtsam või väiksem keelemudel võib olla kulutõhusam eraldamise, klassifitseerimise või lühivastuste jaoks, mille puhul pole vestluslikku dokumentidele küsimustele vastamist vaja.
Praktiline juurutamise kontrollnimekiri
Enne kontrollpunkti tootmises kasutamist testi seda sihtrakenduses eeldatavate dokumentide, keelte, küsimusetüüpide ja veajuhtudega. Mõõda, kas otsing tagastab õige tõendusmaterjali, kas vastused jäävad selle materjali piiresse ja kas mudel keeldub asjakohaselt küsimustest, millele kontekst vastust ei anna.
Hoia otsinguga leitud lõigud 8192 tokeni piires, jäta ruumi küsimusele ja vastusele ning säilita konteksti ja juhiste vahel selged piirid. Kontrolli olulisi vastuseid nende lähtelõikude põhjal, mitte ära pea ladusat sõnastust täpsuse tõendiks. Vaata lõpuks üle mudeli ja andmekogumite litsentsid, otsusta, kuidas kaale teenindatakse, ning arvuta taristukulud eraldi Cerebrase üldistest pilve- või programmeerimistoodete pakettidest.