Mis on DeepSeek-V3.2-REAP-508B-A37B?
DeepSeek-V3.2-REAP-508B-A37B on avatud kaaludega hõre ekspertide segu (Mixture-of-Experts ehk MoE) tüüpi põhjuslik keelemudel, mille Cerebras avaldas Hugging Face'is. See on DeepSeek-V3.2 tihendatud tuletis, mis on loodud säilitama alusmudeli keele-, kodeerimis-, arutlus- ja tööriistakutsumise võimekuse, vähendades samal ajal selle talletamiseks ja käitamiseks vajalikku mälu.
MoE-mudelis suunatakse eri sisendtokenid valitud spetsialiseerunud närvivõrgukomponentide rühmadesse, mida nimetatakse ekspertideks. Mudel sisaldab kokku väga palju parameetreid, kuid iga tokeni puhul aktiveeritakse neist ainult osa. Nii saab mudelil olla väga suur koguvõimekus, ilma et iga vastuse osa genereerimisel tuleks kasutada kõiki parameetreid. Kontrollpunktis on ligikaudu 508 miljardit parameetrit ning iga tokeni kohta aktiveeritakse ligikaudu 37 miljardit parameetrit.
Cerebrase praeguses mudelikataloogis esitletakse seda avatud kaaludega Hugging Face'i kontrollpunktina, mitte eraldi dokumenteeritud Cerebrase API-mudelina, millel oleks tokenipõhine hinnakiri. Seetõttu on selle peamine sihtrühm organisatsioonid ja teadlased, kes suudavad pakkuda mahukat mitme seadme taristut ning hallata ise mudeli teenindamiseks vajalikku tarkvara.
Kuidas REAP mudelit tihendab
Cerebras lõi selle kontrollpunkti, rakendades DeepSeek-V3.2 kõikidele ekspertide segu plokkidele ühtselt marsruuteri kaalutud ekspertide aktiveerimise kärpimist (Router-weighted Expert Activation Pruning ehk REAP), mille kärpimismäär oli väidetavalt 25%. Meetod kasutab eemaldatavate ekspertide tuvastamiseks nii marsruuteri värava käitumist kui ka ekspertide aktiveerimisnorme.
Marsruuter on MoE-mudeli osa, mis otsustab, millised eksperdid peaksid iga tokenit töötlema. REAP säilitab marsruuteri sõltumatu ja sisendist sõltuva käitumise, selle asemel et eksperdid omavahel ühendada. Esitatud mudeliteabe kohaselt sisaldab tulemuseks saadud kontrollpunkt 192 eksperti varasema 256 asemel, kusjuures iga tokeni kohta aktiveeritakse endiselt 8 eksperti. Mudeli maht väheneb alusmudeli ligikaudu 671 miljardilt parameetrilt ligikaudu 508 miljardile.
Cerebrase andmetel vähendab see võrreldes täismudeliga mälunõudeid 25%. See vähendus on praktikas oluline, kuid ei muuda kontrollpunkti väikeseks: 508 miljardi parameetriga mudel vajab tüüpilistes konfiguratsioonides endiselt suure mahuga mälu ja mitme seadmega juurutust.
Tehnilised andmed
| Tehniline näitaja | Kontrollitud või dokumenteeritud väärtus |
|---|---|
| Mudeliperekond | DeepSeek-V3.2 |
| Mudeli tüüp | Hõre ekspertide segu tüüpi põhjuslik keelemudel |
| Parameetrite koguarv | Ligikaudu 508 miljardit |
| Aktiivsed parameetrid | Ligikaudu 37 miljardit tokeni kohta |
| Konteksti pikkus | 163 840 tokenit |
| Kihid | 61 |
| Tähelepanupead | 128 |
| Ekspertide koguarv | 192 |
| Aktiveeritavad eksperdid | 8 tokeni kohta |
| Litsents | MIT |
| Peamine väljund | Tekst |
163 840 tokeni suurune kontekstiaken sobib pikkade dokumentide, suurte koodibaaside, ulatuslike tehniliste vestluste ja mitmeastmeliste agenttöövoogude jaoks. Esitatud dokumentatsioon ei täpsusta selle kontrollpunkti pakkuja määratud maksimaalset väljundtokenite arvu, mistõttu ei tohiks konteksti pikkuse põhjal eeldada eraldi väljundpiiri.
Võimekus, arutlus ja kodeerimine
Mudelikaart dokumenteerib üldise tekstiloome, koodi genereerimise, matemaatilise arutluse, agentse kodeerimise ja tööriistakutsumise võimekuse. Seetõttu sobib mudel rakendustesse, mis vajavad enamat kui lühikesi vestlusvastuseid, näiteks koodianalüüsi, hoidlapõhist abi, tehnilist uurimistööd ja töövooge, milles mudel valib väliseid tööriistu või kutsub neid.
Avaldatud mudelikaardi hindamistulemuste hulka kuuluvad HumanEval 95,12, HumanEval+ 89,02, MBPP 89,42 ja MBPP+ 73,55. Esitatud hindamised kasutavad temperatuuri 0,0 ja maksimaalset genereerimispikkust 16 384 tokenit. Need näitajad pärinevad pakkujalt või mudelikaardilt, mitte sõltumatust toimetuslikust pingereast, ning neid ei tohiks käsitleda täieliku võrdlusena kõigi praeguste keelemudelitega.
Toimetuse hinnangul sobib mudel kõige paremini suure võimekusega teksti- ja kooditööks, kus pikk kontekst ja avatud kaaludega juurutus on olulisemad kui lihtne paigaldamine või madal riistvarakulu. Selle arutlus- ja kodeerimisvõimekus on kasulik, kuid sellise suurusega mudeli käitamine on endiselt märkimisväärne operatiivne ülesanne.
Juurutus ja tööriistakutsed
Kontrollpunkti saab alla laadida Hugging Face'ist ning juurutada Transformersi, vLLM-i või SGLangiga. Dokumenteeritud vLLM-i seadistus kasutab DeepSeek V3.2 tokeniseerija-, tööriistakutse- ja arutlusparsereid, lubab automaatse tööriistavaliku ning soovitab tensorparalleelsust kaheksa seadme vahel.
Tensorparalleelsus jaotab mudeli arvutused mitme seadme vahel. See on siin eriti oluline, sest kontrollpunkti parameetrite koguarv ületab kaugelt tavalise tarbijariistvara praktilise mälumahu. Mudelikaart märgib ka, et piiratud vaba mälu korral võib olla vaja vähendada samaaegsete jadade maksimaalset arvu. Väiksem samaaegsus aitab juurutusel jääda oma mälueelarve piiresse, kuid piirab ka korraga teenindatavate päringute arvu.
Tööriistakutsed on dokumenteeritud toetatud teeninduskonfiguratsioonide puhul. See tähendab, et mudel saab osaleda töövoogudes, kus tööriistad tehakse teeninduskihi kaudu kättesaadavaks; see ei kinnita, et Cerebras pakub selle kontrollpunkti jaoks hallatud veebiotsingu teenust, majutatud agentplatvormi või muud pakkuja hallatavat tööriista.
Hinnakiri ja API kättesaadavus
Esitatud uuringus ei ole DeepSeek-V3.2-REAP-508B-A37B jaoks dokumenteeritud ametlikku Cerebrase majutatud API hinnakirja. Kontrollpunkti levitatakse MIT-litsentsi alusel avatud kaaludena, seega ei ole kontrollitud tokenipõhist sisend- ega väljundhinda, mida esitada. Selle kasutamise tegelik hind sõltub riistvarast, majutusest, elektrist, salvestusruumist, arendustööst ja teenindustaristust.
Kohalikud teenindusplatvormid võivad pakkuda selliseid funktsioone nagu voogedastus ning dokumenteeritud juurutusviisid toetavad teenindusele suunatud konfiguratsioone. Kohalikku voogedastust ei tohiks siiski segi ajada eraldi Cerebrase hallatava API-pakkumisega. Olemasolev teave ei kinnita ka pakkuja hallatavat partiitöötlust, viibämälu, pärandlikku JSON-režiimi, struktureeritud väljundi jõustamist, peenhäälestust ega majutatud maksimaalset väljundpiiri.
Toetatud modaalsused ja piirangud
DeepSeek-V3.2-REAP-508B-A37B on tekstikeelemudel. Esitatud tehnilised andmed tuvastavad teksti sisendi ja teksti väljundi, kuid mitte kontrollitud pildi-, heli-, video-, muusika-, kõne- ega manusteväljundit. Seetõttu tuleks seda hinnata teksti genereerimise ja tööriistakasutuse mudelina, mitte multimodaalse mudelina.
- Sisend: Tekst, dokumenteeritud konteksti pikkusega 163 840 tokenit.
- Väljund: Tekst.
- Arutlus: Matemaatiline ja üldine arutlusvõimekus on dokumenteeritud, kuid eraldi standardiseeritud arutluspiiri ei ole esitatud.
- Kodeerimine: Koodi genereerimine ja agentne kodeerimine on dokumenteeritud ning mudelikaart sisaldab HumanEvali ja MBPP tulemusi.
- Tööriistad: Tööriistakutsed on mudeliteabes ja teenindusjuhistes dokumenteeritud.
- Väljundpiir: Pakkuja määratud maksimaalset väljundtokenite arvu ei ole kontrollitud.
Peamine piirang on mudeli suurus. Kärpimine vähendab mälunõudeid võrreldes ligikaudu 671 miljardi parameetriga alusmudeliga, kuid tulemuseks saadud 508 miljardi parameetriga kontrollpunkt ei sobi endiselt väikese ressursiga kohalikuks juurutuseks, enamiku tarbijariistvara ega olukordade jaoks, kus kiire seadistus on maksimaalsest mudelivõimekusest olulisem. Teeninduse jõudlus sõltub suuresti ka seadmete arvust ja tüübist, paralleelsuskonfiguratsioonist, samaaegsusest ning DeepSeek-V3.2 arhitektuuri toetavast tarkvarast.
Millal seda mudelit valida
Vali DeepSeek-V3.2-REAP-508B-A37B siis, kui vajad avatud kaaludega mudelit, millel on väga pikk kontekst, suur üldine parameetrimaht, kodeerimis- ja arutlusvõimekus ning tööriistakutsed, kuid soovid täisversiooniga DeepSeek-V3.2 võrreldes tihendatud alternatiivi. See sobib eriti hästi järgmisteks kasutusjuhtudeks:
- Uurimisrühmad, kes uurivad hõredate mudelite juurutamist või ekspertide kärpimist.
- Organisatsioonid, kellel on mitme seadmega taristu ja kes vajavad mudeli käitamist enda kontrolli all.
- Pika kontekstiga koodianalüüs, tehniliste dokumentide töötlemine ja hoidlate tasemel abi.
- Agentsed kodeerimis- või tööriistakasutuse töövood, kus teeninduskiht suudab hallata mudeli dokumenteeritud parsereid ja tööriistavaliku seadeid.
- Projektid, millele sobib MIT-litsentsiga avatud kaaludega kontrollpunkt paremini kui kasutuspõhine majutatud teenus.
Teine lahendus võib olla sobivam, kui prioriteediks on väike latentsus, madalad kasutuskulud, ühilduvus tarbijariistvaraga, valmiskujul API-juurdepääs, hallatud veebiotsing või garanteeritud struktureeritud väljundi liides. Väiksemat mudelit on üldjuhul lihtsam ja odavam juurutada, samas kui majutatud API võib riistvara- ja hoolduskoormuse täielikult kõrvaldada. Esitatud uuringus ei nimetata konkreetset sõsarmudelit ega hinnalternatiivi, millega saaks seda mudelit otseselt võrrelda.
Kättesaadavus ja litsents
Kontrollpunkt on saadaval Hugging Face'is Cerebrase organisatsiooni kaudu MIT-litsentsi alusel. Mudelikaardil nimetatakse DeepSeek-V3.2 selle alusmudeliks ja Cerebrast avaldavaks organisatsiooniks. Esitatud kirjes on uuendamise kuupäevana märgitud 9. detsember 2025 ning seal ei ole välja toodud aegumise ega sulgemise kuupäeva.
Kokkuvõttes tuleks seda mudelit käsitleda suure, tihendatud ja ise majutatava DeepSeeki tuletisena. Selle peamine praktiline eripära ei seisne majutatud teenuse hinnas ega väikeses ressursivajaduses, vaid katses säilitada suure võimekusega MoE-mudeli käitumine, eemaldades samal ajal osa ekspertidest ja vähendades täiskontrollpunktiga võrreldes mälunõudeid.