Mis on DeepSeek-V3.2-REAP-345B-A37B?
DeepSeek-V3.2-REAP-345B-A37B on Cerebrase avaldatud tihendatud hõre ekspertide segu (MoE) põhine põhjuslik keelemudel. See on tuletatud mudelist DeepSeek-V3.2 ning loodud pakkuma suurt osa lähtemudeli teksti genereerimise, arutlemise, kodeerimise ja tööriistade kasutamise võimekusest väiksema parameetrite koguarvu juures.
MoE-mudelis töötleb iga sisendmärki ainult osa saadaolevatest närvivõrgu ekspertidest. Seetõttu võib kontrollpunkti salvestatud parameetrite arv olla palju suurem kui ühe konkreetse märgi töötlemisel kasutatav parameetrite arv. REAP-i versioon kasutab iga märgi kohta ligikaudu 37 miljardit aktiivset parameetrit, vähendades samal ajal mudeli suuruse ligikaudu 345 miljardi parameetrini.
Mudel on avatud kaaludega kontrollpunkt, mitte tavapärane majutatud API-pakkumine. Cerebras avaldab selle oma Hugging Face'i organisatsiooni kaudu MIT-litsentsi alusel. Mudelikaart määratleb selle aktiivse avatud kaaludega kontrollpunktina, kuid ei esita selle konkreetse mudeli kohta ametlikku märgipõhist sisendi- ega väljundihinda.
Kuidas REAP-i tihendamine mudelit muudab
REAP on lühend väljendist Router-weighted Expert Activation Pruning ehk ruuteri kaalutud ekspertide aktiveerimise kärpimine. Meetod kasutab mudeli ruuteri teavet, mis otsustab, millised eksperdid peaksid iga sisendiga tegelema, koos ekspertide aktiveerimisnormidega, mis näitavad eksperdi panuse suurust. Nende signaalide abil tuvastatakse eksperdid, kelle mõju näib olevat suhteliselt väike ja keda saab eemaldada.
Algse DeepSeek-V3.2 arhitektuuri asjakohastes MoE-kihtides on 256 eksperti. REAP-i kontrollpunkt säilitab 128 eksperti ja aktiveerib iga märgi kohta kaheksa eksperti. Cerebrase andmetel kärbitakse ligikaudu 50% ekspertidest. Esitatud mudelidokumentatsiooni kohaselt ei nõua kärpimisprotsess kärpimisjärgset peenhäälestust.
See tihendamine muudab praktilist juurutamise kompromissi, kuid ei muuda mudelit väikeseks. 345 miljardi parameetriga kontrollpunkti on 671 miljardi parameetriga kontrollpunktist märgatavalt lihtsam majutada, kuid see vajab endiselt palju mälu ja tavaliselt mitut GPU-d. Tegelik vajadus sõltub valitud BF16- või FP8-vormingust, käituskeskkonna lisakulust, konteksti pikkusest, pakisuurusest ja samaaegsete jadade arvust.
Kontrollitud tehnilised andmed lühidalt
| Tehnilised andmed | Üksikasjad |
|---|---|
| Pakkuja | Cerebras |
| Baasmudel | DeepSeek-V3.2 |
| Mudeli tüüp | Hõre ekspertide segu põhine põhjuslik keelemudel |
| Parameetreid kokku | Ligikaudu 345 miljardit |
| Aktiivseid parameetreid | Ligikaudu 37 miljardit märgi kohta |
| Eksperdid | 128 alles; iga märgi kohta aktiveeritakse 8 |
| Konteksti pikkus | 163 840 märki |
| Toetatud tensori vormingud | BF16 ja FP8 |
| Litsents | MIT |
| Sisend ja väljund | Tekstisisend ja tekstiväljund |
| Ametlik majutatud teenuse hind | Selle kontrollpunkti kohta ei leitud |
Mudeli dokumentatsioon loetleb 61 kihti ja 128 tähelepanupead ning 163 840 märgi pikkuse konteksti. See kontekstiarv tähistab dokumenteeritud maksimaalset sisendkonteksti, kuid esitatud uurimismaterjalides ei määratleta eraldi ranget maksimaalset väljundmärkide arvu. Seetõttu ei tohiks rakendused eeldada, et kogu konteksti saab kasutada genereeritud väljundi jaoks.
Arutlemine, kodeerimine ja üldised võimekused
DeepSeek-V3.2-REAP-345B-A37B on loodud teksti genereerimiseks, matemaatiliseks arutlemiseks, koodi genereerimiseks, agentseks kodeerimiseks ning funktsioonide või tööriistade kutsumiseks. Cerebras teatab, et valitud koodi genereerimise, agense kodeerimise ja funktsioonikutsumise hindamistel on jõudlus peaaegu identne täismahus DeepSeek-V3.2 mudeliga. Need on pakkuja esitatud väited, mis põhinevad valitud hindamistel, mitte täielikul sõltumatul hinnangul kõigi ülesannete või juurutuskonfiguratsioonide kohta.
Arutlemist nõudvate töökoormuste puhul annab mudeli suur hõre arhitektuur väiksemate kohalike mudelitega võrreldes kõrge võimekuse ülempiiri. See sobib keerukate programmeerimisülesannete, mitmeastmelise probleemilahenduse, tehnilise kirjutamise ja rakenduste jaoks, mis vajavad märkimisväärse jõudlusega avatud kaaludega mudelit. Mudeli suurus tähendab siiski, et arutlemise kvaliteeti tuleb hinnata koos teeninduslatentsuse ja taristukuluga. Mudel, mida on täismahus kontrollpunktist odavam salvestada, võib väiksemate tihedate või hõredate alternatiividega võrreldes olla endiselt kallis käitada.
Kodeerimine on üks selgemaid kavandatud kasutusvaldkondi. Mudel suudab koodi genereerida ja selgitada, abistada agentse kodeerimise töövoogudes ning osaleda tööriistade vahendusel toimuvates tarkvaraülesannetes. Olemasolevad uurimisandmed toetavad neid võimekusi üldisel tasemel, kuid ei anna konkreetse programmeerimise võrdlustesti ega kogu repositooriumi ulatusega töövoo kohta garanteeritud läbimise määra.
Tööriistade kutsumine ja teenindusvõimalused
Mudel toetab tööriistade kasutamist ühilduvate järeldusmootorite ja parsimiskonfiguratsioonide kaudu. Tööriistade kutsumine ei tähenda, et kontrollpunkt teeks iseseisvalt väliseid toiminguid. Selle asemel edastab rakendus tööriistade määratlused, mudel genereerib käituskeskkonna kokkulepetele vastava struktureeritud kutse ning ümbritsev rakendus käivitab valitud funktsiooni.
Mudelikaart kirjeldab kontrollpunkti laadimist Transformersiga ja selle teenindamist vLLM-i või SGLangi kaudu. Dokumenteeritud vLLM-i konfiguratsioon kasutab DeepSeek V3.2 jaoks mõeldud tokeniseerija-, tööriistakutse- ja arutlusparsimist, lubab automaatse tööriistavaliku ning kasutab tavaliselt tensori paralleeltöötlust mitme GPU vahel. Need üksikasjad on olulised, sest üldine teeninduskonfiguratsioon ei pruugi arutluskäike ega tööriistakutsete väljundit õigesti parsida.
Esitatud mudeliandmete kohaselt toetavad kavandatud teeninduslahendused voogedastust. Puuduvad tõendid selle kohta, et seda kontrollpunkti juurutataks Cerebrase majutatud, märgipõhise hinnastusega API-mudelina, ning mudelilehel öeldakse, et Hugging Face'i Inference Provider seda ei juuruta. Kasutajad peaksid kavandama riistvara, käituskeskkonna, kvantimise või tensori vormingu, skaleerimise ja töökorraldusliku seire ise.
Toetatud modaalsused ja olulised piirangud
See on ainult tekstimudel. See võtab vastu tekstipäringuid ja genereerib tekstilõpetusi. Mudel ei võta algupäraselt vastu pilte, heli ega videot ning ei genereeri otse pilte, heli, videot, muusikat ega kõnet. Rakendus võib ühendada selle väliste tööriistade või konkreetse modaalsuse süsteemidega, kuid need lisad ei muuda aluseks olevat kontrollpunkti multimodaalseks.
Mudeli kõige olulisem piirang on juurutamise keerukus. Ka pärast kärpimist vajavad ligikaudu 345 miljardit parameetrit mitme GPU-ga serverit, uurimisklastrit või samaväärse võimekusega taristut. See ei ole praktiline valik tavalise tarbijariistvara ega väheste ressurssidega kohaliku järelduse jaoks. Pikad kontekstid suurendavad samuti mälu- ja teeninduskulusid, eriti mitme jada samaaegsel töötlemisel.
Esitatud uurimismaterjalides ei ole selle REAP-i kontrollpunkti kohta kontrollitud ametlikku hinda, eraldi maksimaalset väljundipiiri ega sõltumatult määratletud teadmiste lõppkuupäeva. Seost DeepSeek-V3.2-ga ei tohiks käsitleda tõendina, et teadmiste lõppkuupäev on identne. Samuti tuleks esitatud väiteid peaaegu kadudeta või peaaegu identse jõudluse kohta mõista valitud hindamiste puhul kehtivate pakkuja väidetena, mitte universaalse garantiina.
Kiiruse ja kulude kompromissid
REAP vähendab kontrollpunkti salvestatud ekspertide arvu, mis võib võrreldes täismahus DeepSeek-V3.2 mudeliga vähendada mälunõudeid. See on mudeli peamine tõhususeelis. Samas ei muuda see kõiki järeldustoiminguid odavaks: allesjäänud mudel on endiselt väga suur ning läbilaskevõime sõltub suurel määral GPU-de arvust, ühendusest, tensori vormingust, käituskeskkonna konfiguratsioonist, konteksti pikkusest ja töökoormuse samaaegsusest.
Enda taristus majutava meeskonna jaoks ei ole asjakohane võrdlus seega lihtsalt 345 miljardit versus 671 miljardit. Väiksem REAP-i kontrollpunkt võib sobituda juurutusse, mis ei suuda algset mudelit majutada, samas kui palju väiksem mudel võib pakkuda märgatavalt paremat latentsust ja väiksemaid taristukulusid, kuid arutlemis- või kodeerimisvõimekuse arvelt. Sobiv valik sõltub sellest, kas keerukate ülesannete kvaliteet õigustab teenindamisega kaasnevat lisakeerukust.
Arutlemise, kodeerimise, kiiruse ja kulude kohta esitatud toimetuse hinded on hinnangud, mitte tarnija avaldatud reitingud. Need kajastavad mudeli arhitektuuri, teatatud hindamistulemusi ja kavandatud kasutust. Neid tuleks käsitleda suunava teabena, mitte mõõdetud teenusetaseme garantiidena.
Millal valida DeepSeek-V3.2-REAP-345B-A37B?
See mudel sobib hästi siis, kui juurutusmeeskond soovib suure võimekuse ülempiiriga avatud kaaludega mudelit ja tal on juurdepääs mitme GPU-ga taristule. See on eriti asjakohane järgmistes valdkondades:
- Hõredate MoE-mudelite ja ühekordse mudelitihendamise uurimine.
- Ise majutatav koodi genereerimine ja tarkvaraarenduse assistendid.
- Matemaatikat ja tehnilist arutlemist nõudvad töökoormused.
- Agentsed rakendused, mis vajavad mudeli genereeritud tööriista- või funktsioonikutseid.
- Organisatsioonid, kes soovivad täismahus DeepSeek-V3.2 kontrollpunktile väiksemat alternatiivi, loobumata hallatud API-st.
- Juurutused, kus MIT-litsents ja kohalik kontroll on olulised.
Teistsugune lahendus on sobivam siis, kui prioriteediks on väike latentsus, väikesed riistvarakulud või lihtne töökorralduslik skaleerimine. Väiksem mudel võib olla parem valik interaktiivsete rakenduste, tarbijariistvara või suure samaaegsusega töökoormuste puhul, kus vastuse kiirus on maksimaalsest arutlusvõimekusest tähtsam. Hallatud API sobib paremini siis, kui meeskond ei soovi mitme GPU-ga järeldustaristut ise hallata. Piltide, heli või video sisendi ja väljundi jaoks on vaja multimodaalset mudelit, sest see kontrollpunkt töötab ainult tekstiga.
Praktiline kokkuvõte
DeepSeek-V3.2-REAP-345B-A37B paikneb konkreetses nišis: see on suur, avatud kaaludega ja tihendatud MoE-mudel, mille eesmärk on muuta DeepSeek-V3.2-laadne võimekus paremini juurutatavaks, mitte olla kerge üldotstarbeline mudel. Ligikaudu 50% ekspertide vähendamine, 37 miljardit aktiivset parameetrit märgi kohta, pikk 163 840 märgi pikkune kontekst ja dokumenteeritud tööriistakutsete tugi muudavad selle atraktiivseks võimekate ise majutatavate arutlus- ja kodeerimissüsteemide jaoks.
Peamine küsimus on taristu. Kui meeskond suudab käitada mitut GPU-d ja on valmis kaasnevaks tehniliseks tööks, pakub kontrollpunkt tähenduslikku kompromissi täismahus DeepSeek-V3.2 mudeli ja palju väiksemate mudelite vahel. Kui nõuded on odav majutus, prognoositav hallatud hinnastamine, tarbijariistvara või loomupärane multimodaalne suhtlus, on see mudel tõenäoliselt vale valik.