Mis on Qwen3-Coder-REAP-246B-A35B?
Qwen3-Coder-REAP-246B-A35B on Cerebrase avatud kaaludega tekstigeneratsiooni mudel, mis on spetsialiseerunud tarkvaraarenduse ülesannetele. See põhineb mudelil Qwen3-Coder-480B-A35B-Instruct ja kasutab Router-weighted Expert Activation Pruningut ehk lühendatult REAP-i. Kärpimisprotsessi käigus eemaldatakse ligikaudu pooled algse mudeli ekspertidest, mille tulemusel saadakse väiksem kontrollpunkt, säilitades samal ajal algse marsruutimisstruktuuri.
Mudel on hõre ekspertide segu ehk MoE-keelemudel. Kuigi kontrollpunkt sisaldab kokku ligikaudu 246 miljardit parameetrit, aktiveeritakse iga märgi puhul umbes 35 miljardit parameetrit. Praktikas vähendab see arvutus- ja mälunõudeid võrreldes kõigi parameetrite korraga kasutamisega, kuid ei muuda mudelit väikeseks: juurutamiseks on endiselt vaja märkimisväärset GPU-mälu ja mitme GPU-ga taristut.
Cerebras loetleb mudeli oma praeguses Hugging Face'i kataloogis avatud kaaludega kontrollpunktina, mitte tavapärase majutatud API-tootena. See on mõeldud lokaalseks, enda hallatavaks ja teadustööga seotud juurutamiseks, kasutades näiteks Transformersit, vLLM-i või SGLang-i.
Kuidas REAP-i tihendamine mudelit muudab
MoE-mudelis suunatakse erinevad sisendmärgid erinevatesse ekspertvõrkudesse. Mudelil Qwen3-Coder-REAP-246B-A35B on 80 eksperti, samas kui lähtemudelil Qwen3-Coder-480B-A35B-Instruct on neid 160, ning iga märgi puhul aktiveeritakse kaheksa eksperti. Mudelil on 62 kihti ja see kasutab grupeeritud päringutega tähelepanu (grouped-query attention), milles on 96 päringupead ja kaheksa võtme-väärtuse pead.
REAP kasutab eemaldatavate ekspertide valimiseks marsruuteri väravakäitumist ja ekspertide aktiveerimisnorme. See erineb lihtsalt iga kihi suuruse vähendamisest: meetod säilitab hõreda marsruutimise ülesehituse, vähendades samal ajal saadaolevate ekspertide arvu. Cerebrase kirjelduse järgi on tulemuseks algse mudeli 50% võrra tihendatud versioon.
Tihendamine on kõige kasulikum organisatsioonidele, kes soovivad käitada väga suurt koodimudelit, kuid ei saa kasutada kogu lähtemudeli kontrollpunkti. Seda ei tohiks tõlgendada nii, et mudel sobib tavalistele sülearvutitele või vähese mäluga ühe GPU süsteemidele. Dokumenteeritud juurutusviis kasutab tensorite paralleeltöötlust ja ekspertide paralleeltöötlust mitme seadme vahel.
Kontekstiaken ning toetatud sisend ja väljund
Kontrollitud loomulik konteksti pikkus on 262 144 märki. Sellest piisab mahukate lähtekoodipuude, pikkade tehniliste spetsifikatsioonide, ulatuslike logide või mitut faili hõlmavate tarkvaraarendusülesannete jaoks, kuigi kasutatava sisu hulk sõltub viibast, tööriistade jälgedest ja genereeritud vastusest.
Mudelikaardi järgi saab konteksti YaRN-i abil pikendada ligikaudu ühe miljoni märgini. See pikendatud konteksti näitaja on teenusepakkuja dokumenteeritud võimalus, mitte mudeli loomulik kontekstilimiit, ning selle kasutamisel võib vaja minna täiendavat testimist ja häälestamist.
Qwen3-Coder-REAP-246B-A35B võtab vastu tekstipõhiseid viipasid ja toodab teksti. Selle toetatud kasutusalad hõlmavad koodi genereerimist, koodi selgitamist, hoidlate-ülest koodist arusaamist, agentset kodeerimist ja funktsioonikutseid. Kaasasolevas dokumentatsioonis ei nimetata loomulikku pildi-, heli- ega videosisendit ning mudel ei genereeri otse pilte, heli ega videot. Maksimaalset väljundmärkide arvu ei ole läbi vaadatud dokumentatsioonis täpsustatud.
Kodeerimine, arutlemine ja tööriistade kasutamine
Mudel on mõeldud eelkõige programmeerimiseks, mitte üldotstarbeliseks multimodaalseks tööks. Seda saab kasutada koodi genereerimiseks, koodibaaside uurimiseks ja muutmiseks, hoidla failide põhjal järelduste tegemiseks ning tarkvaraarenduse agentide toetamiseks. Pikk kontekst on eriti oluline siis, kui ülesanne nõuab paljude failide või suure hulga projekti dokumentatsiooni samaaegset meelespidamist.
Funktsioonikutsed on toetatud, võimaldades rakendusel või agendiraamistikul kasutada selliseid tööriistu nagu failitoimingud, testide käivitajad, otsingutööriistad või juurutuskäsud. Soovituslik vLLM-i seadistus sisaldab automaatset tööriista valikut ja Qwen3 Coderi tööriistakutsete parserit. Tööriistade kasutamine ei tähenda, et kontrollpunkt sooritaks väliseid toiminguid iseseisvalt: ümbritsev rakendus peab tööriistad kättesaadavaks tegema ja heakskiidetud kutsed täitma.
Uuring hindab mudeli arutlusvõimet hindega 8 kümnest ja kodeerimisvõimet hindega 9 kümnest. Need on selle lehe jaoks antud toimetuslikud hinnangud, mitte Cerebrase avaldatud võrdlustestide tulemused. Mudelikaardil avaldatud tõendid keskenduvad otsesemalt kodeerimise ja tarkvaraarenduse jõudlusele, mitte eraldi üldise arutlusvõime hindele.
Avaldatud hindamistulemused
Eraldi loetletud FP8 variant sisaldab selle mudeliperekonnaga seotud avaldatud hindamistabelit. Avaldatud tulemuste hulka kuuluvad HumanEvali tulemus 93,9, MBPP tulemus 91,0, SWE-Bench-Verifiedi tulemus 52,2 mini-swe-agenti kasutamisel ning BFCL-v3 avaldatud koondnäitaja 67,4.
Neid näitajaid tuleks käsitleda konkreetse kontrollpunkti tulemustena, mitte iga juurutuse puhul kehtivate universaalsete garantiidena. Need kehtivad avaldatud FP8 variandi kohta ning sõltuvad kvantimisest, viiba vormingust, järeldusraamistikust ja hindamisprotseduurist. BF16 mudeli lehel märgitakse, et selle enda hindamistulemused olid veel avaldamata, mistõttu ei tohiks FP8 tulemusi automaatselt esitada BF16 tulemustena.
Juurutamine, kiirus ja kulude kompromissid
Kuigi REAP vähendab mudeli algselt 480 miljardi parameetriga ülesehituselt 246 miljardi parameetrini kokku, on tegemist endiselt väga suure kontrollpunktiga. Praktiliseks kasutamiseks on üldjuhul vaja mitut GPU-d ja paralleelset järeldust. Cerebrase dokumenteeritud vLLM-i konfiguratsioon kasutab kaheksakordset tensorite paralleeltöötlust, ekspertide paralleeltöötlust, automaatset tööriista valikut ja Qwen3 Coderi tööriistakutsete parserit.
Uuring annab mudelile toimetusliku kiiruse hindeks 3 kümnest ja kuluhindeks 7 kümnest. Need hinded on subjektiivsed hinnangud, mitte teenusepakkuja avaldatud läbilaskevõime- või hinnamõõdikud. Madal kiirusehinnang peegeldab mudeli suurust ja mitme GPU-ga juurutamise nõudeid; tegelik jõudlus sõltub riistvarast, kvantimisest, pakkide suurusest, konteksti pikkusest ja järeldustarkvarast.
Selle täpse avatud kaaludega kontrollpunkti kohta ei tuvastatud kontrollitud Cerebrase majutatud sisend- ega väljundmärkide hinda. Seetõttu ei tohiks seda hinnata nagu tavalist hallatavat API-mudelit, millel on avaldatud korduv märgipõhine hind. Rahaline kompromiss sõltub hoopis sobiva GPU-taristu soetamise või rentimise, selle käitamise ja juurutuse haldamise kuludest.
Peamised tugevused ja piirangud
Peamised tugevused
- Suur kodeerimisvõimekus: Mudel säilitab kokku 246 miljardit parameetrit ja ligikaudu 35 miljardit aktiivset parameetrit märgi kohta.
- Pikk loomulik kontekst: Selle 262 144 märgi suurune kontekstiaken toetab suuri hoidlaid ja pikki tarkvaraarenduse sessioone.
- Väiksem maht võrreldes lähtemudeliga: REAP eemaldab ligikaudu pooled algse mudeli ekspertidest, säilitades samal ajal hõreda marsruutimisstruktuuri.
- Ühilduvus agentidega: See toetab funktsioonikutseid ja vLLM-i dokumenteeritud tööriistakasutuse konfiguratsioone.
- Õigus mudelit enda taristus majutada: Kontrollpunkti levitatakse Apache 2.0 litsentsi alusel, lähtudes litsentsi tingimustest.
- Mitu juurutusvõimalust: Mudel on dokumenteeritud Transformersile, vLLM-ile ja SGLangile.
Olulised piirangud
- Väga kõrged riistvaranõuded: Tihendamine ei muuda kontrollpunkti vähese mäluga juurutuseks sobivaks ning praktiliseks kasutamiseks eeldatakse mitme GPU paralleeltöötlust.
- Majutatud hinna puudumine: Cerebras avaldab kaalud, kuid kaasasolev uuring ei kinnita selle mudeli hallatavat Cerebrase API-lõpp-punkti ega märgipõhist hinda.
- Ainult tekstipõhine toimimine: Mudel ei ole loomupäraselt piltide, heli ega video genereerimise süsteem ning multimodaalse sisendi tuge ei tuvastatud.
- BF16 hindamistõendite puudulikkus: Avaldatud võrdlustulemused on seotud FP8 variandiga, samas kui BF16 tulemusi ei olnud läbi vaadatud dokumentatsioonis veel esitatud.
- Täpsustamata maksimaalne väljund: Läbi vaadatud allikates täpsustatakse kontekstiakent, kuid eraldi maksimaalset väljundmärkide arvu ei esitata.
- Operatiivne keerukus: Mudeli käitamiseks on vaja sobivat riistvara, paralleeltöötluse seadistust, järeldustarkvara ja tööriistakutsete hoolikat käsitlemist.
Millal seda mudelit valida
Vali Qwen3-Coder-REAP-246B-A35B siis, kui vajad enda hallatavas taristus kasutatavat avatud kaaludega koodimudelit ja sul on juurdepääs ulatuslikule mitme GPU-ga taristule. See sobib hästi hoidlate-üleseks koodianalüüsiks, automaatseteks koodimuudatusteks, tarkvaraarenduse agentidele, funktsioonikutsetel põhinevateks töövoogudeks ning tihendatud suurte MoE-mudelite uurimiseks.
Mudel on loogiline valik ka siis, kui andmed peavad jääma juurutava organisatsiooni kontrolli all olevasse taristusse või kui meeskond soovib järeldust kohandada, selle asemel et sõltuda majutatud lõpp-punktist. Pikk kontekst on kasulik ülesannete puhul, mis hõlmavad paljusid omavahel seotud faile, pikki ehituslogisid või mahukaid tehnilisi dokumente.
Teine lahendus võib olla sobivam siis, kui kiire interaktiivne vastus, väikesed taristukulud või kasutusvalmis API-juurdepääs on tähtsamad kui koodimudeli maksimaalne suurus. Väiksemat koodimudelit on tõenäoliselt lihtsam juurutada ning piiratud riistvaral võib see pakkuda paremat latentsust. Hallatav koodimise API võib olla eelistatav ka meeskondadele, kes ei soovi mitme GPU-ga järeldustaristut käitada. Pildi-, heli- või videoülesannete jaoks on vaja nendele modaalsustele mõeldud mudelit, sest see kontrollpunkt on ainult tekstipõhine.
Hind, litsents ja mudeli identiteet
Esitatud uuringu põhjal ei ole Qwen3-Coder-REAP-246B-A35B-l kontrollitud teenusepakkuja hallatavat sisend- ega väljundhinda. Selle kasutamise tegelik kulu tuleneb avatud kaalude majutamiseks vajalikust riistvarast ja taristust. Kontrollpunkti levitatakse Apache 2.0 litsentsi alusel.
Kasutajad peaksid eristama siin käsitletavat BF16 kontrollpunkti eraldi nimetatud Qwen3-Coder-REAP-246B-A35B-FP8 kontrollpunktist. FP8 variant on seotud viidatud hindamistulemustega ning allalaadimiste või järeldussüsteemide seadistamisel tuleks mõlemat varianti käsitleda eraldi mudeliidentifikaatoritena.