Mis on Kimi-Linear-REAP-35B-A3B-Instruct
Kimi-Linear-REAP-35B-A3B-Instruct on Cerebrase avaldatud avatud kaaludega juhiste järgi häälestatud põhjuslik keelemudel. See on loodud teksti, sealhulgas koodi, matemaatiliste lahenduste, arutluskäikude, pika kontekstiga vastuste ja funktsioonikutsete päringute genereerimiseks ning mõistmiseks. Mudel avaldati MIT-litsentsiga kontrollpunktina ning see on mõeldud allalaadimiseks ja käitamiseks ühilduva järeldustarkvara kaudu, mitte eraldi hinnastatud Cerebrase hostitud mudelina.
Mudel kuulub Kimi Linear mudeliperekonda, kuid ei ole Moonshot AI algne kontrollpunkt. Cerebras lõi selle mudelist Kimi-Linear-48B-A3B-Instruct, kasutades REAP-i (Router-weighted Expert Activation Pruning ehk ruuteri kaalutud ekspertide aktiveerimise kärpimine). Avaldatud väljalaskekuupäev on 6. november 2025. Cerebrase praeguses mudelikataloogis on seda kõige parem käsitleda tõhususele suunatud tuletisena: see säilitab suurema alusmudeli üldotstarbelisuse, vähendades samal ajal salvestamist vajavate ekspertide ja parameetrite koguarvu.
Nimi kirjeldab peamisi arhitektuuri- ja tihendusvalikuid. „35B” viitab ligikaudu 35 miljardile parameetrile kokku, „A3B” aga ligikaudu 3 miljardile aktiveeritud parameetrile märgi kohta. „Instruct” tähistab juhiste järgi häälestatud versiooni, mis on mõeldud kasutajate päringute järgimiseks, mitte töötlemata alusmudelina kasutamiseks.
Kuidas REAP mudelit tihendab
Hõre ekspertide segu ehk MoE-mudel sisaldab mitut spetsialiseerunud alamvõrku, mida nimetatakse ekspertideks. Ruuter uurib iga märki ja valib töötlemiseks neist ekspertidest alamrühma. Nii võib mudelil olla suur parameetrite koguarv, ilma et iga märgi puhul kasutataks kõiki parameetreid.
Cerebras rakendas Kimi Linear mudelile ekspertide kärpimise määra 30%. Saadud kontrollpunktil on pärast kärpimist 180 eksperti ning iga märgi puhul aktiveeritakse 8 eksperti. REAP kasutab ruuteri väravate väärtusi ja ekspertide aktiveerimisnorme, et tuvastada eemaldatavad eksperdid. Oluline on see, et allesjäänud ekspertide puhul säilitab meetod ruuteri sisendist sõltuva valikukäitumise. See erineb ekspertide ühendamise meetoditest, mille puhul ekspertide kaalud kombineeritakse ja marsruutimise toimimine võib muutuda.
Esitatud mudeliuuringu kohaselt on kärpimine ühekordne tihendusprotsess ega vaja pärast kärpimist täiendavat peenhäälestust. Praktiline tulemus on 48B mudelist tuletatud 35 miljardi koguparameetriga mudel, milles iga märgi puhul on aktiivsed ligikaudu 3 miljardit parameetrit. See võib võrreldes tihendamata kontrollpunktiga vähendada mälu- ja juurutusnõudeid, kuigi mudel on absoluutarvudes endiselt suur ega ole kergekaaluline.
Kontrollitud tehnilised andmed
| Spetsifikatsioon | Üksikasjad |
|---|---|
| Mudel | Kimi-Linear-REAP-35B-A3B-Instruct |
| Pakkuja ja avaldaja | Cerebras |
| Aluseks olev kontrollpunkt | Moonshot AI Kimi-Linear-48B-A3B-Instruct |
| Arhitektuur | Hõre ekspertide segul põhinev põhjuslik keelemudel |
| Parameetreid kokku | 35 miljardit |
| Aktiveeritud parameetrid | Ligikaudu 3 miljardit märgi kohta |
| Eksperdid | 180 pärast kärpimist |
| Aktiveeritud eksperdid | 8 märgi kohta |
| Kihid | 27 |
| Tähelepanupead | 32 |
| Konteksti pikkus | 1 048 576 märki |
| Litsents | MIT |
| Peamine väljund | Tekst |
| Hostitud API hind | Selle kontrollpunkti kohta pole täpsustatud |
Miljoni märgi pikkune kontekstilimiit on mudelikaardil dokumenteeritud spetsifikatsioon, mitte garantii, et iga juurutus suudab töödelda tervet miljonimärgilist päringut praktilise kiirusega või olemasoleva mälu piires. Käitusaja piirangud võivad sõltuda ka teenindusraamistikust, riistvarakonfiguratsioonist, konteksti eraldamisest ja kvantimise valikutest.
Kodeerimine, arutlus ja muud võimekused
Kimi-Linear-REAP-35B-A3B-Instruct on mõeldud üldiseks juhiste järgimiseks ning sobib eriti kodeerimiseks, agendipõhiseks kodeerimiseks, matemaatikaks, funktsioonikutseteks, üldiseks arutluseks ja pika kontekstiga küsimustele vastamiseks. Seda saab kasutada näiteks spetsifikatsiooni põhjal koodi genereerimiseks, tundmatu koodibaasi selgitamiseks, matemaatikaülesannete lahendamiseks, pikkadest dokumentidest teabe eraldamiseks või välistele tööriistadele struktureeritud päringute koostamiseks.
Esitatud mudeliteabe kohaselt toetab mudel funktsioonikutseid. See võimaldab rakendusel esitada tööriistade definitsioonid ja paluda mudelil genereerida kutsed, mida orkestreerimiskiht saab täita. Mudel ise ei käivita väliseid tööriistu, ei sirvi veebi ega paku eraldi veebiotsingu teenust. Arendajad peavad endiselt genereeritud argumente valideerima, tööriistu turvaliselt käivitama ja tulemused mudelile tagastama.
Mudelikaart kajastab mitme hinnatud ülesande puhul tulemusi, mis on tihendamata Kimi-Linear-48B-A3B-Instructi tulemustele lähedased, kuigi täpne tulemus sõltub võrdlustestist. Esitatud tulemused on HumanEvalil 87,2, MBPP-l 83,6, LiveCodeBenchil 30,2, kasutades märgitud hindamisvahemikku, AIME25-l 40,0, MATH-500-l 80,8 ja LongBench v2-l 37,2. FRAMES-i tulemus oli 52,3; mudelikaart märgib, et see võrdlustest sõltub rohkem sisemistest faktiteadmistest ja näitas pärast kärpimist suuremat kvaliteedilangust.
Need võrdlustesti tulemused on pakkuja esitatud hindamistulemused, mitte universaalne jõudlusgarantii. Tegelikud tulemused sõltuvad viipade koostamisest, valimi seadetest, konteksti suurusest, riistvarast, hindamismetoodikast ja teenindusplatvormi konkreetsest versioonist. Tõendid toetavad tihendatud juurutuse ja laia keelemudeli võimekuse kasulikku tasakaalu, kuid ei tõesta, et mudel ületab kõik väiksemad või suuremad alternatiivid.
Konteksti- ja väljundipiirangud
Mudelil on dokumenteeritud konteksti pikkus 1 048 576 märki, mistõttu sobib see ebatavaliselt pikkade lähtefailide, suurte dokumendikogumite, pikkade vestluste ja kaua kestvate analüüsitöövoogude jaoks. Kontekstiaken hõlmab nii sisendviipa kui ka genereeritud jätku, seega jätab täispikk viip väljundi jaoks vähem ruumi.
Esitatud uuringus ei ole selle täpse kontrollpunkti kohta esitatud autoriteetset genereeritavate märkide maksimumi. Seetõttu tuleks ühe miljoni märgi suurust näitajat käsitleda kogu konteksti mahuna, mitte lubadusena ühe miljoni sisendmärgi ja piiramatu väljundi kohta. Tegeliku väljundipiiri määravad mudeli teostus, teenindusraamistik, mälukonfiguratsioon ja päringuparameetrid.
Pikk kontekst toob kaasa ka operatiivse kulu. Isegi hõreda aktiveerimise korral võivad tähelepanuseisundi mälu ja mudeli kaalude salvestamine viiba kasvades märkimisväärseks muutuda. Juurutus, mis toetab reklaamitud konteksti pikkust, võib siiski vajada hajutatud järeldust, hoolikat pakktöötlust, kvantimist või konservatiivseid samaaegsusseadeid.
Juurutus ja teenindamine
Kontrollpunkti saab laadida Transformersiga, kasutades selle kohandatud mudeliteostust. Mudeli dokumentatsioon loetleb juurutusvõimalustena ka ühilduvad vLLM-i väljalasked, SGLangi, Docker Model Runneri ja kvantiseeritud mudelite töövood. Cerebras dokumenteerib vLLM-i teenindamise tensorparalleelsuse, automaatse tööriistavaliku ja Kimi K2 tööriistakutsete parseriga.
Kuna Kimi Linear tugi võib sõltuda teenindusraamistiku versioonist, peaksid käitajad enne tootmissüsteemi loomist ühilduvust kontrollima. Mudelikaardil mainitud kohandatud mudelikood tähendab ka seda, et Transformersi juurutus võib nõuda usaldusväärse kaugkoodi lubamist. Seda seadistust tuleks käsitleda tarkvara tarneahela otsusena ja kasutada ainult siis, kui kontrollpunkti ning keskkonda usaldatakse.
Hõre arhitektuur vähendab aktiivset arvutust võrreldes sarnase parameetrite koguarvuga tiheda mudeliga, kuid ei kaota vajadust salvestada mudeli kõiki kaalusid. Seega pakub 35B kontrollpunkt 48B lähtemudelist väiksema mälunõudega lahendust, mitte väikese kohaliku mudeli riistvaraprofiili. Märkimisväärne mälumaht ja nõudlike töökoormuste korral ka paralleelne riistvara võivad endiselt vajalikud olla.
Hind ja kättesaadavus
Kimi-Linear-REAP-35B-A3B-Instruct on saadaval avatud kaaludega mudelina MIT-litsentsi alusel. Esitatud mudeli dokumentatsioonis ei ole selle täpse kontrollpunkti kohta loetletud ametlikku Cerebrase hostitud järelduse hinda, sisendmärgi hinda, väljundmärgi hinda, tellimuspaketti ega genereeritavate märkide maksimumi.
Selline hinnastus eristab mudelit hostitud API-mudelist. Selle kohalik või renditud taristul käitamine väldib kontrollpunkti enda pakkuja märgipõhist tasu, kuid käitaja peab tasuma riistvara, salvestusruumi, elektri või pilvekäitusaja, arenduse, seire ja hoolduse eest. Väiksem parameetrite arv ja hõre aktiveerimismuster võivad võrreldes algse 48B mudeliga parandada juurutuse majanduslikku tõhusust, kuid tegelik kulu sõltub riistvarast ja töökoormuse kasutusest.
Peamised tugevused ja piirangud
Tugevused
- Algmudelist väiksem maht: 30% ekspertide kärpimise tulemusel saadakse 48B Kimi Linear mudelist 35 miljardi koguparameetriga kontrollpunkt.
- Väike aktiivsete parameetrite arv: iga märgi puhul aktiveeritakse ligikaudu 3 miljardit parameetrit ning valitakse 180 eksperdist 8.
- Väga pikk kontekst: dokumenteeritud 1 048 576 märgi pikkune kontekst toetab suuri dokumente ning pikki koodi- või arutlus töövooge.
- Lai ülesannete valik: mudel on suunatud kodeerimisele, matemaatikale, arutlusele, funktsioonikutsetele ja üldisele teksti genereerimisele.
- Avatud juurutus: MIT-litsents ning loetletud Transformersi, vLLM-i, SGLangi, Docker Model Runneri ja kvantimise võimalused toetavad ise hostitud katsetamist.
Piirangud
- Endiselt riistvaramahukas: 35 miljardit koguparameetrit ja miljoni märgi pikkune kontekst võivad nõuda märkimisväärset mälumahtu ning hajutatud taristut.
- Ametlik hostitud hind puudub: kasutajad peavad kontrollpunkti ise käitama või taristu korraldama; selle mudeli kohta ei ole esitatud Cerebrase märgipõhist hinda.
- Kvaliteet võib pärast kärpimist langeda: esitatud tulemused on üldiselt tihendamata mudeli tulemustele lähedased, kuid mõne ülesande puhul jõudlus halveneb; FRAMES-i puhul teatati suuremast langusest.
- Ainult tekst: mudel ei võta algupäraselt vastu pilte, heli ega videot ning ei genereeri pilte, heli ega videot.
- Juurutuse ühilduvus on oluline: vajalikuks võivad osutuda kohandatud mudelite tugi ja Kimi Lineariga arvestavad teenindusraamistiku versioonid.
- Väljundi maksimum on teadmata: esitatud dokumentatsioonis ei ole eraldi maksimaalset genereerimispikkust täpsustatud.
Millal seda mudelit valida
Vali Kimi-Linear-REAP-35B-A3B-Instruct, kui soovid ise hostitavat avatud kaaludega mudelit ning vajad kodeerimise, arutluse, tööriistakasutuse ja väga pika konteksti kombinatsiooni. See on eriti asjakohane juhul, kui algne 48B Kimi Linear kontrollpunkt on liiga kallis või mälumahukas, kuid väiksem mudel tooks kaasa vastuvõetamatu võimekuse või konteksti kompromissi.
See on mõistlik uurimisobjekt ka MoE-tihenduse, pika kontekstiga rakenduste, kohalike kodeerimisabiliste, dokumendianalüüsi ja funktsioonikutsete genereerimist vajavate agenditöövoogude katsetamiseks. MIT-litsents võib olla kasulik juurutustes, kus vajatakse avatud mudelit, mitte suletud hostitud lõpp-punkti, arvestades siiski käitaja enda vastavus- ja turbeülevaatust.
Kui esmatähtsad on lihtsus, väike latentsus või minimaalne riistvarakulu, võib sobivam olla mõni teine valik. Väiksemat tihedat mudelit võib olla lihtsam juurutada ja käitada, isegi kui selle kontekstiaken on lühem või võimekus väiksem. Algne Kimi-Linear-48B-A3B-Instruct võib olla eelistatavam siis, kui kärpimata mudeli kvaliteedi säilitamine on juurutusnõuete vähendamisest olulisem. Hallatud API võib sobida paremini ka meeskondadele, kes ei soovi järeldustaristut ise hooldada, kuigi selle täpse kontrollpunkti kohta ei ole ametlikku hostitud Cerebrase hinda esitatud.
Kokkuvõte
Kimi-Linear-REAP-35B-A3B-Instruct on tihendatud, avatud kaaludega hõre MoE-mudel, mis paikneb suurema Kimi Linear kontrollpunkti ja väiksemate juurutuste vahelises praktilises keskpunktis. Selle põhijooned on REAP-il põhinev 30% ekspertide kärpimine, ligikaudu 3 miljardit aktiivset parameetrit märgi kohta, ebatavaliselt suur 1 048 576 märgi pikkune kontekst ning tugi kodeerimisele, arutlusele, matemaatikale ja funktsioonikutsetele. Kompromiss seisneb selles, et mudel on endiselt operatiivselt nõudlik, dokumenteeritud hostitud märgihind puudub ning pärast kärpimist võib mõne ülesande puhul jõudlus väheneda. Meeskondadele, kes on valmis oma taristut käitama, pakub see tehniliselt võimekat pika kontekstiga mudelit, mille nõuded on väiksemad kui selle 48B lähtemudelil.