Mis on MiniMax-M2-REAP-172B-A10B?
MiniMax-M2-REAP-172B-A10B on Cerebrase avaldatud avatud kaaludega hõre ekspertide segu (MoE) tüüpi põhjuslik keelemudel. See on MiniMax-M2 tihendatud tuletis, mitte algne MiniMaxAI või MiniMax-M2 kontrollpunkt. Mudelit levitatakse Hugging Face’i kaudu muudetud MIT-litsentsi alusel ning see on mõeldud kasutajatele, kes soovivad kaalusid käitada ühilduva järeldustarkvara ja enda riistvara või kolmanda osapoole teenuse abil.
Nimi kirjeldab mudeli põhikonfiguratsiooni: mudelil on kokku ligikaudu 172 miljardit parameetrit ning iga märgi jaoks aktiveeritakse umbes 10 miljardit parameetrit. MoE-mudelis töötleb iga märki ainult osa saadaolevatest ekspertvõrkudest. See võib vähendada iga genereerimissammu jaoks vajalikku arvutust võrreldes sama parameetrite koguarvuga tiheda mudeliga, kuigi kogu kontrollpunkt nõuab endiselt märkimisväärselt mälu.
Cerebras esitleb seda kontrollpunkti ligikaudu 230 miljardi parameetriga MiniMax-M2 mudeli 25% võrra tihendatud versioonina. Eesmärk on vähendada mälule ja juurutamisele esitatavaid nõudeid, säilitades samal ajal võimekuse koodi genereerimisel, matemaatilisel arutlemisel, agentpõhisel kodeerimisel ja tööriistade kutsumisel.
Kuidas REAP mudelit tihendab?
REAP on lühend väljendist Router-weighted Expert Activation Pruning ehk ruuteri kaalutud ekspertide aktiveerimise kärpimine. MoE-mudelis määrab ruuter, millised eksperdid peaksid iga märki töötlema. REAP hindab nii ruuteri värava väärtusi kui ka ekspertide aktiveerumiste tugevust, et tuvastada eksperdid, keda kasutatakse harva või kes mõjutavad väljundit vähem.
Kärpimisprotsess eemaldab valitud eksperdid, ühendamata allesjäänud eksperte omavahel kombineeritud asenduseks. See erinevus on oluline, sest allesjäänud eksperdid säilitavad ruuteri üle individuaalse kontrolli. Praktikas säilitab mudel hõreda marsruutimise struktuuri, vähendades samal ajal salvestatavate ja hallatavate ekspertide arvu.
Avaldatud arhitektuuril on 62 kihti, 48 tähelepanupead ja 192 eksperti, millest iga märgi jaoks aktiveeritakse kaheksa. Mudeli esitatud teabes on konteksti pikkuseks märgitud 196 608 märki. See on kontrollpunkti kohta esitatud maksimaalne konteksti pikkus; eraldi maksimaalset väljundmärkide arvu ei ole täpsustatud.
Kodeerimise, arutlemise ja tööriistade kutsumise võimekus
MiniMax-M2-REAP-172B-A10B on tekstigeneratsiooni mudel, mis on mõeldud vestluslikeks ja struktureeritud probleemilahenduse ülesanneteks. Mudeli kaardil nimetatud võimekuste hulka kuuluvad koodi genereerimine, matemaatika ja arutlemine ning tööriistade kutsumine. Tööriistade kutsumine tähendab, et rakendus saab kasutada mudelit väliste funktsioonide jaoks vajalike toimingute valimiseks või sõnastamiseks, kuid mudel ise ei paku väliseid tööriistu, veebijuurdepääsu ega majutatud täitmiskeskkonda.
Cerebrase avaldatud võrdlus annab selle REAP-i variandi kohta järgmised hindamistulemused:
| Test | Avaldatud tulemus |
|---|---|
| HumanEval | 93.9 |
| HumanEval+ | 86.6 |
| MBPP | 88.1 |
| MBPP+ | 74.9 |
| AIME25 | 83.3 |
| MATH-500 | 89.4 |
| τ²-bench | 57.6 |
| BFCLv3 | 61.5 |
Need on mudeli kaardil esitatud hindamistulemused, mitte sõltumatud jõudluse garantiid. Tulemused võivad varieeruda sõltuvalt viipadest, dekodeerimisseadetest, hindamisraamistikest ja testide versioonidest. Need näitavad valdkondi, millele Cerebras rõhku asetab, kuid neid ei tohiks käsitleda mudeli universaalse pingereana kõigi praeguste keelemudelite suhtes.
Tehnilised andmed lühidalt
| Tehniline näitaja | Avaldatud väärtus |
|---|---|
| Pakkuja või avaldaja | Cerebras |
| Mudelite perekond | MiniMax-M2 |
| Mudeli tüüp | Hõre MoE-põhjuslik keelemudel |
| Parameetreid kokku | Ligikaudu 172 miljardit |
| Aktiivseid parameetreid märgi kohta | Ligikaudu 10 miljardit |
| Algse mudeli suurus | Ligikaudu 230 miljardit parameetrit |
| Eksperdid | Kokku 192; märgi kohta aktiveeritakse 8 |
| Kihid ja tähelepääd | 62 kihti; 48 tähelepääd |
| Konteksti pikkus | 196 608 märki |
| Sisend ja väljund | Tekstisisend ja tekstiväljund |
| Litsents | Muudetud MIT |
Juurutamine, kättesaadavus ja hinnastamine
Kontrollpunkt on Cerebrase Hugging Face’i organisatsiooni kaudu avatud kaaludena saadaval. Mudeli kaart sisaldab juurutamisnäiteid Transformersile, vLLM-ile, SGLangile ja Dockeril põhinevatele töövoogudele. Ühilduv järeldusmootor võib vajada MiniMax-M2 arhitektuuri tuge ning mõne töövoo puhul võib olla vajalik usaldada kaugkoodi või kasutada piisavalt uut tarkvaraversiooni.
Selline levitusmudel annab kasutajatele kontrolli riistvara, teeninduskonfiguratsiooni ja andmekäitluse üle, kuid asetab ka käitamise eest vastutuse juurutajale. Kuigi iga märgi jaoks aktiveeritakse ainult umbes 10 miljardit parameetrit, nõuab ligikaudu 172 miljardi parameetriga kontrollpunkt endiselt suurt mälumahtu ega ole tavapäraste vähese mäluga seadmete jaoks praktiline valik. Kasutatava läbilaskevõime saavutamiseks võib vaja minna hajusalt ühendatud riistvara.
Selle täpse kontrollpunkti sisend- või väljundmärgi ametlikku Cerebrase-poolset hinda ei ole määratud. Esitatud uuringus ei käsitleta seda Cerebrase hallatava arveldussüsteemiga majutatud API-mudelina. Seetõttu peaksid kasutajad eristama avatud kaaludega mudelit mis tahes sõltumatust kolmanda osapoole lõpp-punktist, mis võib hiljem pakkuda majutatud juurdepääsu. Tegelik kulu sõltub riistvarast, majutusest, kvantimise või optimeerimise valikutest ning kasutusastmest.
Modaalsused ja funktsioonid, mille kohta puudub kinnitus
MiniMax-M2-REAP-172B-A10B on ainult tekstipõhine. See võtab vastu teksti ja genereerib teksti; algupäraselt ei genereeri see pilte, heli ega videot. Esitatud uuring ei kinnita algupärast pildi-, heli-, video-, muusika-, manustamis- ega kõneväljundit.
Tööriistade kutsumine on märgitud säilitatud mudelivõimekusena, kuid mitme seda ümbritseva platvormifunktsiooni kohta puudub selle kontrollpunkti puhul kinnitus. Mudeli teave ei kinnita pakkuja hallatavat veebotsingu tööriista, majutatud struktureeritud väljundi režiimi, peenhäälestusteenust, pakktöötluse API-t ega mudelipõhist viipade vahemällu salvestamise teenust. Järeldusraamistik võib mõne neist funktsioonidest lisada, kuid selliseid täiendusi ei tohiks segi ajada mudeli kaalude olemuslike võimekustega.
Tugevused ja kompromissid
Peamine praktiline tugevus on katse säilitada suure MoE-mudeli võimekus, eemaldades samal ajal veerandi selle ekspertidest. Võrreldes täieliku MiniMax-M2 kontrollpunktiga peaks REAP-i versioon vajama vähem salvestusruumi ja olema lihtsamini juurutatav, pakkudes samal ajal väga pikka kontekstiakent ja suurt aktiivsete parameetrite arvu.
Ka mudeli fookus on üsna selge. Avaldatud hindamistulemused ja funktsioonikirjeldus muudavad selle kõige asjakohasemaks koodi genereerimisel, matemaatilisel arutlemisel, agentpõhistes töövoogudes ning funktsioonide või tööriistade valimisel. Avatud kaaludega formaat võib olla kasulik organisatsioonidele, kes peavad hoidma järeldusteenuse enda kontrolli all, selle asemel et saata viipasid pakkuja hallatavasse API-sse.
Kompromiss seisneb selles, et tihendamine ei muuda mudelit väikeseks. 172 miljardi parameetriga kontrollpunkti salvestamine ja teenindamine nõuab endiselt palju ressursse ning hõre aktiveerimine ei kaota vajadust võtta juurutamisel arvesse kogu mudelit. Tavapäraste päringute puhul võib majutatud väiksem mudel või väiksema parameetrite arvuga kohalik mudel pakkuda paremat kiirust, lihtsust ja hinda.
Mudel ei ole ka üldotstarbeline multimodaalne süsteem. Pilte, heli või videot hõlmavad rakendused vajavad teistsugust mudelit või välist multimodaalset töövoogu. Samuti peaksid kasutajad, kes vajavad garanteeritud pakkuja hallatavaid JSON-skeeme, veebotsingut, peenhäälestust või hallatavat pakktöötlust, valima teenuse, mis neid funktsioone sõnaselgelt pakub.
Millal valida MiniMax-M2-REAP-172B-A10B?
Vali see mudel siis, kui vajad enda hallatavas või teadusuuringute keskkonnas kasutatavat avatud kaaludega keelemudelit ning sul on riistvara, mis suudab töödelda väga suurt hõredat MoE-kontrollpunkti. See sobib eriti hästi järgmisteks kasutusjuhtudeks:
- koodi genereerimine, koodi lõpetamine ja tarkvaraarenduse eksperimendid;
- matemaatiline arutlemine ja muud tekstipõhised analüütilised ülesanded;
- agentpõhised töövood, milles mudel valib või koostab väliste tööriistade kutseid;
- pika kontekstiga tekstitöötlus esitatud 196 608 märgi piirangu ulatuses;
- ekspertide kärpimise, MoE tihendamise ja juurutamise kompromisside uurimine;
- organisatsioonid, kes eelistavad järeldusteenust ise käitada, mitte tugineda ametlikule märgipõhisele API-le.
Teine valik võib olla sobivam siis, kui kiire, odav ja vähest hooldust nõudev järeldusteenus on avatud kaaludega juhtimisest olulisem. Väiksemat mudelit võib olla lihtsam käitada ning piiratud riistvara korral võib see pakkuda paremat vastamiskiirust. Hallatav API võib olla eelistatavam, kui vaja on arveldamist, automaatset skaleerimist, struktureeritud väljundeid, veebijuurdepääsu või muid platvormiteenuseid. Rakenduste puhul, mis peavad mõistma või genereerima muud meediat peale teksti, on parem valik multimodaalne mudel.
Kokkuvõte
MiniMax-M2-REAP-172B-A10B on Cerebrase avaldatud MiniMax-M2 tihendatud versioon, mille kaalud on avatud. Selle peamine eripära on REAP-i ekspertide kärpimine: mudel vähendab algse ligikaudu 230 miljardi parameetriga arhitektuuri umbes 172 miljardi parameetrini, säilitades samal ajal ligikaudu 10 miljardit aktiivset parameetrit märgi kohta. Mudel pakub 196 608 märgi pikkust kontekstiakent ning on suunatud kodeerimise, arutlemise ja tööriistade kutsumise ülesannetele.
Mudeli tugevaim kasutusjuht on enda hallatav juurutus või tehniline uurimistöö, kus suur avatud mudel ja kontroll teeninduskeskkonna üle õigustavad riistvaranõudeid. See ei ole väike kohalik mudel, multimodaalne süsteem ega Cerebrase majutatud API avaldatud märgipõhise hinnastamisega. Need erinevused peaksid suunama valikut selle kontrollpunkti, väiksema mudeli või hallatava teenuse vahel.