Mis on MiniMax-M2.5-REAP-139B-A10B?
MiniMax-M2.5-REAP-139B-A10B on Cerebrase avaldatud avatud mudeli kontrollpunkt. See on mudeli MiniMaxAI/MiniMax-M2.5 tihendatud tuletis, mis on loodud selleks, et muuta suur segu ekspertidest mudel praktilisemaks juurutada, säilitades samal ajal mudeli üldise tekstiloome-, arutlus-, kodeerimis- ja tööriistakutsumise võimekuse.
Mudel ei ole eraldi majutatav vestlustoode ega tavapärane märgipõhine API-mudel. Käitajad laadivad kontrollpunkti alla ja käitavad seda oma taristus, kasutades toetatud järeldustarkvara. Seetõttu sobib see eelkõige meeskondadele, kes vajavad kontrolli juurutamise, andmekäitluse ja teeninduse seadistuse üle, ning vähem kasutajatele, kes otsivad lihtsat hallatud lõpp-punkti.
Kuidas REAP-i tihendamine töötab
Mudel kasutab hõredat segu ekspertidest ehk MoE-arhitektuuri. Selle asemel et kasutada iga märgi puhul kõiki närvivõrgu eksperte, valib ruuter iga märgi jaoks väikese alamhulga eksperte. See võimaldab mudelil sisaldada kokku suurt hulka parameetreid, aktiveerides ühe järeldusetapi jooksul siiski vähem parameetreid.
Cerebrase andmetel eemaldab REAP (Router-weighted Expert Activation Pruning ehk ruuteri kaalutud ekspertide aktiveerimise kärpimine) mudelist MiniMax-M2.5 40% ekspertidest. Kärpimisprotsess kasutab eemaldatavate ekspertide tuvastamiseks ruuteri väravate väärtusi ja ekspertide aktiveerimisnorme. Erinevalt ekspertide ühendamisest ei kombineerita allesjäänud eksperte segatud asenduseks, vaid ruuter jätkab nende vahel iseseisvat valimist.
Saadud kontrollpunktil on kokku 139 miljardit parameetrit ja see aktiveerib ühe märgi kohta ligikaudu 10 miljardit parameetrit. Mudelikaardi kohaselt on mudelil 62 kihti, 154 allesjäänud eksperti ja ühe märgi kohta aktiveeritakse kaheksa eksperti. Avaldatud kontrollpunkti maht on ligikaudu 140 GB, seega ei muuda vähendamine mudelit väikeseks: see on endiselt mahukas isehostitav juurutus.
Kontrollitud spetsifikatsioonid ja võimekused
| Spetsifikatsioon | Üksikasjad |
|---|---|
| Pakkuja | Cerebras |
| Baasmudel | MiniMaxAI/MiniMax-M2.5 |
| Mudeli tüüp | Hõre segu ekspertidest koosnev põhjuslik keelemudel |
| Parameetreid kokku | 139 miljardit |
| Aktiivsed parameetrid | Ligikaudu 10 miljardit märgi kohta |
| Konteksti pikkus | 196 608 märki |
| Allesjäänud eksperdid | 154 |
| Märgi kohta aktiveeritavad eksperdid | Kaheksa |
| Tihendusmeetod | 40% ekspertide kärpimine REAP-iga |
| Litsents | Muudetud MIT |
| Peamine kasutusviis | Isehostitav kontrollpunkt |
Dokumenteeritud kontekstiaken on 196 608 märki, mis on kaasasolevas mudelidokumentatsioonis määratletud maksimaalne sisendkontekst. Eraldi maksimaalset väljundmärkide limiiti selle konkreetse kontrollpunkti kohta avaldatud ei ole, seega sõltuvad genereerimispiirangud teenindusraamistikust, saadaolevast mälust ja käitaja seadistatud konteksti mahust.
Arutlus, kodeerimine ja tööriistade kasutamine
Cerebrase mudelidokumentatsioon kirjeldab kontrollpunkti kasutusvaldkondadena vestluslikku tekstiloomet, matemaatikat ja arutlust, koodi genereerimist, agentset kodeerimist ning funktsioonide või tööriistade kutsumist. Need on pakkuja dokumenteeritud kasutusjuhud, mitte sõltumatute võrdlustestide tulemused. Seetõttu võib mudelit kaaluda näiteks koodi loomise, tehniliste probleemide lahendamise ning agentse töövoo käigus tööriistade valimise või käivitamise jaoks, kui teeninduskiht on tööriistakutsete jaoks seadistatud.
Tööriistade tugi on eriti oluline, sest dokumenteeritud vLLM-i seadistus kasutab MiniMax M2 tööriistakutsete parserit ja arutlusparserit, lubab automaatse tööriistavaliku ning soovitab ekspertide paralleeltöötlust. See näitab, et tööriistakutsed kuuluvad kavandatud juurutusviisi juurde, kuid ei tähenda, et kontrollpunkt ise pakuks väliseid tööriistu, veebijuurdepääsu või majutatud agentset käituskeskkonda. Rakendused peavad endiselt määratlema saadaolevad tööriistad ja nende kutsed täitma.
Selle täpse REAP-i kontrollpunkti kohta ametlikke võrdlustestide tulemusi ei esitatud. Mudelikaart märgib samuti, et ametlikud hindamised on veel ootel. Seetõttu tuleks selle arutlus- või kodeerimiskvaliteedi hinnanguid käsitleda esialgsetena, mitte kontrollitud võrdlustabeli edetabelina.
Sisendi ja väljundi modaalsused
MiniMax-M2.5-REAP-139B-A10B on dokumenteeritud teksti sisendil ja teksti väljundil põhineva mudelina. See võtab vastu tekstipäringuid ja väljastab teksti, sealhulgas tavalisi vastuseid, koodi, teenindusseadistuse korral lubatud arutluskäike ning tööriistakutsete sõnumeid.
Esitatud uurimismaterjalides ei ole ametlikke tõendeid selle kohta, et kontrollpunkt võtaks vastu pilte, heli või videot. Samuti ei ole seda dokumenteeritud pildi-, heli-, video-, muusika-, kõne- ega manustusmudelina. Sisseehitatud veebiotsingut ei pakuta. Neid funktsioone vajavad kasutajad peavad ühendama eraldi süsteemid või valima vastava modaalsuse jaoks loodud mudeli.
Juurutusvõimalused ja tööks vajalikud tingimused
Cerebras dokumenteerib juurutamist Transformersi, vLLM-i, SGLangi ja Docker Model Runneri kaudu. Kontrollpunkt kasutab kohandatud mudelikoodi, mistõttu peaksid käitajad hoidla üle vaatama ja mõistma kaugkoodi lubamise tagajärgi enne selle laadimist tootmis- või muusse tundlikku keskkonda.
Selle ligikaudu 140 GB suurus on kõige olulisem praktiline piirang. Juurutus võib vajada mitut GPU-d, ekspertide või tensorite paralleeltöötlust ning hoolikalt seadistatud samaaegsust. Cerebras soovitab vLLM-i puhul konkreetselt ekspertide paralleeltöötlust. Kui mälu on vähe, võib olla vajalik samaaegsust vähendada. Täpset riistvaranõuet esitatud dokumentatsioonis ei määratleta ning see sõltub täpsusest, raamistiku käitumisest, paralleeltöötlusest ja töökoormusest.
Hõre arhitektuur vähendab ühe märgi kohta aktiivsete parameetrite arvu, kuid seda ei tohiks segi ajada väikese kogumälutarbimisega. Kogu kontrollpunkt tuleb endiselt salvestada ja järeldussüsteemile kättesaadavaks teha. Teisisõnu parandab REAP juurutusprofiili võrreldes kärpimata baasmudeliga, kuid ei muuda seda kergeks mudeliks, mida saaks käitada ühes tagasihoidlikus GPU-s.
Hind ja kättesaadavus
Mudel on saadaval avatud kontrollpunktina, mitte Cerebrase majutatava märgipõhise API-tootena. MiniMax-M2.5-REAP-139B-A10B ametlikku majutatud järelduse hinda ei tuvastatud. Esitatud mudeliteabe kohaselt levitatakse tarkvaralist kontrollpunkti muudetud MIT-litsentsi alusel, kuid selle käitamisega kaasnevad endiselt taristukulud.
Nende kulude hulka võivad kuuluda GPU rent või omamine, ligikaudu 140 GB suuruse kontrollpunkti salvestamine, andmeedastus, orkestreerimine, seire ja inseneritöö. Väiksem aktiivsete parameetrite arv võib aidata järelduse tõhusust parandada, kuid päringu tegelikku maksumust ei saa esitatud uurimismaterjalide põhjal kindlaks teha. Kasutajad peaksid mõõtma läbilaskevõimet ja mälukasutust kavandatud riistvaral, mitte käsitlema mudeli ligikaudu 10 miljardit aktiivset parameetrit täieliku kuluhinnanguna.
Peamised tugevused ja piirangud
Milles mudel on kõige tugevam
- Väiksem mudel võrreldes baasiga: REAP eemaldab 40% ekspertidest ilma allesjäänud eksperte ühendamata, luues MiniMax-M2.5 kompaktsema tuletise.
- Suur kontekst: Dokumenteeritud 196 608 märgi suurune kontekstiaken toetab pikki tehnilisi päringuid, koodibaase ja ulatuslikke agentseid vestlusi, sõltuvalt saadaolevast mälust ja teenindusseadistusest.
- Lai tekstipõhiste töökoormuste tugi: Dokumenteeritud kasutusjuhud hõlmavad arutlust, matemaatikat, kodeerimist, vestlust ja tööriistakutseid.
- Kontroll juurutamise üle: Isehostimine võib olla kasulik organisatsioonidele, kes peavad kolmanda osapoole majutatud API-le päringute saatmise asemel haldama oma taristut ja andmevoogu.
Olulised piirangud
- Suur taristujalajälg: Ligikaudu 140 GB suuruse kontrollpunkti salvestamine ja teenindamine on endiselt nõudlik.
- Valmislahendusena pakutava API hinnastuse puudumine: Selle täpse mudeli puhul ei ole kinnitatud majutatud lõpp-punkti ega ametlikku märgipõhist hinda.
- Kontrollimata hindamisolek: Ametlikud hindamised on teadaolevalt ootel, mistõttu ei määratle esitatud uurimismaterjalid võrdlustesti tulemust ega edetabelikohta.
- Ainult tekst: Kontrollpunkt ei paku dokumenteeritud loomupärast pildi-, heli-, video-, kõne-, muusika-, manustus- ega veebiotsingu väljundit.
- Dokumenteerimata genereerimispiir: Maksimaalset väljundmärkide limiiti ei tuvastatud.
- Juurutamise keerukus: Kohandatud mudelikood, paralleeltöötlus, mälukasutuse kavandamine ja raamistiku ühilduvus nõuavad tehnilist ettevalmistust.
Millal valida MiniMax-M2.5-REAP-139B-A10B
Vali see kontrollpunkt, kui vajad isehostitavat tekstimudelit kodeerimiseks, arutluseks, pika kontekstiga tööks või tööriistu kasutavate agentide jaoks ning algse MiniMax-M2.5 juurutamine oleks liiga nõudlik. Selle peamine praktiline eripära on suure MoE-mudeli, REAP-il põhineva ekspertide vähendamise ja väga pika dokumenteeritud kontekstiakna kombinatsioon.
See võib sobida meeskondadele, kes suudavad hallata mitme GPU-ga taristut ja soovivad MiniMax-M2.5 mudeliperekonnaga katsetada, vähendades samal ajal mudeli ekspertide arvu. Samuti on see asjakohane siis, kui andmed peavad jääma käitaja kontrolli all olevasse taristusse või kui teenindusmeeskond soovib samaaegsust, paralleeltöötlust ja tööriistade integreerimist otse häälestada.
Teine võimalus võib olla sobivam, kui lihtsus, väike latentsus või prognoositav päringupõhine hind on mudeli suurusest olulisemad. Väiksemat tihedat või hõredat mudelit on piiratud riistvaral üldjuhul lihtsam käitada, samas kui hallatud API-mudel väldib ligikaudu 140 GB suuruse kontrollpunkti allalaadimise, teenindamise, uuendamise ja seirega seotud tööd. Pildi-, heli- või videotöötluseks on eelistatav ka multimodaalne mudel, sest selle kontrollpunkti puhul ei ole neid võimekusi dokumenteeritud.
Kokkuvõte
MiniMax-M2.5-REAP-139B-A10B on Cerebrase avaldatud isehostitav mudeli MiniMax-M2.5 tuletis, milles kasutatakse REAP-i 40% ekspertide kärpimiseks. Sellel on kokku 139 miljardit parameetrit, see aktiveerib ühe märgi kohta ligikaudu 10 miljardit parameetrit, toetab 196 608 märgi pikkust konteksti ning on suunatud teksti arutlusele, kodeerimisele, vestlustele ja tööriistakutsetele. Mudeli peamised eelised on juurutamise üle saadav kontroll ja baasist väiksem ekspertide hulk; puudusteks on endiselt suured riistvaranõuded, juurutamise keerukus ning majutatud hinna ja selle täpse kontrollpunkti lõpetatud ametliku hindamise puudumine.