Mis on MiniMax-M2-REAP-162B-A10B?
MiniMax-M2-REAP-162B-A10B on Cerebrase avaldatud ja Hugging Face'i kaudu levitatav avatud kaaludega põhjuslik keelemudel. See põhineb mudelil MiniMax-M2, kuid ei ole algne kontrollpunkt: Cerebras on rakendanud tihendustehnikat nimega Router-weighted Expert Activation Pruning ehk REAP.
Mudel kasutab hõredat ekspertide segu (MoE) arhitektuuri. Selle asemel et rakendada iga märgi puhul kõiki närvivõrgu eksperte, valib ruuter iga märgi jaoks väikese hulga kõige asjakohasemaid eksperte. Nii saab mudel säilitada suure parameetrite koguarvu, aktiveerides järeldamise igas etapis vähem parameetreid.
Selles kontrollpunktis eemaldab kärpimisprotsess 30% algse mudeli ekspertidest. Tulemuseks on mudel, milles on kokku 162 miljardit parameetrit ja mis aktiveerib iga märgi kohta ligikaudu 10 miljardit parameetrit. Eesmärk on vähendada mälu- ja juurutusnõudeid võrreldes ligikaudu 230 miljardi parameetriga MiniMax-M2 baasmudeliga, säilitades samal ajal suure osa selle ülesandetäitmise võimest.
Milline on selle koht Cerebrase tootevalikus?
MiniMax-M2-REAP-162B-A10B on Cerebrase Hugging Face'i kataloogis esitatud avatud kaaludega REAP-i kontrollpunktina. Seda tuleks käsitleda allalaaditava mudeliartefaktina kohalikuks või kolmanda osapoole juurutuseks, mitte tavapärase Cerebrase majutatud järeldusplaanina.
Kontrollpunkt on saadaval selle Hugging Face'i mudelilehel. Hugging Face'i praeguse info kohaselt ei paku seal mudelile juurutust ükski järeldusteenuse pakkuja. Seega peavad kasutajad tõenäoliselt hankima oma riistvara, seadistama ühilduva järeldusplatvormi või korraldama majutuse eraldi teenuse kaudu.
See eristus on oluline nii hinnastamise kui ka halduse seisukohast. Selle konkreetse kontrollpunkti sisend- ega väljundmärgi kohta ei ole kinnitatud Cerebrase hinda. Kasutamise maksumus sõltub juurutaja valitud riistvarast, majutusteenuse pakkujast, kvantimisest, kasutusastmest ja teenindusraamistikust.
Arhitektuur, kontekstiaken ja tihendamine
Avaldatud mudeliinfo kirjeldab 62 kihiga hõredat MoE-arhitektuuri, milles on 48 tähelepanupääsu, 180 allesjäänud eksperti ja iga märgi kohta aktiveeritakse kaheksa eksperti. Määratud konteksti pikkus on 196 608 märki, mis võimaldab töödelda väga pikki viipasid, kui valitud järeldusplatvorm ja saadaolev mälu seda toetavad.
Pikka kontekstipiiri ei tohiks segi ajada väikese kuluga kontekstipiiriga. Väga suurte viipade töötlemine kulutab endiselt mälu ja arvutusressursse ning tegelik piir võib olla väiksem sõltuvalt täpsusest, pakktöötlusest, samaaegsetest päringutest ja riistvara konfiguratsioonist. Kaasasolevas dokumentatsioonis ei ole eraldi maksimaalset väljundmärkide arvu määratud, seega tuleb seda väärtust käsitleda teadmata suurusena, mitte eeldada, et see võrdub konteksti pikkusega.
REAP kasutab eemaldatavate ekspertide tuvastamiseks ruuteri väravakäitumist ja ekspertide aktiveerimisnorme. Cerebrase kirjelduse kohaselt on tegu ühekordse tihendamisega ning avaldatud dokumentatsiooni järgi ei vaja kontrollpunkt pärast kärpimist täiendavat peenhäälestust. Tihendamine vähendab ekspertide koguarvu, säilitades samal ajal ruuteri sisendist sõltuva valikukäitumise.
Kodeerimine, arutlemine ja agentide võimekus
Mudel on eelkõige mõeldud koodi genereerimiseks, matemaatiliseks arutlemiseks, agentseks kodeerimiseks ning tööriista- või funktsioonikutseteks. Need kasutusviisid saavad kasu mudelist, mis suudab luua teksti ja koodi, lahendada mitmeetapilisi ülesandeid ning väljastada väliste tööriistade kutseid, kui see on ühendatud sobiva orkestreerimissüsteemiga.
Mudelikaardil esitatud hindamistulemused hõlmavad järgmisi skoore: HumanEval 93,3, HumanEval+ 86,6, MBPP 86,5 ja MBPP+ 73,0. Matemaatilise arutlemise puhul on teatatud tulemusteks AIME25 73,3 ja MATH-500 89,4. Mudelikaardil on esitatud ka tulemus 59,1 hinnatud tau-ruudu konfiguratsioonis ning 59,9 BFCLv3-s, kui mõtlemisjäljed jäeti kõrvale.
Need on teenusepakkuja või mudelikaardi hindamistulemused dokumenteeritud testitingimustes, mitte tagatised iga rakenduse jaoks. Tulemused võivad muutuda sõltuvalt viipadest, valimi moodustamise seadetest, konteksti pikkusest, järeldamise täpsusest, kvantimisest, tööriistade orkestreerimisest ja sellest, kas hindamisseadistus vastab mudeli kavandatud arutlusvormingule.
Kodeerimise puhul viitavad HumanEvali ja MBPP tulemused sellele, et kontrollpunkt on mõeldud koodi genereerimise võrdlustestide lahendamiseks, mitte üksnes üldiseks vestluseks. Praktikas peaksid arendajad siiski katsetama ka konkreetse koodibaasiga seotud ülesandeid, näiteks olemasoleva koodibaasi muutmist, kohalike kokkulepete järgimist, testide kirjutamist ja tööriistade kasutamist. Võrdlustesti tulemus ei tõesta, et mudel suudab usaldusväärselt lõpule viia iga tarkvaraarenduse töövoo.
Tööriistakutsed ja toetatud modaalsused
MiniMax-M2-REAP-162B-A10B on tekstimudel. See võtab vastu tekstisisendit ja genereerib tekstiväljundit; seda ei ole kirjeldatud pildi-, heli- ega videote genereerimise mudelina ning kaasasolevates spetsifikatsioonides ei ole märgitud pildi-, heli- ega videosisendi tuge.
Tööriista- ja funktsioonikutsed on üks mudeli kavandatud kasutusviise. Avaldatud juurutusnäide kasutab vLLM-i koos MiniMax-M2 tööriistakutse parseri, arutlusparseri, ekspertide paralleeltöötluse, tensorparalleelsuse ja automaatse tööriistavaliku toega. See tähendab, et mudeli saab ühendada agendisüsteemidega, mis pakuvad selliseid tegevusi nagu otsing, koodi käivitamine, juurdepääs andmebaasile või ärilistele API-dele, eeldusel et ümbritsev teenindus- ja orkestreerimistarkvara on õigesti seadistatud.
Tööriistade tugi ei tähenda, et mudel teeks väliseid toiminguid iseseisvalt. Rakendus vastutab endiselt tööriistade määratlemise, argumentide valideerimise, tõrgete käsitlemise, õiguste jõustamise ja selle otsustamise eest, kas kavandatud toiming tuleks tegelikult käivitada.
Juurutamine ja riistvaraga seotud kaalutlused
Kontrollpunkti saab kasutada koos Transformersi, vLLM-i, SGLangi ja teiste sarnaste kohaliku teeninduse tööriistadega. Dokumenteeritud vLLM-i konfiguratsioon kasutab tensorparalleelsust ja ekspertide paralleeltöötlust, sest 162 miljardi parameetriga hõre mudel on endiselt suur, kuigi iga märgi kohta aktiveeritakse vaid ligikaudu 10 miljardit parameetrit.
Täis- või BF16/F8-täpsusega juurutamine nõuab üldjuhul väga palju mälu ega ole enamiku kasutajate jaoks realistlik ühe GPU töökoormus. Praktilisem lähtekoht on mitme GPU-ga riistvara või hallatud teeninduskeskkond. Kvanditud tuletised võivad vähendada mälunõudeid, kuid kogukonna loodud kvantimised on eraldi artefaktid. Nende kvaliteet, toetatud funktsioonid, jõudlus ja ühilduvus võivad Cerebrase algsest kontrollpunktist erineda.
Teeninduskiirus sõltub ka muust kui aktiivsete parameetrite arvust. Läbilaskevõimet ja latentsust mõjutavad GPU-de ühendused, paralleelsusstrateegia, viiba pikkus, genereerimise pikkus, pakisuurus, kvantimine ja järeldusraamistik. Hõre arhitektuur võib parandada arvutuslikku kompromissi võrreldes sarnase parameetrite koguarvuga tiheda mudeliga, kuid see ei muuda kontrollpunkti väikeseks ega väheste ressurssidega mudeliks.
Hinnastamine ja saadavus
MiniMax-M2-REAP-162B-A10B jaoks ei ole dokumenteeritud kinnitatud mudelipõhist majutatud sisend- ega väljundhinda. Mudelit levitatakse allalaaditavate kaaludena, seega maksavad ise majutavad kasutajad infrastruktuuri ja halduse eest, mitte Cerebrase avaldatud märgipõhise hinnakirja alusel.
Ise majutamise kulud võivad hõlmata GPU renti või ostu, salvestusruumi, elektrit, võrguühendust, seiret, inseneritööd ja kasutamata jõudlust. Kolmanda osapoole majutusteenuse pakkuja võib need kulud muuta tunni- või märgipõhiseks hinnaks, kuid see hind kuuluks teenusepakkujale ja seda ei tohiks esitada Cerebrase ametliku hinnana selle kontrollpunkti kasutamise eest.
Kaasasoleva mudeliinfo kohaselt on mudel avaldatud muudetud MIT-litsentsi alusel. Enne kaalude lisamist kommertstoodesse peaksid kasutajad tutvuma litsentsi täpse teksti ja võimalike seotud kasutustingimustega.
Peamised tugevused ja piirangud
Tugevused
- Juurdepääs avatud kaaludele: Allalaaditav kontrollpunkt võimaldab privaatset juurutamist, kohalikku katsetamist ja teadustööd, ilma et peaks tuginema ühele majutatud API-le.
- Väiksem maht võrreldes baasmudeliga: REAP eemaldab 30% algsetest ekspertidest ja vähendab parameetrite koguarvu ligikaudu 230 miljardilt 162 miljardini.
- Selge ülesandefookus: Mudel on suunatud eelkõige kodeerimisele, matemaatilisele arutlemisele, agentsetele töövoogudele ja tööriistakutsetele.
- Väga pikk kontekst: Määratud 196 608 märgi pikkune kontekst on riistvara võimaldamisel kasulik suurte koodibaaside, pikkade tehniliste dokumentide ja ulatuslike agentide tööjälgede puhul.
- Teeninduse ökosüsteem: Juurutusvõimalustena on nimetatud Transformersi, vLLM-i, SGLangi ja teisi kohaliku järeldamise tööriistu.
Piirangud
- Endiselt suur mudel: 162 miljardit parameetrit nõuab hoolimata hõredast aktiveerimismustrist tõsist infrastruktuuri.
- Kinnitatud majutatud hind puudub: Ostjad, kes otsivad lihtsat ametlikku märgipõhist API-hinda, peavad valima mõne muu lahenduse või kasutama kolmanda osapoole juurutust.
- Operatiivne keerukus: Tensorparalleelsus, ekspertide paralleeltöötlus, parseri seadistamine, kvantimisvalikud ja tööriistade orkestreerimine võivad nõuda eriteadmisi.
- Ainult tekst: Tegemist ei ole dokumenteeritud pildi-, heli- või videosisendi ega -väljundi mudeliga.
- Määramata väljundipiir: Kaasasolevates spetsifikatsioonides on määratud konteksti pikkus, kuid eraldi maksimaalset väljundmärkide arvu ei ole kinnitatud.
- Hindamistulemuste ebakindlus: Mudelikaardi võrdlustestide skoorid ei pruugi ennustada jõudlust konkreetses koodibaasis, tööriistakeskkonnas või tootmistöökoormuses.
Millal seda mudelit valida?
Vali MiniMax-M2-REAP-162B-A10B siis, kui vajad avatud kaaludega mudelit kodeerimiseks, arutlemiseks või agentidega katsetamiseks ning suudad käitada mahukat mitme GPU-ga või majutatud järelduskeskkonda. See on eriti asjakohane juhul, kui privaatne juurutamine, kontroll teenindusplatvormi üle või juurdepääs allalaaditavatele kaaludele on olulisem kui kasutusvalmis API mugavus.
See võib olla ka mõistlik alternatiiv kogu MiniMax-M2 kontrollpunkti juurutamisele, kui REAP-i abil tihendatud mudel vastab kvaliteedinõuetele ja väiksem parameetrite koguarv parandab infrastruktuuri kulu ja jõudluse suhet. Võrdlust tuleks hinnata kasutaja enda ülesannete põhjal, mitte teha järeldusi üksnes avaldatud võrdlustestide tulemuste põhjal.
Mõni muu lahendus võib olla sobivam, kui esmatähtsad on väike latentsus, ühe GPU-ga juurutamine, prognoositav märgipõhine hinnastamine või pildi- ja helivõimekus. Väiksemat tihedat mudelit võib olla lühikeste kodeerimisülesannete jaoks lihtsam käitada, samas kui majutatud API võib olla eelistatud meeskondadele, kes ei soovi hallata GPU-de mahtu, mudeliservereid, tööriistaparserit ja uuendusi. Kaasasolevas uurimismaterjalis ei ole nimetatud konkreetset alternatiivi, mille kohta oleksid otseselt võrreldavad kinnitatud spetsifikatsioonid, seega tuleks valikuid hinnata töökoormuse ja juurutusnõuete põhjal.
Kokkuvõte
MiniMax-M2-REAP-162B-A10B on tihendatud, avatud kaaludega MoE-kontrollpunkt, mis püüab leida kasuliku kesktee: see säilitab 162 miljardi parameetriga arhitektuuri ja ligikaudu 10 miljardit aktiivset parameetrit märgi kohta, eemaldades samal ajal MiniMax-M2-l põhinevast baasmudelist 30% ekspertidest. Selle kodeerimise, arutlemise, pika konteksti ja tööriistakutsete profiil muudab mudeli asjakohaseks privaatsete agentide ja kohaliku teadustöö jaoks, kuid mudel nõuab endiselt palju infrastruktuuri. Kõige olulisem praktiline küsimus ei ole lihtsalt see, kas mudel on baasmudelist väiksem, vaid kas olemasolev riistvara ja teenindusalane oskusteave õigustavad 162 miljardi parameetriga hõreda kontrollpunkti käitamist väiksema mudeli või hallatud API valimise asemel.