Mis on Step-3.5-Flash-REAP-121B-A11B
Step-3.5-Flash-REAP-121B-A11B on Cerebrase välja antud avatud kaaludega põhjuslik keelemudel. See on Step-3.5-Flashi tihendatud tuletis, mitte eraldi kavandatud mudeliperekond. Cerebras rakendas Router-weighted Expert Activation Pruningut ehk REAP-i, et eemaldada algsest hõredast ekspertide segu ehk Mixture-of-Expertsi arhitektuurist valitud eksperdid.
Ekspertide segu ehk MoE-mudeli puhul ei kasutata iga märgendi töötlemisel kogu parameetrite hulka. Marsruutimisüksus valib sisendi iga osa jaoks väiksema rühma ekspertvõrgustikke. See võimaldab MoE-mudelil omada suurt koguvõimekust, tehes järeldusi iga märgendi kohta väiksema aktiivsete parameetrite hulgaga. Step-3.5-Flash-REAP-121B-A11B-l on kokku 121 miljardit parameetrit, kuid iga märgendi puhul aktiveeritakse ligikaudu 11 miljardit parameetrit.
Kontrollpunkt on avaldatud Apache 2.0 litsentsi alusel ning mõeldud allalaadimiseks ja enda hallatavas taristus järelduste tegemiseks. Selle eesmärk on pakkuda Step-3.5-Flashist oluliselt väiksemat versiooni, säilitades samal ajal võimekuse programmeerimises, matemaatilises arutlemises, agentsetes töövoogudes ning funktsioonide või tööriistade kutsumises.
Koht Cerebrase mudelivalikus
See mudel paikneb Cerebrase praeguses mudelivalikus kindlas kohas: tegemist on Step-3.5-Flashi avatud kaaludega REAP-i abil tihendatud versiooniga. Kärpimisprotsess vähendab baasmudeli kogumahu ligikaudu 196 miljardilt parameetrilt 121 miljardini. Tulemuseks on endiselt suur kontrollpunkt, kuid see vajab tihendamata mudeliga võrreldes vähem mudeli salvestusruumi ja juurutusmälu.
See positsioneerimine on oluline, sest tegemist ei ole eelkõige hallatava majutatud API-tootega, millel oleks avaldatud märgendipõhine hind. Cerebras levitab kontrollpunkti Hugging Face'i kaudu ning juurutamist toetavad ühilduvad tööriistad, nagu Transformers, vLLM, SGLang, Docker Model Runner ja muud lokaalsed järeldussüsteemid. Seega võrreldakse seda praktiliselt enda hallatava tihendatud MoE-mudelina suuremate tihendamata kontrollpunktide, väiksemate tihedate mudelite või hallatavate API-dega.
Peamised näitajad
| Näitaja | Kontrollitud üksikasjad |
|---|---|
| Teenusepakkuja | Cerebras |
| Mudeli tüüp | Hõre ekspertide segu ehk Mixture-of-Expertsi põhjuslik keelemudel |
| Litsents | Apache 2.0 |
| Parameetreid kokku | 121 miljardit |
| Aktiivseid parameetreid | Ligikaudu 11 miljardit märgendi kohta |
| Kontekstiaken | 262 144 märgendit |
| Eksperdid | 173 eksperti, millest iga märgendi puhul aktiveeritakse 8 |
| Arhitektuuri üksikasjad | 45 kihti ja 64 tähelepanupead |
| Sisend ja väljund | Tekstisisend ja tekstiväljund |
| Majutatud API hind | Selle kontrollpunkti ametlikku majutatud API hinda ei ole esitatud |
262 144 märgendiga kontekstiaken on avaldatud konfiguratsioonipiirang, kuid uurimus ei esita eraldi maksimaalset väljundmärgendite arvu. Rakendused ei tohiks seega eeldada, et kogu kontekstiakna saab ühe vastusena väljastada; väljundi jaoks saadaolev ruum sõltub sisendi pikkusest ja teeninduskonfiguratsioonist.
Võimekus ja tugevused
Programmeerimine ja arutlemine
Mudeli kaart kirjeldab koodi genereerimise, matemaatika, arutlemise ja tööriistade kutsumise võimekust. Selle suur kontekstiaken on kasulik ülesannete puhul, mis hõlmavad pikki lähtefaile, mahukat tehnilist dokumentatsiooni, mitmeastmelisi vestlusi või agentide tegevusjälgi. Hõre arhitektuur annab sellele ka tihedast 121 miljardi parameetriga mudelist erineva juurutusprofiili: iga märgendi puhul on aktiivne ainult osa ekspertidest.
Toimetuslikult on seda mudelit kõige mõistlikum käsitleda programmeerimisele ja arutlemisele suunatud mudelina, mitte üldise multimodaalse süsteemina. Esitatud võrdlevas hinnangus saab see programmeerimise eest 9 punkti 10-st ja arutlemise eest 8 punkti 10-st. Need on toimetuse hinnangud, mis põhinevad mudeli dokumenteeritud positsioneerimisel ja avaldatud programmeerimistulemustel, mitte Cerebrase antud hinded ega asenda konkreetse töökoormuse testimist.
Funktsioonide ja tööriistade kutsumine
Funktsioonide ja tööriistade kutsumine on dokumenteeritud kasutusjuht. Seetõttu sobib kontrollpunkt enda hallatavate agentide jaoks, kes peavad kasutama keelemudelit struktureeritud päringute koostamiseks väliste tegevuste jaoks, näiteks andmebaasi päringute tegemiseks või rakenduse funktsiooni käivitamiseks. Mudel ise neid väliseid tööriistu ei paku; ümbritsev rakendus peab need määratlema, valideerima ja käivitama.
Tööriistade kasutamist tuleks valitud järelduspaketis siiski hoolikalt testida. Mudeli võime funktsiooni kirjeldada või valida ei taga iseenesest, et kõik teenindusraamistikud pakuvad identseid malle, struktureeritud väljundi juhtimisvõimalusi või valideerimiskäitumist.
Mälu- ja juurutuseelised
REAP on mudeli peamine praktiline eripära. Cerebrase andmetel vähendab ekspertide 40% kärpimine baasmudeli suurust ligikaudu 196 miljardilt parameetrilt 121 miljardini. See ei muuda kontrollpunkti väikeseks, kuid võib vähendada salvestus- ja mälunõudeid võrreldes kärpimata Step-3.5-Flashi juurutamisega.
Vähendus on eriti oluline organisatsioonidele, kes soovivad avatud kaaludega mudelit enda taristus käitada ja saavad hakkama riistvara, kvantimise, teeninduse, seire ning uuenduste haldamisega. Mudeli kaart väidab, et pärast kärpimist ei ole täiendõpet vaja, kuid seda väidet ei tohiks segi ajada ametliku täiendõppeteenuse või API olemasoluga.
Piirangud ja kompromissid
Kontrollpunkt jääb 121 miljardi parameetriga mudeliks. Kärpimine vähendab algmudeliga võrreldes ressursivajadust, kuid ei muuda mudelit soodsalt käitatavaks sülearvutisuuruseks lahenduseks. Riistvaranõuded sõltuvad täpsusest, kvantimisest, pakisuurusest, konteksti pikkusest, samaaegsusest ja järeldusmootorist. Esitatud uurimus ei täpsusta minimaalset GPU-de arvu, vajalikku VRAM-i ega garanteeritud märgendite arvu sekundis.
Esitatud teabes ei ole ka ametlikku majutatud teenuse märgendihinda. Kasutajad, kes vajavad prognoositavat kasutuspõhist arveldamist, hallatavat lõpp-punkti või teenusepakkuja juhitud skaleerimist, võivad eelistada kommertslikku API-mudelit. Selle kontrollpunkti puhul langevad taristu- ja arenduskulud käitaja kanda, kuigi mudeli kaalud on Apache 2.0 litsentsi alusel saadaval.
Step-3.5-Flash-REAP-121B-A11B on ainult tekstipõhine. See ei võta vastu loomulikku pildi-, heli- ega videosisendit ega genereeri otse pilte, heli või videot. Seetõttu ei asenda see multimodaalset mudelit ega meedialoome süsteemi.
Kärpimine võib kaasa tuua ka ülesandespetsiifilisi kompromisse. REAP on loodud säilitama kasulikku käitumist ekspertide eemaldamise ajal, kuid esitatud uurimus ei tõesta, et tihendatud mudel vastaks algmudelile iga mõõdiku, keele, viibavormingu või tööriistakasutuse töövoo puhul. Enne baaskontrollpunkti asendamist peaksid meeskonnad täpsust ja töökindlust oma andmetel valideerima.
Hind ja juurdepääs
Cerebras levitab Step-3.5-Flash-REAP-121B-A11B-d avatud kaaludega allalaaditava kontrollpunktina, mitte ametliku majutatud API-hinnaga lahendusena, nagu esitatud uurimuses kirjeldatakse. Seetõttu ei ole kinnitatud sisend- ega väljundhinda miljoni märgendi kohta esitada.
Rahaline kompromiss seisneb Apache 2.0 litsentsi alusel mudeli kaalude tasuta kasutamise ja sobiva järeldustaristu käitamise kulude vahel. Ise majutamine võib olla privaatsuse, kohandatavuse ja juurutuse prognoositava kontrolli tõttu atraktiivne, kuid kasutaja peab ise tagama arvutusressursid ja teeninduskeskkonna hoolduse. Majutatud alternatiiv võib maksta märgendi kohta rohkem, kuid vähendada halduslikku keerukust.
Millal seda mudelit valida
Vali Step-3.5-Flash-REAP-121B-A11B, kui soovid enda hallatavas taristus kasutada avatud kaaludega mudelit programmeerimiseks, matemaatiliseks arutlemiseks, pika kontekstiga analüüsiks, agentsetes töövoogudes või funktsioonide kutsumiseks ning kui juurutuskoormuse vähendamine võrreldes täismahus Step-3.5-Flashi mudeliga on oluline. See sobib eriti hästi meeskondadele, kes suudavad hallata suure mudeli järeldustaristut ja soovivad kontrollpunkti üle otsest kontrolli.
- Vali see enda hallatavate programmeerimisassistentide jaoks: mudel toetab dokumentatsiooni järgi koodi genereerimist ning selle suur kontekstiaken sobib koodirepositooriumide ja pikkade tehniliste viipade jaoks.
- Vali see agentsete töövoogude jaoks: funktsioonide ja tööriistade kutsumine kuulub selle dokumenteeritud kasutusjuhtude hulka.
- Vali see siis, kui avatud kaalud on olulised: Apache 2.0 litsentsi alusel avaldatud kontrollpunkti saab uurida ja juurutada ilma teenusepakkuja hallatavale lõpp-punktile tuginemata.
- Vali see siis, kui mälu vähendamine on oluline: REAP eemaldab suuremast Step-3.5-Flashi mudelist eksperte, säilitades samal ajal märkimisväärse aktiivse võimekuse.
Väiksem tihe mudel võib olla sobivam, kui esmatähtsad on riistvara, latentsus või halduse lihtsus. Kärpimata Step-3.5-Flash võib olla eelistatud juhul, kui algmudeli võimekuse maksimaalne täpsus on olulisem kui juurutuse suurus. Hallatav API võib olla parem valik, kui organisatsioon ei soovi hallata suure mudeli taristut või vajab avaldatud kasutushinda.
Kokkuvõte
Step-3.5-Flash-REAP-121B-A11B on spetsialiseeritud kompromiss: see säilitab suure hõreda MoE-arhitektuuri ja 262 144 märgendiga kontekstiakna, kasutades samal ajal REAP-i kärpimist, et vähendada ligikaudu 196 miljardi parameetriga Step-3.5-Flashi baasmudeli kontrollpunkti suurust 121 miljardi parameetrini. Kõige paremini sobib see enda hallatavas taristus kasutatavaks tekstigeneraatoriks programmeerimise, arutlemise ja tööriistadega varustatud töövoogude jaoks. Peamised piirangud on 121 miljardi parameetriga mudeli jätkuvalt suured taristunõuded, ametliku majutatud API-hinna puudumine, kärpimise teadmata ülesandespetsiifilised mõjud ning loomuliku multimodaalse sisendi ja väljundi puudumine.