Mis on Step-3.5-Flash-REAP-149B-A11B?
Step-3.5-Flash-REAP-149B-A11B on Cerebrase avaldatud avatud kaaludega põhjuslik keelemudel. See on loodud teksti genereerimiseks ja analüüsimiseks, koodi kirjutamiseks, matemaatika- ja arutlusülesannete lahendamiseks ning tööriistapõhistes töövoogudes osalemiseks. Esitatud uuringu põhjal ei ole see majutatud tellimuspõhine toode, vaid allalaaditav kontrollpunkt, mis on mõeldud kohapealseks, iseseisvalt majutatavaks või teadustööks kasutatavaks juurutuseks.
Nimi kirjeldab nii mudeliperekonda kui ka selle tihendatud vormi. Kontrollpunkt põhineb mudelil Step-3.5-Flash, millel on kokku 196 miljardit parameetrit. Cerebras rakendab Router-weighted Expert Activation Pruningut ehk REAP-i, et eemaldada osa mudeli ekspertidest ilma saadud kontrollpunkti ümber treenimata. REAP-i versioonil on kokku 149 miljardit parameetrit ning iga märgi kohta aktiveeritakse ligikaudu 11 miljardit parameetrit.
Ekspertide segul põhinevas ehk MoE-mudelis kasutatakse iga märgi puhul kogu parameetrite hulga asemel ainult valitud rühma spetsialiseerunud alamvõrke. See võib vähendada ühe märgi töötlemiseks vajalikku arvutusmahtu võrreldes sama kogusuurusega tiheda mudeliga, kuigi kogu kontrollpunkti salvestamiseks on endiselt vaja märkimisväärset mälumahtu ja mitme GPU-ga taristut.
Koht Cerebrase mudelivalikus
Step-3.5-Flash-REAP-149B-A11B on Cerebrase mudeli Step-3.5-Flash tihendatud tuletis, mitte eraldi väikese suurusega mudeliperekond. Selle peamine eesmärk on muuta suur hõre mudel praktilisemaks juurutada, kärpides väiksema mõjuga eksperte, kuid säilitades suure osa alusmudeli käitumisest.
Mudelikaart kirjeldab ekspertide kärpimise määraks 25%. REAP kasutab ruuteri väravaväärtusi ja ekspertide aktiveerimisnorme, et tuvastada eksperdid, mida valitakse harvem või mis annavad kihtide väljunditesse väiksema panuse. Alles jäävad ruuteri juhitavad eksperdid pakuvad jätkuvalt hõredat spetsialiseerumist. Seetõttu on kontrollpunkt kõige asjakohasem organisatsioonidele ja teadlastele, kes soovivad suure MoE-mudeli võimekust, kuid on valmis ise haldama riistvara ja mudeli teenindamise taristut.
Arhitektuur, parameetrid ja konteksti pikkus
Kontrollitud konfiguratsioon kirjeldab 45 kihiga hõredat MoE-arhitektuuri, milles on 216 eksperti ja iga märgi puhul aktiveeritakse 8 eksperti. Mudeli kontekstiaken on 262 144 märki, mis võimaldab töödelda väga pikki viipasid või dokumendikogumeid, kui teeninduskeskkonnas on piisavalt mälu ja see toetab nõutud konteksti pikkust.
Avaldatud hoidlas on arhitektuuriks märgitud Step3p5ForCausalLM ning tensorite esituseks on loetletud bfloat16 ja float32. Need vormingud ei tähenda, et iga juurutus peaks kasutama täistäpsust. Tegelik mälumahu vajadus sõltub täpsusest, kvantimisest, tensorite paralleeltöötlusest, partii suurusest, konteksti pikkusest ja järeldusraamistikust.
| Spetsifikatsioon | Kontrollitud üksikasjad |
|---|---|
| Teenusepakkuja | Cerebras |
| Modeli tüüp | Avatud kaaludega hõre ekspertide segu põhine põhjuslik keelemudel |
| Parameetreid kokku | 149 miljardit |
| Aktiveeritud parameetrid | Ligikaudu 11 miljardit märgi kohta |
| MoE-konfiguratsioon | 216 eksperti, millest iga märgi puhul aktiveeritakse 8 |
| Kihid | 45 |
| Konteksti pikkus | 262 144 märki |
| Litsents | Apache 2.0 |
Aktiveeritud parameetrite arvu ei tohiks segi ajada salvestusvajadusega. Kuigi ühe märgi puhul kasutatakse ligikaudu 11 miljardit parameetrit, tuleb kogu 149 miljardi parameetriga kontrollpunkt siiski salvestada ja teenindussüsteemile kättesaadavaks teha. Seetõttu ei sobi see mudel vähese mälumahuga sülearvutitele ega tavalistele tarbijaseadmetele ilma ulatusliku optimeerimise ja ühilduva riistvarata.
Koodi kirjutamine, arutlemine ja tööriistade kasutamine
Step-3.5-Flash-REAP-149B-A11B on mõeldud teksti genereerimiseks ja vestlusrakendusteks. Avaldatud mudeliteabes nimetatakse säilinud võimekusena konkreetselt koodi genereerimist, matemaatikat, arutlemist ja tööriistade kutsumist. Seetõttu võib see sobida koodiabilistele, agentsetele kodeerimissüsteemidele, matemaatikaülesannete lahendamiseks ja rakendustele, kus mudel peab väliste tööriistadega toiminguid taotlema.
Hoidla sisaldab vLLM-i jaoks Step-3.5 arutlus- ja tööriistakutsete parserite juurutusseadeid. Tööriistade kutsumine võimaldab teenindusrakendusel teha mudelile kättesaadavaks funktsioone või väliseid toiminguid; see ei tähenda, et kontrollpunkt pääseb iseseisvalt ligi veebile, andmebaasidele või tarkvarasüsteemidele. Need integratsioonid peab rakendama mudelit majutav rakendus.
Mudelikaardi järgi sai see kontrollpunkt HumanEvali testis tulemuseks 97,0 ja HumanEval+ testis 90,9. Need on kodeerimise võrdlustestide avaldatud tulemused, mitte garantii toimivusele iga koodibaasi või programmeerimisülesande puhul. Võrdlustestide tulemused võivad varieeruda sõltuvalt viipade koostamisest, näidiste võtmise seadetest, hindamisraamistikest ja sellest, kas genereeritud koodi testitakse realistlikus keskkonnas.
Toetatud modaalsused ja väljunditüübid
See on ainult tekstimudel. See võtab sisendiks teksti ja väljastab teksti. Esitatud uuringus ei ole märgitud pildi-, heli- ega videosisendit ning mudel ei toeta piltide, heli ega video otsest genereerimist. Tööriistade kutsumise võimekus tähendab struktureeritud tekstisuhtlust rakenduse määratud funktsioonidega, mitte eraldi meediaväljundi modaalsust.
Kontekstiakna pikkuseks on dokumenteeritud 262 144 märki, kuid esitatud uuringus ei ole selle täpse kontrollpunkti kohta esitatud autoriteetset maksimaalset väljundmärkide arvu. Kasutatav viiba- ja vastusepikkus sõltub ka teenindusraamistikust ning operaatori määratud kogu konteksti piirangust.
Juurutus ja järeldamine
Cerebras pakub või dokumenteerib juurutusviise Transformersi, vLLM-i, SGLangi, Docker Model Runneri ja ühilduvate kvantimistöövoogude kaudu. Mudel on saadaval ametlikus Cerebrase Hugging Face'i hoidlas.
vLLM-i puhul kasutab avaldatud konfiguratsioon tensorite paralleeltöötlust ja ekspertide paralleeltöötlust koos Step-3.5 tööriistakutsete parseri, Step-3.5 arutlusparseri, automaatse tööriistavaliku ja keelatud kaskaadtähelepanuga. Need seaded on kasulik lähtekoht, kuid juurutust tuleb siiski katsetada vastavalt operaatori GPU-paigutusele, täpsusele, kvantimismeetodile, konteksti pikkusele ja töökoormusele.
Hõre arhitektuur võib vähendada aktiivset arvutusmahtu märgi kohta võrreldes kõigi 149 miljardi parameetri töötlemisega, kuid see ei muuda mudelit väikeseks ega odavaks juurutada. Suure mudeli teenindamiseks on tavaliselt vaja mitut GPU-d või muud mahukat taristut. Pikemad kontekstid ja suuremad partiid suurendavad mälukoormust, samas kui kvantimine võib vähendada mälukasutust, kuid tuua kaasa täiendavaid ühilduvus- või kvaliteedialaseid kompromisse.
Hinnastamine ja majutatud API kättesaadavus
Selle täpse kontrollpunkti ametlikku Cerebrase majutatud märgipõhist hinda ei tuvastatud. Mudelit levitatakse Apache 2.0 litsentsi alusel avatud kaaludega mudelina, seega moodustavad peamise kulumudeli taristu, riistvara, elekter, salvestusruum, käitamine ja juurutamiseks kuluv inseneritöö.
Hoidla teabe kohaselt ei ole mudel Hugging Face'i järeldusteenuse pakkuja kaudu juurutatud. Seetõttu ei tohiks eeldada, et selle kontrollpunkti jaoks on saadaval tavaline hallatud API-lõpp-punkt, teenusepakkuja hallatav töökindlus või fikseeritud sisend- ja väljundmärgi hind. Kolmas osapool võib pakkuda majutatud juurdepääsu iseseisvalt, kuid sellist hinda ega teenusespetsifikatsiooni ei ole siin kontrollitud.
Peamised tugevused ja piirangud
Kõige selgemad tugevused on väga pikk kontekstiaken, hõre aktiveerimine, avatud kaalud ning säilinud koodi kirjutamise, arutlemise, matemaatika ja tööriistade kasutamise funktsioonid. REAP pakub ka võimalust vähendada Step-3.5-Flashi perekonna kontrollpunkti kogusuurust ilma täieliku ümbertreenimiseta, mis võib olla kasulik mudelite tihendamise ja ekspertide kärpimise uurimisel.
Peamine piirang on töökeskkonna mastaap. 149 miljardi parameetriga kontrollpunkti on endiselt keeruline käitada, eriti bfloat16 või float32 vormingus. Mudel ei sobi väheste ressurssidega kasutuseks ning hõre aktiveerimine ei kõrvalda vajadust laadida kogu mudel sobivasse riistvarasse või jaotada see sellise riistvara vahel. Kinnitatud majutatud API-hinna puudumine muudab mudeli vähem mugavaks meeskondadele, kes soovivad kohe kasutusele võtta kasutuspõhise hinnastusega järeldamise.
Muud piirangud tulenevad modaalsusest ja dokumentatsioonist. Mudel töötab ainult tekstiga, sellel ei ole kontrollitud pildi- ega heligenereerimise võimekust ning selle täpse väljalaske kohta ei ole esitatud autoriteetset maksimaalset väljundmärkide arvu. Seetõttu tuleks riistvara- ja jõudlusväiteid kontrollida kavandatud teeninduskeskkonnas, mitte tuletada neid üksnes aktiveeritud parameetrite arvust.
Millal seda mudelit valida?
Vali Step-3.5-Flash-REAP-149B-A11B siis, kui vajad avatud kaaludega mudelit iseseisvalt majutatavaks koodiabiks, agentseteks töövoogudeks, tööriistapõhisteks rakendusteks, matemaatiliseks arutlemiseks või tihendatud hõreda MoE-süsteemi katsetamiseks. See on eriti asjakohane juhul, kui andmete kontroll, kohapealne juurutus või kohandamisvõimalus on tähtsam kui hallatud API mugavus.
- Vali see kohaliku kontrolli jaoks: kontrollpunkti saab integreerida enda juurutusvirna, selle asemel et saata viipasid kolmanda osapoole majutatud teenusele.
- Vali see pikkade dokumentide jaoks: dokumenteeritud 262 144 märgi pikkune kontekstiaken on kasulik suurte koodibaaside, pikkade tehniliste dokumentide ja ulatusliku agendi oleku töötlemiseks, arvestades riistvara ja raamistiku piiranguid.
- Vali see kodeerimise ja tööriistade jaoks: mudelikaart näitab tugevaid kodeerimise võrdlustestide tulemusi ning hoidla sisaldab arutlus- ja tööriistakutsete parserite seadeid.
- Vali lihtsuse huvides teistsugune lahendus: hallatud API sobib paremini siis, kui meeskond ei soovi hallata mitme GPU-ga järeldustaristut.
- Vali piiratud riistvara jaoks väiksem mudel: kompaktsem mudel sobib paremini sülearvutitele, servaseadmetele või väikese eelarvega juurutustele, kus 149 miljardi parameetriga kontrollpunkti kasutamine on ebapraktiline.
- Vali meediatöödeks multimodaalne mudel: see kontrollpunkt ei ole mõeldud piltide, heli ega video mõistmiseks või genereerimiseks.
Kokkuvõte
Step-3.5-Flash-REAP-149B-A11B-d tuleks mõista kui Cerebrase suure MoE-mudeli juurutusele suunatud tihendatud versiooni, mitte kui väikest kohalikku vestlusrobotit. Selle 149 miljardi parameetriga avatud kaaludega kontrollpunkt, ligikaudu 11 miljardi parameetri suurune aktiivne maht, pikk kontekst, kodeerimisjõudlus ja tööriistade tugi muudavad selle huvitavaks võimekate iseseisvalt majutatavate süsteemide jaoks. Kompromissiks on märkimisväärne taristu: kasutajad peavad ise haldama riistvara, teenindusraamistikku, skaleerimist ja käituskulusid ning selle täpse mudeli ametlikku majutatud hinda ega maksimaalset väljundipiirangut ei ole kinnitatud.