Mis on GLM-4.7-REAP-268B-A32B?
GLM-4.7-REAP-268B-A32B on Cerebrase avaldatud hõre ekspertide segu ehk MoE-põhine põhjuslik keelemudel. See põhineb Z.ai mudelil GLM-4.7 ning seda levitatakse MIT-litsentsi alusel avatud kaaludega kontrollpunktina. Kontrollpunkt on mõeldud kasutajatele, kes soovivad suurt keelemudelit oma taristus käitada, hinnata või kohandada, selle asemel et kasutada majutatud lõpp-punkti, millel on avaldatud märgipõhine hind.
Mudeli keskne omadus on REAP ehk Router-weighted Expert Activation Pruning. MoE-mudelis on saadaval palju spetsialiseeritud alamvõrke ehk eksperte, kuid iga märgi puhul aktiveeritakse neist ainult osa. REAP eemaldab väiksema mõjuga eksperdid, selle asemel et kõigi nende kaalud omavahel ühendada. Allesjäänud eksperdid jäävad marsruuteri jaoks eraldi adresseeritavaks. Cerebrase sõnul aitab see vähendada mudeli mälujalajälge, säilitades samal ajal arhitektuuri marsruutimisloogika.
Pärast kärpimist sisaldab mudel ligikaudu 268 miljardit parameetrit ning aktiveerib iga märgi kohta umbes 32 miljardit parameetrit. Seetõttu on see väiksem kui algne GLM-4.7, millel on ligikaudu 355 miljardit parameetrit, kuid tegu on endiselt väga suure mudeliga. Tihendamist tuleks seega mõista juurutusnõuete vähendamisena, mitte muutmisena kergeks kohalikuks mudeliks.
Arhitektuur, kontekst ja juurutamise mõju
Mudeli kaart teatab, et alles on jäänud 120 eksperti ning iga märgi puhul aktiveeritakse neist kaheksa. Mudelil on 92 kihti ning see kasutab grupeeritud päringutähelepanu 96 päringupäise ja kaheksa võtme-väärtuse peaga. Need on selle kontrollpunkti kohta esitatud kontrollitud tehnilised näitajad, mitte sõltumatute võrdlustestide tulemused.
Teatatud konteksti pikkus on 202 752 märki. Praktiliselt tähendab see, et mudel mahutab suuri koodihoidlaid, pikki tehnilisi dokumente, pikki vestlusi ja mitmeetapilisi agendijälgi. Reklaamitud konteksti pikkus ei taga, et iga juurutus suudab kogu akent tõhusalt kasutada. Tegelik kasutatav maht sõltub saadaolevast kiirendimälust, kvantimisest, käituskeskkonna seadistusest, jada piirangutest ja samaaegsete päringute arvust.
Esitatud mudelikaardi uuringus ei ole määratud maksimaalset väljundmärkide arvu. Juurutus võib kehtestada oma genereerimispiirangu, kuid seda ei tohiks segi ajada mudeliülese kontrollitud maksimumiga. Samuti ei ole selle täpse kontrollpunkti kohta määratud ametlikku majutatud sisendi- ega väljundihinda.
Kontrollpunkt on Cerebrase kaudu Hugging Face'is saadaval ning seda saab laadida Transformersiga. Mudelikaart teatab ühilduvusest vLLM-i uuemate versioonidega ning sisaldab juurutusjuhiseid tensoriparalleelsuse, ekspertide paralleelsuse, automaatse tööriistavaliku ja GLM-i tööriistakutsete parseri kohta. Kuna mudelil on ligikaudu 268 miljardit kogumahus parameetrit, nõuab praktiline järeldamine üldjuhul märkimisväärset kiirendimahtu. Vajalikuks võivad osutuda kvantimine ning konservatiivsed valikud konteksti pikkuse või samaaegsuse osas.
Võimekus ja toetatud modaalsused
GLM-4.7-REAP-268B-A32B võtab vastu teksti ja genereerib teksti. Esitatud mudeliandmete kohaselt ei loo see algupäraselt pilte, heli, videot, kõnet ega manuseid. Seetõttu tuleks seda hinnata ainult teksti töötleva keelemudelina, isegi kui selle tekstivõimekust saab kasutada rakendustes, mis suhtlevad teiste tööriistade või meediasüsteemidega.
Selle kavandatud kasutus hõlmab tarkvaraarendust, koodihoidla suurust arvestavat koodimõistmist, mitme vooruga arutlemist, agentseid töövooge ja funktsioonikutseid. Funktsioonikutse võimaldab rakendusel kirjeldada väliseid toiminguid, näiteks andmebaasist otsimist või ehituskäsu käivitamist, ning lasta mudelil luua struktureeritud tööriistapäringu, mille rakendus täidab. Mudelikaardi vLLM-i juhised käsitlevad konkreetselt tööriistakutsete parsimist ja automaatset tööriistavalikut.
Need funktsioonid ei tähenda, et mudel teeks väliseid toiminguid iseseisvalt. Ümbritsev rakendus vastutab endiselt tööriistade määratlemise, argumentide valideerimise, päringute täitmise, tõrgete käsitlemise ja õiguste jõustamise eest. Mudel väljastab teksti või tööriistakutse; tegeliku võimekuse tagab hostsüsteem.
Peamised tugevused ja kompromissid
- Väiksemad nõuded kui lähtemudelil: REAP eemaldab 25% algsetest ekspertidest, mille tulemusel on kontrollpunktil ligikaudu 268 miljardit kogumahus parameetrit, võrreldes algse GLM-4.7 ligikaudu 355 miljardiga.
- Pika konteksti tugi: Teatatud 202 752 märgi pikkune kontekstiaken on kasulik suurte koodihoidlate, pikkade dokumentide ja pikemate agendisessioonide puhul, kui juurutus seda toetab.
- Sobib hästi koodi ja tööriistade kasutamiseks: Mudel on mõeldud kodeerimiseks, arutlemiseks, funktsioonikutseteks ja agentseteks töövoogudeks, mitte pildi- ega heliülesanneteks.
- Avatud kaaludega juurutus: MIT-litsents ja Hugging Face'i kontrollpunkt võimaldavad ise hallatavat hindamist ja järeldamist, arvestades juurutuse riist- ja tarkvaranõudeid.
- Endiselt kallis käitada: Kuigi mudel on tihendatud, on 268 miljardi parameetriga MoE-kontrollpunkt endiselt palju suurem kui tavapärased kohalikud mudelid. Olulised kaalutlused on mälu, paralleelsus, kvantimine ja käitamise keerukus.
- Lihtsat majutatud teenuse hinnavõrdlust ei ole: Esitatud uuringus ei tuvastata selle täpse artefakti ametlikku märgipõhist hinda, mistõttu ei saa selle rahalist eelist üksnes hinnainfo põhjal majutatud alternatiividega võrreldes kindlaks teha.
Praktiline kompromiss seisneb seega võimekuse ja mahu vahetamises kiiruse, lihtsuse ja kulude vastu. Suur ise majutatav MoE-mudel võib olla atraktiivne organisatsioonidele, kes vajavad kontrolli, pikka konteksti või võimalust GLM-4.7 arhitektuuriga katsetada. Väiksem mudel või hallatav teenus võib olla sobivam, kui olulisemad on kiire kasutuselevõtt, väikesed riistvaranõuded, prognoositav arveldamine või suur päringute läbilaskevõime.
Arutlemine, kodeerimine ja tööriistade kasutamine
Esitatud hindamisväljad annavad mudeli arutlemisele hindeks 8 punkti 10-st ja kodeerimisele 9 punkti 10-st. Need on toimetuslikud või andmebaasipõhised hinnangud, mitte teenusepakkuja avaldatud võrdlustesti tulemused, mistõttu tuleks neid käsitleda võrdlusliku suunisena, mitte mõõdetud faktina. Ametlik positsioneerimine toetab mudeli kasutamist arutlemist nõudvate kodeerimisülesannete, koodihoidlate analüüsi ja mitmeetapiliste agenditöövoogude puhul, kuid esitatud uuring ei sisalda BF16 kontrollpunkti kohta võrdlustesti numbreid.
Mudelikaart viitab FP8 variandi hindamistulemustele, samal ajal kui BF16 tulemused olid kontrollimise ajal veel ootel. FP8 variandi tulemusi ei tohiks automaatselt esitada selle täpse BF16 kontrollpunkti tulemustena. Juurutuste võrdlemisel tuleks arvestada ka kvantimist, käituskeskkonda, viibavormingut, tööriistade määratlusi ja samaaegsust, sest need tegurid võivad mõjutada tegelikku jõudlust.
Kodeerimiseks sobivad näiteks suure koodibaasi uurimine, mitut faili hõlmavate muudatuste kavandamine, tundmatu teostuse selgitamine, koodi genereerimine ja osalemine tööriistadega toetatud arendustöövoogudes. Agentse kasutuse korral aitab pikk kontekst säilitada pikema suhtluse jooksul plaane, tööriistade tulemusi ja hoidla teavet. Pikk kontekst suurendab aga mälu- ja latentsusnõudeid ning mudeli loodud tööriistakutse vajab endiselt rakendusepoolset valideerimist.
Hind ja saadavus
Esitatud uuringus ei ole GLM-4.7-REAP-268B-A32B jaoks kontrollitud teenusepakkuja avaldatud sisendi- ega väljundihinda. Mudelit esitletakse Hugging Face'i kontrollpunktina ise majutatavaks või teadustööks kasutamiseks, mitte tootena, millel oleks Cerebrase määratud märgipõhine API-hind. Seetõttu sõltub hind kasutaja taristust, kiirendite rentimise või omamise kuludest, kvantimisstrateegiast, energiatarbimisest ja käitamise korraldusest.
Mudelit levitatakse MIT-litsentsi alusel. See lubav litsents võib lihtsustada paljusid kasutusviise, kuid kasutajad peaksid enne mudeli ärilist juurutamist või suuremasse tootesse lõimimist siiski läbi vaatama kontrollpunkti dokumentatsiooni ja enda kohustused.
Millal seda mudelit valida?
Vali GLM-4.7-REAP-268B-A32B siis, kui vajad avatud kaaludega GLM-4.7-l põhinevat mudelit ise hallatavaks järeldamiseks ning sinu taristu suudab väga suurt MoE-kontrollpunkti käitada. See on eriti asjakohane järgmistes olukordades:
- kodeerimisabilised, mis vajavad koodihoidla suurust konteksti;
- ekspertide kärpimise, hõredate mudelite või pika kontekstiga järeldamise uurimine;
- agentsed rakendused, mis kasutavad funktsioonikutseid ja mitut järjestikust tööriista;
- organisatsioonid, kes eelistavad suletud majutatud mudelile MIT-litsentsiga kontrollpunkti; ja
- katsed, kus algse GLM-4.7 ekspertide arvu vähendamine on kasulik.
Teine võimalus võib olla sobivam, kui sihtseadmel on vähe mälu, kui peamine nõue on väike latentsus või kui rakendus vajab algupärast pildi-, heli-, video-, kõne- või manuseväljundit. Majutatud mudel võib olla eelistatav ka siis, kui meeskond soovib kasutuspõhist arveldamist ja hallatavat skaleerimist, selle asemel et riistvara ja käituskeskkonna pinu ise ette valmistada. Kasutajad, kes vajavad tihendamata GLM-4.7 kontrollpunkti, ei tohiks seda REAP-versiooni käsitleda samaväärse asendusena: tegemist on kärbitud tuletisega, mille parameetrite arv ja juurutusprofiil on erinevad.
Piirangud, mida enne juurutamist kontrollida
Kõige olulisem piirang on mudeli suurus. Ligikaudu 268 miljardit kogumahus parameetrit tähendab endiselt suurt käitamisraskust, kuigi iga märgi puhul on aktiivsed ainult umbes 32 miljardit parameetrit. Hõre aktiveerimine võib sama kogusuurusega tiheda mudeliga võrreldes arvutusi vähendada, kuid see ei kaota vajadust mudeli eksperte salvestada ja nende vahel andmeid edastada.
Mõne tootmisotsuse jaoks on avaldatud teave puudulik. Esitatud uuring ei kinnita maksimaalset väljundipikkust, majutatud API-hinda, teadmiste lõppkuupäeva, peenhäälestuse tuge, vahemällu salvestamist, partiipõhise API saadavust ega selle kontrollpunkti eraldi JSON-režiimi garantiid. Neid funktsioone ei tohiks eeldada üksnes tööriistakutsete juhiste olemasolu põhjal. Juurutustiimid peaksid need üle kontrollima täpses käituskeskkonnas ja kontrollpunktivormingus, mida nad kavatsevad kasutada.
Kokkuvõttes tuleks GLM-4.7-REAP-268B-A32B-d mõista suure, avatud kaaludega ja ainult teksti töötleva MoE-kontrollpunktina, mis vahetab osa mudeli suurusest paremini hallatava juurutusprofiili vastu. Selle tugevaim kasutusjuht on ise majutatav kodeerimine, arutlemine, pika kontekstiga uurimistöö ja tööriistade kasutamine keskkonnas, kus operaator suudab tagada vajaliku riistvara ja hallata tehnilist keerukust.