Mis on StdMoE_1b14b_1T?
StdMoE_1b14b_1T on avatud kaaludega ainult dekoodrist koosnev Mixture-of-Expertsi keelemudel, mille andis välja Allen Institute for AI ehk Ai2. See on mõeldud eelkõige teadusuuringute võrdlusmudeliks, mitte valmis tarbijatele suunatud vestlusroboti või majutatud API-mudelina.
Mixture-of-Expertsi mudel sisaldab mitut spetsialiseerunud edasisuunakomponenti, mida nimetatakse ekspertideks. Marsruutimisfunktsioon valib iga märgi jaoks ainult osa ekspertidest, mistõttu ühe märgi töötlemiseks vajalik arvutusmaht võib olla mudeli parameetrite koguarvust märksa väiksem. StdMoE_1b14b_1T puhul on iga märgi jaoks aktiivsed ligikaudu 1 miljard parameetrit, samas kui kogu kontrollpunkt sisaldab ligikaudu 14 miljardit parameetrit.
Seotud EMO uurimistöös nimetatakse seda mudelit „Reg. MoE-ks” ehk standardseks MoE-ks. Selle ülesanne on pakkuda EMO-ga arhitektuuriliselt sobivat võrdluspunkti, mis võimaldab teadlastel uurida, kas täheldatud käitumine tuleneb mudeli arhitektuurist või erinevast treeningueesmärgist ja marsruutimispiirangutest.
Koht Ai2 mudelivalikus
StdMoE_1b14b_1T kuulub Ai2 avatud teadusuuringute mudelite hulka ning seda levitatakse Ai2 organisatsiooni kaudu Hugging Face’is. Esitatud teadusmaterjalide põhjal on selle selgeim roll EMO projektiga koos avaldatud standardse MoE võrdlusmudelina, mitte eraldi turundatava majutatud teenusena.
Mudel jagab EMO võrdluses kasutatud üldist arhitektuuri ja treeningukorraldust, kuid säilitab tavapärase standardse MoE eesmärgi. Eelkõige ei rakendata selle treenimisel EMO dokumenditaseme ekspertide kogumi piirangut. See erinevus on oluline, kui kontrollpunkti kasutatakse ekspertide spetsialiseerumise, ekspertide valiku või moodulkäitumisega seotud katsetes: StdMoE on mõeldud kujutama tavalist hõredat MoE alternatiivi.
Arhitektuur ja treeningu üksikasjad
Avaldatud konfiguratsioon määrab 16 kihiga mudeli, mille peidetud kihi suurus on 2048 ja millel on 16 tähelepanupead. Kokku on sellel 128 eksperti: 127 marsruuditavat eksperti ja üks jagatud ekspert. Iga märgi jaoks on aktiivsed kaheksa eksperti. Konfiguratsioon määrab maksimaalseks positsioonimanuste pikkuseks 4096 märki ning kasutab float32-kaalusid.
| Parameeter | Esitatud teave |
|---|---|
| Mudeli tüüp | Ainult dekoodrist koosnev põhjuslik keelemudel |
| Arhitektuur | Standardne Mixture of Experts |
| Parameetreid kokku | Ligikaudu 14 miljardit |
| Aktiivseid parameetreid märgi kohta | Ligikaudu 1 miljard |
| Eksperdid | Kokku 128: 127 marsruuditavat ja 1 jagatud |
| Märgi kohta aktiivsed eksperdid | 8 |
| Kihid | 16 |
| Peidetud kihi suurus | 2048 |
| Tähelepanupead | 16 |
| Konfigureeritud konteksti pikkus | 4096 märki |
| Kaalud | Float32 |
Treeningus kasutati Ai2 OLMoE treeningueelsest andmekogumist pärit 1 triljonit märki, millele järgnes täiendav 50 miljardi märgi pikkune kohandamisfaas. Esitatud märkmete kohaselt oli eesmärk standardne MoE treening, mille puhul ei rakendatud EMO-ga seotud dokumenditaseme ekspertide kogumi piirangut.
Võimekused ja toetatud sisendid
StdMoE_1b14b_1T on tekstisisendi ja tekstiväljundiga mudel. Selle kavandatud väljund on genereeritud tekst, sealhulgas jätkud, vastused, kokkuvõtted ja muud keelemudeli vastused. Esitatud teadusmaterjalides ei dokumenteerita pildi-, heli- ega videosisendit, mistõttu ei tohiks nende vormingute tuge eeldada.
Mudelit saab kasutada üldiste teksti genereerimise katsete jaoks, kuid selle peamine väärtus seisneb hõredate keelemudelite tehnilises uurimises. Sobivate tegevuste hulka kuuluvad uurimine, kuidas marsruutimisotsused jaotavad märgid ekspertide vahel, valikuliste eksperdistrateegiate võrdlemine, ekspertide spetsialiseerumise uurimine ja kohalike järeldussüsteemide testimine.
- Standardse Mixture-of-Expertsi uurimine ja reprodutseerimine
- Ekspertide marsruutimise ja valiku katsed
- Võrdlused EMO ja teiste OLMo perekonna teadusmudelitega
- Kohalik või enda hallatav põhjuslik teksti genereerimine
- Hõreda järeldamise ja ekspertide valikulise laadimise katsed
Selle kontrollpunkti kohta ei ole esitatud kontrollitud teavet loomuliku tööriistakasutuse, funktsioonikutsete, veebotsingu, struktureeritud väljundi ega JSON-režiimi kohta. Seetõttu on seda parem käsitleda teksti genereeriva keelemudelina, mitte agendiplatvormina. Läbi vaadatud teave ei kinnita ka ametlikku peenhäälestuse, vahemällu salvestamise, pakkjäreldamise ega voogedastuse tuge.
Konteksti piirang ja mäluga seotud kaalutlused
Konfigureeritud maksimaalne positsioonipikkus on 4096 märki. See on avaldatud konfiguratsiooni dokumenteeritud asjakohane kontekstipiirang, mistõttu ei ole mudel loomulik valik töökoormuste jaoks, mis nõuavad väga pikki dokumente, suuri koodibaase või pikki vestlusajalugusid.
Ligikaudu 1 miljardi aktiivse parameetri kasutamine märgi kohta võib vähendada arvutusmahtu võrreldes tiheda mudeliga, milles kasutatakse iga märgi töötlemisel kõiki 14 miljardit parameetrit. Mudeli parameetrite koguarv on siiski juurutamisel oluline. Tavaline paigaldus vajab üldjuhul juurdepääsu kogu kontrollpunktile, mis tähendab, et mälunõuded ei ole samad kui tavapärasel 1 miljardi parameetriga tihedal mudelil. Spetsiaalsed ekspertide hõreduse või valikulise laadimise meetodid võivad juurutamise kompromisse muuta, kuid esitatud teadusmaterjalid ei garanteeri konkreetset mälukasutust ega riistvaranõuet.
Konfiguratsioon kasutab float32-kaalusid, mis võib samuti suurendada salvestus- ja mälunõudeid võrreldes väiksema täpsusega juurutustega. Kasutajad peaksid valitud järeldusraamistiku nõuded üle kontrollima ega tohiks ressursivajadust hinnata ainult aktiivsete parameetrite arvu põhjal.
Kuidas kontrollpunkti kasutada ja teenindada
Kontrollpunkt on saadaval Hugging Face’is ning selle saab laadida Transformersi teegi abil, kasutades Ai2 kohandatud mudelirakendust. Esitatud märkmetes nimetatakse dokumenteeritud Transformersi töövoo jaoks vajalikuks sätet trust_remote_code=True. Kaughaldatava mudelikoodi lubamisel peaksid juurutusmeeskonnad hoidla üle vaatama ning tootmisega sarnastes keskkondades kasutatava koodiversiooni fikseerima või muul viisil kontrolli all hoidma.
Mudelit saab teenindada ka ühilduvate järeldussüsteemide, näiteks vLLM-i ja SGLangi kaudu, kui vajalik kohandatud koodi säte on lubatud. Ühilduvus võib sõltuda teenindussüsteemi ja mudelirakenduse täpsest versioonist, mistõttu peaksid kasutajad oma kavandatud konfiguratsiooniga testima laadimist, marsruutimise käitumist, mälukasutust ja genereerimise kvaliteeti.
Esitatud teadusmaterjalides ei ole selle kontrollpunkti jaoks loetletud ametlikku majutatud API lõpp-punkti ega märgipõhist teenusehinda. Seetõttu kaasnevad selle käitamisega taristu-, salvestus-, tarkvara- ja halduskulud, mitte avaldatud teenusepakkuja API-põhine hind.
Tugevused ja kompromissid
StdMoE_1b14b_1T peamine tugevus on selle eksperimentaalne roll. See annab teadlastele selgelt määratletud standardse MoE võrdlusmudeli, mis vastab suures osas EMO arhitektuurile ja treeningukorraldusele. Seetõttu on võrdlused informatiivsemad kui omavahel sidumata, erineva suuruse, andmete ja konfiguratsiooniga mudelite võrdlemisel.
Hõre aktiveerimine on veel üks praktiline eelis. Iga märgi jaoks valitakse 128 eksperdist ainult kaheksa ning aktiivsed on ligikaudu 1 miljard parameetrit, kuigi kogu mudel sisaldab ligikaudu 14 miljardit parameetrit. See ülesehitus võib muuta ekspertide marsruutimise ja hõreda järeldamise uurimise võimalikuks, ilma et iga märgi puhul tuleks teha tihedaid arvutusi kõigi parameetritega.
Kompromissid on sama olulised. Mudel on suunatud teadusuuringutele, nõuab kohandatud mudelikoodi, selle konfigureeritud konteksti pikkus on 4096 märki ning täieliku kontrollpunkti tõttu võib juurutamine nõuda märkimisväärselt mälu. Samuti puuduvad sellel hallatud teenusekiht, avaldatud majutatud teenuse hinnakiri ja esitatud materjalides dokumenteeritud esmaklassilised agendivõimekused.
Mudeliga seotud toimetuslikud hinnangud annavad arutlus- ja kodeerimisvõimele hindeks 2 punkti 5-st, kiirusele 3 punkti 5-st ning kulule 4 punkti 5-st. Need on võrdlevad toimetuslikud hinnangud, mitte teenusepakkuja avaldatud võrdlustulemused. Need kajastavad mudeli teadusuuringutele suunatust, hõredat arhitektuuri ja majutatud API hinnakirja puudumist, mitte formaalse hindamise tulemust.
Millal seda mudelit valida?
Vali StdMoE_1b14b_1T, kui vajad avatud kaaludega standardset MoE kontrollpunkti kontrollitud teadusuuringuteks või enda hallatavateks katseteks. See sobib eriti hästi siis, kui võrdlus hõlmab EMO-t, ekspertide spetsialiseerumist, marsruutimispoliitikaid, modulaarsust või aktiivsete ja parameetrite koguarvu vahelist seost.
See võib sobida ka meeskondadele, kes soovivad mudeli rakendust ise uurida ja muuta, selle asemel et toetuda suletud teenusepakkuja hallatavale lõpp-punktile. Apache 2.0 litsents võimaldab avaldatud kontrollpunkti laialdaselt kasutada, järgides litsentsitingimusi ja kasutaja organisatsiooni nõutavat operatiivset ülevaatust.
Teine võimalus võib olla sobivam, kui prioriteediks on valmis API, garanteeritud latentsus, veebipõhine konteksti lisamine, tööriistakutsed, multimodaalne sisend, pikem kontekstiaken või dokumenteeritud tootetoe mudel. Tihedat mudelit võib samuti olla lihtsam juurutada, kui prognoositav mälukasutus ja lihtne järeldamine on olulisemad kui hõreda ekspertide marsruutimise uurimine. Pikkade dokumentidega rakenduste jaoks on eelistatav mudel, mille kontrollitud kontekstiaken ületab 4096 märki.
Saadavus ja piirangud
StdMoE_1b14b_1T on Ai2 Hugging Face’i organisatsiooni kaudu Apache 2.0 litsentsi alusel levitatav avatud kaaludega teadusmudel. Esitatud allikates ei ole selle kontrollpunkti kohta toodud ametlikku maksimaalset väljundimärkide arvu, teadmiste lõppkuupäeva, majutatud teenuse hinda ega teenusepakkuja võrdlustestide komplekti. Seetõttu tuleb neid väärtusi pidada teadmata olevaks, mitte tuletada neid konteksti pikkusest või treeningus kasutatud märkide arvust.
Kokkuvõttes on StdMoE_1b14b_1T kõige paremini mõistetav tehniliselt kasuliku võrdlusmudelina: see on tavapärane hõre MoE, milles on ligikaudu 1 miljard aktiivset ja 14 miljardit parameetrit kokku, ning see on avaldatud modulaarsuse ja ekspertide käitumise uurimise toetamiseks. Selle väärtus tuleneb kontrollitud rollist ja uuritavatest kaaludest, samas kui piirangute tõttu sobib see üldotstarbelise hallatud rakenduse taustsüsteemiks vähem hästi.