Mis on StdMoE_1b4b_130B?
StdMoE_1b4b_130B on Ai2 välja antud avatud kaaludega teksti genereerimise mudel, mis kuulub EMO uurimisprojekti. Selle peamine eesmärk ei ole toimida üldotstarbelise kommertschatboti ega majutatud API-mudelina. Selle asemel pakub see kontrollitud lähtepunkti uurimaks, kuidas ekspertide segu (Mixture-of-Experts ehk MoE) treenimine mõjutab keelemudeli jõudlust.
EMO uurimistöös on kontrollpunkti tähis „Reg. MoE @ 32“. See kasutab standardset ekspertide segu eesmärki ning loodi selleks, et muuta võrdlused teiste EMO mudelitega õiglasemaks, hoides aktiivsete parameetrite ja mälukasutuse nõuded võrreldavas vahemikus.
Ekspertide segu ehk MoE mudel sisaldab mitut spetsialiseerunud alamvõrku, mida nimetatakse ekspertideks. Marsruutimis mehhanism valib iga märgi jaoks ainult mõned eksperdid, selle asemel et käivitada iga kord kogu võrk. Nii saab mudelil olla suurem parameetrite koguarv, kasutades samal ajal ühe märgi kohta väiksemat aktiivse arvutuse eelarvet.
Arhitektuur ja treenimise üksikasjad
Avaldatud mudeliteabe kohaselt on StdMoE_1b4b_130B mudelil ligikaudu 4 miljardit parameetrit kokku ja ligikaudu 1 miljard aktiivset parameetrit ühe märgi kohta. Selle hõredas arhitektuuris on 32 marsruuditavat eksperti ja üks jagatud ekspert. Iga märgi puhul aktiveeritakse kaheksa eksperti koos jagatud komponendiga.
See ülesehitus annab kontrollpunktile suurema parameetrimahutavuse kui sarnase aktiivsete parameetrite eelarvega tihedal mudelil, säilitades samal ajal ühe märgi kohta suhteliselt väikese arvutusmahu. EMO väljalaskes on mudeli rolliks konkreetselt eristada standardse MoE treenimiseesmärgi mõju sellest kasust, mis võib hoopis tuleneda suuremast mudelist või teistsugusest treeninguprotseduurist.
StdMoE_1b4b_130B treeniti algusest peale 130 miljardi märgi põhjal, kasutades OLMoE eeltreeningu segu. Kaasasolevas uurimistöös kirjeldatakse seda lähtepunktina, mille puhul ei kasutatud mõne teise EMO kontrollpunkti puhul rakendatud vahetreeningu ega anniilimise etappe. 130 miljardi märgi arv kirjeldab treeningu ulatust, mitte kalendripõhist teadmiste lõppkuupäeva.
Milline on selle koht Ai2 mudelikataloogis?
Ai2 positsioneerib selle kontrollpunkti EMO väljalaskes uurimislikuks lähtepunktiks, mitte juhtivaks majutatud mudeliks. Selle väärtus seisneb kontrollitud konfiguratsioonis: ligikaudu 1 miljard aktiivset parameetrit, ligikaudu 4 miljardit parameetrit kokku, 32 marsruuditavat eksperti ja kaheksa aktiivset eksperti märgi kohta.
Selline positsioneerimine muudab selle kasulikuks, kui teadlane soovib võrrelda hõreda mudeli arhitektuuri või treeningueesmärke, muutmata korraga liiga paljusid muutujaid. See sobib vähem inimesele, kes otsib hallatud lõpp-punkti, pika kontekstiga assistenti või avaldatud kasutusgarantiidega tootmisteenust.
Võimekused ja toetatud modaalsused
StdMoE_1b4b_130B on ainult tekstil põhinev põhjuslik keelemudel. See võtab vastu tekstipäringuid ja genereerib tekstijätke. Kaasasolevates spetsifikatsioonides ei ole dokumenteeritud pildi-, heli-, video-, manustamis-, kõne- ega muid mittetekstilise väljundi võimekusi.
Mudelit saab kasutada tavaliste keelemudeli katsete, viibapõhise teksti genereerimise ja hõredate keelemudelite käitumise hindamise jaoks. Olemasolev teave ei kinnita siiski spetsialiseeritud arutlus- ega programmeerimisvõrdlusteste, mistõttu ei tohiks väita, et sellel on kontrollitud eelis matemaatilises arutluses, tarkvaraarenduses või muudes kindlates ülesannetes.
Samuti ei ole mudelil dokumenteeritud loomulikku veebotsingut, funktsioonikutseid ega tööriistade kasutamise tuge. Transformers, vLLM, SGLang, Docker Model Runner ja muud serveerimissüsteemid võivad pakkuda võimalusi kaalude käitamiseks, kuid ühilduvust serveerimisraamistikuga ei tohiks segi ajada mudelitaseme tööriista- või agendivõimekusega.
Kontekstiaken ja juurutusnõuded
Avaldatud konfiguratsioon määrab positsioonimanustuste maksimaalseks pikkuseks 4096 märki. See on dokumenteeritud kontekstilimiit, seega tuleb päringud ja genereeritud jätked kavandada selle piirangu piires. Kaasasolevas uurimistöös ei ole avaldatud eraldi väljundi maksimaalset märgipiirangut.
Kontrollpunkti levitatakse F32 safetensors-vormingus. Dokumenteeritud Hugging Face Transformersi integratsiooni kaudu laadimisel vajab see trust_remote_code=True. Enne kohandatud mudelikoodi lubamist peaksid kasutajad tutvuma hoidla koodi ja juurutuskeskkonnaga.
Kuna tegemist on avatud kaaludega uurimiskontrollpunkti, mitte teenusepakkuja majutatud API-tootega, peavad kasutajad kaalud üldjuhul kohalikku keskkonda alla laadima ja neid seal serveerima või juurutama need ühilduva järeldustaristu kaudu. Kaasasolev teave ei tuvasta selle mudeli praegust Hugging Face Inference Provideri juurutust.
Hind, kiirus ja kulude kompromissid
StdMoE_1b4b_130B ametlikku majutatud API hinnastust ei ole dokumenteeritud. Seetõttu ei ole teatamiseks kontrollitud sisend- ega väljundmärgi hinda. Tegelik kulu sõltub operaatori kasutatavast riistvarast, salvestusruumist, majutuskorraldusest ja serveerimisvirnast.
Hõre arhitektuur võib vähendada aktiivset arvutust võrreldes ligikaudu 4 miljardi parameetri käitamisega iga märgi puhul. See ei taga siiski kindlat genereerimiskiirust: jõudlust mõjutavad marsruutimise lisakulu, mäluribalaius, riistvara, kvantimine, pakisuurus ja serveerimistarkvara. Kaasasolevas uurimistöös ei ole esitatud standardiseeritud kiirusvõrdlust ega garanteeritud latentsust.
Kohaliku katse puhul võib mudeli hõre ülesehitus pakkuda kasulikku mahutavuse ja aktiivse arvutuse kompromissi. Seevastu sarnase kogusuurusega tihedat mudelit võib olla lihtsam juurutada, samas kui palju suurem või majutatud mudel võib pakkuda paremat ülesandetäpsust või mugavamat käitamist teistsuguse hinnaga. Need on üldised kompromissid, mitte StdMoE_1b4b_130B kohta tehtud võrdlusväited.
Peamised tugevused ja piirangud
Tugevused
- Kontrollitud uurimisroll: see pakub EMO projektile standardse MoE võrdluspunkti.
- Hõre parameetrikasutus: ligikaudu 1 miljard parameetrit on ühe märgi kohta aktiivsed, kuigi parameetreid on kokku ligikaudu 4 miljardit.
- Juurdepääs avatud kaaludele: teadlased ja arendajad saavad kontrollpunkti alla laadida ja seda ühilduva kohaliku või enda hallatava taristu abil käitada.
- Selge arhitektuur: avaldatud konfiguratsioonis on määratud 32 marsruuditavat eksperti, üks jagatud ekspert ja kaheksa aktiivset eksperti märgi kohta.
- Paindlik litsents: mudel on välja antud Apache 2.0 litsentsi alusel koos Ai2 vastutustundliku kasutuse juhistega.
Piirangud
- Lühike dokumenteeritud kontekst: positsioonimanustuste maksimaalne pikkus on 4096 märki.
- Dokumenteeritud hallatud API puudub: kasutajad peavad eeldatavasti ise tegelema juurutuse, riistvara, skaleerimise ja töökindluse jälgimisega.
- Ainult tekstile keskenduv ulatus: kontrollpunkti puhul ei ole dokumenteeritud pildi, heli, video, kõne ega multimodaalse genereerimise tuge.
- Kontrollitud loomulikud tööriistad puuduvad: veebotsing, funktsioonikutsed, struktureeritud väljundi garantiid ja agendi toimingud ei ole dokumenteeritud võimekused.
- Uurimiskontrollpunkti küpsus: see treeniti lähtepunktina ning sellele ei rakendatud mõne teise EMO kontrollpunkti puhul kasutatud vahetreeningu ega anniilimise protseduure.
- Juurutuse keerukus: F32 safetensors-vormingus levitamine ja kohandatud kaugkoodi nõue võivad eeldada rohkem inseneritööd kui pakendatud majutatud teenus.
Millal valida StdMoE_1b4b_130B?
Vali StdMoE_1b4b_130B, kui eesmärk on uurida standardset hõredat ekspertide segu treeningut, korrata või laiendada EMO-ga seotud katseid või võrrelda mudeleid aktiivsete parameetrite mäluga kohandatud eelarve alusel. See on mõistlik valik ka arendajatele, kes katsetavad kohapeal majutatud avatud kaaludega teksti genereerimist ja soovivad konkreetselt MoE kontrollpunkti, mitte tavapärast tihedat mudelit.
Mudel sobib vähem juhul, kui esmatähtsad on tootmisvalmis API, garanteeritud latentsus, dokumenteeritud pikk kontekst, sisseehitatud veebipõhine teabega sidumine, multimodaalne sisend või hallatud skaleerimine. Sellisel juhul võib paremini sobida majutatud mudel või kontrollpunkt, mille tootmisserveerimise ja võimekuste dokumentatsioon on selgelt esitatud. Tihe mudel võib samuti olla eelistatum, kui juurutuse lihtsus on olulisem kui hõreda mudeli uurimine.
Litsents ja koht teadustöös
StdMoE_1b4b_130B on välja antud Apache 2.0 litsentsi alusel ning selle kasutamisel kehtivad Ai2 vastutustundliku kasutuse juhised. Selle peamine põhjendus on metoodiline: see annab teadlastele määratletud standardse MoE lähtepunkti, mille suhtes saab hinnata treeningueesmärgi, arhitektuuri või mudeli suuruse muutusi.
Kokkuvõttes tuleks StdMoE_1b4b_130B-d käsitleda kohapeal juurutatava uurimisvahendi ja avatud kaaludega põhjusliku keelemudelina. Selle ligikaudu 4 miljardi parameetriga hõre arhitektuur ja 130 miljardi märgi pikkune treening muudavad selle kasulikuks kontrollitud MoE-katsetes, kuid 4096 märgi pikkune kontekst, majutatud hinnastuse puudumine ja dokumenteeritud loomulike tööriistade puudumine piiravad selle sobivust kasutusvalmis tootmisassistendina.