Mis on StdMoE_1b14b_130B?
StdMoE_1b14b_130B on Ai2 ehk Allen Institute for AI avatud kaaludega keelemudel. See genereerib teksti ainult dekooderiga transformer-arhitektuuri abil ning seda levitatakse Hugging Face'i mudelirepositooriumi kaudu identifikaatoriga allenai/StdMoE_1b14b_130B.
Mudel on standardne Mixture-of-Expertsi ehk MoE kontrollpunkt. MoE-mudelis koosneb kogu võrk mitmest spetsialiseerunud alamvõrgust, mida nimetatakse ekspertideks, kuid marsruutimise süsteem aktiveerib iga tokeni puhul neist ainult valiku. Nii võib salvestatud mudelil olla väga suur parameetrite koguarv, ilma et iga arvutuse käigus kasutataks kõiki parameetreid.
StdMoE_1b14b_130B puhul on salvestatud ligikaudu 14 miljardit parameetrit ning iga tokeni kohta on aktiivsed ligikaudu 1 miljard parameetrit. See eristus teeb mudelist kasuliku näite hõredast mudelidisainist, kuid tähendab ka seda, et kohalik juurutamine nõuab riistvara ja salvestusruumi, mis suudavad hoida kogu kontrollpunkti.
Selle roll Ai2 EMO-uuringus
StdMoE_1b14b_130B avaldati koos EMO uurimisprojektiga, milles uuritakse, kas dokumenditaseme piirangud ekspertide valikule võivad tekitada hõredates keelemudelites modulaarsema käitumise. See kontrollpunkt on selle töö standardse MoE võrdluspunkt.
Selle arhitektuur ja treeningandmed on samad mis mudelil Emo_1b14b_130B. Oluline erinevus seisneb treeningueesmärgis: StdMoE kasutab tavapärast Mixture-of-Expertsi eesmärki, samal ajal kui EMO kontrollpunkt rakendab projektis uuritud dokumenditaseme ekspertide kogumi piirangut. Selline ühtlustatud seadistus aitab teadlastel omistada täheldatud erinevused marsruutimiseesmärgile, mitte mudeli suuruse, arhitektuuri või andmete muudele muutustele.
See positsioon on mudeli hindamisel oluline. StdMoE_1b14b_130B ei ole esitatud üldotstarbelise assistendina, mis oleks loodud juhiste järgimiseks, tarbijatele mõeldud vestluseks või hallatud tootmisjärelduseks. Selle peamine eesmärk on olla reprodutseeritav lähtealus hõredate mudelite, ekspertide spetsialiseerumise ja modulaarsusega seotud katsetes.
Arhitektuur ja konfiguratsioon
Avaldatud konfiguratsioonis on määratud 16 transformeri kihti, peitkihi suurus 2 048, 16 tähelepanupead ja sõnavara suurus 100 352 tokenit. Positsioonimanuste maksimaalne pikkus on 4 096 tokenit, seega peaksid rakendused käsitlema 4 096 tokenit dokumenteeritud kontekstilimiidina ega tohiks eeldada pika kontekstiga töökoormuste tuge.
Hõre ekspertide süsteem sisaldab 128 eksperti: 127 marsruuditavat eksperti ja ühte jagatud eksperti. Iga tokeni jaoks valitakse kaheksa marsruuditavat eksperti. Jagatud ekspert on marsruuditavate ekspertide kõrval alati kättesaadav, samal ajal kui marsruutimise mehhanism määrab, millised spetsialiseerunud eksperdid tokeni töötlemises osalevad.
Mudel kasutab kohandatud arhitektuuri EmoForCausalLM. Kaasasoleva Transformersi integratsiooni kaudu laadimisel peavad kasutajad lubama trust_remote_code=True. See nõue on töökorralduslikult oluline, sest laadimiskood ei piirdu standardsete, Transformersi sisseehitatud mudeliklassidega; kasutajad peaksid enne käivitamist repositooriumi koodi üle vaatama ja seda usaldama.
Treening, litsents ja levitamine
Ai2 treenis StdMoE_1b14b_130B-d 130 miljardi tokeni peal, mis pärinesid OLMoE eeltreeningu andmekogumist. Kaasasolevas uurimistöös kirjeldatakse seda 130 miljardi tokeniga ablatsiooniskaala kontrollpunktina ning märgitakse, et seda ei treenitud kesktreeningu ehk midtraining'u etapis. See treeniti tavapärase MoE eesmärgi abil, mitte EMO-ga seotud dokumenditaseme ekspertide kogumi piiranguga.
Mudeli kaalud on saadaval Apache 2.0 litsentsi alusel. Kontrollpunkti levitatakse F32-vormingus safetensors-failidena, mille kogumaht on ligikaudu 54,3 GB. See failimaht on praktiline piirang: kuigi ühe tokeni puhul on aktiivsed ainult ligikaudu 1 miljard parameetrit, peab kogu mudel üldjuhul olema järelduskeskkonnas kättesaadav, välja arvatud juhul, kui ühilduv juurutuslahendus pakub kaalude haldamiseks muud võimalust.
Ai2 pakub laadimisjuhiseid Hugging Face Transformersi jaoks ning serveerimisjuhiseid muu hulgas vLLM-i ja SGLangi kasutamiseks. Kaasasoleva uurimistöö kohaselt ei pakuta mudelit praegu Hugging Face'i hostitud järeldusteenuse pakkuja kaudu. Ametlikku hostitud API hinnastust ei leitud, seega ei ole kinnitatud sisendi- ega väljundtokeni hinda, mida esitada.
Võimekus ja toetatud modaalsused
StdMoE_1b14b_130B võtab vastu teksti ja genereerib teksti. Dokumenteeritud tuge pildi-, heli-, video-, muusika-, kõne-, manustamis- ega muule mittetekstilisele väljundile ei ole. Seetõttu sobib see teksti genereerimise katseteks, kuid mitte multimodaalseteks rakendusteks ega meedia otseseks genereerimiseks.
Mudelil ei ole dokumenteeritud veebotsingu võimekust, hostitud sirvimisintegratsiooni ega sisseehitatud tööriista- või funktsioonikutsete liidest. Seda ei tohiks käsitleda agendiplatvormina ega mudelina, millele pakkuja hallatud toimingud on sisse ehitatud. Kõik tööriistad, otsingusüsteemid, struktureeritud rakendusloogika või välisteenused tuleks juurutava meeskonna poolt mudeli ümber ehitada.
Ka JSON-režiimi ega struktureeritud väljundi funktsiooni ei ole kaasasolevas uurimistöös dokumenteeritud. Kuigi rakendus võib keelemudelilt paluda JSON-i väljastada, ei ole see sama mis kinnitatud pakkuja jõustatud JSON-režiim. Rangelt masinloetavat väljundit vajavad rakendused peaksid lisama oma valideerimis- ja taasteloogika.
Peamised tugevused ja piirangud
Tugevused
- Kasulik uurimislik lähtealus: Seos EMO kontrollpunktiga teeb selle sobivaks marsruutimiseesmärkide kontrollitud võrdlemiseks.
- Avatud levitamine: Kaalud, konfiguratsioon, koodiviited ja seotud uurimismaterjalid on Apache 2.0 litsentsi alusel kohalikuks uurimiseks saadaval.
- Hõre arvutus: Iga tokeni kohta on aktiivsed ligikaudu 1 miljard parameetrit, kuigi salvestatud mudel sisaldab ligikaudu 14 miljardit parameetrit.
- Üksikasjalik arhitektuur: Avaldatud ekspertide arv, marsruutimise konfiguratsioon, kihtide arv, peitkihi suurus ja kontekstilimiit toetavad reprodutseeritavaid katseid.
- Ühilduvus juurutustööriistadega: Ai2 dokumenteerib kasutamist Transformersiga ning pakub serveerimisjuhiseid vLLM-i ja SGLangi jaoks.
Piirangud
- Suur kohalik maht: Ligikaudu 54,3 GB suurune F32 kontrollpunkt on tarbijariistvarale nõudlik ning vajab palju salvestusruumi ja mälu.
- Tänapäeva mõistes lühike kontekstiaken: Dokumenteeritud maksimaalne positsioonipikkus on 4 096 tokenit, mis piirab pikkade dokumentide ja pikemate vestluste kasutusjuhtumeid.
- Uurimismudel, mitte assistendiks häälestatud mudel: Mudel on lähtealus, mitte viimistletud kommertslik assistent. Kaasasolev uurimistöö ei kinnita juhiste järgimist, ohutushäälestust ega tootmiskasutuse tugigarantiisid.
- Hallatud API hinnastus puudub: Üldjuhul peavad kasutajad kaalud ise alla laadima ja neid käitama või kasutama ühilduvat isemajutatud teenust.
- Kohandatud laadimisnõuded: Transformersi kasutajad vajavad
trust_remote_code=True, mis lisab koodi ülevaatamise ja juurutamise seisukohast täiendava kaalutluse. - Dokumenteeritud tööriista- või multimodaalne kiht puudub: Kontrollpunkt on ainult tekstipõhine ning ei sisalda kinnitatud veebotsingu-, funktsioonikutsete ega meediavõimekust.
Kiiruse ja kulude kompromissid
Hõre arhitektuur võib vähendada aktiivset arvutust võrreldes tiheda mudeliga, mille parameetrite koguarv on sama. Ligikaudu 1 miljardi parameetri aktiveerimine tokeni kohta on peamine põhjus, miks mudel on tõhususe ja marsruutimise vaatenurgast huvitav.
Hõre aktiveerimine ei muuda kontrollpunkti siiski igas praktilises mõttes kergeks. Ligikaudu 14 miljardi parameetriga mudel tuleb endiselt täielikult salvestada ja järeldussüsteemile kättesaadavaks teha ning F32-vormingus distributsiooni maht on ligikaudu 54,3 GB. Tulemuseks on kompromiss: mudel võib vähendada tokeni kohta tehtavat aktiivset arvutust võrreldes oma kogumahuga, kuid jääb allalaadimise, laadimise ja serveerimise poolest kallimaks kui palju väiksem tihe tekstimudel või kvantiseeritud juurutus.
Kaasasolev toimetuslik hinnang peab selle kiiruse ja kulude omadusi mõõdukaks, mitte pakkuja avaldatud võrdlustulemusteks. Kinnitatud latentsus-, läbilaskevõime-, riistvarasoovituse- ega tokenikulu tulemusi ei esitatud, seega sõltub juurutuse jõudlus serveerimisvirnast, riistvarast, pakktöötlusest ja võimalikest kaaluvormingu muudatustest, mida operaator kasutab.
Millal valida StdMoE_1b14b_130B
Vali see mudel siis, kui eesmärk on uurida või reprodutseerida hõreda keelemudeli käitumist, mitte hankida hallatud assistenti. See sobib hästi katseteks, mis käsitlevad:
- ekspertide marsruutimist ja valikulist aktiveerimist;
- emergentset modulaarsust ja võrdlusi EMO-ga;
- reprodutseeritavat kohalikku teksti genereerimise uurimist;
- arhitektuurilt sobitatud ablatsioonikatseid;
- koguparameetrite ja aktiivsete parameetrite vahelist seost ning
- isemehitatud järeldust ühilduvate Transformersi, vLLM-i või SGLangi töövoogude abil.
See võib sobida ka üldiseks kohalikuks tekstigeneraatoriks tehnilistele kogenud kasutajatele, kellel on piisavalt salvestusruumi ja mälu. Apache 2.0 litsents võib olla kasulik teadus- ja tarkvaraprojektides, järgides litsentsitingimusi ning juurutaja enda vastavuskontrolli.
Millal võib mõni muu valik olla sobivam
Hostitud kommertslik keelemudel on tõenäoliselt parem valik siis, kui prioriteediks on lihtne API, kasutuspõhine arveldamine, teenusetaseme tugi, automaatne skaleerimine või sisseehitatud tööriistad. Väiksem tihe avatud kaaludega mudel võib olla praktilisem siis, kui riistvara maht, allalaadimise suurus, käivitusaeg või odav järeldus on olulisemad kui just selle MoE-arhitektuuri reprodutseerimine.
Pikkade dokumentide, ulatuslike vestluste või otsingutöövoogude jaoks, kus ühte viipa tuleb paigutada palju lähtematerjali, on eelistatav pikema dokumenteeritud kontekstiaknaga mudel. Kui olulised nõuded on juhiste järgimine, struktureeritud väljund, programmeerimine, veebiuuring või multimodaalne sisend, tuleks valida nendele võimetele spetsiaalselt häälestatud mudel, sest StdMoE_1b14b_130B-d kirjeldatakse peamiselt baasuurimise kontrollpunktina ning need pakkujataseme funktsioonid sellel puuduvad.
Kokkuvõte
StdMoE_1b14b_130B-d on kõige parem mõista kui Ai2 avatud ja arhitektuurilt sobitatud standardse MoE lähtealust. Selle määravad ligikaudu 14 miljardit parameetrit kokku, ligikaudu 1 miljard aktiivset parameetrit tokeni kohta, 128 eksperti, millest iga tokeni jaoks valitakse kaheksa marsruuditavat eksperti, 130 miljardit treeningtokenit ja 4 096 tokeni suurune kontekstilimiit.
Selle väärtus seisneb kontrollitud katsetes ja läbipaistvas kohalikus uurimistöös, eriti võrdluses EMO treeningukäsitlusega. Peamised kulud on töökorralduslikud: ligikaudu 54,3 GB suurune F32 kontrollpunkt, kohandatud mudelikoodi laadimine, dokumenteeritud hostitud API hinnastuse puudumine ning sisseehitatud multimodaalse, veebotsingu- või tööriistakasutuse kihi puudumine. Need kompromissid muudavad selle spetsialiseerunud uurimisvalikuks, mitte tootmisrakenduste arendamise vaikevalikuks.