Mis on EMO 1B/14B 1T?
EMO 1B/14B 1T on Allen Institute for AI loodud avatud kaaludega ainult dekooderiga keelemudel. See genereerib tekstipäringute põhjal ingliskeelset teksti ning põhineb ekspertide segu (Mixture-of-Experts ehk MoE) arhitektuuril. MoE-mudelis jaotatakse kogu parameetrite hulk ekspertvõrkudeks ning iga märgi töötlemisel kasutatakse ainult valitud eksperte. See võib vähendada ühe märgi töötlemiseks vajalikku arvutusmahtu, kuigi kogu mudeli juurutamiseks on endiselt vaja juurdepääsu selle salvestatud kaaludele.
Nimi kirjeldab kontrollpunkti ligikaudset suurust ja treeningulugu: umbes 1 miljard aktiivset parameetrit, kokku 14 miljardit parameetrit ning treenimine 1 triljonil märgil. Seejärel viimistleti mudelit EMO eesmärgi abil veel 50 miljardi märgi ulatuses. Kontrollpunkt on EMO uurimisprojekti peamine avaldatud mudel ning see on eelkõige mõeldud uurimistööks ja kohalikuks järeldamiseks, mitte majutatava kommerts-API tootena.
Koht Allen Institute for AI kataloogis
EMO 1B/14B 1T kuulub Allen Institute for AI EMO mudeliperre ning see on avaldatud AllenAI Hugging Face'i repositooriumis. Kaasasolevas uurimistöös nimetatakse seda peamiseks EMO kontrollpunktiks. Tegemist on avatud uurimisväljaandega, mitte hallatava lõpp-punktiga, millel oleks teenusepakkuja määratud hinnad, kasutuspiirangud või esimese osapoole järeldusteenus.
Mudelit levitatakse Apache 2.0 litsentsi alusel. Kasutamisel tuleb järgida kohaldatavaid litsentsitingimusi ja Ai2 vastutustundliku kasutuse juhiseid. Avatud kaaludega vorming sobib paremini kasutajatele, kes suudavad ise hallata riistvara, tarkvarakeskkonda ja hindamisprotsessi, kui meeskondadele, kes otsivad kasutusvalmis API-t.
Arhitektuur ja modulaarne juurutamine
EMO 1B/14B 1T sisaldab 128 eksperti: 127 marsruuditavat eksperti ja üht jagatud eksperti. Iga märgi puhul valib marsruutimis mehhanism välja kaheksa marsruuditavat eksperti ning arvutuses osaleb ka jagatud ekspert. Selline ülesehitus võimaldab eri ekspertidel õppida erinevaid mustreid või valdkondi, säilitades samal ajal sisendite vahel ühise komponendi.
Selle uurimistöö peamine eesmärk ei ole lihtsalt hõrearvutuse kasutamine. EMO on loodud selleks, et muuta eksperdid modulaarsemaks ja kasulikumaks iseseisvalt valitavate alamhulkadena. Täiendava 50 miljardi märgi pikkuse viimistlusetapi jooksul suunati sama dokumendi märgid kasutama ühist ekspertide kogumit. Eesmärk oli suurendada ekspertide rühmade sisemist sidusust ja muuta valdkondlik spetsialiseerumine sisukamaks.
Avaldatud konfiguratsioon sisaldab 16 transformaatori kihti, peidetud kihi suurust 2 048, 16 tähelepanupead ja maksimaalset positsioonipikkust 4 096 märki. 4 096 märgi piirang kehtib mudeli toetatud konteksti kohta ning on suhteliselt tagasihoidlik rakenduste jaoks, mis peavad töötlema pikki dokumente või säilitama pikki vestlusi.
Kaasasoleva uurimistöö kohaselt põhjustab ainult EMO ekspertide alamhulga säilitamine hinnatud tingimustes väiksema jõudluse languse kui võrreldavates tavapärastes MoE-süsteemides. Artiklis teatatakse ligikaudu ühe protsendipunkti suurusest absoluutsest langusest, kui säilitatakse 25% ekspertidest, ning ligikaudu kolme protsendipunkti suurusest langusest, kui säilitatakse 12,5% ekspertidest. Need on esitatud hindamisseadistuse uurimistulemused, mitte garantii iga ülesande või ekspertide valimise strateegia kohta.
Võimekused ning sisendi ja väljundi tugi
Mudel võtab vastu teksti ja toodab teksti. See ei ole multimodaalne mudel: esitatud spetsifikatsioonid ei tuvasta pildi-, heli-, video-, muusika-, manustamis-, kõne- ega muude mittetekstiliste väljundite tuge. Samuti ei ole dokumenteeritud loomulikku veebotsingu võimekust ega sisseehitatud toimingute täitmist.
Tüüpilised kasutusviisid hõlmavad põhjuslikku tekstigeneratsiooni, repositooriumi vestlusmalli abil tehtavaid vestluskatseid ning valdkonnaspetsiifilise keelekäitumise uurimist. Mudel võib olla kasulik selle testimiseks, kas valitud ekspertide alamhulk toimib mõnes konkreetses valdkonnas, näiteks koodi, matemaatika või muu semantilise domeeni puhul hästi, kuid kaasasolev materjal ei esita ülesandespetsiifilisi võrdlustulemusi.
Mudelit saab laadida Transformersiga, kasutades repositooriumi kohandatud modelleerimisimplementatsiooni. Kontrollpunkt nõuab trust_remote_code=True, sest selle konfiguratsioon ja mudeliklassid ei piirdu Transformersi standardse sisseehitatud koodiga. Seda saab teenindada ka selliste järeldusraamistike abil nagu vLLM või SGLang, sõltuvalt konkreetse väljaande ja juurutusseadistuse ühilduvusest.
Mälu- ja järeldusnõuded
Avaldatud kontrollpunkti suurus F32-vormingus on ligikaudu 54,3 GB. See seab praktilise piirangu: kogu kontrollpunkti avaldatud kujul laadimiseks vajavad kasutajad märkimisväärset süsteemi- või kiirendimälu. Kvantimine või ekspertide valikuline juurutamine võib vähendada mälunõuet, kuid kaasasolevas uurimistöös ei täpsustata garanteeritud kvanditud suurust, toetatud kvantimisvorminguid ega universaalset riistvarasoovitust.
Aktiivsete ja kõigi parameetrite erinevus on siin oluline. Ühe märgi puhul on aktiivsed ligikaudu 1 miljard parameetrit, kuid kogu 14 miljardi parameetriga mudel esindab endiselt kogu salvestatud ekspertide kogumit. Hõre aktiveerimine võib vähendada arvutusmahtu, samas kui modulaarne ekspertide valimine võib võimaldada spetsialiseeritud kasutusjuhtumi jaoks juurutada väiksema osa mudeli olekust. Tegelik kiiruse ja mälukasutuse tulemus sõltub järeldusraamistikust, riistvarast, täpsusest, marsruutimiskonfiguratsioonist ja säilitatavate ekspertide arvust.
Hinnastamine ja API kättesaadavus
EMO 1B/14B 1T kohta ei ole dokumenteeritud ametlikku majutatava sisendi- ega väljundmärgi hinda. Uurimistöös ei tuvastata ka selle kontrollpunkti jaoks esimese osapoole majutatavat lõpp-punkti, maksimaalset väljundmärkide piiri, päringute vahemällu salvestamise teenust, pakett-API-t ega struktureeritud väljundi API-t. Seetõttu ei ole mudeli otsene hind korduvtellimus ega märgipõhine API-tasu; kohapeal juurutavad kasutajad peavad selle asemel arvestama riistvara-, salvestus-, majutus-, arendus- ja käitamiskuludega.
Esitatud uurimistöö kohaselt ei ole Hugging Face'i järeldusteenuse pakkuja EMO 1B/14B 1T praegu juurutanud. See eristab mudelit oluliselt majutatavatest keelemudelitest, mida saab kasutada teenusepakkuja hallatava API kaudu. Kohalik juurutamine annab kaalude ja taristu üle suurema kontrolli, kuid samal ajal vastutab kasutaja skaleerimise, seire, turbe, kättesaadavuse ja jõudluse häälestamise eest.
Tugevused ja kompromissid
- Modulaarsus: Mudel on spetsiaalselt loodud ekspertide alamhulkade ja valdkondliku spetsialiseerumisega katsetamiseks.
- Juurdepääs avatud kaaludele: Apache 2.0 väljaanne toetab kohalikku uurimistööd ja kohandatud järeldustaristut, ilma et oleks vaja kasutada varalist lõpp-punkti.
- Uurimisväärtus: Dokumenditaseme ekspertide kogumi eesmärk pakub konkreetset katseplatvormi selle uurimiseks, kuidas MoE-süsteemid spetsialiseerumist arendavad ja säilitavad.
- Võimalik juurutuspaindlikkus: Ekspertide valikuline laadimine võib võimaldada mõnel rakendusel kasutada vähem mälu kui kõigi ekspertide juurutamisel, kuigi täpne kokkuhoid sõltub implementatsioonist.
- Taristukoormus: Ligikaudu 54,3 GB suurune F32-kontrollpunkt, vajadus kohandatud koodi järele ja hallatud majutuse puudumine muudavad seadistamise keerukamaks kui majutatava API kasutamise.
- Lühem kontekst: 4 096 märgi pikkune maksimaalne positsioonipikkus piirab pikkade dokumentide ja ulatuslike vestluste töövooge.
- Piiratud tootefunktsioonid: Dokumenteeritud loomulikku tööriistade kutsumist, veebotsingut, struktureeritud väljundi liidest, pakett-lõpp-punkti ega multimodaalset genereerimist ei ole.
Mudeliga kaasasolev toimetuslik hinnang peab selle kodeerimisvõimekust ja kiirust mõõdukaks, arutlusvõimekust tagasihoidlikuks ning hinda avatud kaaludega mudeli kohta soodsaks. Need on toimetuslikud hinded, mitte teenusepakkuja avaldatud võrdlustulemused. Neid ei tohiks käsitleda mõõdetud jõudlusväidetena.
Millal valida EMO 1B/14B 1T?
Vali EMO 1B/14B 1T siis, kui peamine eesmärk on uurida või juurutada modulaarset ekspertide segu käitumist. See on mõistlik valik teadlastele, kes uurivad ekspertide spetsialiseerumist, inseneridele, kes katsetavad kohapeal majutatavat tekstigeneratsiooni, ning meeskondadele, kes kontrollivad, kas valdkonnale keskendunud ekspertide alamhulk suudab pakkuda vastuvõetavat kvaliteedi ja mälukasutuse kompromissi.
See võib sobida ka kasutajatele, kes vajavad katsetamiseks avatud kaale ja Apache 2.0 litsentsi, eeldusel et nad suudavad vajalikku taristut hallata. Mudeli ülesehitus on eriti asjakohane siis, kui ekspertide uurimise, valimise või ümberkorraldamise võimalus on tähtsam kui viimistletud hallatud teenuse kasutamine.
Teist tüüpi mudel on tõenäoliselt sobivam, kui rakendus vajab multimodaalset sisendit või väljundit, veebiga ühendatud tööriistu, garanteeritud struktureeritud vastuseid, väga pikka konteksti, paindlikku majutatud skaleerimist või dokumenteeritud märgipõhist hinda. Tavapärane tihe mudel või teenusepakkuja majutatav MoE-lõpp-punkt võib olla eelistatum ka siis, kui prognoositav käitamiskäitumine ja lihtne API-integratsioon on ekspertide modulaarsusest olulisemad.
Piirangud ja vastutustundlik juurutamine
EMO 1B/14B 1T on avatud uurimiskontrollpunkt, mistõttu peavad kasutajad iseseisvalt hindama selle faktilist usaldusväärsust, turvalisust, kallutatust, valdkondlikku jõudlust, latentsust ja ekspertide alamhulga käitumist. Esitatud allikad ei anna autoriteetset teadmiste lõppkuupäeva. Samuti ei dokumenteerita kindlat genereeritavate märkide maksimumarvu peale 4 096 märgi pikkuse positsioonipiiri, mistõttu ei tohiks seda piiri tõlgendada garanteeritud väljundimahuna.
Enne tootmiskasutust peaksid käitajad testima täpselt seda kontrollpunkti ja täpsust, mida nad kavatsevad juurutada, kontrollima kohandatud kaugkoodi käitumist ning hindama, kas ekspertide valikuline laadimine muudab kvaliteedi- või ohutusnäitajaid. Oluline on ka riistvara planeerimine: ainuüksi avaldatud F32-suurus võib tekitada märkimisväärse mälu- ja salvestusruuminõude. Seetõttu tuleks EMO 1B/14B 1T-d käsitleda pigem kontrollitud katsetamiseks ja kohandatud juurutuseks mõeldud spetsialiseeritud avatud mudelina kui täielikult hallatud keelemudeliteenuse kasutusvalmis asendusena.