Mis on Dense_1b_130B?
Dense_1b_130B on Allen Institute for AI ehk Ai2 välja antud tihe, ainult dekooderiga keelemudel. See sisaldab ligikaudu 1 miljardit parameetrit ja seda eeltreeniti algusest peale 130 miljardi märgi põhjal, mis pärinevad OLMoE eeltreeningu andmekogumist. Kontrollpunkt avaldati koos Ai2 EMO uurimisprojektiga, milles uuritakse segu-ekspertidega keelemudelites tekkivat modulaarsust.
Nimi kirjeldab kahte olulist omadust: „Dense” tähistab mudeli arhitektuuri, „1b” viitab ligikaudsele parameetrite arvule ja „130B” treeningumärkide arvule. See on tekstisisendi ja tekstiväljundiga mudel, mis on mõeldud peamiselt uurimistööks ja keelemudelitega kohalikuks katsetamiseks.
Selle roll Ai2 EMO uurimistöös
Dense_1b_130B ei ole EMO väljalaske peamine hõre segu-ekspertidega mudel. Selle asemel toimib see kontrollitud lähtetasemena. Tihe mudel kasutab igas kihis iga märgi puhul sama eessuunatud võrgustikku. Segu-ekspertidega mudel sisaldab seevastu mitut spetsialiseeritud eessuunatud võrgustikku ja suunab iga märgi neist alamhulka kasutama.
Ai2 kirjeldab seda kontrollpunkti nimetusega „Dense @ 8”, sest selle aktiivsete parameetrite arv on mõeldud vastama suuremates EMO ja tavalistes MoE mudelites kasutatavate kaheksa eksperdi alamhulkade suurusele. See muudab mudeli kasulikuks, kui teadlased soovivad võrrelda tihedaid ja hõredaid arhitektuure sarnastes aktiivse arvutusvõimsuse või mälukasutuse tingimustes. Selline võrdlus on informatiivsem kui lihtsalt erineva aktiivsete parameetrite eelarvega mudelite kõrvutamine.
Mudelit eeltreeniti 130 miljardi märgi põhjal, kuid sellele ei rakendatud peamise EMO mudeli puhul kasutatud kesktreeningu etappi. Seda erinevust tuleb eksperimentide tõlgendamisel arvesse võtta: Dense_1b_130B on tiheda mudeli eeltreeningu lähtetase, mitte EMO süsteemi juhiste järgi häälestatud ega kesktreenitud versioon.
Arhitektuur ja treeningu üksikasjad
Üldjoontes on Dense_1b_130B tavapärane ainult dekooderiga Transformer. Ainult dekooderiga mudelid genereerivad teksti, ennustades eelneva konteksti põhjal järgmist märki. Selles mudelis kasutab iga kiht suunatud ekspertide vahel valimise asemel tihedat eessuunatud komponenti.
Kontrollitud treeningukirjeldus nimetab ligikaudu 1 miljardit parameetrit ja 130 miljardit eeltreeningu märki. Treeninguandmed pärinesid OLMoE eeltreeningu andmekogumist. Olemasolev dokumentatsioon ei esita täpset teadmiste lõppkuupäeva, mistõttu ei tohiks 130 miljardi märgi suurust treeningumahtu käsitleda kuupäevalise teadmiste piirina.
Dokumenteeritud konteksti pikkus on 4096 märki. See on esitatud mudeliteabes loetletud maksimaalne toetatud sisendkontekst. Eraldi maksimaalset väljundmärkide arvu ei ole dokumenteeritud, mistõttu ei tohiks rakendused eeldada, et kogu kontekstiakent saab kasutada genereeritud väljundi jaoks.
Võimekus ja toetatud modaalsused
Dense_1b_130B võtab vastu teksti ja väljastab teksti. Dokumenteeritud toe puudub pildi-, heli- või videosisendile ja -väljundile. Seetõttu sobib mudel tavapäraste keelemudeli ülesannete jaoks, nagu teksti jätkamine, genereerimiskatsed ja eeltreenitud keelekäitumise hindamine, kuid mitte multimodaalseks analüüsiks ega meedia genereerimiseks.
Mudeli kaardil ei kirjeldata seda juhiste järgi häälestatud, kodeerimisele spetsialiseerunud ega vestlusabiliseks optimeeritud mudelina. Eeltreenitud keelemudelina võib see mingil määral genereerida koodi või viipadele vastata, kuid olemasolevad tõendid ei kinnita assistenditasemel juhiste järgimist ega spetsiaalset kodeerimisvõimekust. Seetõttu tuleks mudelit hinnata uurimistööks mõeldud kontrollpunktina, mitte eeldada, et see käitub nagu tootmiskõlblik kodeerimisassistent.
Samuti puudub dokumenteeritud natiivne veebiotsing, tööriistade kutsumine, funktsioonide kutsumine, tegevusväljund või struktureeritud väljundi režiim. Rakendus võiks teoreetiliselt ümbritseda kohaliku genereerimise oma tarkvaraga, kuid see oleks rakenduskihi integratsioon, mitte Dense_1b_130B kontrollitud sisseehitatud võimekus.
Mida mudeli suurus kiiruse ja kulu kohta tähendab
Ligikaudu 1 miljardi parameetriga Dense_1b_130B on oluliselt väiksem kui samas uurimiskontekstis kirjeldatud 14 miljardi koguparameetriga EMO mudelid. Väiksem suurus võib muuta kohaliku katsetamise praktilisemaks ning pakkuda suuremate uurimiskontrollpunktidega võrreldes soodsat kiiruse ja mälukasutuse tasakaalu. Esitatud toimetajahinnang annab selle kiirusele kõrge ja kulule soodsa hinnangu, kuid need on toimetuse hinnangud, mitte teenusepakkuja avaldatud võrdlustulemused.
Selle tihe arhitektuur pakub ka lihtsamat võrdluspunkti kui suunatud segu-ekspertidega süsteem. Iga märk läbib sama tiheda arvutustee, mis võib muuta arhitektuuride võrdlemise ja rakenduskatsete tõlgendamise lihtsamaks. Väiksemalt tihedalt lähtetasemelt ei tohiks siiski oodata suuremate hõredate mudelitega võrdset kvaliteeti või uurimiskäitumist pelgalt seetõttu, et selle aktiivsete parameetrite võrdlussiht on sarnane.
Ametlikku majutatud järeldamise hinda ei ole dokumenteeritud. Praegu ei ole mudelit tuvastatud Hugging Face’i Inference Provideri kaudu juurutatuna ning teenusepakkuja hallatava API hinnakirja kohta ei ole midagi teatada. Kasutamise tegelik kulu sõltub kasutaja riistvarast, pilveinstantsist ja teeninduskonfiguratsioonist.
Kuidas mudelile juurde pääseda ja seda teenindada
Kanooniline repositoorium on Hugging Face’is allenai/Dense_1b_130B. Ametlik kasutusmaterjal dokumenteerib Transformersi kasutamise koos kohandatud mudelikoodiga ning kirjeldab ka kohalikku teenindamist vLLM-i ja SGLang-i kaudu, kasutades OpenAI-ga ühilduvaid lõpp-punkte.
Kontrollpunkti laadimisel dokumenteeritud Transformersi meetodiga peavad kasutajad lubama trust_remote_code=True. See on vajalik, sest repositoorium kasutab kohandatud modelleerimisrakendust. Kaugkoodi lubamisega kaasnevad turvariskid, mistõttu tuleks seda teha ainult siis, kui repositooriumi ja täitmiskeskkonda usaldatakse ning need on asjakohaselt üle vaadatud.
Kohalik teenindamine on olemasoleva dokumentatsiooni põhjal peamine juurdepääsuviis. Kohaliku vLLM-i või SGLang-i juurutuse pakutav OpenAI-ga ühilduv lõpp-punkt võib muuta integratsiooni lihtsamaks rakenduste jaoks, mis juba kasutavad sellist päringuvormi, kuid lõpp-punkti haldaks sel juhul kasutaja, mitte Ai2 ametliku majutatud API-na.
Tugevused ja piirangud
Peamised tugevused
- Kontrollitud uurimistöö lähtetase: Tihe arhitektuur pakub otsest võrdluspunkti hõredatele segu-ekspertidega mudelitele.
- Aktiivsete parameetrite vastavus: Positsioneerimine „Dense @ 8” on mõeldud viima aktiivsete parameetrite arvu vastavusse seotud EMO ja tavaliste MoE kontrollpunktide kaheksa eksperdi alamhulkadega.
- Märkimisväärne eeltreeningumaht: Mudelit treeniti algusest peale 130 miljardi märgi põhjal, mitte väikese näidiskontrollpunktina.
- Kohaliku juurutamise võimalused: Ai2 dokumenteerib Transformersi, vLLM-i ja SGLang-i töövood, pakkudes teadlastele mitut võimalust mudeli kohalikuks käitamiseks.
- Vähe piirav litsents: Kontrollpunkt on välja antud Apache 2.0 litsentsi alusel, järgides mudelikaardi vastutustundliku kasutamise juhiseid.
Olulised piirangud
- Uurimistöö, mitte assistendi häälestus: Mudelit ei ole dokumenteeritud juhiste järgi häälestatuna ega usaldusväärseks vestlusülesannete täitmiseks optimeerituna.
- Piiratud kontekst: Dokumenteeritud konteksti pikkus on 4096 märki, mis võib pikkade dokumentide või pikemate vestluste puhul olla piirav.
- Dokumenteeritud majutatud API puudub: Üldjuhul peavad kasutajad kontrollpunkti kohalikult käitama või oma taristus juurutama.
- Kontrollitud tööriista- või struktureeritud väljundi tugi puudub: Esitatud dokumentatsioon ei kinnita natiivset veebiotsingut, funktsioonide kutsumist, JSON-režiimi ega struktureeritud genereerimist.
- Multimodaalne tugi puudub: Dokumenteeritud liides pakub ainult tekstisisendit ja tekstiväljundit.
- Seotud uurimismudelitest väiksem maht: Ligikaudu 1 miljardi parameetri suurus teeb sellest kasuliku lähtetaseme, kuid mitte suuremate EMO kontrollpunktide asendaja igas eksperimendis.
Millal valida Dense_1b_130B?
Vali Dense_1b_130B siis, kui eesmärk on uurida tihedate ja MoE-mudelite käitumist ligikaudu võrdsustatud aktiivsete parameetrite tingimustes. See on eriti asjakohane teadlastele, kes kordavad või laiendavad Ai2 EMO eksperimente, testivad kohaliku järeldamise töövooge, võrdlevad eeltreenitud keelemudeleid või uurivad, kuidas tihe lähtetase suunatud alternatiividega võrreldes käitub.
See võib olla mõistlik valik ka siis, kui kohalik kiirus, väiksemad mälunõuded ja läbipaistev uurimistööks mõeldud positsioneerimine on tähtsamad kui assistendi viimistletus. Ligikaudu 1 miljardi parameetri suurus teeb sellest EMO uurimisväljalaske suurematest mudelitest ligipääsetavama lähtekoha, kuigi tegelikud ressursinõuded sõltuvad teenindusvirnast ja riistvarast.
Teine võimalus võib olla sobivam, kui ülesanne nõuab usaldusväärset juhiste järgimist, tootmistuge, majutatud API kättesaadavust, multimodaalset sisendit, veebist pärinevatel allikatel põhinevaid vastuseid, natiivset tööriistade kasutamist või dokumenteeritud struktureeritud väljundeid. Suuremad või juhiste järgi häälestatud mudelid on tõenäoliselt paremad kandidaadid ka lõppkasutajatele mõeldud assistentide jaoks, kuid esitatud uurimistöö ei kinnita ühtki konkreetset alternatiivset toodet ega võrdlusnäitajat.
Litsents ja vastutustundlik kasutamine
Hugging Face’i mudelikaart määratleb Dense_1b_130B Apache 2.0 litsentsi alusel välja antud mudelina ning annab Ai2 vastutustundliku kasutamise soovituste kohaselt juhiseid teadus- ja hariduskasutuseks. Apache 2.0 lubab oma tingimustel laialdast kasutamist, kuid kasutajad vastutavad endiselt litsentsi, mudelikaardi juhiste ja oma juurutusnõuete ülevaatamise eest.
Kuna tegemist on eeltreenitud uurimiskontrollpunktiga, peaksid kasutajad oma töökoormuse jaoks testima faktitäpsust, ohutuskäitumist, juhiste järgimist ja väljundi kvaliteeti. Mudeli roll uurimistöös ning dokumenteeritud assistendihäälestuse puudumine on olulised põhjused, miks kontrollimata genereeritud vastuseid ei tohiks käsitleda tootmisvalmis vastustena.
Kokkuvõte
Dense_1b_130B-d tuleks eelkõige mõista hoolikalt positsioneeritud uurimistöö lähtetasemena, mitte majutatud vestlusroboti või kõigi funktsioonidega rakendusmudelina. Selle väärtus seisneb tavapärase tiheda arhitektuuri, ligikaudu 1 miljardi parameetri, 130 miljardi eeltreeningumärgi ja Ai2 EMO võrdlustes aktiivsete parameetrite arvu poolest sobitatud rolli ühendamises. Kohalikuks katsetamiseks ning tihedate ja MoE-mudelite uurimiseks on need omadused kasulikud. Tootmisassistentide, multimodaalsete töövoogude, tööriistadega rakenduste või garanteeritud struktureeritud vastuste puhul ei toeta olemasolev dokumentatsioon selle käsitlemist sobiva vaikevalikuna.