Mis on OLMoE-1B-7B-0924?
OLMoE-1B-7B-0924 on Allen Institute for AI ehk Ai2 loodud baastaseme autoregressiivne keelemudel. Autoregressiivne keelemudel ennustab järjestuses järgmist token'it, mistõttu sobib see teksti lõpetamiseks ja genereerimiseks, hindamiseks ning keelemudelite käitumise uurimiseks. Seda ei esitleta üldotstarbelise tarbijaassistendi, multimodaalse mudeli ega teenusepakkuja hallatava vestlus-API-na.
Mudel avaldati 2024. aasta septembris Ai2 avatud mudelite arendustöö osana. Kontrollpunkti kanooniline identifikaator on allenai/OLMoE-1B-7B-0924. Ai2 avaldas allalaaditavad mudelikaalud koos koodi, treeningandmete, logide ja muude seotud materjalidega, muutes selle väljalaske tavapärasest suletud hostitud mudelist paremini kontrollitavaks. Mudelit levitatakse Apache 2.0 litsentsi alusel, lähtudes selle litsentsi tingimustest ning seotud artefaktidele kohaldatavatest piirangutest.
Kuidas ekspertide segu arhitektuur töötab
OLMoE kasutab hõredat ekspertide segu ehk MoE-arhitektuuri. Selle asemel et suunata iga token läbi ühe täieliku tiheda võrgu, sisaldab mudel mitut spetsialiseerunud alamvõrku, mida nimetatakse ekspertideks. Suunaja valib iga token'i jaoks piiratud arvu eksperte, mistõttu ei aktiveerita igal operatsioonil kogu parameetrikomplekti.
Avaldatud konfiguratsioonis on määratud 64 eksperti ja top-8 suunamine. Praktiliselt tähendab see, et suunaja valib iga token'i jaoks kaheksa eksperti. Mudelil on kokku ligikaudu 6,9 miljardit parameetrit, millest konkreetse token'i puhul on aktiivsed umbes 1,3 miljardit. Koguarv näitab mudeli kasutatavat koguvõimekust, samas kui aktiivsete parameetrite arv on iga järeldussammu jaoks vajaliku arvutuse seisukohast olulisem.
Selline ülesehitus annab OLMoE-le tiheda mudeliga võrreldes teistsuguse kompromissi. See võib pakkuda suuremat koguvõimekust kui ligikaudu 1 miljardi parameetriga tihe mudel, hoides samal ajal token'i kohta tehtava arvutuse lähemal sellele väiksemale klassile. Hõre suunamine ei muuda mudelit siiski kuluvabaks: kogu kontrollpunkt tuleb endiselt salvestada või muul viisil kättesaadavaks teha ning tegelik jõudlus sõltub järeldusmootorist, riistvarast, pakktöötlusest, mälu läbilaskevõimest ja teostusest.
Kontrollitud spetsifikatsioonid lühidalt
| Spetsifikatsioon | Üksikasjad |
|---|---|
| Teenusepakkuja | Allen Institute for AI (Ai2) |
| Väljalaskekuupäev | 3. september 2024 |
| Mudelite perekond | OLMoE |
| Mudeli tüüp | Hõre ekspertide segu autoregressiivne keelemudel |
| Parameetrite koguarv | Ligikaudu 6,9 miljardit |
| Aktiivsed parameetrid | Ligikaudu 1,3 miljardit token'i kohta |
| Eksperdid ja suunamine | 64 eksperti, top-8 suunamine |
| Maksimaalne konteksti pikkus | 4096 token'it |
| Litsents | Apache 2.0 |
| Sisend ja väljund | Tekstisisend ja tekstiväljund |
| Hostitud API hinnastus | Ametlikku token'ipõhist hinda ei tuvastatud |
4096 token'i suurune kontekstilimiit on avaldatud treeningkonfiguratsiooni dokumenteeritud maksimaalne järjestuse pikkus. Esitatud uurimismaterjalides ei määratleta eraldi maksimaalset väljundtoken'ite arvu. Praktikas peab genereeritud tekst koos viibaga mahtuma mudeli toetatud järjestuse pikkuse piiresse, kuid täpselt kasutatav genereerimispikkus sõltub käituskeskkonnast ja päringu konfiguratsioonist.
Võimekused ja toetatud modaalsused
OLMoE-1B-7B-0924 võtab vastu teksti ja genereerib teksti. Tüüpilised kasutusviisid hõlmavad viiba lõpetamist, tekstilõikude genereerimist, keelemudeli käitumise testimist, hindamiste läbiviimist ja baastaseme kontrollpunkti kohandamist konkreetse ülesande jaoks. See võib olla ka uurimisobjekt, mille abil uurida hõredat suunamist ning aktiivse arvutuse ja mudeli võimekuse vahelist seost.
- Teksti lõpetamine ja jätkamine
- Teksti genereerimine lokaalselt või ise hostituna
- Keelemudelite võrdlustestid ja hindamine
- Peenhäälestus ja juhiste järgi kohandamine
- Hõreda ekspertide segu mudelitega tehtavad eksperimendid
- Juurutamine ühilduvate järeldusmootorite kaudu
See ei toeta algupäraselt piltide, heli ega video sisendit. Samuti ei genereeri see pilte, videot, heli, kõnet, manuseid ega muid mittetekstilisi väljundeid. Visuaalset mõistmist, kõnetuvastust, dokumendipiltide töötlemist või generatiivset meediat vajavad kasutajad peaksid selle asemel valima nende modaalsuste jaoks loodud mudeli.
Arutlus, programmeerimine ja tööriistade kasutamine
OLMoE võib genereerida teksti, mis meenutab selgitusi, koodi või samm-sammulist arutlust, kuid see on baastaseme keelemudel, mitte tänapäevane tipptasemel arutlusmudel. Esitatud hindamisandmetes on selle sobivust arutluseks ja programmeerimiseks hinnatud hindega 4/10. Tegemist on toimetusliku hinnanguga, mitte teenusepakkuja avaldatud võrdlustesti või garantiiga. Neid skoore ei tohiks käsitleda universaalse mõõdetud jõudlusena.
Mudelil ei ole dokumenteeritud algupärast funktsioonikutsete ega tööriistade kasutamise liidest. See ei paku sisseehitatud veebiotsingut, veebisirvimist, koodi käivitamist ega väliseid toiminguid. Arendaja võib paigutada genereeritud teksti suuremasse tööriistu pakkuvasse rakendusse, kuid orkestreerimine, valideerimine, õigused ja tööriistade käivitamine kuuluksid sellisel juhul sellele rakendusele, mitte OLMoE-le endale.
Programmeerimisel võib OLMoE olla kasulik eksperimentide, lihtsama lõpetamise või selle uurimise jaoks, kuidas avatud baasmudel programmeerimisteksti käsitleb. See sobib vähem olukordadesse, kus on vaja usaldusväärset kogu repositooriumi hõlmavat programmeerimist, tööriistadega toetatud silumist, pika horisondiga planeerimist või juhiste väga head järgimist. Genereeritud kood tuleb üle vaadata ja testida, mitte käivitada üksnes seetõttu, et mudel selle koostas.
Juurutamine ja kättesaadavus
Baasmudel on saadaval Ai2 ametlikus Hugging Face'i repositooriumis. Ai2 projekti materjalides on dokumenteeritud Transformersi, vLLM-i, SGLangi ja llama.cpp-ga ühilduvate kvantiseeritud versioonide tugi või kasutusnäited. Kui oluline on läbilaskevõime või latentsus, võivad spetsialiseeritud järeldusmootorid olla eelistatavad, samas kui Transformersi teostus pakub katsetamiseks ja integreerimiseks tuttavat võimalust.
Projekti dokumentatsioon viitab sellele, et Transformersi kasutamine võib olla spetsialiseeritud järeldusmootoritest aeglasem. Kvantiseeritud GGUF-faile saab kasutada ühilduvate lokaalsete käituskeskkondadega, kuigi täpsed mälunõuded ja jõudlus sõltuvad valitud kvantiseerimisest ning riistvarast. Hõre arhitektuur vähendab aktiivset arvutust, kuid kasutajad peavad endiselt arvestama kontrollpunkti salvestamise, käituskeskkonna lisakulude ja valitud juurutuskomplekti nõuetega.
Ai2 avaldas ka juhendatud peenhäälestuse ja juhiste järgi häälestatud OLMoE-ga seotud kontrollpunkte. Need on eraldi mudelikirjed ning neid ei tohiks segi ajada baastaseme OLMoE-1B-7B-0924 kontrollpunktiga. Baasmudel on sobiv valik, kui eesmärk on jätkuva eeltreenimise uurimine, kohandatud rakendamine või algse väljalaske otsene uurimine.
Hinnastus ja kasutuskulud
Esitatud väljalaskematerjalides ei tuvastatud ametlikku hostitud API lõpp-punkti ega sisend- ja väljundtoken'ite hinda. See tähendab, et puudub kontrollitud teenusepakkuja hinnamäär, mida saaks võrrelda kommertsiaalsete API-mudelitega. Allalaaditav kontrollpunkt on avaldatud Apache 2.0 litsentsi alusel, kuid selle käitamine ei pruugi olla tasuta: kasutajatel võivad tekkida kulud kohaliku riistvara, pilve-GPU-de, salvestusruumi, elektri, järeldusteenuse majutuse või arendusaja eest.
See hinnastusmudel erineb põhimõtteliselt hallatavast API-st. Hostitud kommertsmudel võtab tavaliselt tasu kasutuse põhjal ja haldab taristut, samas kui OLMoE jätab juurutamise eest vastutamise kasutajale. See võib olla atraktiivne meeskondadele, kes vajavad kontrolli kaalude ja käitamise üle, kuid vähem sobiv kasutajatele, kes soovivad kohest juurdepääsu, paindlikku skaleerimist, seiret ja prognoositavat hallatavat teenust.
Peamised tugevused ja kompromissid
OLMoE kõige selgem tugevus on avatus. Kasutajad saavad kaale kontrollida ja alla laadida, tutvuda avalike projekti materjalidega, korrata eksperimente suletud mudeliga võrreldes lihtsamalt ning kohandada süsteemi oma keskkonnale. Teine oluline eripära on hõre arhitektuur: ligikaudu 1,3 miljardit aktiivset parameetrit võib muuta mudeli käitamise säästlikumaks kui võrreldava parameetrite koguarvuga tiheda mudeli puhul, kuigi tegelik kokkuhoid sõltub teeninduskomplektist.
Mudel paikneb ka uurimistöö seisukohast kasulikul vahepealsel kohal. Selle koguvõimekus on suurem kui väga väikesel tihedal keelemudelil, kuid aktiivsete parameetrite profiil sarnaneb rohkem kergele juurutuse sihtmärgile. See muudab mudeli asjakohaseks eksperimentides, kus arvutuslik tõhusus, korratavus ja juurdepääs sisemisele ülesehitusele on olulisemad kui parim võimalik juhiste järgimise võimekus.
Kompromissid on sama olulised. OLMoE-l on 4096 token'i suurune kontekstilimiit, puudub algupärane multimodaalne tugi, teenusepakkuja hallatav API-hinnastus ja dokumenteeritud sisseehitatud tööriistad. Tegemist on baasmudeliga, mistõttu võib assistendilaadsetes töövoogudes usaldusväärse käitumise saavutamiseks vaja minna viipade koostamist, peenhäälestust või täiendavat rakendusloogikat. Avatud väljalase tähendab ka seda, et juurutamise, jõudluse häälestamise, turvakontrollide ja väljundi valideerimise eest vastutab kasutaja.
Millal valida OLMoE-1B-7B-0924?
Vali OLMoE-1B-7B-0924, kui vajad lokaalseks teksti genereerimiseks, korratavaks uurimistööks, hõredate mudelitega eksperimenteerimiseks, hindamiseks või kohandatud peenhäälestuseks vabalt kättesaadavat mudelit. See sobib eriti hästi siis, kui juurdepääs kaaludele ja treeningartefaktidele on olulisem kui viimistletud hostitud liides. See võib olla mõistlik valik ka piiratud järelduskeskkonnas, kus ligikaudu 1,3 miljardi parameetri aktiveerimine token'i kohta on eelistatavam kui sarnase suurusega tiheda mudeli käitamine suurema aktiivse arvutusega.
Mõnes olukorras võib sobivam olla teist tüüpi mudel:
- Vali juhiste järgi häälestatud assistendimudel, kui usaldusväärne vestluskäitumine ja keerukate kasutajapäringute järgimine on olulisemad kui baastaseme kontrollpunkti uurimine.
- Vali suurem või uuem arutlusmudel, kui rakendus sõltub keerukast mitmeastmelisest arutlusest, täiustatud programmeerimisest või suuremast üldotstarbelisest täpsusest.
- Vali multimodaalne mudel, kui sisendid või väljundid sisaldavad pilte, heli, videot või kõnet.
- Vali hallatav kommertsiaalne API, kui sa ei soovi ise hallata riistvara, järeldustarkvara, skaleerimist ja seiret.
- Vali pikema kontekstiga mudel, kui viibad või dokumendid ületavad sageli 4096 token'i suuruse järjestuselimiidi.
Oma kavandatud rollis tuleks OLMoE-1B-7B-0924 mõista eelkõige tõhusa ja kontrollitava uurimis- ning juurutuskontrollpunktina, mitte iga tänapäevase hostitud assistendi otsese asendusena. Selle väärtus tuleneb avatud artefaktide, hõreda arvutuse ja eksperimenteerimiseks suhteliselt kättesaadava suuruse kombinatsioonist.