Mis on OLMo-2-0325-32B?
OLMo-2-0325-32B on 32 miljardi parameetriga ingliskeelne autoregressiivne keelemudel, mida pakub Allen Institute for AI ehk lühidalt Ai2. Autoregressiivne mudel genereerib teksti järjestikku, kasutades juba antud teksti järgmise osa ennustamiseks. See mudel on OLMo 2 mudeliperekonna suurim väljalase ning on mõeldud eelkõige teadustööks, õppetööks, kohapealseks kasutuselevõtuks ja edasiseks mudelite arendamiseks.
Ai2 avaldas mudeli 13. märtsil 2025. Kaasasolevas mudelidokumentatsioonis nimetatakse seda baasmudeliks, eristades seda eraldi välja antud juhendatud peenhäälestusega, DPO- ja juhiste järgimise variantidest. See eristus on praktikas oluline: baasmudel sobib katsetamiseks ja kohandamiseks, kuid seda ei tohiks automaatselt käsitleda viimistletud üldotstarbelise vestlusabilisena.
Väljend „täielikult avatud“ viitab ebatavaliselt laiale materjalide kogumile, mille Ai2 mudeli kohta kättesaadavaks teeb. Kaasasoleva uurimuse kohaselt sisaldab väljalase mudeli kaalusid, treeningandmeid, treeningukoodi, kontrollpunkte, logisid ja treeningu taasesitatavaid üksikasju. Mudel on välja antud Apache 2.0 litsentsi alusel, kuid kasutajad peaksid siiski üle vaatama konkreetse mudelikaardi tingimused ning seotud andmekogumitele või muudele materjalidele kehtivad piirangud.
Kontrollitud tehnilised andmed
Järgmised andmed pärinevad Ai2 esitatud mudelilehtedelt, väljalaskemärkmetest, mudelikaardilt ja ametlikest repositooriumidest.
| Tehniline näitaja | Üksikasjad |
|---|---|
| Pakkuja | Allen Institute for AI (Ai2) |
| Väljalaskekuupäev | 13. märts 2025 |
| Mudeliperekond | OLMo 2 |
| Mudeli tüüp | Ingliskeelne autoregressiivne keelemudel |
| Parameetrid | 32 miljardit |
| Konteksti pikkus | 4096 tokenit |
| Treeningu maht | Kuni 6 triljonit tokenit |
| Arhitektuuri üksikasjad | 64 kihti, peidetud kihi suurus 5120 ja 40 tähelepanupead |
| Litsents | Apache 2.0 |
| Kanooniline mudeli identifikaator | allenai/OLMo-2-0325-32B |
| Teadmiste lõppkuupäev | Detsember 2023 vastavalt mudelikaardile |
4096 tokeni pikkune kontekst piirab seda, kui palju sisendit saab mudel ühe päringu ajal arvesse võtta, sealhulgas viipa ja soovitud jätku. See sobib tavaliste dokumentide, koodinäidete ja piiritletud uurimisülesannete jaoks, kuid on tänapäevaste pika kontekstiga mudelitega võrreldes piiratud, sest need on loodud töötlema väga suuri dokumente või pikki vestlusajalugusid. Kaasasolevast uurimismaterjalist ei leitud ametlikku maksimaalset väljundtokenite arvu, mistõttu ei tohiks eeldada eraldi väljundipiirangut.
Milline on selle koht Ai2 mudelivalikus?
OLMo-2-0325-32B kuulub Ai2 avatud mudelite teaduskataloogi, mitte eraldiseisva tarbijatele mõeldud tellimustootena. Ai2 laiemasse ökosüsteemi kuuluvad keelemudelid, multimodaalsed mudelid, kõnetuvastus, dokumenditöötluse tööriistad ja teaduskirjanduse teenused. Neid projekte ei tohiks tõlgendada OLMo-2-0325-32B sisse ehitatud funktsioonidena.
Selle mudeli puhul on kõige olulisemad avatus ja taasesitatavus. Kasutajad saavad kaalud alla laadida, rakendust uurida, treeningmaterjale analüüsida, mudelit oma taristus käitada ja seda peenhäälestuse abil kohandada. Seetõttu on baasmudel pigem teadustöö alus kui majutatud vestlusabiline. Ai2 eraldi juhistele keskenduvad variandid võivad olla sobivamad, kui eesmärk on kohe vestluslik suhtlus, kuid kaasasolev uurimus ei kinnita, et nende võimalused, piirangud või kasutuselevõtuviisid oleksid samad.
Sisendid, väljundid ja toetatud võimalused
OLMo-2-0325-32B võtab vastu teksti ja genereerib teksti. See ei toeta algupäraselt pilte, heli ega videot ning ei genereeri otse pilte, heli ega videot. Seega ei ole tegemist multimodaalse mudeliga, hoolimata Ai2 laiemast tegevusest multimodaalsete süsteemide vallas.
- Tekstisisend: Toetatud.
- Tekstiväljund: Toetatud.
- Piltide, heli ja video sisend: See mudel ei toeta neid.
- Piltide, heli, video, muusika või kõne väljund: Ei ole toetatud.
- Struktureeritud väljund: Spetsiaalset struktureeritud väljundi ega JSON-režiimi võimalust ei tuvastatud.
- Tööriistade või funktsioonide väljakutsumine: Algupärast tööriistade kasutamise võimalust ei tuvastatud.
- Veebiotsing: Ei ole sisse ehitatud.
Mudeli saab siiski integreerida suuremasse rakendusse, mis pakub välist otsingut, parsimist või töövoo koordineerimist. Need funktsioonid pärineksid aga ümbritsevast tarkvarast ja taristust, mitte OLMo-2-0325-32B kontrollitud algupärastest võimalustest. Arendajad peaksid vältima rakenduse tasemel tööriistakihi esitlemist nii, nagu toetaks aluseks olev mudel ametlikult funktsioonide väljakutsumist.
Järeldus- ja programmeerimisvõimekus
OLMo-2-0325-32B saab kasutada ülesannetes, mis nõuavad mitmeastmelist tekstilist arutlemist, kokkuvõtete tegemist, selgitamist, klassifitseerimist ja koodi genereerimist. Kaasasolevas toimetuslikus hinnangus saab see järeldusvõimekuse hindeks 6 punkti 10-st ja programmeerimisvõimekuse hindeks 6 punkti 10-st. Need on sisemised võrdlevad hinnangud, mitte võrdlustestide tulemused ega Ai2 avaldatud hinded. Neid tuleks kasutada üksnes ligikaudse juhisena, kui võrrelda mudelit teiste sama kataloogi mudelitega.
Mudeli 32 miljardi parameetri suurune maht annab sellele märkimisväärse keelemudeldamise võimekuse, samal ajal kui avatud treeningmaterjalid muudavad selle väärtuslikuks, et uurida selliste süsteemide käitumist. Olemasolev teave ei toeta siiski väiteid konkreetse võrdlustesti edetabelikoha, garanteeritud faktitäpsuse või suurepärase programmeerimisvõimekuse kohta. 2023. aasta detsembris lõppev teadmiste lõppkuupäev tähendab samuti, et baasmudelilt ei tohiks eeldada pärast seda kuupäeva avaldatud sündmuste, teekide või dokumentatsiooni tundmist, välja arvatud juhul, kui väline otsingusüsteem edastab sellele ajakohase teabe.
Hind ja juurdepääs
OLMo-2-0325-32B ametlikku hostitud API hinda tokeni kohta ei tuvastatud. Mudelit levitatakse peamiselt allalaaditavate kaaludena ning järeldusi saab teha kohapealse juurutuse või kolmanda osapoole taristu kaudu. Seetõttu ei ole olemas kontrollitud pakkuja tellimuse hinda ega Ai2 standardset API-hinda, mille põhjal arvutada tavapärast kuu- või päringupõhist kulu.
Mudeli kaalude „tasuta“ kättesaadavust ei tohiks segi ajada nullilähedase käituskuluga. 32 miljardi parameetriga mudeli käitamiseks on vaja sobivat riistvara, salvestusruumi, mälu ja süsteemihaldust. Tegelik kulu sõltub sellest, kas mudelit käitatakse kohapeal, majutab seda väline pakkuja või kasutatakse seda institutsionaalses teaduskeskkonnas. Kolmandate osapoolte majutushinnad võivad muutuda ega ole Ai2 ametlik mudelihind.
Toimetuse kuluhinnang on 9 punkti 10-st, kajastades tavapärase tokenipõhise litsentsitasu puudumist ja mudeli avatust, mitte garanteeritult väikest kogukulu. Riistvara- ja majutuskulud on endiselt olulised.
Peamised tugevused ja piirangud
Tugevused
- Lai avatus: Väljalase sisaldab kaalusid ja ulatuslikke treeningmaterjale, võimaldades rohkem uuritavust ja taasesitatavust kui tüüpiline suletud majutatud mudel.
- Kohapealne kontroll: Kasutajad saavad mudelit juurutada oma keskkonnas, selle asemel et saata iga viip pakkuja hallatavasse lõpp-punkti.
- Peenhäälestuse potentsiaal: Mudel toetab teadaolevalt peenhäälestust, mistõttu sobib see lähtepunktiks spetsialiseeritud ingliskeelsetele rakendustele.
- Teaduslik väärtus: Avatud kood, kontrollpunktid, logid ja treeninguteave toetavad treeningu, hindamise, tõlgendatavuse ja mudeli kohandamise alaseid katseid.
- Apache 2.0 litsents: See pakub paindlikku alust, mille puhul tuleb järgida litsentsi ja seotud materjalidele kehtivaid tingimusi.
Piirangud
- Lühem kontekst: 4096 tokeni pikkune kontekstiaken ei ole mõeldud väga suurte dokumentide ega pikkade vestluste jaoks.
- Ainult tekst: Mudel ei suuda otse töödelda pilte, heli ega videot.
- Kontrollitud algupäraste tööriistade puudumine: Sisseehitatud veebiotsingut, funktsioonide väljakutsumist ega koodi käivitamise keskkonda ei tuvastatud.
- Baasmudeli käitumine: Baasversioon ei pruugi olla juhiste järgimiseks või vestluskasutuseks optimeeritud samal viisil nagu spetsiaalne juhistele häälestatud mudel.
- Käitamise koormus: Kohapealne järeldamine nõuab sobivat taristut ja tehnilist seadistust.
- Teadmiste lõppkuupäev: Mudelikaardil on lõppkuupäevaks märgitud detsember 2023, mistõttu vajab ajakohane teave otsingut või muud uuendusmehhanismi.
- Tavapärase majutushinna puudumine: Kasutajad, kes soovivad prognoositavat hallatud API-kogemust, võivad vajada kolmandate osapoolte pakkujaid.
Millal valida OLMo-2-0325-32B?
Vali OLMo-2-0325-32B siis, kui läbipaistvus ja kontroll on mugavusest olulisemad. See sobib hästi teadlastele, kes kordavad keelemudelite katseid, ülikoolidele, kus õpetatakse mudelite arendamist, inseneridele, kes testivad kohapealset järeldamist, ning organisatsioonidele, kes peavad saama uurida kaalusid või kohandada avatud baasmudelit. See võib sobida ka ingliskeelse teksti genereerimiseks, piiritletud kokkuvõtete koostamiseks, kontrollitud katseteks ja peenhäälestuseks, kui meeskond suudab pakkuda oma juurutuskeskkonna.
Mudel on eriti atraktiivne siis, kui treeningmaterjalide kättesaadavus on oluline. Meeskond, kes uurib, kuidas andmed, kontrollpunktid või treeninguprotseduurid mõjutavad mudeli käitumist, saab rohkem nähtavust kui suletud API puhul, mis pakub ainult viipasid ja vastuseid.
Viimistletud lõppkasutajale mõeldud abilise, ajakohase teabe otsingu, pikkade dokumentide, algupärase multimodaalse töö või sisseehitatud agentsete töövoogude jaoks võib mõni muu valik olla sobivam. Hallatud kommertsmudelit on üldiselt lihtsam juurutada ning see võib pakkuda tugevamat integreeritud tööriistatuge, samas kui pika kontekstiga mudel sobib paremini suurte dokumendikogumite töötlemiseks. Kui keskne on piltide, heli või video mõistmine, on sobivam valik multimodaalne mudel. Ai2 laiemas teadusökosüsteemis võivad multimodaalsete või kõnepõhiste ülesannetega paremini sobituda ka teised mudeliperekonnad, kuid neid võimalusi ei tohiks omistada OLMo-2-0325-32B-le.
Üldhinnang
OLMo-2-0325-32B-d on kõige õigem mõista avatud teadustöö alusena, mitte valmis tarbijatele mõeldud vestlusroboti või hallatud API-tootena. Selle peamine eelis on 32 miljardi parameetri suuruse mahu ja ebatavaliselt ulatuslike väljalaskematerjalide kombinatsioon: kaalud, andmed, kood, kontrollpunktid, logid ja treeningu üksikasjad. See kombinatsioon toetab kohapealset juurutust, peenhäälestust ja taasesitatavat uurimistööd.
Selle kompromissid on sama selged. Mudel töötab ainult tekstiga, on piiratud 4096 tokeni pikkuse kontekstiga, sellel ei ole tuvastatud algupärast tööriista- ega veebiotsingu tuge ning kaasasoleva teabe põhjal puudub ametlik hostitud tokenipõhine hind. Kasutajatele, kes suudavad taristut hallata ja väärtustavad avatust, võivad need piirangud olla vastuvõetavad. Neile, kes eelistavad mugavust, ajakohaseid teadmisi, pikka konteksti, multimodaalset sisendit või integreeritud tööriistu, sobib tõenäoliselt paremini teist tüüpi mudel.