Mis on OLMo-2-0425-1B?
OLMo-2-0425-1B on Allen Institute for AI ehk üldtuntud Ai2 välja töötatud ingliskeelne autoregressiivne transformer-mudel. Autoregressiivne keelemudel genereerib teksti järjestikku, lähtudes sellele eelnevast tekstist. Praktikas on see kontrollpunkt mõeldud teksti jätkamiseks või genereerimiseks viiba põhjal, mitte hallatud vestluskogemuse pakkumiseks koos sisseehitatud veebisirvimise, funktsioonikutsungite või rakendustaseme orkestreerimisega.
Mudel on Ai2 OLMo 2 perekonna väikseim liige. Tähis „1B” viitab ligikaudu 1 miljardile parameetrile ehk närvivõrgu õpitud arvulistele väärtustele. Väiksem mudel vajab üldjuhul vähem arvutusressursse kui suur mudel, mistõttu on OLMo-2-0425-1B kohaliku järeldamise, õppetöö, eksperimenteerimise ja peenhäälestuse jaoks hõlpsamini kasutatav. Samas tähendab see, et kasutajad ei peaks ootama samasugust arutlusvõimet, laia kasutusvaldkonda ega keelekatvust nagu palju suurematelt tippmudelitelt.
Ai2 teeb kontrollpunkti kättesaadavaks oma avatud mudelite ökosüsteemi kaudu, sealhulgas ametlikus Hugging Face'i repositooriumis. Kaasasoleva uuringu kohaselt on kaalud ja kood avaldatud Apache 2.0 litsentsi alusel. See lubav litsents võib toetada mitmesugust teadus- ja ärikasutust, arvestades litsentsitingimusi ning kasutaja vastutust juurutamise eest.
Koht OLMo 2 mudeliperekonnas
OLMo-2-0425-1B on baaskontrollpunkt, mitte juhiste järgimiseks või vestlusteks häälestatud väljalase. See erinevus on mudeli käitumise hindamisel oluline. Baasmudel treenitakse teksti ennustama ja jätkama, samas kui instruct- või juhendatud peenhäälestusega varianti treenitakse lisaks päringutele assistendilaadses vormis vastama.
Ai2 OLMo 2 kollektsioon sisaldab ka eraldi avaldatud juhendatud peenhäälestusega, DPO- ja instruct-variante. Neid variante ei tohiks käsitleda OLMo-2-0425-1B-ga samaväärsetena. Kui eesmärk on kohe kasutatav vestlusrakendus, võib sobiv juhiste järgi häälestatud mudel olla parem valik. 1B baaskontrollpunkt sobib otsesemalt mudeli käitumise uurimiseks, mudeli kohandamiseks kindla valdkonna jaoks, treeningumeetodite testimiseks või kontrollitud genereerimiskonveieri loomiseks.
Kontrollitud tehniline profiil
| Spetsifikatsioon | OLMo-2-0425-1B |
|---|---|
| Pakkuja | Ai2 ehk Allen Institute for AI |
| Mudelite perekond | OLMo 2 |
| Parameetrid | Ligikaudu 1 miljard |
| Arhitektuuri üksikasjad | 16 transformer-kihti, peitdimensioon 2 048 ja 16 tähelepanupead |
| Konteksti pikkus | 4 096 tokenit |
| Peamine keel | Inglise keel |
| Treeningandmete maht | Ligikaudu 4 triljonit tokenit |
| Andmete kuupäevalõige | Detsember 2023 vastavalt kaasasolevale mudelikaardi teabele |
| Litsents | Apache 2.0 |
| Kättesaadavus | Allalaaditav avatud kaaludega kontrollpunkt kohalikuks kasutamiseks |
4 096 tokeni pikkune kontekst on selle kontrollpunkti dokumenteeritud maksimaalne kontekstiaken. Token on mudeli töödeldava teksti ühik; see võib tähistada sõna, sõnaosa, kirjavahemärki või muud lühikest tekstifragmenti. Tegelik piirang kehtib viiba ja genereeritud jätku kogupikkusele vastavalt valitud järeldamislahenduse käitumisele. Kaasasolev uuring ei kinnita selle mudeli jaoks eraldi maksimaalset väljundtokenite arvu, seega ei tohiks eeldada muud sõltumatut väljundipiiri peale konteksti ja teeninduskonfiguratsiooni seatud piirangute.
Mudelit treeniti ligikaudu 4 triljoni tokeniga, kasutades Ai2 OLMo 2 treeningukonveierit. Esitatud kuupäevalõige detsembris 2023 kirjeldab aluseks olnud treeningandmeid ega tähenda, et mudelil oleks juurdepääs värskele teadmisele. Mudeli kohalik käitamine, otsingupõhise süsteemi lisamine või uuemate dokumentide kontekstina edastamine võib muuta rakendusele kättesaadavat teavet, kuid need täiendused on baaskontrollpunktist välised.
Sisendid, väljundid ja toetatud võimalused
OLMo-2-0425-1B võtab vastu ingliskeelset teksti ja genereerib teksti. Sellel ei ole kontrollitud loomulikku pildi-, heli- ega videosisendit ning see ei genereeri otse pilte, heli, videot, muusikat, kõnet, embedding'u-vektoreid ega muid mittetekstilisi väljundeid. Selle põhikasutus on teksti lõpetamine või genereerimine ühilduva kohaliku järeldamisraamistiku kaudu.
Mudelil ei ole kontrollitud pakkujapoolset veebotsingu võimalust. Samuti puudub sellel kontrollitud sisseehitatud tööriistakutsungite liides, tegevusväljundi süsteem, struktureeritud väljundi režiim, pakkide API või Ai2 majutatud tokenipõhine hinnastamisliides just selle kontrollpunkti jaoks. Arendajad võivad paigutada mudeli suuremasse rakendusse, mis lisab otsingu, tööriistad, valideerimise või struktureeritud viibad, kuid need võimalused pärineksid ümbritsevast tarkvarast, mitte OLMo-2-0425-1B loomupärasest funktsionaalsusest.
Ka voogedastus ei ole kaasasoleva dokumentatsiooni põhjal mudeli loomupärane omadus. Teenindusraamistik võib genereeritud tokenid rakendusse voogedastada, kuid selle võimaluse olemasolu sõltub valitud järeldamistarkvarast ja konfiguratsioonist. Ai2 dokumentatsioon nimetab kohaliku juurutamise töövoo võimalike osadena selliseid tööriistu nagu Transformers, vLLM ja SGLang; neid tööriistu tuleb mudelist endast eristada.
Mudeli käitamine ja kohandamine
Kontrollpunkti saab alla laadida ja laadida ühilduvate Transformersil põhinevate tööriistadega. Ai2 näidismaterjal demonstreerib standardsete AutoModelForCausalLM ja AutoTokenizer klasside kasutamist. Seejärel võivad kohalikud teeninduskihid teha genereerimise kättesaadavaks skriptile, märkmikule, sisevõrguteenusele või rakendusele. Täpseid mälu-, kvantimise- ja riistvaranõudeid kaasasolevas uuringus ei täpsustata, mistõttu tuleks juurutamisotsuseid testida vastavalt kasutaja valitud täpsusele ja teeninduskonfiguratsioonile, mitte tuletada neid üksnes parameetrite arvust.
Ai2 pakub peenhäälestusjuhiseid ka OLMo ja Open Instructi repositooriumide kaudu. Peenhäälestuse abil saab baasmudelit kohandada valdkonna, stiili, ülesande või kontrollitud andmekogumiga. Näiteks võib uurimisrühm uurida valdkonnaga kohandamist, võrrelda juhiste järgi häälestamise meetodeid või luua kitsale kasutusjuhule mõeldud tekstigeneerimise prototüübi. Kuna mudeli artefaktid ja treeninguteave on avalikult kättesaadavad, sobib see hästi ka eksperimentideks, kus korratavus ja mudeli siseehituse uurimine on olulisemad kui viimistletud majutatud lõpp-punkti kasutamine.
Tugevused ja kompromissid
OLMo-2-0425-1B kõige selgem tugevus on ligipääsetavus. Ligikaudu 1 miljardi parameetriga mudel on paljudest tänapäevastest üldotstarbelistest keelemudelitest märksa väiksem, mistõttu on kohalik eksperimenteerimine palju praktilisem kui palju suuremate kontrollpunktidega töötamine. Avatud väljalase annab kasutajatele juurdepääsu enamale kui musta kasti lõpp-punktile: kaalud, kood, treeninguressursid ja hindamismaterjalid toetavad mudeli uurimist ja muutmist.
Apache 2.0 litsents on veel üks praktiline eelis projektidele, mis vajavad lubavat avatud lähtekoodiga litsentsi. Kasutajad peavad siiski üle vaatama kehtivad tingimused ja hindama oma rakendust, kuid selline litsents on paindlikum kui teenus, mida saab kasutada üksnes pakkuja majutatud API kaudu.
Sama kompaktne ülesehitus tekitab ka olulisi piiranguid. OLMo-2-0425-1B kontekstiaken on 4 096 tokenit, mistõttu ei ole see mõeldud väga pikkade dokumentide või suurte vestlusajalugude töötlemiseks ilma välise tükeldamise või otsinguta. Baasmudeli staatus tähendab ka seda, et see ei ole automaatselt usaldusväärne vestlusassistent. Kasutajale suunatud vestluskäitumise saavutamiseks võib vaja minna hoolikalt koostatud viipasid, peenhäälestust või eraldi instruct-varianti.
Ai2 ei esita kaasasolevas uuringus selle täpse mudeli kohta kontrollitud majutatud tokenihinda. Seetõttu erineb selle kuluprofiil tavapärasest tokenipõhisest API-st. Mudeli saab alla laadida, kuid kasutajad peavad arvestama oma riistvara-, elektri-, salvestus-, arendus- ja teeninduskuludega. Juhukasutuseks võib majutatud mudel olla mugavam; korduvate kohalike töökoormuste või mudelile juurdepääsu ja kontrolli nõudva teadustöö puhul võib avatud kontrollpunkt olla säästlikum või sobivam.
Arutlusvõime, kodeerimine ja jõudlus
Kaasasolev toimetuslik hinnang annab selle arutlus- ja kodeerimissobivusele hindeks 4 kümnest, kiirusele 8 kümnest ja kulule 10 kümnest. Need on toimetuslikud hinded, mitte võrdlustestide tulemused ega Ai2 avaldatud väited. Need võtavad kokku mudeli kompaktse suuruse, kohaliku kättesaadavuse ja baaskontrollpunkti ülesehituse eeldatava kompromissi.
Praktikas sobib mudel paremini kergekaaluliseks genereerimiseks, kontrollitud katseteks ja õppetööks kui keerukaks mitmeastmeliseks arutlemiseks või nõudlikuks tarkvaraarenduseks. Väiksem suurus võib sobiva kohaliku riistvara korral muuta genereerimise kiireks, kuid kiirus sõltub riistvarast, täpsusest, kvantimisest, paki suurusest ja teenindusraamistikust. Samuti viitab „madal hind” peamiselt kontrollitud majutatud tokenitasu puudumisele ja mudeli suhteliselt väikesele mahule; kohalik käitamine ei ole tasuta ning võib nõuda tehnilist seadistamist.
Millal valida OLMo-2-0425-1B?
Vali OLMo-2-0425-1B, kui vajad avalikult kättesaadavat ingliskeelset tekstimudelit, mida saab alla laadida, uurida, peenhäälestada ja enda kontrolli all käitada. See sobib hästi järgmisteks kasutusjuhtudeks:
- Kohalikud tekstigeneerimise katsed ja prototüübid.
- Keelemudelite õpetamine ja rakendusuuringud.
- Peenhäälestuse või valdkonnaga kohandamise uuringud.
- Korratav teadustöö, mis hõlmab mudeli artefakte ja treeninguteavet.
- Kergekaalulised rakendused, mille jaoks 4 096 tokeni pikkusest kontekstist piisab.
- Projektid, mis eelistavad Apache 2.0 avatud mudeli litsentsi sõltuvusele majutatud lõpp-punktist.
Teine lahendus võib olla sobivam, kui rakendus vajab viimistletud vestlusassistenti, tipptasemel arutlusvõimet, laia multimodaalset sisendit, pika kontekstiga dokumentide töötlemist, tööriistade usaldusväärset loomulikku orkestreerimist, struktureeritud väljundeid, veebotsingut või hallatud tootmiskasutust. OLMo 2 kollektsioonis võib eraldi avaldatud instruct- või peenhäälestusega variant sobida paremini assistendilaadseks suhtluseks, samas kui keerukaks arutlemiseks või kodeerimiseks võib eelistada suuremat mudelit. Neid valikuid ei tohiks segi ajada selle 1B baaskontrollpunkti puhul kontrollitud võimalustega.
Kokkuvõte
OLMo-2-0425-1B-d tuleks eelkõige mõista kompaktse ja täielikult avatud ehitusplokina ingliskeelse teksti genereerimiseks, mitte majutatud AI-assistendina. Selle ligikaudu 1 miljard parameetrit, 4 096 tokeni pikkune kontekstiaken, Apache 2.0 litsents, allalaaditavad kaalud ja toetavad treeninguressursid muudavad selle atraktiivseks kohaliku teadustöö ja peenhäälestuse jaoks. Piirangud on sama selged: tegemist on baasmudeliga, millel puuduvad kontrollitud loomulikud multimodaalsed või tööriistafunktsioonid, millel ei ole esitatud pakkuja majutatud tokenihinda ja mis ei ole mõeldud suuremate mudelite asendamiseks tipptasemel arutluses või pika kontekstiga tootmiskoormustes.