OLMo-2-1124-7B

Mis on OLMo-2-1124-7B?

OLMo-2-1124-7B on Ai2 ehk Allen Institute for AI välja töötatud 7 miljardi parameetriga dekooderipõhine põhjuslik keelemudel. Põhjuslik keelemudel genereerib teksti, ennustades järgmise märgi varem saadud märkide põhjal. Praktikas saab see jätkata viipa, luua ingliskeelset teksti ning olla lähtepunktiks peenhäälestusele või muudele keelemudelite katsetele.

Mudel on baaskontrollpunkt, mitte OLMo 2 juhiseid järgiv versioon. See erinevus on oluline. Baasmudelit treenitakse teksti modelleerimiseks, mitte viimistletud assistendina käitumiseks. See võib genereerida kasulikke jätkuid, kuid sellelt ei tohiks eeldada mitmeosaliste juhiste järjepidevat järgimist, abivalmis vestlusstiili säilitamist, tööriistade kasutamist ega rakenduse jaoks sobivate struktureeritud vastuste loomist ilma täiendava treeningu või juhtimisloogikata.

Selle kanooniline mudelitunnus on allenai/OLMo-2-1124-7B. Järelliide „1124” tähistab 2024. aasta novembris välja antud versiooni, „7B” aga ligikaudset parameetrite mahtu.

Milline on selle koht Ai2 OLMo mudelite hulgas?

OLMo-2-1124-7B kuulub Ai2 OLMo 2 mudeliperre. Sellesse kuulub ka 13B mudel ning eraldi välja antud järeltreenitud variandid, sealhulgas juhendatud peenhäälestusega, DPO- ja Instruct-kontrollpunktid. Need variandid on omavahel seotud, kuid neid ei saa selle baasmudeliga samaväärselt kasutada.

Praktiline positsioneerimine on lihtne: OLMo-2-1124-7B on väiksem baasmudel kasutajatele, kes soovivad kontrollitavat ja kohandatavat keelemudeli alust. Kui eesmärk on vahetu vestlus või juhiste parem järgimine, võib sobivam olla eraldi välja antud OLMo 2 Instructi mudel. Hilisemad OLMo mudelipered, näiteks OLMo 3 või OLMo Hybrid, on samuti eraldiseisvad mudeliliinid ning neid ei tohiks käsitleda selle kontrollpunkti uuemate nimedena.

Mis teeb selle väljalaske ebatavaliselt avatuks?

Ai2 avaldas OLMo 2 täielikult avatud modelleerimisprojekti osana. Väljalase sisaldab mudeli kaalusid, treeningukoodi, andmetega seotud materjale, hindamismaterjale, vahepealseid kontrollpunkte ning treeninguretsepti kirjeldavat dokumentatsiooni. See on rohkem teavet, kui tavaliselt on saadaval ainult majutatud teenusena või lõpliku kontrollpunktina levitatava mudeli puhul.

Teadlaste jaoks võimaldab selline avatus uurida, kuidas mudelit treeniti, korrata protsessi osi, võrrelda treeninguvalikuid ning kohandada süsteemi uuteks katseteks. See toetab ka andmekoosseisu, optimeerimise, skaleerimise, hindamise ja tõlgendatavuse uurimist. Seetõttu on väljalase väärtuslik isegi siis, kui mudel ei ole tootmises kasutatava vestlusrakenduse jaoks parim valik.

Esitatud mudelimaterjalide kohaselt on mudel saadaval Apache 2.0 litsentsi alusel. Enne materjalide edasilevitamist või kasutamist konkreetses ärilises või teaduslikus kontekstis peaksid kasutajad siiski üle vaatama kehtiva mudelikaardi, koodihoidla ja kõik seotud andmekasutustingimused.

Treening ja arhitektuur

Ai2 andmetel treeniti OLMo-2-1124-7B-d kuni 4 triljoni märgi ulatuses kaheetapilise õppekava järgi. Esimeses etapis kasutati suuremahuliseks eeltreenimiseks OLMo-Mix-1124 andmekoostist. Teises, kvaliteetsemat jätkutreeningut hõlmanud etapis kasutati Dolmino-Mix-1124 andmekoostist. Lõpliku baaskontrollpunkti jaoks viis Ai2 läbi mitu jätkutreeningu jooksu ja ühendas need protsessi abil, mida nimetatakse mudelite souping’uks ehk mudelikontrollpunktide ühendamiseks ühe jooksu väljavalimise asemel.

Ametlik mudeliteave loetleb järgmised arhitektuurilised üksikasjad:

OLMo 2 arhitektuur ja treeningumeetod hõlmavad RMSNormi, QK-normaliseerimist, pöörlevaid positsioonimanuseid ning abistavat Z-kadu. Need on mudeli ja optimeerimise tehnilised komponendid; nende olemasolu ei tähenda, et mudelil oleks eraldi arutlusrežiim või sisseehitatud mõttekäigu funktsioon.

Kontekstiaken ja väljundi piirangud

Kinnitatud konteksti pikkus on 4 096 märki. Märk on mudeli töötlemisel kasutatav tekstifragment, seega kehtib piirang viiba ja genereeritud jätku kogupikkusele, mitte kindlale sõnade arvule. Pikad dokumendid, ulatuslik vestlusajalugu või mahukad juhised tuleb seetõttu võib-olla lühendada, osadeks jagada või töödelda mitmes etapis.

Esitatud uuringus ei ole selle konkreetse mudeli jaoks tuvastatud eraldi teenusepakkuja avaldatud maksimaalset väljundimärkide piirangut. Mudel on allalaaditav, mitte Ai2 tuvastatud majutatud API kaudu pakutav standardse genereerimiskvoodiga teenus. Kohalikus juurutuses sõltub tegelik genereerimispiirang tarkvara konfiguratsioonist, saadaolevast mälust ja 4 096 märgi pikkuses kontekstiaknas allesjäävast ruumist.

Toetatud modaalsused ja võimalused

OLMo-2-1124-7B on ainult tekstipõhine mudel. See võtab vastu tekstisisendit ja väljastab teksti. Sellel ei ole loomupärast pildi-, heli-, video-, kõne-, manustamis- ega tegevusväljundit ning esitatud spetsifikatsioonides ei ole tuvastatud loomupärast pildi-, heli- ega videosisendit.

• Tekstisisend: Toetatud.
• Tekstiväljund: Toetatud.
• Pildi-, heli- ja videosisend: See kontrollpunkt ei toeta.
• Pildi-, heli-, video-, muusika-, manustamis- või kõneväljund: Ei ole toetatud.
• Loomupärane tööriista- või funktsioonikutse: Ei ole tuvastatud.
• Struktureeritud JSON-väljund: Loomupärase võimalusena ei ole tuvastatud.
• Veebiotsing: Sisseehitatud mudelifunktsioonina ei ole toetatud.

Rakendused võivad lisada kohalikule mudelile ümbrise, mis pakub tööriistu, otsingut, skeemi valideerimist või muid juhtimisvõimalusi, kuid need funktsioonid pärineksid ümbritsevast rakendusest, mitte OLMo-2-1124-7B-st endast.

Sobivus arutluseks ja koodiga töötamiseks

OLMo-2-1124-7B-d saab kasutada tekstipõhiseks arutluseks ja koodiga seotud katseteks, sest tegemist on üldotstarbelise keelemudeliga. Esitatud võimekusehinnangud on siiski toimetuslikud võrdlevad hinnangud, mitte Ai2 avaldatud skoorid. Uuringus omistatakse arutlus- ja kodeerimisvõimele vastaval toimetuslikul skaalal hinne 5, mistõttu tuleks neid väärtusi tõlgendada mõõdukate hinnangutena, mitte garanteeritud võrdlustesti tulemustena.

Kooditöö jaoks saab mudelit peenhäälestada või arendustöövoogu integreerida, kuid siin ei ole seda kirjeldatud spetsiaalse koodimudelina. Samuti ei paku see sisseehitatud koodi käivitamist, juurdepääsu koodihoidlatele, tööriistade kasutamist ega veebisirvimist. Arendajad, kes vajavad usaldusväärset struktureeritud koodi genereerimist, automaattestimist, tööriistade kutsumist või ajakohast dokumentatsiooni, peavad need võimalused lisama teiste mudelite, peenhäälestuse või rakenduse taristu abil.

Kiiruse, maksumuse ja juurutamise kompromissid

Esitatud uuringus ei ole input’i ega output’i jaoks ametlikku Ai2 majutatud API hinnakirja. Kaalud on allalaaditavad, seega ei osteta mudelit tavapärase Ai2 API märgipõhise paketi kaudu. Selle asemel tekivad kulud kaudselt riistvara, elektri, salvestusruumi, majutuse ja käitamiseks vajalike inseneritööde kaudu. Kolmanda osapoole teenusepakkuja võib pakkuda majutatud järeldamist, kuid selle hind ja teenusepiirangud oleksid Ai2 mudeliväljalaskest eraldiseisvad.

Toimetusliku hinnanguna saab mudel kiiruse eest hinde 7 ja maksumuse eest hinde 9. Need ei ole teenusepakkuja esitatud mõõtmised. Hinded kajastavad suhteliselt väikese 7B avatud mudeli praktilist sobivust kohalikuks või säästlikuks juurutuseks, kuid tegelik kiirus sõltub riistvarast, kvantimisest, pakisuurusest, käituskeskkonnast ja genereerimisseadetest. 4 096 märgi pikkune kontekst vähendab samuti mälule ja töötlusele langevat koormust võrreldes palju pikema kontekstiga süsteemidega, kuid piirab samas seda, kui palju teavet saab ühe päringu jooksul töödelda.

Kohalik juurutus annab kontrolli käituskeskkonna ja andmevoo üle ning võimaldab katsetada ilma viipasid majutatud API-le saatmata. Kompromiss seisneb selles, et kasutaja peab ise haldama paigaldust, riistvara ühilduvust, mudeli teenindamist, uuendusi, ohutuskontrolle ja jõudluse häälestamist.

Parimad kasutusjuhud

OLMo-2-1124-7B sobib hästi olukordadesse, kus avatus ja kontroll on tähtsamad kui kohe kasutusvalmis assistendi käitumine. Sobivad kasutusviisid on järgmised:

• Kohalik järeldamine ja avatud kaaludega katsetamine.
• Keeltemudelite treeningu, hindamise, tõlgendatavuse ja korratavuse uurimine.
• Eeltreenimise jätkamine spetsialiseeritud tekstikogumiga.
• Peenhäälestus valdkonnapõhiste tekstigeneratsiooniülesannete jaoks.
• Võrdlustestimine teiste sarnase parameetrite mahuga avatud mudelitega.
• Ai2 avaldatud treeningumetoodika osade kordamine või edasiarendamine.

Näiteks võiks uurimisrühm kontrollpunkti alla laadida, treeningukonfiguratsiooni uurida, mudelit valdkondlikul korpusel peenhäälestada ja tulemust oma ülesandel hinnata, sõltumata suletud järeldus-API-st.

Olulised piirangud

Kõige olulisem piirang on see, et tegemist on baasmudeliga. See ei ole kõige mugavam valik kasutajatele, kes soovivad lihtsalt kohe kasutusvalmis vestlusassistenti. Juhiste järgimine, vastuste vormindamine ja dialoogikäitumine võivad olla vähem usaldusväärsed kui järeltreenitud Instruct-mudelil.

Teine piirang on 4 096 märgi pikkune kontekst. Pikkade dokumentide, suurte koodibaaside või pikkade vestluste ümber ehitatud rakendused võivad vajada otsingut, tekstiosadeks jagamist, kokkuvõtete loomist või suurema kontekstiaknaga mudelit. Samuti ei ole tuvastatud esmapoole majutatud API-t, loomupärast multimodaalset sisendit, sisseehitatud veebiotsingut, tööriistade kutsumist, koodi käivitamist ega teenusepakkuja hallatavat töökindlusgarantiid.

Vali eraldi välja antud OLMo 2 Instructi variant, kui otsene juhiste järgimine ja vestluskäitumine on olulisemad kui töötamine toore baaskontrollpunktiga. Vali suurem või uuem mudel, kui ülesanne nõuab rohkem konteksti, tugevamat üldist arutlusvõimet, paremat kodeerimisjõudlust või multimodaalset töötlust. Vali majutatud API-ga mudel, kui taristu haldamise vähendamine ja hallatud skaleerimine on olulisemad kui kohalik kontroll ja avatud treeningumaterjalid.

Millal valida OLMo-2-1124-7B?

Vali OLMo-2-1124-7B, kui soovid läbipaistvat ja allalaaditavat keelemudeli alust teadustööks, kohalikuks järeldamiseks, võrdlustestimiseks või peenhäälestuseks. Selle selgeim eelis on avatud kaalude, treeninguressursside ja korratavust toetavate materjalide kombinatsioon.

See on vähem sobiv valik juhul, kui vajad viimistletud vestluskogemust, pika konteksti töötlemist, loomupäraseid multimodaalseid funktsioone, garanteeritud struktureeritud väljundit, sisseehitatud tööriistu või hallatud API-t avaldatud märgipõhise hinnakirjaga. Sellistel juhtudel võib juhiste järgi treenitud sõsarmudel, suurem tänapäevane mudel või majutatud teenus vähendada vajaliku lisaarenduse mahtu.