Mis on OLMo-2-1124-13B?
OLMo-2-1124-13B on Allen Institute for AI ehk Ai2 13 miljardi parameetriga autoregressiivne keelemudel. Autoregressiivne mudel genereerib teksti, ennustades järgmise märgi sellele eelneva teksti põhjal. Praktikas saab seda kontrollpunkti kasutada teksti lõpetamiseks, hindamiseks, jätkuõppeks ja täiendhäälestuseks, et kohandada see spetsiifilisemate rakenduste jaoks.
Märge „base” ehk baasmudel on oluline. OLMo-2-1124-13B on eeltreenitud, mitte juhiste järgimiseks täiendhäälestatud, mistõttu ei ole see kohe kasutusvalmis vestlusabilise moodi käituma. Mudel võib viipasid tõhusalt jätkata, kuid usaldusväärne ülesannete järgimine, abilisele omane dialoog, ohutuskäitumine ja struktureeritud töövood eeldavad üldjuhul sobivat viipamist, täiendavat täiendhäälestust või mudelit ümbritsevat rakenduskihti.
Ai2 käsitleb OLMo 2-t täielikult avatud keelemudeliprojektina. Väljalase hõlmab enamat kui lihtsalt allalaaditavate kaalude avaldamist: see sisaldab treeningandmete kombinatsioone, lähtekoodi, treeningretsepte, hindamisressursse ja vahepealseid kontrollpunkte. Seetõttu on see mudel eriti oluline teadlastele, kes uurivad andmete koostist, optimeerimist, tõlgendatavust, korratavust ja mudeli käitumist.
Milline on selle koht Ai2 mudelivalikus?
OLMo-2-1124-13B kuulub Ai2 OLMo 2 perekonda ning on selle 13 miljardi parameetriga eeltreenitud baasmudel. Seda ei tohiks segi ajada eraldi avaldatud mudeliga OLMo-2-1124-13B-Instruct, mis on kohandatud juhiste järgimise kasutusjuhtudeks. Selle mudeli roll mudelivalikus on pakkuda avatud üldotstarbelist tekstimudelit, mida saab uurida ja kohandada, mitte kohe kasutusvalmis majutatud abilist.
Selle avatud väljalaske lähenemisviis eristab seda ka paljudest kommertsiaalsetest keelemudelitest. Kommertsmudelid keskenduvad sageli hallatud juurdepääsule, kiirele järeldamisele, toele ja integreeritud tööriistadele, samal ajal kui OLMo-2-1124-13B rõhutab kontrollitavust ja kasutaja kontrolli. Kasutajad saavad kontrollpunkti alla laadida, seda ühilduva kohaliku tarkvaraga käivitada, seotud materjale uurida ning konkreetse valdkonna või ülesande jaoks täiendhäälestada.
Arhitektuur ja treenimise üksikasjad
Ai2 esitatud mudeliteabe kohaselt treeniti OLMo-2-1124-13B kahes põhietapis. Esimeses etapis kasutati andmekombinatsiooni OLMo-Mix-1124 ja töödeldi ligikaudu 5 triljonit märki. Teises etapis kasutati kombinatsiooni Dolmino-Mix-1124 ning mitme treeningkäigu tulemusena saadud kontrollpunktid keskmistati avaldatud mudeliks.
Dokumenteeritud arhitektuur sisaldab 40 transformeri kihti, peitkihi suurust 5120 ja 40 tähelepanupead. Selle konteksti pikkus on 4096 märki. Kontekstiaken näitab tekstihulka, mida mudel saab ühe päringu jooksul arvesse võtta, sealhulgas viiba ja genereeritud jätku, kui rakendus arvestab neid koos. See on piisav paljude keskendunud dokumentide ja katsete jaoks, kuid lühem kui mõne uuema majutatud süsteemi pakutavad pika konteksti aknad.
Ai2 tehnilistes materjalides kirjeldatakse pöörlevaid positsioonimanuseid, RMSNormiga seotud täiustusi, QK-normaliseerimist ja muid treeningu stabiilsust parandavaid tehnikaid. Need üksikasjad on kõige olulisemad kasutajatele, kes uurivad või muudavad treeninguprotsessi; tavakasutajad võivad käsitleda neid märgina, et see väljalase pakub tavapärase suletud API-lõpp-punktiga võrreldes rohkem arhitektuuri- ja treeninguprotsessi läbipaistvust.
Võimekus ja hindamine
Teksti baasmudelina sobib OLMo-2-1124-13B keele lõpetamiseks ja järgnevaks kohandamiseks. Võimalikud kasutusviisid hõlmavad viipadega eksperimenteerimist, jätkuõpet, valdkonnapõhist täiendhäälestust, teksti genereerimist, hindamisvooge ja mudeli käitumise uurimist. See võtab vastu teksti ja genereerib teksti. Esitatud spetsifikatsioonid ei kinnita loomulikku pildi-, heli- ega videosisendit ning mudel ei genereeri otse pilte, heli ega videot.
Ai2 teatas selle mudeli põhihindamistabeli keskmiseks tulemuseks 68,3. Tabel sisaldab muu hulgas ülesandeid ARC Challenge, HellaSwag, WinoGrande, MMLU, DROP, Natural Questions, AGIEval, GSM8K, MMLU-Pro ja TriviaQA. Need on teenusepakkuja esitatud hindamistulemused, mitte konkreetse rakenduse jõudluse garantii. Tulemused võivad sõltuda ka viipamisest, dekodeerimisseadetest, võrdlustesti versioonist ja võrreldavatest mudelitest.
Selle kirje jaoks koostatud toimetuslikus hinnangus sai arutlusvõime hindeks 6 punkti 10-st ja kodeerimine 5 punkti 10-st. Need on võrdlevad toimetuslikud hinded, mitte Ai2 avaldatud spetsifikatsioonid. Need viitavad kasulikule üldotstarbelisele teaduslikule baasmudelile, kuid ei anna alust eeldada, et mudel suudab konkureerida spetsialiseeritud kodeerimis- või arutlusmudelitega.
Juurutamine, juurdepääs ja hinnastamine
Kanooniline mudeliidentifikaator Hugging Face'is on allenai/OLMo-2-1124-13B. Kontrollpunkti saab laadida Hugging Face Transformersi ökosüsteemi kaudu ning Ai2 pakub treenimis- ja täiendhäälestuskoodi oma OLMo repositooriumides. Ühilduvad kvantimistööriistad, sealhulgas bitsandbytes'il põhinevad tööriistad, võivad vähendada mälunõudeid, kuid 13 miljardi parameetriga mudel vajab väiksemate keelemudelitega võrreldes endiselt märkimisväärseid riistvararessursse.
Tegemist on allalaaditava mudeliga, mitte dokumenteeritud märgipõhise tasulise teenusega. Selle kontrollpunkti ametlikku majutatud API hinda, kuutasu ega esimese osapoole järeldamise lõpp-punkti ei õnnestunud kinnitada. Seetõttu on mudeli otsene hind kõige täpsemalt kirjeldatav kui teenusepakkuja loetletud majutatud API-tasu puudumine, samal ajal kui tegelik käitamise kulu sõltub kasutatavast riistvarast, majutusteenusest, elektrist, salvestusruumist ja mudeli käitamiseks vajalikust arendustööst.
Kohalikud genereerimisraamistikud võivad toetada väljundi voogedastust, kuid seda ei tohiks segi ajada teenusepakkuja spetsiifilise voogedastus-API-ga. Samuti ei ole esitatud spetsifikatsioonides kinnitatud esimese osapoole veebotsinguteenust, funktsioonikutsete liidest, tööriistakasutuse kihti ega ametlikku JSON-režiimi. Arendajad võivad need funktsioonid mudeli ümber üles ehitada, kuid mudelit ennast ei tohiks kujutada neid algupäraselt pakkuvana.
Modaalsused ja praktilised piirangud
OLMo-2-1124-13B on nii kinnitatud sisend- kui ka väljundmodaalsuste poolest tekstipõhine. See ei töötle algupäraselt pilte, heli ega videot. Mitmeliigilist mõistmist vajavad kasutajad peaksid valima spetsiaalselt selliste sisendite jaoks loodud mudeli, mitte eeldama, et Ai2 ökosüsteemi laiemad multimodaalsed projektid kehtivad ka selle kontrollpunkti kohta.
Dokumenteeritud konteksti pikkus on 4096 märki. Sellest konteksti pikkusest eraldiseisvat maksimaalset väljundmärgipiirangut ei ole kinnitatud. Praktikas piiravad saadaolevat genereerimisruumi rakendus ja kogu konteksti eelarve. Mudeli teadmiste piirkuupäev on detsember 2023, mistõttu ei saa see ilma välise otsingusüsteemita hilisemate sündmuste kohta usaldusväärselt vastata. Sellel puudub ka sisseehitatud juurdepääs värskele teabele või kinnitatud veebisirvimise võimalus.
Kuna tegemist on filtreerimata baasmudeliga, võib see genereerida ebatäpset, kallutatud, ohtlikku või sobimatut sisu. Samuti võib see reageerida vestlusviipadele ettearvamatult, kuigi juhiste järgi täiendhäälestatud abiline käsitleks neid järjepidevamalt. Rakendused peaksid väljundeid valideerima, rakendama sobivaid ohutusmeetmeid ja faktiväiteid sõltumatult kontrollima, eriti suure mõjuga kasutusjuhtudel.
Peamised tugevused ja kompromissid
- Avatus: Väljalase sisaldab kaalusid ning ulatuslikke treeningu- ja hindamismaterjale, mis toetavad korratavat teadustööd ja mudeli uurimist.
- Kohandatavus: Baaskontrollpunkti saab täiendhäälestada või kasutada kontrollitud katsetes, mis hõlmavad andmeid, optimeerimist, hindamist ja tõlgendatavust.
- Kohalik kontroll: Kasutajad saavad mudeli juurutada ühilduva tarkvara kaudu, selle asemel et saata viipasid kohustuslikku esimese osapoole majutatud teenusesse.
- Teaduslik läbipaistvus: Vahepealsed kontrollpunktid, treeningretseptid ja andmekombinatsioonide teave on kasulikud mudelite treenimise uurimisel.
- Käitamise kulu: Kinnitatud majutatud API-tasu puudub, kuid kohalik käitamine suunab kulud riistvarale, majutusele, salvestusruumile ja hooldusele.
- Kasutusmugavuse piirangud: Baasmudel ei ole valmis vestlusabiline ning sellel puuduvad kinnitatud algupärased tööriistad, veebotsing, multimodaalne sisend ja ametlik JSON-väljundirežiim.
Need kompromissid eristavad OLMo-2-1124-13B väiksematest ja kiirematest mudelitest, mis on optimeeritud odavaks tootmisjäreldamiseks, ning hallatud kommertsabilistest, mis on optimeeritud mugavuseks. Selle väärtus on suurim siis, kui läbipaistvus ja kohandatavus on olulisemad kui kohe kasutusvalmis kasutuskogemus.
Parimad kasutusjuhud
See mudel sobib hästi teadlastele, kes vajavad avatud juurdepääsuga kontrollpunkti ja sellega kaasnevaid materjale korratavate katsete tegemiseks. Samuti sobib see arendajatele, kes soovivad täiendhäälestada üldist tekstimudelit kontrollitud valdkonna jaoks, võrrelda treeningumeetodeid, katsetada hindamisprotseduure või käitada järeldamist kohapeal oma taristus.
Näiteks võib uurimisrühm võrrelda eri kontrollpunktide käitumist, uurida, kuidas valdkonnapõhine andmestik jõudlust muudab, või luua tekstigeneratsiooni prototüübi ilma omandipõhisest API-st sõltumata. Piisava riistvaraga organisatsioon võib mudelit kohandada ka ettevõttesiseseks tekstiülesandeks, tingimusel et ta vaatab üle litsentsi, andmete päritolu, turvanõuded ja väljunditega seotud riskid.
Millal valida OLMo-2-1124-13B?
Valige OLMo-2-1124-13B siis, kui hindate eelkõige allalaaditavaid kaalusid, läbipaistvaid treeningumaterjale, kohalikku kontrolli ning võimalust mudelit täiendhäälestada või uurida. See on eriti sobiv avatud mudelite uurimiseks, õppetööks, võrdlustestideks ja katseteks, kus treeninguprotsess on sama oluline kui lõplik genereeritud tekst.
Valige teist tüüpi mudel, kui vajate viimistletud vestluskogemust, garanteeritud majutatud kättesaadavust, sisseehitatud veebotsingut, algupärast funktsioonikutsete tuge, värsket teavet, multimodaalset sisendit või lihtsat kasutuspõhist API-t. Väiksem mudel võib olla sobivam ka siis, kui esmatähtsad on väike latentsus ja madalad riistvarakulud. Seevastu spetsialiseeritud juhiste järgi täiendhäälestatud või kodeerimismudel võib olla eelistatud juhul, kui usaldusväärne ülesannete järgimine või tarkvaraarenduse jõudlus on olulisem kui juurdepääs baasmudeli treeningmaterjalidele.
Litsents ja vastutustundlik kasutamine
OLMo 2 on avaldatud Apache 2.0 litsentsi alusel. Ai2 pakub ka vastutustundliku kasutamise juhiseid ja mudeli dokumentatsiooni. Litsents ei kaota vajadust vaadata üle mudelikaart, andmete päritolu, järgneval täiendhäälestusel kasutatavad andmed, privaatsuskohustused ja valdkonnapõhised nõuded. Enne mudeli kasutuselevõttu ärilises või suure mõjuga rakenduses peaksid meeskonnad seda esinduslikel andmetel testima ning kehtestama seire- ja inimkontrolli protseduurid.
Kokkuvõttes tuleks OLMo-2-1124-13B-d käsitleda eelkõige avatud teadusliku alusena, mitte valmis abilisena. Selle 13 miljardi parameetriga tekstimudeli, allalaaditava kontrollpunkti, ulatuslike treeningumaterjalide ja Apache 2.0 litsentsi kombinatsioon annab tehniliselt võimekatele kasutajatele märkimisväärse kontrolli. Sama ülesehitus tähendab aga, et kasutajad peavad ise pakkuma taristu, kohandamise, hindamise ja ohutusmeetmed, mida hallatud abiline tavaliselt pakuks.