Mis on Olmo 3 32B Instruct?
Olmo 3 32B Instruct on Allen Institute for AI ehk Ai2 juhiste järgi kohandatud ainult dekooderiga keelemudel. Praktikas on see teksti genereerimise mudel, mis on treenitud järgima kasutaja juhiseid ja pidama vestlusi, mitte lihtsalt toorteksti jätkama. Selle peamised kasutusalad on vestlus, mitme vooruga dialoog, tööriistade kasutamine, struktureeritud ülesannete täitmine ja sünteetiliste andmete genereerimine.
Mudelil on ligikaudu 32 miljardit parameetrit. Parameetrid on õpitud arvulised väärtused, mis võimaldavad mudelil mustreid ära tunda ja vastuseid genereerida; suurem parameetrite arv suurendab üldjuhul arvutusnõudeid, kuid ei taga iseenesest paremaid tulemusi iga ülesande puhul.
Ametlik allalaaditava mudeli identifikaator on allenai/Olmo-3-32B-Instruct. Ai2 avaldas selle Olmo 3 mudelisarja osana, mis hõlmab mudeli kontrollpunkte ja avalikult dokumenteeritud arendusmaterjale. See eristab mudelit suletud mudelist, millele pääseb ligi ainult teenusepakkuja hallatava liidese kaudu.
Milline on selle koht Ai2 mudelisarjas?
Olmo 3 32B Instruct on üks Olmo 3 mudelisarja 32B mudelitest. Sarja kuuluvad ka Base- ja Think-variandid ning 7B ja 32B suurusjärgu mudelid. Instructi versioon on mõeldud otseseks suhtluseks: see on kohandatud päringutele vastama, juhiseid järgima, dialoogis osalema ja töötama tööriistu kasutavates töövoogudes.
Selle positsioon erineb Olmo 3 Thinki sarjast. Instructi mudel on mõeldud suhteliselt otsekoheste vestlusvastuste andmiseks, samas kui Thinki variandid sobivad paremini rakendustele, kus on esmatähtis pikem arutlus mudeli töö ajal. Ai2 avaldas hiljem uuema järglasena Olmo 3.1 32B Instructi, kuid see on algsest Olmo 3 32B Instructist eraldiseisev mudel, mitte selle alias ega asendav kontrollpunkt.
Võimalused ja toetatud modaalsused
Olmo 3 32B Instruct on tekstisisendi ja tekstiväljundiga mudel. See võtab vastu tekstipäringuid ja genereerib tekstivastuseid. Mudel ei mõista algupäraselt pilte, heli ega videot ning ei genereeri pilte, heli, muusikat ega videot. Suurem rakendus võib ühendada selle teiste komponentidega, mis töötlevad neid meediatüüpe, kuid see ei muuda Olmo kontrollpunkti ennast multimodaalseks.
Ai2 positsioneerib mudelit järgmisteks kasutusteks:
- Üldotstarbeline vestluste genereerimine
- Juhiste järgimine ja struktureeritud ülesannete täitmine
- Mitme vooruga dialoog
- Tööriistade ja funktsioonikutsete töövood
- Sünteetiliste andmete genereerimine
- Pika kontekstiga tekstitöötlus
- Isehallatav teadus- ja rakenduste juurutamine
Tööriistade tugi tähendab, et mudelit saab kasutada keelekomponendina töövoos, kus väline tarkvara teeb näiteks andmete päringuid või kutsub välja ärifunktsiooni. Esitatud uurimismaterjal toetab tööriistade kasutamisega seotud positsioneerimist, kuid ei kinnita selle konkreetse kontrollpunkti jaoks eraldi teenusepakkuja hallatavat funktsioonikutsete API-t ega eraldiseisvat JSON-režiimi. Seetõttu peaksid arendajad enne konkreetsele tööriistale või struktureeritud väljundvormingule tuginemist kontrollima ajakohast mudelikaarti ja teenindusraamistikku.
Kontekstiaken ja tehniline ülesehitus
Ai2 dokumenteerib Olmo 3 32B mudelisarja konteksti pikkuseks 65 536 tokenit. Kontekstiaken näitab, kui palju teksti saab mudel ühe suhtluse käigus arvesse võtta, sealhulgas päringut ja vestluse ajalugu. See on kasulik pikkade dokumentide, pikemate vestluste, koodirepositooriumide ja otsinguga täiendatud genereerimise töövoogude puhul, kuigi tegelik piir sõltub ka teeninduskeskkonnast ja saadaolevast mälust.
Mudel on tihe ainult dekooderiga transformer. Avaldatud 32B konfiguratsioon kasutab 64 kihti, peidetud kihi suurust 5120, 40 päringu-tähelepanu pead ja 8 võtme-väärtuse pead. Need arhitektuurilised üksikasjad on olulised eelkõige neile, kes juurutavad kontrollpunkti ise: need aitavad määrata mälunõudeid ja käituskeskkonna ühilduvust.
Uurimismaterjal ei määra selle konkreetse kontrollpunkti jaoks kontrollitud maksimaalset väljundtokenite arvu. Seetõttu tuleks 65 536 tokeni suurust käsitleda dokumenteeritud konteksti pikkusena, mitte lubadusena, et iga päring võib genereerida 65 536 uut väljundtokenit. Kasutatavad päringu- ja vastusepiirangud sõltuvad mudeli konfiguratsioonist ja järeldustarkvarast.
Treenimine ja avatus
Olmo 3 32B Instructi üks selgemaid eripärasid on Ai2 avaldatud arendusmaterjalide ulatus. Ai2 avaldas mudeli kaalud ning dokumenteeris treenimisvoo osi, andmesegusid, koodi, vahekontrollpunkte ja mudeli arendusetappe. Laiem Olmo 3 treenimisprotsess hõlmas eeltreenimist, sihitud vahetreenimist, pika konteksti laiendamist, juhendatud peenhäälestust, eelistuste optimeerimist ja kontrollitavate tasudega tugevdusõpet.
32B mudelit eeltreeniti ligikaudu 5,50 triljoni tokeniga; hilisemates etappides kasutati Dolma 3-st tuletatud andmesegusid ja pika konteksti treenimist. Instructi kontrollpunkt põhineb juhiste järgi kohandamise protsessil, mille aluseks on Olmo 3 baasmudel.
„Avatud” ei tähenda, et kõik juurutustingimused oleksid piiranguteta. Kasutajad peavad endiselt üle vaatama kehtivad mudeli- ja andmelitsentsid, riistvaranõuded ning vastutustundliku kasutamise tingimused. See tähendab siiski, et allalaaditav kontrollpunkt ja sellega seotud uurimisartefaktid pakuvad märksa suuremat nähtavust ja kontrolli kui mudel, mis on kättesaadav üksnes suletud lõpp-punkti kaudu.
Juurutamine ja hinnastamine
Esitatud uurimismaterjali põhjal ei ole selle allalaaditava kontrollpunkti jaoks kontrollitud esmaosapoole API-t, mille hinnastamine põhineks tokenitel. Seetõttu ei ole Olmo 3 32B Instructil standardset Ai2 sisend- ega väljundhinda, mida saaks võrrelda kommertslike majutatud API-dega. Peamine juurdepääsumudel on avatud kaalude allalaadimine ja mudeli ise käitamine või välise majutuspartneri pakutava järeldusteenuse kasutamine.
Ise majutamine muudab kulude arvestust. Teenusepakkujale tokenite eest maksmise asemel peab organisatsioon arvestama GPU-de või muude kiirendite võimsuse, salvestusruumi, elektri, inseneritöö ja operatiivse hooldusega. Kvantiseeritud versioon võib vähendada mälunõudeid ja muuta juurutamise praktilisemaks, kuid kvantiseerimine võib mõjutada väljundi kvaliteeti ja läbilaskevõimet. Täpne kulu sõltub riistvarast, teeninduskomplektist, samaaegsusest ja päringute pikkusest.
Ligikaudu 32 miljardi parameetri tõttu vajab kvantiseerimata mudel praktiliseks järeldamiseks märkimisväärselt mälu. Pikad päringud suurendavad ka võtme-väärtuse vahemälu kasutust, mistõttu võib 65 536 tokeni pikkuse kontekstiakna kasutamine suures mahus olla kulukas. Need kompromissid muudavad mudeli atraktiivsemaks meeskondadele, kes hindavad kontrolli, kohandatavust ja avatud uurimistööd rohkem kui võimalikult lihtsat vestluskogemust.
Arutlus, kodeerimine, kiirus ja kulukompromissid
Olmo 3 32B Instruct on mõeldud üldiseks juhiste järgimiseks ja tööriistade kasutamiseks, mitte oma mudelisarja spetsialiseeritud arutlusmudeliks. See suudab käsitleda mitmeastmelisi juhiseid ja toimida agendi keelekihina, kuid esitatud uurimismaterjal ei sisalda selle kontrollpunkti kohta võrdlustulemust ega kinnitatud tipptasemel arutlusvõime väidet. Teadlikult pikemat arutlemist nõudvate ülesannete puhul võib Olmo 3 Thinki sari olla sobivam.
Mudel sobib koodiga seotud kasutusteks, näiteks koodikeskseks vestluseks, sünteetiliste programmeerimisnäidete genereerimiseks ja tööriistapõhisteks arendustöövoogudeks. Olemasolev uurimismaterjal ei määra siiski konkreetset kodeerimise võrdlustesti tulemust ega taga spetsialiseeritud kommertslike kodeerimismudelitega võrreldavat jõudlust.
Ka selle kiirus sõltub juurutusest. 32B mudel nõuab üldjuhul rohkem arvutusvõimsust kui väiksem 7B mudel, mistõttu võib see sarnastes tingimustes pakkuda väiksemat läbilaskevõimet või vajada kallimat riistvara. Vastutasuks pakub suurem mudel meeskondadele ulatuslikumat avatud kaaludega alust, mida saab kohandada, kui ollakse valmis taristut haldama. Selle kirje jaoks esitatud toimetuslik hinnang annab arutlusele ja kodeerimisele hindeks 7/10, kiirusele 5/10 ja kulule 8/10; need on võrdlevad toimetuslikud hinded, mitte Ai2 avaldatud mõõtmistulemused.
Peamised tugevused ja piirangud
Tugevused
- Juurdepääs avatud mudelile: Kontrollpunkti saab alla laadida ja kohandada, selle asemel et pääseda sellele ligi üksnes suletud liidese kaudu.
- Läbipaistev arendus: Ai2 pakub selle suurusjärgu mudeli kohta ebatavaliselt üksikasjalikku teavet treenimise, koodi, andmete ja vaheartefaktide kohta.
- Kasulik juhiste järgi kohandamine: Mudel on spetsiaalselt suunatud vestlusele, dialoogile, juhiste järgimisele, tööriistade kasutamisele ja sünteetiliste andmete genereerimisele.
- Pikk dokumenteeritud kontekst: 65 536 tokeni pikkune kontekst toetab mahukaid tekstisisendeid, kui juurutuskeskkond suudab mälunõuetega toime tulla.
- Paindlik juurutamine: Teadlased ja organisatsioonid saavad mudelit ise majutada, kvantiseerida, hinnata, peenhäälestada või oma süsteemidega integreerida.
Piirangud
- Ainult tekst: Mudelil puudub algupärane pildi-, heli- ja videosisend ning -väljund.
- Taristukoormus: 32B kontrollpunkti käitamine, eriti pika konteksti korral, nõuab palju mälu ja operatiivset tööd.
- Kontrollitud esmaosapoole API-hinnastuse puudumine: Lihtsat hallatavat lõpp-punkti otsivad kasutajad peavad kasutama välist majutust või mudelit ise käitama.
- Kontrollimata väljundpiir: Esitatud allikad dokumenteerivad konteksti pikkuse, kuid ei määra selle konkreetse kontrollpunkti jaoks eraldi maksimaalset väljundtokenite arvu.
- Sarja arutlusspetsialist ei ole: Pikemale arutlusele keskenduvad kasutajad võivad eelistada Olmo Thinki mudelit.
- Järglasest vanem: Olmo 3.1 32B Instruct on uuem seotud valik, kuigi tegemist on eraldiseisva mudeliga, mida ei tohiks käsitleda sama kontrollpunktina.
Millal seda mudelit valida?
Vali Olmo 3 32B Instruct siis, kui avatud kaalud, kontrollitav arendus ja juurutamise üle täieliku kontrolli omamine on olulisemad kui kohe kasutusvalmis majutatud assistent. See sobib näiteks ise majutatava ettevõttesisese assistendi, otsinguga täiendatud genereerimise süsteemi, väliseid tööriistu kasutava agendi taustsüsteemi, sünteetiliste treeningandmete tootmise, hindamisuurimuste ja peenhäälestuskatsete jaoks.
See võib sobida ka organisatsioonidele, kes peavad mudelitorustikku uurima või muutma. Näiteks võib uurimisrühm võrrelda avaldatud kontrollpunkti vaheartefaktidega, kohandada seda spetsialiseeritud valdkonnale või juurutada selle keskkonda, kus päringute saatmine kommertsteenusepakkujale ei ole soovitav.
Mõni muu valik võib olla sobivam siis, kui vajalik on algupärane nägemis- või kõnevõime, kui pildi- või videogenereerimine on keskse tähtsusega või kui meeskond vajab teenusepakkuja hallatavat API-t, mille tokenipõhine hinnastamine on etteaimatav ja taristutööd minimaalsed. Väiksem mudel võib olla parem, kui kõige olulisemad on läbilaskevõime ja riistvarakulu. Ai2 mudelisarjas on pikema arutluse puhul loomulikum võrdlusmudel Olmo Think, samas tasub uuema juhiste järgi kohandatud järglase sobivuse korral hinnata Olmo 3.1 32B Instructi.
Kokkuvõte
Olmo 3 32B Instructi tasub eelkõige mõista avatud ja teadustööks sobiva 32B vestlusmudeli kontrollpunktina, mitte täieliku tarbijatele mõeldud assistendi või tavapärase majutatud API-tootena. Juhiste järgi kohandamise, tööriistade kasutamiseks sobiva ülesehituse, 65 536 tokeni pikkuse kontekstiakna ja ebatavaliselt läbipaistvate treeningumaterjalide kombinatsioon muudab selle kasulikuks ise majutatavates rakendustes ja mudeliuuringutes. Suured arvutusnõuded, ainult tekstiga töötav ülesehitus, kontrollitud esmaosapoole API-hinnastuse puudumine ja dokumenteeritud maksimaalse väljundpiiri puudumine tähendavad, et enne mudeli tootmiskasutusse võtmist on hädavajalik juurutamine hoolikalt läbi planeerida.