Olmo 3 7B Base

Mis on Olmo 3 7B Base?

Olmo 3 7B Base on Allen Institute for AI ehk Ai2 loodud ainult dekooderiga autoregressiivne keelemudel. „7B” viitab ligikaudu seitsmele miljardile parameetrile ehk õpitud arvväärtustele, mida kasutatakse järjestuses järgmise tokeni ennustamiseks. „Base” tähendab, et mudel on eelkõige alus edasiseks kohandamiseks, mitte viimistletud vestlusassistent.

Praktikas genereerib Olmo 3 7B Base tekstiviipade põhjal teksti, kuid seda ei esitleta kasutusvalmis vestlustootena, millel oleks tarbijaliides, sisseehitatud veebiotsing või kontrollitud funktsioonikutsete tugi. Selle peamised kasutajad on tõenäoliselt teadlased, masinõppeinsenerid ja organisatsioonid, kes soovivad avatud mudelit edasi treenida, peenhäälestada, hinnata või ise majutada.

Mudeli allalaaditava kontrollpunkti täpne identifikaator on allenai/Olmo-3-1025-7B. Ai2 esitleb seda kontrollpunkti nime all Olmo 3 7B Base, samas kui hoidlas ja Hugging Face'is kasutatakse identifikaatoris nimetamisviisi 1025-7B.

Koht Olmo mudelite kataloogis

Olmo 3 7B Base on Olmo 3 mudeliperekonna väiksem ja kergem alusmudel. Selle roll erineb juhiste järgi peenhäälestatud või vestlusele suunatud mudeli omast: see pakub üldotstarbelist keelemudeli alust, mida saab kohandada konkreetse andmestiku, käitumise, valdkonna või uurimismeetodiga.

Selline positsioon muudab mudeli asjakohaseks olukordades, kus kontroll ja läbipaistvus on tähtsamad kui kohe kasutatav mugavus. Ai2 on avaldanud mudeli kaalud, treeningukoodi, kontrollpunktid ja treeninguga seotud üksikasjad, võimaldades kasutajatel mudeli arendusprotsessi rohkem uurida ja korrata, kui suletud majutatud süsteemide puhul tavaliselt võimalik. Mudelikaart märgib andmete lõppkuupäevaks 2024. aasta detsembri ning litsentsiks Apache 2.0.

Kontrollitud tehnilised andmed

65 536 tokeni suurune kontekstiaken on sisendkonteksti maksimaalne näitaja, mitte garantii, et iga juurutus võimaldab kogu seda pikkust kasutada. Vaba mälu, kvantimine, järeldustarkvara ja riistvara võivad mõjutada seda, kas konkreetne paigaldus suudab sellist tekstihulka tõhusalt töödelda.

Mida mudel suudab teha

Olmo 3 7B Base sobib tavapärasteks teksti genereerimise ülesanneteks, nagu jätkamine, teisendamine, kohandamise järel klassifitseerimine, andmete eraldamine, kokkuvõtete koostamine ja valdkonnaspetsiifilise teksti genereerimine. Samas on oluline arvestada, et tegemist on alusmudeliga: jõudlus ja väljundi vorm sõltuvad suurel määral viipast, dekodeerimisseadetest, peenhäälestusandmetest ja teenindustarkvarast.

Pikk kontekstiaken on kasulik töökoormuste puhul, kus ühte viipa tuleb paigutada palju materjali. Näiteks saab analüüsida pikki tehnilisi dokumente, koostada valdkonnaspetsiifilise peenhäälestuskorpuse, võrrelda mitut tekstilõiku või katsetada pika konteksti treenimist ja hindamist. Esitatud uurimismaterjalides ei määratleta eraldi maksimaalset väljundtokenite arvu, seega ei tohiks eeldada kindlat genereerimispiiri peale kontekstiakna ja valitud järeldusraamistiku seatud piirangute.

Ainus kontrollitud sisend- ja väljundmodaalsus on tekst. Esitatud tehniliste andmete kohaselt ei võta Olmo 3 7B Base algupäraselt vastu pilte, heli ega videot ega genereeri neid meediatüüpe. Ümbritsev rakendus võib muu meedia enne mudelile saatmist tekstiks teisendada, kuid see oleks rakenduse tasandi töövoog, mitte mudeli algupärane võimekus.

Treening ja kohandamine

Selle mudeli valimise peamine põhjus on võimalus käsitleda seda kohandatava uurimisvahendina. Ai2 pakub kaalusid ja treeninguga seotud materjale, mida on vaja näiteks jätkuõppeks, juhendatud peenhäälestuseks, tugevdusõppe katseteks ja kohandatud juurutuseks. Jätkuõppe abil saab mudelit täiendava teksti põhjal laiendada või spetsialiseerida, juhendatud peenhäälestus õpetab aga mudelit järgima soovitud ülesande või vastamisstiili näiteid.

Kuna mudel on avatud ja allalaaditav, saavad kasutajad valida oma taristu ja järeldusraamistiku, selle asemel et sõltuda ühest ametlikust majutatud lõpp-punktist. See võib olla kasulik organisatsioonidele, kellel on andmete asukoha nõuded, spetsiaalne riistvara või vajadus mudelitorustikku uurida ja muuta. Samuti lasub kasutajal vastutus riistvara valiku, teeninduskonfiguratsiooni, turbe, seire, uuenduste ja hindamise eest.

Arutlus, kodeerimine ja tööriistade kasutamine

Olmo 3 7B Base on üldotstarbeline tekstimudel, mitte eraldi dokumenteeritud arutlusmudel. See võib genereerida samm-sammult kulgevat teksti ja seda saab kohandada arutlusele suunatud uurimistööks, kuid esitatud allikad ei paku kontrollitud arutlusvõimekuse võrdlustulemust ega pakkuja määratletud arutlusrežiimi. Seetõttu tuleks arutlusvõime hindamisel arvestada juurutusest ja viibast sõltuvusega.

Sama eristus kehtib kodeerimise kohta. Mudel võib tekstiülesandena koodi genereerida ja teisendada ning toimetuse hinnangul on selle kodeerimisalane kasulikkus 6 punkti 10-st. See on sisemine võrdlev hinnang, mitte Ai2 avaldatud võrdlustulemus ega garantii. Väga usaldusväärset koodigeneerimist vajavad kasutajad peaksid hindama täpset kontrollpunkti ja peenhäälestuse seadistust oma programmeerimisülesannete põhjal.

Kontrollitud algupärast tööriistade või funktsioonikutsete võimekust ei ole loetletud. Rakendus võib tööriistade kasutamise korraldada nii, et palub mudelil väljastada struktureeritud tekstikäsu ja laseb välisel tarkvaral selle täita, kuid sellist orkestreerimist ei tohiks segi ajada dokumenteeritud algupärase tööriistaliidesega. Ka struktureeritud JSON-väljundit ei ole eraldi toetatud režiimina tuvastatud.

Kiiruse, kulude ja juurutuse kompromissid

Olmo 3 7B Base'i ametlikku esimese osapoole tokenipõhist järeldushinda ega tellimuse hinda ei ole tuvastatud. Kuna mudel on peamiselt allalaaditav, sõltub maksumus riistvarast, majutusteenuse pakkujast, järeldusraamistikust, kasutuskoormusest ja mudeli käitamiseks vajalikust arendustööst. Ise majutamine võib püsiva suure kasutusmahu korral või juhul, kui andmed peavad jääma kasutaja kontrolli alla, olla soodne, kuid see ei ole tasuta: kogukulu hulka kuuluvad arvutusvõimsus, salvestus, hooldus ja tööks vajalikud teadmised.

Toimetuse hinnangul on mudeli kiirus 7 punkti 10-st ja kulutõhusus 8 punkti 10-st. Need on võrdlevad hinnangud, mitte tarnija avaldatud reitingud. Seitsme miljardi parameetriga mudel on üldjuhul lihtsamini juurutatav kui palju suuremad mudelid, kuid tegelik viiteaeg ja läbilaskevõime sõltuvad riistvarast, täpsusest, pakkide koostamisest, konteksti pikkusest ja teenindustarkvarast. Pikad viibad võivad vajada märksa rohkem mälu ja arvutusvõimsust kui lühikesed viibad.

Peamised tugevused

• Avatud uurimistorustik: Ai2 avaldab kaalud, treeningukoodi, kontrollpunktid ja toetava treeninguteabe, mitte ei paku ainult ligipääsmatut majutatud lõpp-punkti.
• Pikk kontekst: 65 536 tokeni suurune kontekstiaken toetab suure tekstisisendiga seotud uurimistööd ja rakendusi.
• Kohandatavus: Alusmudeli ülesehitus sobib jätkuõppeks, juhendatud peenhäälestuseks, tugevdusõppe uurimiseks ja valdkonnaga kohandamiseks.
• Selge litsents: Mudel on märgitud Apache 2.0 litsentsiga, arvestades kohaldatavat projekti dokumentatsiooni ja tingimusi.
• Juurutuse paindlikkus: Kasutajad saavad valida sobiva taristu ja teenindustööriistad, selle asemel et olla seotud ametliku majutatud API-ga.

Peamised piirangud

• Ei ole kohe kasutatav assistent: Alusmudelit ei esitleta viimistletud vestlustootena, mille juhiste järgimise käitumine oleks garanteeritud.
• Ametlik hinnastus puudub: Kontrollitud esimese osapoole tokenipõhist hinda ega maksimaalset genereeritavate tokenite arvu ei ole, mille põhjal tavapärast API-kulukalkulatsiooni teha.
• Ainult tekst: Algupärast pildi-, heli- ja videosisendit ega -väljundit ei toetata.
• Kontrollitud algupärased tööriistad puuduvad: Esitatud tehnilistes andmetes ei ole dokumenteeritud sisseehitatud funktsioonikutseid, veebiotsingut ega struktureeritud tööriistade käivitamist.
• Käitamise eest vastutab kasutaja: Ise majutamisel tuleb kasutajal hallata riistvara, järeldustarkvara, turvet, skaleerimist ja mudeli hindamist.
• Alusmudeli käitumine: Järjepidevate assistendilaadsete vastuste saavutamiseks võib vaja minna viipade koostamist, peenhäälestust või täiendavat joondamistööd.

Millal valida Olmo 3 7B Base?

Vali Olmo 3 7B Base siis, kui vajad avatud ja allalaaditavat keelemudeli alust ning soovid kontrollida selle kohandamist või juurutamist. See sobib hästi jätkuõppe katseteks, varalise või valdkonnaspetsiifilise teksti põhjal peenhäälestamiseks, korratavaks keelemudeli uurimistööks, pika konteksti hindamiseks ja rakendusteks, kus treeninguvarade uurimine on oluline.

See sobib vähem olukordadesse, kus prioriteediks on kohe kasutatav hallatud vestlusassistent, sisseehitatud veebiotsing, algupärane multimodaalne töötlus, garanteeritud funktsioonikutsed või lihtne majutatud API koos avaldatud tokenipõhiste hindadega. Sellistel juhtudel võib juhiste järgi peenhäälestatud majutatud mudel või dokumenteeritud multimodaalse ja tööriistade kasutamise toega mudel nõuda vähem arendustööd.

Samuti tasub mudelit võrrelda suuremate või spetsialiseerunumate alternatiividega, kui ülesanne nõuab maksimaalset arutluskvaliteeti, täiustatud kodeerimisvõimekust või tootmiskeskkonna tasemel töökindlust. Teisalt võib väiksem avatud mudel olla eelistatav siis, kui riistvarapiirangud ja järelduskulud on olulisemad kui lai võimekus. Õige valik sõltub kohandatavuse, läbipaistvuse, kiiruse, käitamiskulude ja ülesande soorituse vahelisest tasakaalust.

Saadavus ja allikad

Olmo 3 7B Base on allalaaditava avatud kaaludega mudelina saadaval ametliku Hugging Face'i kontrollpunkti kaudu. Lisateavet leiab Ai2 Olmo projekti lehelt, ametlikust OLMo treeninguhoidlast, Olmo 3 teadaandest ja Olmo 3 tehnilisest aruandest. Saadavus, toetatud järeldusraamistikud ja projekti dokumentatsioon võivad aja jooksul muutuda, seega tuleks juurutusotsuseid kontrollida kehtiva mudelikaardi ja hoidla põhjal.