Mis on Olmo 3 7B Instruct?
Olmo 3 7B Instruct on Allen Institute for AI ehk üldtuntud nimetusega Ai2 välja töötatud 7 miljardi parameetriga autoregressiivne Transformeri keelemudel. See on Olmo 3 7B mudeliperekonna üldiseks vestluseks ja juhiste järgimiseks mõeldud versioon. Mudelit levitatakse Ai2 ametliku Hugging Face'i organisatsiooni kaudu identifikaatoriga allenai/Olmo-3-7B-Instruct.
Mudel on mõeldud teadustööks, hariduseks, lokaalseks käitamiseks, kohandamiseks ja avatud mudelite arendamiseks. Apache 2.0 litsents lubab seda laialdaselt kasutada vastavalt litsentsitingimustele. Erinevalt majutatud tarbijatele mõeldud vestlusrobotist on tegemist peamiselt allalaaditava mudeli kontrollpunktiga: kasutajad või taristu pakkujad vastutavad mudeli käitamise ja seda ümbritseva rakenduse haldamise eest.
Koht Olmo mudeliperekonnas
Olmo 3 7B Instruct põhineb Olmo 3 7B baasmudelil ja on optimeeritud kasulike ning suhteliselt otsekoheste vastuste andmiseks. Perekonda kuuluvad ka Olmo 3 7B Base ja Olmo 3 7B Think. Base on mõeldud edasise arenduse lähtekohaks, samas kui Think sobib paremini töökoormustele, mille keskmes on põhjalik arutlemine ja täiendav järeldusaja arvutus.
Instruct paikneb praktilises keskpunktis: valmis vestluse ja juhiste järgimise jaoks sobib see baaskontrollpunktist paremini, kuid eesmärk on anda lühemaid vastuseid kui Thinki variant. See võib tavaliste assistendiülesannete puhul vähendada tarbetuid järelduskulusid ja viivitust.
Õpetamine ja avatud arendus
Ai2 kirjeldab Olmo 3 arendusprotsessi täielikult avatud mudeliarendusena. Lisaks mudeli kaalude avaldamisele annab Ai2 juurdepääsu andmete, koodi, kontrollpunktide, õpetamisetappide, retseptide ja hindamisprotsessi osadele. Seetõttu on Olmo 3 7B Instruct asjakohane teadlastele ja organisatsioonidele, kes peavad suletud API-le tuginemise asemel avatud mudelit uurima, reprodutseerima, kohandama või analüüsima.
Aluseks olnud 7B õpetamiskäigus kasutati ligikaudu 5,93 triljonit eeltöötlustokenit Dolma 3 andmeökosüsteemist, millele järgnesid keskõppe ja pika konteksti etapid. Seejärel kasutati Instructi arendamisel juhendatud peenhäälestust, otsest eelistuste optimeerimist ja kontrollitavate tasudega tugevõpet. Need on teenusepakkuja dokumenteeritud õpetamisdetailid, mitte sõltumatud kvaliteedigarantii: tegelikud tulemused sõltuvad endiselt viipadest, juurutusseadetest, tööriistade integreerimisest ja hindamismetoodikast.
Põhivõimekused
Vestlus ja juhiste järgimine
Olmo 3 7B Instruct on loodud mitmevooruliseks dialoogiks, üldiseks küsimustele vastamiseks ja selgesõnaliste juhiste järgimiseks. Mudeli ametlik mudelikaart sisaldab süsteemi-, kasutaja- ja assistendisõnumite vestlusmalli ning märgib toetatud keeleks inglise keele. Seega saab seda kasutada lokaalse assistendi keelekomponendina, töövoogude automatiseerimise toetamiseks või rakenduses küsimustele vastamiseks.
Selle 65 536 tokeni suurune kontekstiaken võimaldab viibal ja vestlusajalool sisaldada oluliselt rohkem materjali kui paljudel väiksema kontekstiga mudelitel. Dokumenteeritud maksimaalne väljund on kuni 32 768 tokenit, kuigi väga pikkade vastuste genereerimine suurendab mälukasutust, latentsust ja käitamise kulu. Need piirangud on mudeli või juurutuse spetsifikatsioonid; konkreetne käituskeskkond võib kehtestada väiksemad piirid.
Tööriistade kasutamine ja funktsioonikutsete tegemine
Mudel on mõeldud tööriistade kasutamise ja funktsioonikutsete töövoogude jaoks. Praktilises mõttes võib rakendus kirjeldada saadaolevaid funktsioone, näiteks andmebaasist otsimist, dokumendi hankimist või sisemise teenuse kutsumist, ning paluda mudelil sobival juhul luua struktureeritud kutse.
Olmo 3 7B Instruct ei käivita neid funktsioone ise. Ümbritsev rakendus või järeldusserver peab genereeritud kutset valideerima, valitud tööriista käivitama ja tulemuse mudelile tagastama. Tootmissüsteemid peaksid lisama ka õiguste kontrolli, sisendi valideerimise, veakäsitluse ning korduvate või hävitavate toimingute piirangud.
Programmeerimine ja arutlemine
Mudel võib aidata programmeerimise, tehniliste selgituste, koodi genereerimise ja silumisega. Ai2 hindamiskate hõlmab programmeerimise, matemaatika, arutlemise, juhiste järgimise, teadmiste, vestluse ja tööriistade kasutamise ülesandeid. Mudel ei ole siiski oma perekonna spetsiaalselt arutlemisele keskendunud liige. Ülesannete puhul, millele tuleb kasuks pikk ja üksikasjalik arutluskäik või mahukas järeldusaja arvutus, võib Olmo 3 7B Think paremini sobida.
Nagu teistegi keelemudelite puhul, tuleb genereeritud kood enne kasutamist üle vaadata ja testida, mitte seda automaatselt käivitada. Mudel võib luua usutavat, kuid vigast koodi, mõista spetsifikatsiooni valesti või teha teekide ja süsteemi käitumise kohta ebaturvalisi eeldusi.
Juurutamine ja järeldamine
Olmo 3 7B Instruct on mõeldud ise majutatud ja lokaalseks järeldamiseks. Avaldatud mudel on saadaval BF16 safetensors-vormingus ning seda saab laadida standardsete Transformersi tööriistadega. Ai2 dokumenteerib ka vLLM-i kaudu teenindamist, samal ajal kui mudeli lehel nimetatakse täiendavate juurutusvõimalustena SGLangi ja ühilduvaid kohalikke rakendusi.
- Transformers: laadige kontrollpunkt käsuga
AutoModelForCausalLM, rakendage kaasasolevat vestlusmalli ja genereerige vastuseid lokaalselt. - vLLM: pakkuge Hugging Face'i hoidlat OpenAI-ga ühilduva kohaliku lõpp-punkti kaudu, et toetada rakendusi, mis eeldavad tuttavat vestluse lõpetamise liidest.
- SGLang ja muud käituskeskkonnad: kasutage avaldatud hoidlat mudeli teena, kui käituskeskkond toetab seda arhitektuuri ja vormingut.
- Kvantiseeritud juurutused: vähendage võimaluse korral mälunõudeid, mis võib muuta mudeli väiksema või odavama riistvara puhul praktilisemaks.
7B parameetri suurus on kompromiss. Mudelit on oluliselt lihtsam juurutada kui palju suuremaid avatud mudeleid, kuid keerukate ülesannete puhul võib see olla suurematest mudelitest vähem võimekas. Tegelik kiirus sõltub riistvarast, kvantiseerimisest, pakisuurusest, konteksti pikkusest ja teenindustarkvarast. Selle lehe jaoks esitatud võrdlevad kiiruse- ja kuluskoorid on toimetuse hinnangud, mitte Ai2 avaldatud hinnangud.
Modaalsused, piirangud ja ajakohane teave
Olmo 3 7B Instruct on ingliskeelne teksti sisendiga ja teksti väljundiga mudel. See ei võta algupäraselt vastu pilte, heli ega videot ning ei väljasta pilte, heli ega videot. Multimodaalseid funktsioone saab lisada ainult teiste mudelite ja rakenduse komponentide kombineerimisega; selliseid funktsioone ei tohiks omistada sellele kontrollpunktile endale.
Mudeli märgitud teadmiste lõpptähtaeg on detsember 2024. Sellel puudub sisseehitatud veebiotsingu või sirvimise võimekus ning seda ei tohiks käsitleda reaalajas teabe süsteemina. Rakendus võib lisada otsingu, sirvimise või andmebaasitööriista, kuid sellest tulenev ajakohase teabe võimekus kuulub ümbritsevale süsteemile, mitte baasmudelile.
Selle mudeli jaoks ei ole tuvastatud Ai2 ametlikku majutatud tokenipõhist hinda. Üldjuhul laadib kasutaja mudeli alla ja käitab seda ise või kasutab sõltumatut järeldusteenuse pakkujat, kelle hinnad ja saadavus võivad erineda. Samuti ei ole kontrollpunkti jaoks tuvastatud Ai2 esimese osapoole pakett-API-d ega teenusepakkuja määratletud korduvmaksega paketti. Ise majutamine väldib teenusepakkuja tokenipõhiseid tasusid, kuid toob kaasa riistvara-, elektri-, salvestus-, hooldus- ja arenduskulud.
Millal valida Olmo 3 7B Instruct?
Valige Olmo 3 7B Instruct siis, kui avatus, lokaalne kontroll ja kohandatavus on tähtsamad kui viimistletud hallatud assistendi kasutamine. See sobib hästi järgmisteks kasutusjuhtudeks:
- ise majutatud vestlusassistendid;
- ingliskeelsed juhiste järgimise rakendused;
- lokaalne programmeerimis- ja tehniline tugi;
- tööriistakutsetega agendid, mille funktsioone haldab rakendus;
- avatud mudelite uurimine ja reprodutseeritavuse tagamine;
- 7B-skaalas kontrollpunkti peenhäälestamine ja katsetamine; ning
- juurutused, kus on oluline vältida suletud teenusepakkuja majutatud API-d.
See ei pruugi olla õige valik kasutajatele, kes vajavad sisseehitatud piltide või heli mõistmist, reaalajas veebiteavet, püsivaid tarbijaassistendi funktsioone, garanteeritud majutatud teenuse tööaega või lihtsat teenusepakkuja hallatavat API-d. Nõudlike teadmiste, programmeerimise või arutlemise ülesannete puhul võib eelistada suuremat mudelit, samas kui pikem arutlemine on prioriteet, sobib paremini Olmo 3 7B Think. Majutatud kommertsmudel võib olla mugavam siis, kui peamine vajadus on hallatud taristu, mitte kontrollitavad kaalud ja lokaalne juhtimine.
Praktiline hinnang ja kompromissid
Mudeli peamine praktiline eripära ei ole väide, et see ületab kõiki suuremaid või kommertsmudeleid. Selle väärtus seisneb 7B suuruse, pika kontekstiakna, Apache 2.0 litsentsi, dokumenteeritud tööriistakasutuse suunitluse ja ebatavaliselt avatud arendusprotsessi kombinatsioonis. Need omadused muudavad selle uurimise ja kohandamise suletud lõpp-punktist lihtsamaks.
Kompromissiks on vastutus. Käitajad peavad valima riistvara, konfigureerima järeldusserveri, kaitsma tööriistaliideseid, jälgima väljundeid ja otsustama, kuidas käsitleda privaatseid andmeid. Kontrollpunkt võib genereerida faktivigu, kallutatud või ebaturvalist sisu ja soovimatuid tööriistakutseid. Rakendused peaksid kasutama väljundi valideerimist, juurdepääsukontrolle, seiret, värske teabe vajaduse korral otsingut ning oluliste otsuste puhul inimkontrolli.