Mis on BAR-2x7B-Math?
BAR-2x7B-Math on Allen Institute for AI ehk Ai2 avatud kaaludega keelemudel. See on Ai2 mudelikogumi Branch-Adapt-Route ehk BAR matemaatilise arutluse ekspert. Mudelit kirjeldatakse ligikaudu 12 miljardi parameetriga segu ekspertidest süsteemina, mis on üles ehitatud OLMo 2 7B baasmudelile ja kohandatud matemaatikaga seotud ülesannete jaoks.
Praktikas on BAR-2x7B-Math allalaaditav mudeli kontrollpunkt, mitte majutatud vestlusrobot ega tavapärane kommerts-API-mudel. Kasutajad saavad kaalud alla laadida Hugging Face’ist ja käitada järeldamist enda hallatavas taristus. Seetõttu on mudel asjakohane teadlastele, avatud mudelite hindamisega tegelevatele insenerimeeskondadele ja arendajatele, kes peavad saama järeldamiskeskkonda uurida või kohandada.
Esitatud mudelikaardi teabe kohaselt on mudel välja antud Apache 2.0 litsentsi alusel. See on lubav avatud lähtekoodiga litsents, kuid kommertskasutust kavandavad inimesed peaksid siiski tutvuma täieliku litsentsi, mudelikaardi ja kõigi kohaldatavate kasutusnõuetega.
Kuidas Ai2 kohandas mudeli matemaatika jaoks
Ai2 andmetel arendatakse BAR-mudeleid haruneva ja kohandava protsessi kaudu. BAR-2x7B-Math puhul läbis aluseks olev OLMo 2 7B mudel mitu täiendava treenimise etappi: vahetreenimise, juhendatud peenhäälestuse ja kontrollitavatel tasudel põhineva tugevdusõppe, mida tavaliselt lühendatakse RLVR-iks.
Juhendatud peenhäälestus õpetab mudelit kureeritud näidete abil. RLVR lisab tasusignaali, mida saab kontrollida verifitseeritava tulemuse põhjal. See on matemaatikaülesannete puhul eriti kasulik, sest paljude vastuste õigsust saab hinnata. Nende etappide eesmärk on muuta mudel matemaatiliste lahenduskäikude koostamisel või järgimisel tõhusamaks, kuid esitatud uurimus ei kinnita, et iga vastus on õige või et mudelit võiks kasutada ilma inimese või programmi tehtava kontrollita.
Segu ekspertidest ülesehitus tähendab, et mudel koosneb spetsialiseerunud komponentidest, mitte ühest eristamatust plokist. Kättesaadav teave määratleb BAR-2x7B-Mathi matemaatikaeksperdina, kuid ei anna piisavalt üksikasju täpse marsruutimise, ühe märgi kohta aktiivsete parameetrite arvu ega riistvaranõuete selgitamiseks. Neid üksikasju ei tohiks tuletada ligikaudsest 12 miljardi parameetri suurusest.
Kontrollitud tehnilised andmed ja võimekus
| Tehniline näitaja | Esitatud teave |
|---|---|
| Pakkuja | Allen Institute for AI (Ai2) |
| Mudelite perekond | BAR ehk Branch-Adapt-Route |
| Mudeli tüüp | Arutlusele keskenduv teksti genereerimise keelemudel |
| Ligikaudne suurus | 12 miljardit parameetrit |
| Baasmudel | OLMo 2 7B |
| Litsents | Apache 2.0 |
| Sisend ja väljund | Tekstisisend ja tekstiväljund |
| Esitatud konteksti pikkus | 65 536 tokenit, põhineb välisel arhitektuuriviitel |
| Majutatud API hinnastus | Ei ole tuvastatud |
| Maksimaalne väljundtokenite arv | Ei ole tuvastatud |
| Ametlik teadmiste lõpptähtaeg | Ei ole tuvastatud |
65 536 tokeni suurusesse konteksti tuleks suhtuda ettevaatlikult. Esitatud uurimus määratleb selle välise arhitektuuriviite rakendustaseme spetsifikatsioonina, mitte otse mudelikaardil esitatud väljana. Kättesaadav teave ei täpsusta ka seda, kui suur osa sellest kontekstist on konkreetsel GPU-l praktiliselt kasutatav, kui palju mälu on vaja või kas kõik toetatud serveerimisvirnad võimaldavad kasutada kogu kontekstiakent.
BAR-2x7B-Math töötab ainult tekstiga. Uurimuses ei dokumenteerita pildi-, heli-, video-, kõne-, muusika- ega manusteväljundit. Samuti ei ole tuvastatud ametlikku struktureeritud väljundi režiimi, JSON-režiimi, veebotsingu funktsiooni ega pakkuja hallatavat funktsioonide ja tööriistade kutsumise liidest.
Matemaatiline arutlus ja esitatud hindamistulemused
Matemaatiline arutlus on mudeli keskne spetsialiseerumisvaldkond. See on mõistlik kandidaat katseteks, mis hõlmavad samm-sammult lahendusi, sümboolset või arvulist probleemilahendust, matemaatikaõppe prototüüpe ja avatud kaaludega arutlusmudelite hindamist. Kontrollitavatel tasudel põhinev tugevdusõppe etapp on eriti oluline ülesannete puhul, mille vastuseid saab kontrollida kalkulaatori, sümboolsüsteemi, ühiktesti või muu välise verifikaatoriga.
Ai2 esitab oma BAR-i hindamistabelis matemaatikaskooriks 55,8 ja üldskooriks 39,3. Need on pakkuja esitatud tulemused määratletud hindamiskogumi kohta, mitte universaalsed mudeli kvaliteedi mõõdikud. Neid tuleks võrrelda üksnes tulemustega, mis on saadud samade võrdlustestide määratluste, viipade, valimi võtmise seadete ja hindamisprotseduuride abil. Esitatud uurimus ei täpsusta kogu võrdlustestide koosseisu, mistõttu ei tohiks neid skoore esitada üldise matemaatilise täpsuse garantiina.
Arutlusele suunatud treenimine võib suurendada kasulikkust keerukate ülesannete puhul, kuid muuta mudeli vähem sobivaks rakendustes, kus peamised eesmärgid on väike latentsus ja minimaalne taristu. Selle kontrollpunkti kohta ei ole saadaval kontrollitud kiiruse-, kuluskoori ega maksimaalse genereerimismäära näitajat. Tegelik jõudlus sõltub riistvarast, kvantimisest, serveerimisraamistikust, viiba pikkusest ja genereerimisseadetest.
Kodeerimine, tööriistad ja arendajate integratsioon
BAR-2x7B-Mathi saab arendustöövoos kasutada teksti genereerimiseks ning selle arutlusele keskenduv ülesehitus võib matemaatilise programmeerimise ülesannete puhul kasuks tulla. Esitatud uurimus ei sisalda siiski kodeerimise võrdlustesti ega määratle BAR-2x7B-Mathi koodile spetsialiseerunud mudelina. Seetõttu oleks täpsem käsitleda kodeerimisvõimet rakendusena, mida tuleb testida, mitte dokumenteeritud peamise tugevusena.
Mudelikaardi teabe kohaselt ühildub mudel Transformersi, vLLM-i, SGLangi ja Dockeriga. Need on kontrollpunkti käitamise juurutusvõimalused; need ei tõenda, et Ai2 pakub majutatud API-t, natiivset funktsioonikutsungit, hallatavaid agente või automaatset juurdepääsu välistele tööriistadele. Kättesaadavates andmetes on tööriistade kasutamine selle mudeli puhul märgitud toetamata või dokumenteerimata. Kui rakendus vajab kalkulaatoreid, sümbolalgebrat, koodi käitamist, infootsingut või funktsioonikutseid, peavad arendajad selle ümbritseva süsteemi ise üles ehitama ja haldama ning kontrollima, kuidas valitud serveerimisraamistik päringuid vormistab.
Esitatud uurimuses ei ole dokumenteeritud natiivse JSON-režiimi ega struktureeritud väljundi garantiid. Viibaga võib taotleda kindlat vormingut, kuid üksnes viipajuhiseid ei tohiks käsitleda skeemi jõustava funktsioonina.
Hinnastus ja juurutusmudel
BAR-2x7B-Mathi majutatud tokenipõhist hinnastust ei tuvastatud. Kuna seda levitatakse avatud kaaludega kontrollpunktina, moodustavad peamise kulu taristukulud, mitte pakkuja avaldatud tokenipõhine tasu. See võib hõlmata GPU- või CPU-renti, salvestusruumi, andmeedastust, käitamise hooldust ning juurutamiseks ja jälgimiseks kuluvat inseneritööd.
Selline kulumudel võib olla kasulik püsiva koormuse või andmete ja järeldamise üle kontrolli nõudva uurimistöö puhul. Juhukasutuse, kiire prototüüpimise, automaatse skaleerimise või selliste meeskondade jaoks, kes ei soovi mudelite serveerimise taristut hallata, võib see olla vähem mugav kui hallatud API. Esitatud uurimus ei ütle, millist riistvara on mudeli tõhusaks käitamiseks vaja. Seetõttu peaksid ostjad kontrollpunkti kavandatud riistvaral võrdlema, selle asemel et eeldada, et nominaalne parameetrite arv ennustab konkreetset juurutuskulu.
Peamised tugevused ja piirangud
Tugevused
- Matemaatikale keskenduv treening: Mudelit kohandati matemaatilise arutluse jaoks juhendatud peenhäälestuse ja kontrollitavatel tasudel põhineva tugevdusõppe abil.
- Juurdepääs avatud kaaludele: Kasutajad saavad kontrollpunkti alla laadida ja käitada, selle asemel et sõltuda pakkuja hallatavast lõpp-punktist.
- Lubav litsents: Esitatud mudelikaardi teabes on litsentsina märgitud Apache 2.0.
- Paindlik juurutus: Väidetavalt töötab kontrollpunkt Transformersi, vLLM-i, SGLangi ja Dockeriga.
- Suur esitatud kontekst: Väline arhitektuuriviide esitab konteksti pikkuseks 65 536 tokenit, kuid seda piiravad rakendus ja riistvara.
Piirangud
- Dokumenteeritud majutatud API või hinna puudumine: Uurimus ei tuvasta pakkuja hallatavat lõpp-punkti ega tokenipõhist hinnastust.
- Ebaselge genereerimispiir: Maksimaalset väljundtokenite arvu ei tuvastatud.
- Ainult tekstipõhine töö: Pilti, heli, videot, kõnet ega muid mittetekstilisi modaalsusi ei ole dokumenteeritud.
- Dokumenteeritud natiivsete tööriistade puudumine: Veebiotsingut, funktsioonikutseid ega pakkuja hallatavaid struktureeritud väljundeid ei ole tuvastatud.
- Kontrollimata teadmiste lõpptähtaeg: Ai2 ei ole esitatud allikates andnud selle konkreetse kontrollpunkti kohta ametlikku lõpptähtaega.
- Taristu eest vastutamine: Kasutajad peavad ise korraldama serveerimise, skaleerimise, riistvara valiku, turbe ja väljundite valideerimise.
- Arutlus ei ole tõend: Matemaatikale spetsialiseerumine ja esitatud võrdlustestide tulemused ei kaota vajadust vastuseid kontrollida, eriti suure mõjuga kasutusjuhtudel.
Millal valida BAR-2x7B-Math
Vali BAR-2x7B-Math siis, kui keskne vajadus on avatud kaaludega matemaatiline arutlus ning oled valmis mudelit kohapeal või enda pilvetaristus käitama. See on eriti asjakohane valik kontrollitavatel tasudel põhineva treenimise, matemaatikale keskenduva hindamise, enda hallatavate õppeprototüüpide ja töövoogude uurimiseks, kus andmed peaksid jääma operaatori kontrolli alla.
See võib sobida ka meeskondadele, kes soovivad katsetada Apache 2.0 litsentsiga kontrollpunkti ja on valmis lisama enda kontrollikihi. Näiteks võib matemaatikarakendus paluda mudelil pakkuda lahendust ning kasutada seejärel tulemuse kontrollimiseks eraldi kalkulaatorit, sümbolmootorit või testikeskkonda. Seda ümbritsevat verifikaatorit mudel ise ei sisalda.
Teine võimalus võib olla sobivam, kui vajad kohe kasutatavat kommerts-API-t, prognoositavat tokenipõhist arveldamist, garanteeritud JSON-skeeme, sisseehitatud tööriistakutseid, multimodaalset sisendit või dokumenteeritud teenusetaseme lepingut. Väiksem üldotstarbeline mudel võib olla parem valik ka siis, kui latentsus, mälukasutus või väike käituskulu on olulisem kui matemaatikale keskenduv järeltreening. Seevastu nõudlike ülesannete puhul võib olla mõistlik hinnata suuremat või spetsialiseerunumat süsteemi, kui BAR-2x7B-Math ei vasta täpsusnõuetele. Esitatud uurimus ei sisalda otseseid kõrvutustulemusi nimetatud alternatiividega, mistõttu peaksid need otsused põhinema ülesandespetsiifilisel testimisel.
Üldhinnang
BAR-2x7B-Mathi on kõige õigem käsitleda matemaatikale spetsialiseerunud avatud uurimistöö kontrollpunktina, mitte valmis majutatud AI-teenusena. Selle olemuse määravad OLMo 2 7B baasmudeli, BAR-i segu ekspertidest lähenemise ja kontrollitavatel matemaatilistel tasudel põhineva täiendava treenimise kombinatsioon. Mudeli avatud kaalud, Apache 2.0 litsents ning tugi väljakujunenud enda hallatava juurutuse tööriistadele muudavad selle kasulikuks kontrollitud katsetes ja kohapealses juurutuses.
Sama olulised on kompromissid: hinnastust, väljundipiiranguid, teadmiste lõpptähtaega, tootmiskeskkonna tuge ega natiivsete tööriistade võimekust ei ole esitatud uurimuses dokumenteeritud. Enne mudeli käsitlemist tootmislahendusena peaksid potentsiaalsed kasutajad oma töökoormuste põhjal valideerima matemaatilise täpsuse, latentsuse, mälunõuded ja litsentsi sobivuse.