Mis on Bolmo-1B?
Bolmo-1B on Allen Institute for AI ehk Ai2 välja töötatud ligikaudu ühe miljardi parameetriga autoregressiivne keelemudel. Selle ametlik avalik identifikaator on allenai/Bolmo-1B. Autoregressiivse mudelina genereerib see teksti järk-järgult, ennustades järjestuse järgmist ühikut. Oluline erinevus seisneb selles, et Bolmo-1B ennustab baite, mitte alamõnetokeneid, mida kasutavad enamik tänapäevaseid keelemudeleid.
Tekst salvestatakse lõppkokkuvõttes baitidena, sealhulgas tähemärgid, tühikud, kirjavahemärgid ja ASCII-välise teksti kodeeritud osad. Enamik keelemudeleid peidab selle üksikasjatasandi tokeniseerija taha, mis teisendab teksti alamõnetokenite sõnastikuks. Bolmo-1B töötab selle asemel otse UTF-8 baitidega, võimaldades treeningu- ja järeldusprotsessil esitada õigekirja, ebatavalisi stringe, tühikuid ja tähemärgitasandi mustreid ilma tavapärase fikseeritud alamõnetokenite sõnastikuta.
Bolmo-1B kuulub Bolmo mudeliperre. Ai2 kirjeldab ka mudelit Bolmo-7B ja sellega seotud baidipõhiseks teisendatud mudeleid, mis põhinevad teistel avatud keelemudelite alustel. Ühe miljardi parameetriga versioon on pere väiksem ja hõlpsamini kasutatav liige ning sobib eriti hästi kohalikeks katseteks, mille puhul suurem mudel nõuaks rohkem mälu ja arvutusressursse.
Kuidas baiditasandi ülesehitus töötab
Bolmo-1B ühendab baiditasandi töötluse transformeri-põhise keelemudeli alustaristuga. Selle arhitektuur kasutab lokaalset kodeerijat baitide jadadest esituste loomiseks, piiriennustajat muutuva pikkusega lõikude tuvastamiseks ning koondatud esitusi, mis edastatakse globaalsele transformerile. Seejärel taastab lokaalne dekooder baiditasandi üksikasjad, enne kui mudel ennustab järgmisi baite ja piire.
Praktilises mõttes on mudeli eesmärk ühendada suuremate ühikute töötlemise teatav tõhusus ja ligipääs üksikasjalikule tähemärgiteabele. See võib olla kasulik juhul, kui stringi täpne õigekiri või struktuur on oluline. Näideteks on tähemärkidest sõltuvad hindamised, ebatavalised tekstilõigud, tühikute käsitlemine ning uuringud selle kohta, kuidas keelemudelid saavad õppida kasulikke sisemisi ühikuid ilma täielikult eelmääratletud tokeniseerijale tuginemata.
Baiditasandi lähenemisviis muudab ka seda, kuidas kasutajad peaksid genereerimispiiranguid tõlgendama. Bait on üldjuhul väiksem ühik kui alamõnetoken, eriti tavalise ingliskeelse teksti puhul. Seetõttu võib baitides väljendatud arvuline genereerimiseelarve anda märgatavalt vähem loetavat teksti kui sama arv tavapärase keelemudeli tokeneid.
Mudeli päritolu ja avatud väljalase
Bolmo-1B loodi OLMo 2 1B baidipõhiseks teisendamisega lühikese täiendava treeninguprotseduuri abil. Seega ei ole tegemist lihtsalt eraldiseisva, sõltumatu arhitektuuriga mudeliga, vaid Ai2 mudeli OLMo 2 1B baasi kohandusega baiditasandil töötamiseks.
Avalik väljalase sisaldab mudeli kaalusid, teostust, tehnilist dokumentatsiooni ja treeninguressursse. Ai2 avaldas ka andmestiku allenai/bolmo_mix ning Bolmo avaliku treeningukoodi. Eraldi kontrollpunkti Bolmo-1B-Stage1 ei tohiks segi ajada siin kirjeldatud valmis mudeliga Bolmo-1B.
See avatus on sihtrühma jaoks oluline. Kasutajad saavad kaalud alla laadida, teostust uurida ja teha kohalikke katseid, selle asemel et sõltuda tasulisest järeldusteenusest või läbipaistmatust majutatud lõpp-punktist. Mudelikaardi kohaselt kehtib avalike mudelikaalude litsentsina Apache 2.0.
Võimekus ja toetatud modaalsused
Bolmo-1B on teksti genereeriv mudel. See võtab sisendiks UTF-8 baitidena esitatud teksti ja väljastab teksti. Esitatud mudeliteave ei dokumenteeri loomulikku pildi-, heli-, video-, kõne-, manustamisvektorite, veebiotsingu, struktureeritud väljundi, toimingute ega tööriistakutsete tuge.
- Kohalik teksti lõpetamine ja jätkamine
- Baiditasandi keelemudelite uurimine
- Tähemärgi- ja õigekirjatundlik hindamine
- Tokeniseerija alternatiivide ja latentsete muutuva pikkusega lõikude katsetamine
- Avatud keelemudelite arhitektuuride õppeotstarbeline uurimine
- Hindamine Ai2 tööriistade Bolmo ja OLMES abil
Tegemist on baas-keelemudeliga, mitte ohutusfiltritega juhiseid järgiva assistendiga. Seda erinevust tuleb rakenduse valimisel arvestada. Mudel suudab genereerida jätke, kuid esitatud uuringud ei kinnita, et see pakuks majutatud assistendimudelilt oodatavat vestluslikku usaldusväärsust, juhiste järgimist, ohutuskäitumist või rakenduse juhtimise võimalusi.
Kontekstipiirang ja juurutamisnõuded
Praegune konfiguratsioon määrab mudeli positsioonide maksimumarvuks 4096. Kuna Bolmo-1B töötab baitide ja muutuva pikkusega latentsete lõikude kaudu, ei tohiks seda piirangut tõlgendada täpselt samamoodi nagu tavapärase alamõnetokeneid kasutava mudeli 4096 tokeni suurust kontekstiakent. Kindla arvu positsioonidega esitatava inimloetava teksti hulk võib sisust ja kodeeringust sõltuvalt varieeruda.
Mudel on mõeldud allalaaditavaks kohalikuks järelduseks Transformersi ökosüsteemi kaudu. Mudelikaardil kirjeldatud testitud seadistus kasutab Transformersi versiooni 4.57.3 ja Python 3.11 koos paketiga xlstm. Kasutajad peaksid järgima mudelihoidla ajakohaseid juhiseid, sest vajalik võib olla kohandatud mudeli- ja tokeniseerijakood. Mudelit ei ole dokumenteeritud ametliku hallatava API-tootena.
Ligikaudu ühe miljardi parameetriga mudel muudab Bolmo-1B katsetamiseks praktilisemaks kui pere suuremad liikmed, kuigi tegelikud mälu- ja kiirusnõuded sõltuvad kaalude vormingust, riistvarast, käituskeskkonnast ja genereerimisseadetest. Esitatud märkmete kohaselt kasutatakse F32-kaalusid, mis võivad nõuda märgatavalt rohkem mälu kui kvantiseeritud vormingud. Esitatud uuringus ei määratleta ametlikult toetatud kvantiseeritud paketti ega universaalset riistvarasoovitust.
Järeldamine, programmeerimine ja tööriistade kasutamine
Bolmo-1B on üldotstarbeline baas-keelemudel, mitte spetsialiseeritud järeldamismudel. Olemasolev teave ei sisalda teenusepakkuja avaldatud järeldamise võrdlustesti ega väidet sihipärase mitmeetapilise järeldamise võimekuse kohta. Toimetuslik hinnang annab selle järeldamisoskusele 4 punkti 10-st, kuid see on võrdlev hinnang, mitte Ai2 võrdlustesti tulemus ega spetsifikatsioon.
Sama toimetuslik hinnang annab programmeerimisoskusele 4 punkti 10-st. Bolmo-1B võib üldise teksti genereerimise käigus luua koodilaadset teksti, kuid esitatud uuringud ei kinnita spetsiaalset programmeerimistreeningut, koodi käivitamist, koodihoidlate mõistmist ega usaldusväärset tarkvaraarenduse abi. Seetõttu tuleks seda käsitleda pigem eksperimentaalse tekstimudeli kui programmeerimisagendina.
Tööriistade kasutamist, funktsioonikõnesid, veebiotsingut ega toiminguväljundit ei ole toetatud võimekusena dokumenteeritud. Rakendused, mis vajavad väliseid tööriistu, struktureeritud funktsioonikõnesid, otsingupõhist teabeammutust või töökindlat töövoogude täitmist, peaksid kasutama selleks loodud mudelit ja käituskeskkonda.
Peamised tugevused ja piirangud
Tugevused
- Otsene baiditasandi töötlus: Mudel toob esile tähemärgi- ja kodeeringuteabe, mille tavapärane alamõnetokeniseerimine võib abstraheerida.
- Avatud kättesaadavus: Kaalud, teostusressursid ja seotud treeningumaterjalid on avalikult saadaval; mudelikaaludele kehtib Apache 2.0 litsents.
- Kohalik juurutamine: Kasutajad saavad katsetada, sõltumata tasulisest majutatud API-st või teenusepakkuja hallatavast järelduslõpp-punktist.
- Teaduslik väärtus: Seos mudeliga OLMo 2 1B loob praktilise aluse baidipõhiseks teisendamise ja alternatiivsete keelemudeli esituste uurimiseks.
- Pere väiksem liige: Ligikaudu ühe miljardi parameetriga on see suuremast Bolmo kontrollpunktist hõlpsamini kasutatav lähtekoht.
Piirangud
- Baidipõhised piirangud: Baidieelarved ja positsioonipiirangud ei vasta otseselt tavalistele alamõnetokenite arvudele, mistõttu võib genereeritud tekst olla oodatust vähem loetav.
- Baas-mudeli käitumine: Seda ei esitleta viimistletud juhiseid järgiva assistendi ega ohutusfiltritega tootmisteenusena.
- Piiratud dokumenteeritud integratsioonid: Puuduvad esitatud tõendid loomuliku multimodaalse väljundi, tööriistakutsete, veebiotsingu, struktureeritud väljundite või majutatud API kohta.
- Kontrollimata tootmisomadused: Teenusepakkuja ei ole avaldanud hinnastust, teenusetaseme kohustust, läbilaskevõime garantiid ega hallatava teenuse kättesaadavust.
- Võimalik ressursikulu: Teadaolev F32-väljalase võib kohalikul juurutamisel nõuda samaväärse kvantiseeritud mudeliga võrreldes märkimisväärselt rohkem mälu.
Hinnastamine ja kättesaadavus
Bolmo-1B-l ei ole dokumenteeritud tokenipõhist järeldusehinda, sest seda levitatakse allalaaditavate mudelikaaludena, mitte tasulise majutatud API-na. Esitatud uuringus ei tuvastata selle konkreetse mudeli ametlikku hallatavat lõpp-punkti, korduvat tellimust ega kavandatud sulgemiskuupäeva. Kasutajatel võivad siiski tekkida enda kulud salvestusruumi, riistvara, pilvearvutuse või järeldusmajutuse eest.
Mudel on Ai2 Hugging Face'i organisatsiooni kaudu saadaval aadressil allenai/Bolmo-1B. Apache 2.0 litsents sobib laialdaseks katsetamiseks, arvestades litsentsitingimusi ning ümbritseva tarkvara või andmetega seotud kohaldatavaid nõudeid. Mudelikaart suunab kasutajad ka Ai2 vastutustundliku kasutamise juhiste juurde.
Millal valida Bolmo-1B?
Vali Bolmo-1B siis, kui peamine eesmärk on avatud baiditasandi keelemudeli uurimine või kohalik kasutamine. See sobib teadlastele, kes võrdlevad tokeniseerimisstrateegiaid, õpetajatele, kes näitavad, kuidas keelemudelid teksti esitavad, ning arendajatele, kes katsetavad tähemärgitundlikku genereerimist ilma majutatud kommerts-API-le pühendumata.
Ligikaudu ühe miljardi parameetriga mudel võib olla atraktiivne ka siis, kui kohalik kasutatavus on maksimaalsest võimekusest olulisem. Võrreldes suurema mudeliga, nagu Bolmo-7B, tuleks seda üldjuhul pidada vähem ressursse nõudvaks valikuks, kuigi esitatud uuring ei paku nende kahe mudeli kontrollitud kiiruse- ega kvaliteedivõrdlust. Toimetuslikud hinnangud peavad selle kiirust ja maksumust suuremate või majutatud süsteemidega võrreldes soodsaks: kiirusele antakse 6 punkti 10-st ja maksumusele 9 punkti 10-st. Need on subjektiivsed võrdlevad hinnangud, mitte teenusepakkuja avaldatud mõõtmistulemused.
Teine valik on sobivam juhul, kui rakendus vajab töökindlat juhiste järgimist, täiustatud järeldamist, tugevat programmeerimisvõimekust, multimodaalset sisendit või väljundit, tööriistade kasutamist, struktureeritud JSON-vastuseid, veebiühendust või toetatud tootmis-API-t. Bolmo-1B-d tuleks mõista avatud uurimis- ja kohaliku teksti genereerimise mudelina, mitte valmis assistendiplatvormina.
Kokkuvõte
Bolmo-1B pakub tavapärastele alamõnetokenitel põhinevatele keelemudelitele keskendunud alternatiivi. Selle määrav omadus on otsene UTF-8 baitide töötlemine, mis on teostatud mudeli OLMo 2 1B põhjal loodud baiditasandi arhitektuurina. Avatud väljalase, kohaliku juurutamise võimalus ja avalikud treeninguressursid muudavad selle kasulikuks teadus- ja õppetöös, kuid 4096 positsiooniga konfiguratsioon, baas-mudeli käitumine ja dokumenteeritud majutatud teenusefunktsioonide puudumine piiravad selle sobivust üldisteks tootmisrakendusteks. Kasutajatele, kes on huvitatud just baiditasandi modelleerimisest või avalikult allalaaditavast tekstigeneraatorist, on Bolmo-1B asjakohane mudel, mida hinnata; tööriistu toetavate, multimodaalsete või tugevalt juhistele häälestatud töökoormuste jaoks sobib tõenäoliselt paremini teistsugune mudel.