Mis on MosaicBERT-Base-SeqLen-256?
MosaicBERT-Base-SeqLen-256 on Mosaic ML-i avaldatud avatud kaaludega ainult kodeeriv BERT-mudel. Mosaic ML kuulub nüüd Databricksile. Kontrollpunkt avaldati 2023. aasta aprillis ning see on Hugging Face'is Mosaic ML-i organisatsiooni kaudu saadaval kujul mosaicml/mosaic-bert-base-seqlen-256.
Erinevalt vestluslikust keelemudelist on see mudel mõeldud eelkõige teksti mõistmiseks ja esitamiseks. Mudelit treeniti maskeeritud keelemudeli ülesandel: osa sisendist peidetakse ning mudel õpib ümbritseva konteksti põhjal puuduva sisu ära arvama. Tänu sellele treenimisviisile sobib mudel kohandamiseks sellistele ülesannetele nagu klassifitseerimine, tokenite märgendamine, maskeeritud tokenite ennustamine ja muud loomuliku keele töötlemise katsed.
Mudel sisaldab ligikaudu 137 miljonit parameetrit ja kasutab standardset bert-base-uncased tokeniseerijat. See on treenitud maksimaalse järjestusepikkusega 256 tokenit, mistõttu on see suhteliselt kompaktne valik töökoormustele, mille puhul piisavad lühikesed dokumendid, tekstilõigud või tekstisegmendid.
Arhitektuur ja treenimise ülesehitus
MosaicBERT-Base-SeqLen-256 säilitab BERT-iga seostuva kahesuunalise transformeri kodeerija struktuuri, nii et iga token saab kasutada teavet nii sisendi varasematest kui ka hilisematest osadest. See on kasulik tekstilõigu kui terviku mõistmiseks, kuid tähendab ka seda, et mudel ei ole mõeldud pika vastuse genereerimiseks tokenhaaval.
Mudeli teostus hõlmab mitut tõhususele suunatud tehnikat:
- ALiBi: Attention with Linear Biases ehk lineaarsete nihetega tähelepanu lisab tähelepanuarvutustesse positsiooniga seotud nihked. Mudelikaardi järgi võib see lahendus toetada algsest treenimispikkusest pikemate järjestuste seadistamist, kuid 256 tokeni pikkusest treeningseadistusest väljapoole jäävat jõudlust tuleks iga ülesande puhul eraldi testida.
- FlashAttentioniga seotud optimeerimised: Need tehnikad vähendavad sobivates teostustes tähelepanu mehhanismi mälu- ja arvutuskoormust.
- Järjestuste täidiseemaldus: Teksti mitte sisaldavaid täitetokeneid saab töötlemise ajal tõhusamalt käsitleda.
- Madala täpsusega LayerNorm: Treenimislahendus kasutab tõhususe parandamiseks väiksema täpsusega normaliseerimist.
- GeLU-ga väravastatud edasisuunakihid: Need kihid moodustavad osa mudeli transformeri plokkidest.
Esitatud mudelidokumentatsiooni kohaselt kasutati eeltreenimisel ingliskeelset C4 andmestikku, 30% maskeerimismäära ja maksimaalset järjestusepikkust 256 tokenit. Need on mudelikaardil esitatud spetsifikatsioonid, mitte sõltumatute võrdlustestide tulemused.
Võimalused ja toetatud sisendid
Mudel võtab vastu tekstiliste tokenite järjestusi ning toodab järgnevate masinõppe töövoogude jaoks teksti esitusi või tokenitaseme väljundeid. Seda saab kasutada maskeeritud keelemudeli ennustamiseks, kuigi praktilises kasutuses toimib see enamasti alusmudelina, mida peenhäälestatakse konkreetse loomuliku keele töötlemise ülesande jaoks.
Toetatud ja dokumenteeritud võimalused hõlmavad järgmist:
- ingliskeelse teksti mõistmine ja esitamine
- maskeeritud keelemudeli kasutamine
- teksti klassifitseerimine järjestuse tasemel
- tokenite klassifitseerimine ja muud tokenitaseme ülesanded
- peenhäälestamine järgnevate loomuliku keele töötlemise andmestike jaoks
- tõhusa BERT-i eeltreenimise ja esituste õppimise uurimine
MosaicBERT-Base-SeqLen-256 ei toeta algupäraselt pildi-, heli- ega videosisendit või -väljundit. Samuti ei ole see autoregressiivne tekstilõpetusmudel ning seda ei tohiks hinnata vestlusassistendina. Selle tekstiväljund piirdub kodeerija või maskeeritud keelemudeli töövoo toodetud väljunditega, mitte vabas vormis vestlusliku teksti genereerimisega.
Konteksti piirangud ja praktilised kitsaskohad
Dokumenteeritud treeningu järjestusepikkus on 256 tokenit. See on tavakasutuse kõige selgem praktiline piirang. ALiBi võib võimaldada katsetamist pikemate seadistatud järjestustega, kuid kontrollpunkt treeniti 256 tokeniga. Seetõttu peaksid kasutajad enne pikema konteksti kasutamise usaldusväärseks pidamist valideerima nii mälukasutuse kui ka ülesande kvaliteedi.
Mudelil ei ole dokumenteeritud maksimaalset väljundtokenite seadistust, sest tegemist ei ole majutatud generatiivse API-ga. See toodab kodeerija esitusi, klassifitseerimisväljundeid või maskeeritud tokenite ennustusi vastavalt mudelipeale ja peenhäälestusülesandele. Töövoos, mis vajab pikka, sidusat ja avatud vormis teksti, tuleks selle asemel kasutada autoregressiivseks genereerimiseks loodud mudelit.
Kontrollpunkti laadimiseks Transformers'i kaudu on vaja kohandatud mudelikoodi ja suvandit trust_remote_code=True. Kuna see suvand lubab käivitada hoidlas oleva koodi, peaksid kasutajad lähtekoodi üle vaatama ja võimaluse korral usaldusväärse hoidla versiooni fikseerima. Isehostitavates keskkondades on see oluline juurutamisega seotud kaalutlus.
Hind ja saadavus
MosaicBERT-Base-SeqLen-256 ametlikku majutatud API hinnakirja ei ole esitatud. Mudelit levitatakse Apache 2.0 litsentsi alusel allalaaditavate kaaludena, seega on peamised kulud seotud taristu, salvestusruumi, arenduse ja järelduse tegemiseks vajalike ressurssidega, kui mudelit ise käitada. Hugging Face'i praeguse teabe kohaselt ei ole kontrollpunkt ühegi järeldusteenuse pakkuja juures juurutatud.
Seetõttu kuulub see mudel Databricksi ja Mosaic ML-i mudelikataloogi avatud kaaludega, isehostitavate mudelite hulka, mitte hallatava tokenipõhise API kategooriasse. Selle kontrollpunkti jaoks ei ole dokumenteeritud Databricksi hostitud lõpp-punkti, voogedastusliidest, pakktöötluse API-t, algupärast tööriistakasutuse süsteemi ega struktureeritud väljundi režiimi.
Kiiruse, kulu ja võimaluste kompromissid
Mudeli kompaktne suurus – 137 miljonit parameetrit –, lühike treeningjärjestus ja tõhususele keskenduv arhitektuur teevad sellest mõistliku kandidaadi väiksemate ressurssidega loomuliku keele töötlemise katseteks ja peenhäälestatud klassifitseerimisteenusteks. Esitatud toimetajahinnangu järgi on selle kiirus ja kulutõhusus 8 punkti 10-st, kuid need on toimetuslikud hinnangud, mitte teenusepakkuja avaldatud võrdlustulemused. Tegelik läbilaskevõime ja kulu sõltuvad riistvarast, pakisuurusest, järjestuste pikkusest, täpsusest ja teostuse üksikasjadest.
Selle peamine kompromiss seisneb spetsialiseerituses. Ainult kodeeriv mudel võib olla generatiivsest mudelist märksa sobivam, kui ülesanne on määrata silte, eraldada tokenitaseme teavet või luua esitusi järgnevaks klassifitseerimiseks. Samas sobib see halvemini olukordadesse, kus süsteem peab koostama pikki vastuseid, järgima mitmeastmelisi juhiseid, kasutama tööriistu, otsima veebist või kombineerima teksti piltide, heli või videoga.
Millal valida MosaicBERT-Base-SeqLen-256?
Valige see kontrollpunkt, kui vajate ingliskeelset BERT-i tüüpi kodeerijat, mida saab Apache 2.0 litsentsi alusel alla laadida, uurida ja peenhäälestada. See sobib eriti hästi siis, kui:
- teie sisendid mahuvad üldjuhul 256 tokeni piiresse;
- vajate teksti klassifitseerimist, tokenite klassifitseerimist või maskeeritud tokenite ennustamist;
- soovite mudelit käitada oma keskkonnas, mitte sõltuda majutatud järeldusteenuse pakkujast;
- uurite tõhusat BERT-i eeltreenimist või järgnevate ülesannete jaoks esituste õppimist; või
- eelistate suhteliselt väikest mudelit ja prognoositavat kodeerijapõhist töötlust generatiivsele paindlikkusele.
Vestlusassistentide, avatud vormis lõpetamise, pika teksti genereerimise, multimodaalse sisendi, hallatava API-juurdepääsu või algupärase funktsioonide ja tööriistade kasutamise jaoks sobib paremini teist tüüpi mudel. Suurem või uuem kodeerija võib olla eelistatav ka siis, kui sihtülesanne nõuab ulatuslikumat keelekatvust, pikema konteksti töötlemist või võimalusi, mida selle kontrollpunkti puhul ei ole dokumenteeritud.
Kokkuvõte
MosaicBERT-Base-SeqLen-256 on kõige mõistlikum käsitleda tõhusa, isehostitava BERT-i kodeerijana ingliskeelse loomuliku keele töötlemise jaoks – mitte üldotstarbelise vestlusrobotina. Selle 137 miljoni parameetriga arhitektuur, 256-tokenine treeningpikkus, ALiBi-põhine ülesehitus ja Apache 2.0 litsentsi alusel levitamine muudavad selle kasulikuks sihipäraseks peenhäälestuseks ja esituste uurimiseks. Majutatud hinnastuse, hallatava juurutuse, multimodaalsete funktsioonide, tööriistakasutuse ja autoregressiivse genereerimise puudumine määratleb selle piirid sama selgelt kui tehnilised tugevused.