MosaicBERT-Base-SeqLen-2048

MosaicBERT-Base-SeqLen-2048 on avatud kaaludega BERT-i laadne kodeerija keele mõistmise ülesannete jaoks. Mudelil on ligikaudu 137 miljonit parameetrit ning seda treeniti ingliskeelse C4-andmestiku põhjal maskeeritud keelemudeldamise abil. Selle eesmärgi korral peidetakse osa sisendist ja mudel õpib selle ümbritseva konteksti põhjal tuletama. Seetõttu sobib see kontrollpunkt teksti esituste õppimiseks, dokumentide klassifitseerimiseks, kodeerija kohandamiseks konkreetse järgneva ülesande jaoks või tõhusate BERT-i treenimistehnikate katsetamiseks.

Modelli avaldas MosaicML, mis kuulub nüüd Databricks Mosaic Researchi koosseisu. Seda tuleks mõista pigem Databricksi avatud mudelite kataloogi kuuluva uurimis- ja peenhäälestuse kontrollpunktina kui tänapäevase hostitud vestlusmudelina. Selle peamine eripära on treenimisel kasutatud 2048 märgi pikkune jada koos arhitektuuriliste muudatustega, mille eesmärk on treenimise tõhusust parandada.

Mis on MosaicBERT-Base-SeqLen-2048?

MosaicBERT-Base-SeqLen-2048 on kahesuunaline kodeerija. Erinevalt autoregressiivsest generaatorist, mis ennustab järgmist märki varasemate märkide põhjal, saab kahesuunaline kodeerija sisendi esituse loomisel kasutada märgi mõlemal pool paiknevat teavet. See ülesehitus on kasulik siis, kui ülesanne nõuab olemasoleva tekstilõigu mõistmist või võrdlemist.

Kontrollpunkt kasutab standardset bert-base-uncased tokeniseerijat ja seda treeniti ingliskeelse C4-andmestiku põhjal. Nimetus „SeqLen-2048” näitab, et mudelit treeniti maksimaalse 2048 märgi pikkuse jadaga, mis on oluliselt pikem kui algse BERT-base'i konfiguratsiooniga seotud 512 märgi pikkune jada. Mudeli kaasasolevas dokumentatsioonis on Hugging Face'i kontrollpunktina nimetatud mosaicml/mosaic-bert-base-seqlen-2048.

Maskeeritud keelemudeldamise eelõpe ei muuda seda üldotstarbeliseks teksti genereerimise mudeliks. Selle väljundid sobivad paremini esitusteks, maskeeritud märkide ennustamiseks ja ülesandepõhisteks kihtideks kui sidusa mitme lõiguga vastuse koostamiseks. Vestlust, juhiste järgimist, koodi genereerimist või vaba vormiga lõpetamist vajavad rakendused peaksid kasutama selle asemel generatiivset mudelit.

Arhitektuur ja treenimisviis

MosaicBERT sisaldab mitut tehnikat MosaicML-i tõhususele keskendunud BERT-i tööst:

• ALiBi: tähelepanu nihked annavad teavet märkidevahelise kauguse kohta, ilma et toetutaks tavapärasele õpitud positsioonilise esituse skeemile. Konfiguratsioon võib kohandamise järel toetada jada pikkuse ekstrapoleerimist, kuid pikemate sisendite kasutamine ei tähenda sama, mis mudeli eelõpe nende pikemate jadadega.
• FlashAttention: tähelepanu rakendus, mille eesmärk on vähendada mäluliiklust ja parandada treenimise tõhusust.
• Dünaamiline täidise eemaldamine: eemaldab võimaluse korral täitemärgid arvutusest, vähendades raisatud tööd eri pikkusega sisendeid sisaldavates pakettides.
• Väravaga lineaarsed ühikud: mudeli transformeriplokkides kasutatav edasisuunatud kihi ülesehitus.
• Madala täpsusega LayerNorm: MosaicBERT-i retseptis sisalduv treenimise tõhususe tehnika.

Need omadused on peamiselt olulised kodeerija töökoormuse treenimise ja järeldamise tõhususe seisukohalt. Need ei muuda mudelit suuremaks ega võimekamaks arutlussüsteemiks. Mudel jääb suhteliselt kompaktseks BERT-i perekonna kontrollpunktiks, mille eesmärk on keskenduda maskeeritud keelemõistmisele.

Kontekst, sisendid ja väljundid

Välja antud treenimiskonfiguratsiooni kontrollitud jada pikkuse piirang on 2048 märki. ALiBi võib pärast konfiguratsioonimuudatusi muuta pikemate jadadega katsetamise võimalikuks, kuid seda tuleks käsitleda tehnilise eksperimendina, mitte garanteeritud toetatud konteksti pikkusena. Pikemad sisendid ei saa samuti nendel pikkustel täiendavast eelõppest kasu, välja arvatud juhul, kui kasutaja teeb täiendava treeningu.

Sellel mudelil ei ole vestlus-API-de tähenduses dokumenteeritud väljundmärkide maksimaalset seadet. See ei ole autoregressiivne väljundigeneraator, seega sõltub asjakohane väljund ülesandekihist: maskeeritud keelemudeldamise märgitaseme ennustustest, koondatud või märgipõhistest peidetud esitustest või järgneva peenhäälestatud klassifitseerija ennustustest.

Tugevused ja praktilised võimalused

MosaicBERT-Base-SeqLen-2048 peamine praktiline tugevus on kompaktse BERT-i arhitektuuri ja pikema treenitud jada pikkuse kombinatsioon. 2048 märgi pikkune sisend võib hõlmata dokumendist, tekstilõigust või vestluse väljavõttest oluliselt suurema osa kui tavapärase 512 märgi pikkuse BERT-i seadistuse korral. See võib vähendada vajadust jagada tekst dokumentide klassifitseerimise või pika tekstilõigu esituse loomise taoliste ülesannete puhul väikesteks osadeks.

Teine eelis on avatud kaaludega vorming. Kasutajad saavad kontrollpunkti alla laadida, rakendust uurida, seda oma taristus käitada ja järgneva NLP-töö jaoks peenhäälestada, ilma et peaksid maksma hostitud järeldus-API kasutamise eest. Apache 2.0 litsents on lubav, kuid selle kasutamisel tuleb järgida litsentsi tingimusi. Kontrollpunkt sobib ka FlashAttentioni, ALiBi, täidise eemaldamise ja muude sarnaste tõhusustehnikate mõju uurimiseks kodeerijamudelis.

Peenhäälestus on praktilises mõttes toetatud, sest kaalud ja treenimisrakendus on järgneva NLP-töö jaoks saadaval. Tüüpilised näited on sentimenti- või teemaklassifitseerimine, dokumentide kategoriseerimine, märgiklassifitseerimine, otsingule suunatud esitused ja muud ülesanded, mille puhul kodeerijale lisatakse ülesandepõhine kiht. Kaasasolev uurimus ei esita universaalset võrdlustulemust, seega tuleks ülesande kvaliteeti hinnata kasutaja enda andmetel, mitte tuletada seda üksnes arhitektuurist.

Piirangud ja toetamata kasutusviisid

MosaicBERT-Base-SeqLen-2048 ei ole juhiseid järgiv ega vestlusmudel. See ei paku hallatud vestlusotspunkti, veeb otsingut, tööriista- ega funktsioonikutseid, voogedastusvastuseid, struktureeritud väljundi režiimi ega multimodaalset töötlust. Selle sisendid ja väljundid on tekstiga seotud, kuid „teksti väljund” tähendab siin mudeli ennustusi või esitusi, mitte vabas vormis vastuseid.

Selle kontrollpunkti jaoks ei ole hostitud API hinnakirja avaldatud. Praktiline kulumudel hõlmab seega kaalude allalaadimise, salvestamise ja kasutaja hallatavas taristus käitamise kulusid. See võib olla atraktiivne korduva pakktöötluse, privaatsustundlike töökoormuste või katsetamise puhul, kuid paneb kasutajale ka käitamisega seotud kohustused. Kaasasolevas dokumentatsioonis märgitakse, et laadimiseks on üldjuhul vaja trust_remote_code=True, sest kontrollpunkt kasutab kohandatud MosaicBERT-i ja FlashAttentioniga seotud koodi. Enne selle suvandi lubamist peaksid kasutajad hoidla koodi üle vaatama ja seda usaldama.

Mudel ei asenda tänapäevast generatiivset keelemudelit ka siis, kui ülesanne nõuab juhiste põhjal arutlemist, vastuse kirjutamist, koodi genereerimist või dialoogi jätkamist. Selle toimetusliku arutlemise ja kodeerimise hinded on madalad, sest kodeerija ja eelõppe eesmärk ei ole nende funktsioonide täitmiseks loodud. Need hinded põhinevad mudeli arhitektuuri ja kavandatud kasutuse hindamisel, mitte teenusepakkuja avaldatud võrdlustulemustel.

Kiiruse, kulu ja võimekuse kompromissid

Ligikaudu 137 miljoni parameetriga kontrollpunkt on palju väiksem kui paljud tänapäevased generatiivsed keelemudelid. Ainult kodeerijal põhinev ülesehitus ja tõhususele suunatud treenimisretsept võivad muuta selle praktiliseks valikuks suure mahuga teksti esituse või klassifitseerimise jaoks, eriti siis, kui rakendus ei vaja teksti genereerimist. Kaasasolevas toimetuslikus hinnangus saab see kõrged kiiruse- ja kuluhinded, sest mudel on kompaktne ja saadaval allalaaditavate kaaludena, mitte mõõdetava kasutustasuga hostitud teenusena.

Nende eelistega kaasneb kitsam võimekuse ulatus. Väike kodeerija võib fikseeritud teksti analüüsimisel olla generatiivsest mudelist kiirem ja odavam, kuid see ei saa generatiivset mudelit otseselt asendada kokkuvõtete loomisel, interaktiivsel abistamisel, koodi lõpetamisel või juhiste täitmisel. Seega ei ole kõige asjakohasem küsimus „milline mudel annab parima vastuse?”, vaid „kas see töökoormus vajab kodeerija esitust või genereeritud vastust?”

Millal valida MosaicBERT-Base-SeqLen-2048?

Vali see kontrollpunkt siis, kui vajad avatud kaaludega ingliskeelse teksti kodeerijat ja 2048 märgi pikkune treenitud jada on kasulik. See on mõistlik kandidaat järgmisteks kasutusviisideks:

• BERT-i laadse mudeli peenhäälestamine dokumentide või tekstilõikude klassifitseerimiseks;
• märgitaseme NLP-süsteemide loomine, mis vajavad kontekstitundlikke esitusi;
• pikemate tekstiosade töötlemine ilma neid kohe 512 märgini kärpimata;
• tõhusate transformeri treenimis- ja järeldamistehnikate uurimine;
• korduvate isehallatavate pakktöötlusülesannete käitamine ilma hostitud API kasutustasudeta; ning
• Apache 2.0 mudelikaalude kasutamine projektides, mille nõuded on selle litsentsiga kooskõlas.

Vali teist tüüpi mudel siis, kui vajad loomuliku keele genereerimist, juhiste järgimist, vestluslikku suhtlust, koodi genereerimist, multimodaalset sisendit, tööriistade kasutamist või hallatud tootmis-API-t. Tavapärast lühema kontekstiga kodeerijat võib olla lihtsam integreerida ka siis, kui 2048 märgi pikkused sisendid pole vajalikud, samas kui uuem või suurem kodeerija võib olla sobivam juhul, kui valideerimine näitab, et selle kontrollpunkti ülesandepõhine täpsus pole piisav. Kaasasolev uurimus ei tuvasta konkreetset järeltulijat ega esita võrdlusuuringute tulemusi, mistõttu tuleks selline valik teha ülesandepõhise testimise abil.

Saadavus ja hinnakujundus

MosaicBERT-Base-SeqLen-2048 on saadaval avatud kaaludega Hugging Face'i kontrollpunktina identifikaatoriga mosaicml/mosaic-bert-base-seqlen-2048. Uurimuses kirjeldatakse seda MosaicML-i ja Databricks Mosaic Researchiga seotud kättesaadava, kuid pärandmudelina. Kaalud on Apache 2.0 litsentsi alusel allalaaditavad.

Kontrollpunkti jaoks ei ole hostitud API hinnakujundust dokumenteeritud. Seetõttu ei ole võimalik esitada kontrollitud sisendi märgipõhist hinda, väljundi hinda, kuutasu ega väljundmärkide maksimaalset lubatud arvu. Juurutamise kulud sõltuvad kasutaja riistvarast, pilvetaristust, salvestusruumist ja käitamise korraldusest. See eristus on oluline: „hostitud API hinnakujunduse puudumine” ei tähenda, et järeldamine oleks tasuta, vaid et mudel on saadaval allalaaditavate kaaludena, mitte tasulise hallatud otspunktina.

Kokkuvõte

MosaicBERT-Base-SeqLen-2048 on sihipärane ja tõhus BERT-i kodeerija kasutajatele, kes vajavad avatud kaaludega teksti mõistmist, mitte üldotstarbelist vestlusrobotit. Selle kõige olulisem eripära on 2048 märgi pikkune treenimiskonfiguratsioon, mida toetavad ALiBi ja muud tõhususele suunatud muudatused. See võib olla hea lähtekoht isehallatava NLP peenhäälestuse ja pikkade tekstilõikude esitusega katsetamiseks, kuid kodeerija arhitektuur, hostitud API funktsioonide puudumine ja generatiivse juhiste järgimise võimekuse puudumine muudavad selle vestluslike või vabas vormis genereerimise töökoormuste jaoks sobimatuks.