Mis on MosaicBERT-Base-SeqLen-1024?
MosaicBERT-Base-SeqLen-1024 on 137 miljoni parameetriga kahesuunaline Transformeri kodeerija, mida treeniti maskeeritud keelemudeli meetodil. Selle treeninguviisi korral peidetakse tekstilõigus mõned märgendid ehk tokenid ning mudel õpib neid ümbritseva konteksti põhjal ära arvama. Kuna mudel loeb konteksti mõlemas suunas, võivad selle loodud esitused olla kasulikud klassifitseerimisel, tokenite märgendamisel, otsinguga seotud katsetes ja muudes ülesannetes, kus olemasoleva teksti mõistmine on olulisem kui pika vastuse koostamine.
Mudeli andis 2023. aasta aprillis välja MosaicML, mille mudeli- ja treeningualane tegevus on nüüd seotud Databricksiga. See on Hugging Face'i kaudu allalaaditavate avatud kaaludega mudelina endiselt saadaval. Kaasasolevas uurimismaterjalis kirjeldatakse seda kättesaadava avatud kaaludega mudeli ja varasema uurimismudelina, mitte praeguse majutatud vestlustootena kommertslikus API-kataloogis.
Peamine eesmärk ja positsioon
Seda kontrollpunkti on kõige õigem käsitleda ingliskeelse NLP uurimis- ja peenhäälestuse alusena. See kasutab standardset bert-base-uncased tokeniseerijat ning seda eeltreeniti ingliskeelsel C4 andmestikul. Selle 1 024 tokeni pikkune treeningujada on pikem kui algse BERT-base'i konfiguratsiooniga tavaliselt seostatav 512 tokeni pikkune jada, mistõttu sobib mudel katseteks pikemate dokumentide või tekstilõikudega.
MosaicBERT-Base-SeqLen-1024 ei ole juhiste järgimisele häälestatud mudel. Samuti ei ole see tavapärane dekooder-keelemudel, mis võtab vastu viiba ja genereerib vastuse. Mudeli kaardil nimetatakse selle sihtotstarbena maskeeritud keelemudeli eeltreeningut ja allavoolu peenhäälestust. Praktiliselt tähendab see, et kasutajad peaksid selle valima siis, kui neil on vaja kodeerija esitust või konkreetse ülesande ennustuspead, mitte vestlusvastust.
Arhitektuur ja tehniline ülesehitus
Mudel ühendab mitu teostus- ja arhitektuurivalikut, mille eesmärk on parandada BERT-i tüüpi eeltreeningu tõhusust:
- ALiBi positsioonikalle: Attention with Linear Biases lisab positsiooniteabe, kasutamata sama õpitud positsioonilise manustamise meetodit, mida rakendavad paljud vanemad Transformeri mudelid. Kaasasolevate märkmete kohaselt saab konfiguratsiooni
alibi_starting_sizepeenhäälestuse ajal suurendada, et toetada jadapikkuse ekstrapoleerimist, kuigi avaldatud kontrollpunkti treeniti 1 024 tokeniga. - FlashAttention: Teostus kasutab tähelepanumeetodit, mille eesmärk on vähendada mälukasutust ning muuta tähelepanuarvutused treeningu ja järeldamise ajal tõhusamaks.
- Polsterdamata töötlus: Erineva pikkusega jadasid sisaldavate pakkide töötlemisel saab vähendada polsterdamisega seotud arvutusi.
- Väiksema täpsusega LayerNorm: Tõhususele suunatud ülesehituse osana sisaldab teostus väiksema täpsusega LayerNormi lahendust.
- GeGLU edasisuunatud kihid: Edasisuunatud plokkides kasutatakse tavalise ühe aktivatsioonifunktsiooni asemel väratiga aktivatsiooniskeemi.
Need üksikasjad selgitavad, miks MosaicBERT pakub eelkõige huvi tõhusa kodeerija treeningu uurimismudelina. Neid ei tohiks tõlgendada iga riistvaraplatvormi kindla kiiruse garantiina: tegelik jõudlus sõltub teostusest, sõltuvustest, seadmest, paki suurusest ja töökoormusest.
Konteksti pikkus ja sisendipiirangud
Selle kontrollpunkti kontrollitud treeningujada pikkus on 1 024 tokenit. See on tavakasutuse jaoks kõige selgem toetatud piirang ning seda tuleks sisendite ettevalmistamisel käsitleda praktilise lähtekohana.
ALiBi annab mudelile võimaluse jadapikkust peenhäälestuse ajal ekstrapoleerida. Kaasasolevate mudelimärkmete kohaselt eeldab see konfiguratsiooni alibi_starting_size suurendamist. Ekstrapoleerimine ei ole siiski sama mis teenusepakkuja garanteeritud suurem kontekstiaken. Kontrollpunkti treeniti 1 024 tokeniga ning sellest pikemate jadade tulemused võivad sõltuda ülesandest ja peenhäälestuse seadistusest. Pikemaid jadasid kasutusele võttes peaksid kasutajad need valideerima, mitte eeldama, et mudel toimib samamoodi nagu sellise pikkusega treenitud mudel.
Eraldi maksimaalse väljundtokenite arvu seadistust ei ole, sest tegemist ei ole tavapärase generatiivse mudeliga. Tavapärase töö käigus väljastab see maskeeritud tokenite ennustusi või peenhäälestatud pea kaudu konkreetse ülesande tulemusi, mitte iseseisvalt seadistatavat lõpetust.
Võimalused ja piirangud
| Võimekus | Hinnang |
|---|---|
| Sisendmodaliteet | Ainult tekstisisend |
| Otsene väljunditüüp | Maskeeritud keelemudeli või peenhäälestatud NLP ennustused; mitte vestluslik tekstigeneratsioon |
| Konteksti pikkus | 1 024 tokenit avaldatud treeningukonfiguratsioonis |
| Multimodaalne sisend või väljund | Ei ole toetatud |
| Tööriista- või funktsioonikutseid | Ei ole toetatud |
| Voogedastus | Mudeli võimekusena ei pakuta |
| Peenhäälestus | Toetatud ja kavandatud kasutuse keskne osa |
| Struktureeritud JSON-i režiim | Eraldi majutatud mudeli funktsioonina ei ole toetatud |
MosaicBERT võib olla kasulik teksti mõistmisel, kuid selle ülesehitus piirab võimalusi, mida saab kasutada ilma lisatarkvara ja ülesandespetsiifilise treeninguta. Sellel ei ole sisseehitatud veebiotsingut, tööriistade käivitamist, kõne-, pildi- ega videotöötlust ega üldotstarbelist tegevusväljundit. Seda ei tohiks hinnata samade kriteeriumide alusel nagu juhiste järgi häälestatud vestlusmudelit.
Kiirus, kulu ja toimetuslik hinnang
Mudeli arhitektuur on optimeeritud tõhusaks BERT-i tüüpi eeltreenimiseks ning kaasasolevas toimetuslikus hinnangus on selle kiiruseks antud 4 punkti 5-st ja kuluks 5 punkti 5-st. Need on toimetuslikud hinnangud selle spetsialiseeritud avatud kaaludega mudeli rollile, mitte teenusepakkuja avaldatud võrdlustulemused. Need kajastavad võimalust teha ise hallatavat ja suhteliselt odavat järeldamist ning peenhäälestust võrreldes suure majutatud generatiivse mudeli kasutamisega, kuid ei määra universaalset latentsust ega taristukulu.
MosaicBERT-Base-SeqLen-1024 ametlikku majutatud API hinnakirja ei ole avaldatud. Kaalud on Apache-2.0 litsentsi alusel allalaadimiseks saadaval, mistõttu võivad kasutajad saada mudelit oma taristus käitada, arvestades riistvara-, tarkvara- ja käituskulusid. Allalaaditavaid kaale ei tohiks segi ajada tasuta tootmiskasutusega: teenindamine, salvestus, jälgimine ja peenhäälestus nõuavad endiselt ressursse.
Toimetuslikud arutlus- ja kodeerimisskoorid on mõlemad 1 punkt 5-st. See ei tähenda, et aluseks olevat Transformerit ei saaks pärast peenhäälestust kasutada arutlus- või koodiga seotud klassifitseerimisülesandes. Need hinded näitavad, et mudel ei sobi ilma täiendava seadistamiseta üldotstarbeliseks arutlus- või kodeerimisassistendiks.
Laadimise ja juurutamisega seotud kaalutlused
Kaasasoleva mudeliteabe kohaselt eeldab kontrollpunkti laadimine trust_remote_code=True kasutamist, sest mudel rakendab kohandatud koodi. Sellel on ka Tritoni ja FlashAttentioni sõltuvused. Seetõttu on mudelit keerukam juurutada kui täiesti standardset Transformeri kontrollpunkti, eriti keskkondades, kus kohandatud koodi käivitamine või kompileeritud GPU-sõltuvused on piiratud.
Enne mudeli kasutamist tootmistorustikus peaksid kasutajad kontrollima mudeliteostuse, paigaldatud süvaõppe raamistiku, saadaoleva kiirendi ning asjakohaste FlashAttentioni või Tritoni pakettide ühilduvust. Uurimistöö kinnitab nende nõuete olemasolu, kuid ei määra üht universaalselt toetatud paigalduskäsku ega garanteeritud riistvarakonfiguratsiooni.
Parimad kasutusjuhud
MosaicBERT-Base-SeqLen-1024 sobib hästi siis, kui projekt vajab avatud kaaludega kodeerijat ning meeskond on valmis mudelit ise peenhäälestama või muul viisil integreerima. Sobivad rakendused on näiteks:
- Maskeeritud keelemudeli eeltreening ja arhitektuuriuuringud.
- Peenhäälestus dokumentide või lausete klassifitseerimiseks.
- Tokenitaseme NLP-ülesanded, näiteks jadade märgendamine, kui olemas on sobiv ülesandepõhine pea ja treeningandmed.
- Tekstiesituste katsetamine kuni 1 024 tokeni pikkustes lõikudes.
- ALiBi, FlashAttentioni, polsterdamata töötluse ja muude BERT-i tüüpi töökoormuste tõhususele suunatud tehnikate mõju testimine.
- Ise hallatav järeldamine, kui allalaaditavad Apache-2.0 litsentsiga kaalud on eelistatumad majutatud tokenipõhisele teenusele.
Selle kahesuunaline ülesehitus võib olla kasulik siis, kui mudel peab esituse loomiseks kasutama kogu ümbritsevat tekstilõiku. Kompromiss seisneb selles, et mudel vajab tavaliselt allavoolu ülesandepõhist pead või täiendavat rakendusloogikat, enne kui sellest saab täielik toote funktsioon.
Millal seda mudelit valida?
Valige MosaicBERT-Base-SeqLen-1024 siis, kui vajate kompaktset avatud kaaludega ingliskeelse teksti kodeerijat uurimistööks või juhendatud peenhäälestuseks, eriti juhul, kui 1 024 tokeni pikkused sisendid on kasulikud ja ise hallatav juurutus on vastuvõetav. See on mõistlik valik ka meeskondadele, kes uurivad tõhusat BERT-i eeltreeningut, mitte ei soovi osta ligipääsu majutatud generatiivsele mudelile.
Teist tüüpi mudel sobib paremini siis, kui rakendus vajab vestluslikke vastuseid, juhiste järgimist, vabas vormis tekstigeneratsiooni, usaldusväärseid struktureeritud vastuseid, tööriistakutseid, veebijuurdepääsu või multimodaalset sisendit. Majutatud API võib olla eelistatav ka juhul, kui meeskond ei soovi hallata kohandatud koodi, Tritoni, FlashAttentioni, mudeliteenindust ja GPU-taristut. Ka kodeerijapõhiste töökoormuste korral võib uuem või konkreetse ülesande jaoks loodud kontrollpunkt olla parem valik, kui see pakub sobivamaid treeningandmeid, laiemat keelekatvust või paremat juurutustuge; kaasasolev uurimismaterjal ei nimeta konkreetset soovitatavat järglasmudelit.
Üldhinnang
MosaicBERT-Base-SeqLen-1024 on spetsialiseeritud uurimiskontrollpunkt, mitte üldotstarbeline tehisintellektiassistent. Selle peamine väärtus tuleneb BERT-i tüüpi kahesuunalise eesmärgi, 1 024 tokeni pikkuse treeningu ja tõhususele suunatud teostusvalikute ühendamisest. Mudel on kõige kasulikum praktikutele, kes mõistavad, et maskeeritud keelemudelid vajavad tavaliselt peenhäälestust ja ülesandespetsiifilist integreerimist. Selle sihtrühma jaoks muudavad avatud kaalud, Apache-2.0 litsents ja uurimissuunaline arhitektuur mudeli praktiliseks platvormiks NLP-katseteks. Kasutajatele, kes otsivad kohe kasutatavat vestlus-, kodeerimis- või tööriistu kasutavat mudelit, on generatiivsete ja majutatud API funktsioonide puudumine otsustav piirang.