MosaicBERT-Base

Mis on MosaicBERT-Base?

MosaicBERT-Base on MosaicML-i välja antud BERT-i laadis transformer-enkooder, MosaicML kuulub nüüd Databricksile. See sisaldab ligikaudu 137 miljonit parameetrit ja on litsentsitud Apache 2.0 litsentsi alusel. Mudel on mõeldud teksti lugemiseks ja esitamiseks, mitte vabavormiliste autoregressiivsete tekstijätkude genereerimiseks.

Selle eeltreeninguülesanne on maskeeritud keelemudel. Selle käigus peidetakse osa sisendjärjestusest ning mudel õpib puuduva sisu ümbritseva konteksti põhjal ära arvama. Seetõttu sobib see enkooder aluseks klassifitseerimisele, otsinguga seotud esitustele, märgitaseme analüüsile ja muudele loomuliku keele töötlemise ülesannetele, kus on vaja tekstipõhiseid tunnuseid, mitte vestlusliidest.

Mudeli kirjelduses nimetatakse standardset bert-base-uncased-tokeniseerijat ning kirjeldatakse välja antud kontrollpunkti treenituna ingliskeelsel C4-andmestikul. Selle konkreetse kontrollpunkti kohta ei ole autoriteetset teadmiste piiri kuupäeva täpsustatud.

Koht Databricksi ja MosaicML-i mudelikataloogis

MosaicBERT-Base kuulub MosaicBERT-i mudeliperre ning on tõhususele suunatud alternatiiv tavapärasele BERT-base'i treeningukorraldusele. Selle tähtsus seisneb peamiselt arhitektuuris: mudel kasutab mitmeid implementatsiooni- ja transformer-arhitektuuri muudatusi, mille eesmärk on muuta eeltreenimine kiiremaks või mälutõhusamaks.

Kontrollpunkt on avatud kaaludega allalaadimiseks saadaval MosaicML-i mudelihoidlas. Esitatud teave ei loetle MosaicBERT-Base'i jaoks praegu hallatavat API-jõustamist, majutatud järeldusteenuse pakkujat ega teenusepakkuja hinnaplaani. Seetõttu tuleks seda käsitleda mudeli kontrollpunktina, mida kasutajad ise käitavad või juurutavad, mitte valmis vestlus-API-na.

Arhitektuur ja tõhususfunktsioonid

MosaicBERT-Base ühendab mitu tehnikat, mille eesmärk on vähendada BERT-i eeltreenimise kulusid ja suurendada läbilaskevõimet:

• FlashAttention: tähelepanu mehhanismi implementatsioon, mis on loodud vähendama andmete liigutamist mälus ja parandama transformer-arvutuste tõhusust.
• ALiBi positsiooninihked: tähelepanunihted, mis kodeerivad tokenite vahemaad, kasutamata sama õpitud positsioonimanuste lähenemist, mida kasutavad paljud BERT-i implementatsioonid. Konfiguratsiooni saab kohandada pikemate sisenditega katsetamiseks.
• Polsterdamata töötlemine: polsterdustokenite eemaldamine arvutusest, kui see on võimalik, vähendades eri pikkusega järjestusi sisaldavate pakettide töötlemiseks vajalikku tööd.
• Madala täpsusega LayerNorm: väiksema arvutustäpsusega normaliseerimisimplementatsioon, mida kasutatakse tõhususele keskendunud kujunduse osana.
• GeGLU edasisuunatud kihid: väratiga edasisuunatud plokid, mis asendavad selles arhitektuuris tavapärase BERT-i edasisuunatud kujunduse.

Need valikud on kõige olulisemad inimestele, kes kontrollpunkti eeltreenivad või peenhäälestavad. Need ei muuda mudelit üldotstarbeliseks generatiivseks keelemudeliks. Mudel jääb enkooderiks, mis on spetsialiseerunud kontekstipõhiste esituste ja sisendjärjestuse põhiste ennustuste loomisele.

Konteksti pikkus ja sisendi käitumine

Esitatud spetsifikatsioonis on konteksti pikkuseks märgitud 512 tokenit. Välja antud kontrollpunkti eeltreenimisel kasutati siiski maksimaalse treeningjärjestuse pikkusena 128 tokenit. See erinevus on oluline: kuni 512 tokeni jaoks konfigureeritud maht ei tähenda sama, mis ulatuslik eeltreenimine 512-tokeniste näidetega.

ALiBi võimaldab pikemate sisenditega katsetamist, lubades positsiooninihke konfiguratsiooni suurendada, kuid uurimistöö ei määra suuremat ametlikult toetatud tootmispiiri ega esita pikemate järjestuste võrdlustulemusi. Seetõttu peaksid kasutajad käsitlema dokumenteeritud treeningupikkusest pikemaid sisendeid katsena, mis vajab konkreetse ülesande jaoks valideerimist.

MosaicBERT-Base'il ei ole tavapärast maksimaalse väljundtokenite arvu seadet. See ennustab maskeeritud tokeneid või loob peidetud olekute esitusi; see ei ole mõeldud muutuva pikkusega tekstijätkude genereerimiseks.

Toetatud sisendid ja väljundid

MosaicBERT-Base võtab BERT-i tokeniseerija kaudu vastu tekstisisendit ja väljastab tekstimudeli tulemusi, näiteks maskeeritud tokenite ennustusi ja peidetud esitusi. See ei töötle algupäraselt pilte, heli ega videot ning ei paku otsest pildi-, heli-, video- ega kõneväljundit.

Rakendused võivad enkooderi ümber kõrgema taseme käitumist üles ehitada, kuid selline käitumine tuleneks rakenduse koodist või lisamudelitest, mitte MosaicBERT-Base'i algupärasest võimekusest.

Peamised tugevused ja piirangud

Tugevused

• Tõhus enkooderi arhitektuur: FlashAttention, polsterdamata töötlemine, madala täpsusega LayerNorm ja seotud kujundusvalikud on suunatud kiiremale või vähem ressursse nõudvale eeltreenimisele.
• Avatud kaaludega kättesaadavus: Apache-2.0 litsents ja allalaaditav kontrollpunkt võivad olla kasulikud uurimistööks, kohandamiseks ja enda hallatavaks juurutuseks.
• Sobib hästi teksti mõistmiseks: mudel on loodud maskeeritud keelemudeli treenimiseks, tunnuste eraldamiseks ja järgnevate NLP-ülesannete peenhäälestuseks.
• Võimalik paindlikkus järjestuse pikkuse osas: ALiBi konfiguratsioon toetab katseid, mis ületavad 128-tokenist treeningupikkust, kuigi pikemate sisendite käitumist tuleb kavandatava rakenduse jaoks testida.
• Võimalik madal kasutuskulu: esitatud teabes ei ole teenusepakkuja tokenitasu ning mudeli suhteliselt väike maht võib muuta selle enda hallatavates töökoormustes atraktiivseks.

Piirangud

• Ei ole vestlus- ega tekstijätkumudel: see ei saa asendada autoregressiivset keelemudelit vestlusvastuste, tekstide koostamise ega vabavormilise genereerimise jaoks.
• Dokumenteeritud treeningupikkus on piiratud: kontrollpunkt treeniti 128 tokeniga, kuigi loetletud konteksti konfiguratsioon on 512 tokenit.
• Hallatava API üksikasjad puuduvad: praegune teave ei määratle majutatud järeldusteenust, voogedastust, pakett-API juurdepääsu ega teenusepakkuja hinnastust.
• Käivitamise seadistus võib vajada tähelepanu: kontrollpunkti laadimiseks on tavaliselt vaja trust_remote_code=True, kuna see kasutab kohandatud FlashAttentioni ja Tritoniga seotud koodi. Kaughinnatava mudelikoodi käivitamisel on soovitatav hoidla versioon kindlalt fikseerida.
• Ingliskeelsele treeningule keskendumine: dokumenteeritud treeninguandmed on ingliskeelne C4, mistõttu ei kinnita esitatud uurimus selle sobivust teistele keeltele.

Hinnastamine ja juurutamine

MosaicBERT-Base'i sisend- ega väljundtokenite hindu ei ole loetletud. Kontrollpunkti kirjeldatakse avatud kaaludega allalaaditava mudelina ning praegusel mudelikaardil ei ole majutatud järeldusteenuse pakkujat. See tähendab, et tegeliku kulu määravad selle käitamiseks vajalik riistvara, salvestusruum, teenindustarkvara ja operatiivne töö.

See võib muuta MosaicBERT-Base'i atraktiivseks juhul, kui organisatsioon soovib juurutamise üle kontrolli või plaanib korduvat peenhäälestust ilma tokenipõhise API-arveta. See ei tähenda, et enda majutamine oleks tasuta: taristu- ja arenduskulud kehtivad endiselt. Kuna ametlikku majutatud teenuse hinda ei ole esitatud, ei saa olemasoleva teabe põhjal teha täpset päringu hinda võrdlevat analüüsi.

Arutlus-, kodeerimis- ja tööriistakasutuse võimekus

MosaicBERT-Base ei ole tänapäevases ahelmõtlemise või pikema kaalutlemise tähenduses arutlusmudel. See suudab kodeerida tekstis esinevaid seoseid ja toetada ennustavaid NLP-ülesandeid, kuid ei ole mõeldud mitmeastmeliste vastuste selgitamiseks ega vabavormiliste probleemide iseseisvaks lahendamiseks.

Sarnaselt on selle kodeerimisvõimekus piiratud teksti esitamise ja peenhäälestusstsenaariumidega, mis hõlmavad koodi või tehnilist keelt; see sõltub treeningu- ja peenhäälestusandmete kvaliteedist ning domeenikattest. Usaldusväärsete tarkvaraimplementatsioonide genereerimine ei ole selle peamine ülesanne.

Esitatud spetsifikatsioonides ei ole tuvastatud algupärast tööriistakutset, funktsioonikutset, veebotsingut, voogedastust ega struktureeritud väljundi liidest. Arendajad saavad selle väljundeid ühendada väliste süsteemidega, kuid selline orkestreerimine tuleb eraldi teostada.

Parimad kasutusjuhud

MosaicBERT-Base sobib kõige paremini siis, kui rakendus vajab generatiivse assistendi asemel tõhusat enkooderit. Sobivad kasutusjuhud on järgmised:

• peenhäälestus teksti klassifitseerimiseks, näiteks suunamiseks või kategooriatesse jaotamiseks;
• domeenispetsiifiline maskeeritud keelemudeli eeltreenimine;
• teksti esituste õppimine ja peidetud olekutest tuletatud manused;
• järgnevad NLP-katsed, kus avatud kontrollpunkt ja Apache-2.0 litsents on olulised;
• tõhusa BERT-i eeltreenimise, FlashAttentioni, ALiBi või seotud transformer-implementatsiooni valikute uurimine;
• märgi- või järjestusetaseme ülesanded, millele tuleb kasuks kahesuunaline kontekst.

Tootmiskasutuse korral peaksid meeskonnad valideerima tokeniseerija, järjestuse pikkuse käitumise, riistvara ühilduvuse ja kõik kohandatud kaugkoodi sõltuvused enda juurutuskeskkonna suhtes.

Millal valida MosaicBERT-Base?

Vali MosaicBERT-Base siis, kui põhinõue on tekstimõistmine enda hallatava avatud kaaludega enkooderi abil ning ülesannet saab väljendada maskeeritud keele ennustuste või peidetud esituste kaudu. Selle tõhususele suunatud arhitektuur ja loetletud tokenihindade puudumine võivad olla kasulikud korduvaks lokaalseks järeldamiseks või peenhäälestuseks.

Vali teist tüüpi mudel, kui rakendus vajab vestlust, pika vormiga teksti genereerimist, struktureeritud tööriistakasutust, multimodaalset sisendit või avaldatud kasutushinnaga hallatavat API-t. Uue teksti loomiseks sobib paremini autoregressiivne keelemudel, samas kui spetsialiseeritud majutatud manuste või klassifitseerimise teenus võib olla lihtsam, kui enda majutamine ja kohandatud mudeli käitamine ei ole prioriteedid.

Esitatud uurimus ei tuvasta piisavalt üksikasjalikult nimetatud sõsarmudelit, millega saaks teha otsese võrdlustesti. Toimetuse hinnangute järgi on MosaicBERT-Base oma kavandatud enkooderirollis suhteliselt kiire ja odav, kuid need hinded on hinnangud, mitte teenusepakkuja avaldatud võrdlustulemused. Seetõttu tuleks mudel valida dokumenteeritud otstarbe ja juurutusomaduste, mitte toetamata üldise üleolekuväidete põhjal.

Praktilised laadimisega seotud kaalutlused

Mudelit levitatakse MosaicML-i Hugging Face'i hoidla kaudu. Laadimiseks võib olla vaja trust_remote_code=True, kuna kontrollpunkt kasutab FlashAttentioni ja Tritoniga seotud kohandatud implementatsioonikoodi. Kuna koodi kaugkäivitamise lubamine käivitab hoidlast pärit Pythoni koodi, peaks tootmisprotsess koodi üle vaatama, kindla versiooni fikseerima ja enne juurutamist täpset keskkonda testima.

Kõige olulisem konfiguratsiooniotsus puudutab järjestuse pikkust. Vaikimisi ALiBi maht on kirjeldatud 512 tokenina, samas kui eeltreenimisel kasutati 128-tokeniseid järjestusi. Mahu suurendamine võib toetada pikemate sisenditega katseid, kuid seda ei tohiks pidada tõendiks, et jõudlus jääb nende pikkuste korral muutumatuks.

Kokkuvõte

MosaicBERT-Base on spetsialiseeritud avatud kaaludega BERT-i enkooder tõhusaks maskeeritud keelemudeli treenimiseks ja järgnevaks teksti mõistmiseks. Selle FlashAttentioni, ALiBi, polsterdamata töötlemise, madala täpsusega LayerNormi ja GeGLU komponendid teevad sellest huvitava valiku teadlastele ja meeskondadele, kes soovivad enkooderit ise peenhäälestada või käitada. Sama olulised on selle piirid: see ei ole vestlusmudel, ei paku algupärast tööriistakasutust ega multimodaalset töötlemist ning sellel ei ole loetletud majutatud API hinnastust. Esituste õppimiseks ja kohandatud NLP-peenhäälestuseks võib see olla praktiline valik; genereerimiseks või valmislahendusena kasutatavaks API-ks sobib paremini mõni teine mudelikategooria.