ERNIE-4.5-21B-A3B

Mis on ERNIE-4.5-21B-A3B?

ERNIE-4.5-21B-A3B on Baidu pakutav üldotstarbeline ainult tekstil põhinev keelemudel. Nimi kirjeldab selle kohta ERNIE 4.5 mudeliperekonnas ja segu ekspertidest (mixture-of-experts, MoE) konfiguratsiooni: mudel sisaldab kokku 21 miljardit parameetrit, kuid ühe märgi (token’i) töötlemisel on aktiivsed ligikaudu 3 miljardit parameetrit.

Selle arhitektuuri eesmärk on muuta suhteliselt suure mudeli käitamine säästlikumaks. Tavapärases tihedas mudelis osalevad enamiku märkide töötlemisel kõik parameetrid. Segu ekspertidest ehk MoE-mudelis valib marsruutimisloogika iga märgi jaoks välja osa ekspertkomponentidest. Seetõttu kirjeldab parameetrite koguarv mudeli üldist võimekust, aktiivsete parameetrite arv aga on olulisem iga märgi töötlemiseks vajaliku arvutusmahu hindamisel.

Baidu avaldas ERNIE-4.5-21B-A3B avatud kaaludega mudelina Apache 2.0 litsentsi all. Ametlikud materjalid sisaldavad PaddlePaddle’i ja Transformeriga ühilduvaid kaale, mistõttu sobib mudel nii ise hostitud katsetamiseks kui ka Baidu Qianfani platvormi kaudu pakutavaks järelduseks.

Koht Baidu ERNIE mudelivalikus

ERNIE-4.5-21B-A3B on sellel lehel kirjeldatud tõhus tekstipõhine valik. Seda ei tohiks segi ajada Baidu multimodaalse mudeliga ERNIE-4.5-VL-28B-A3B. Viimane kuulub teistsugusesse mudelikonfiguratsiooni, mis on mõeldud visuaal-keeleülesannete jaoks, samas kui ERNIE-4.5-21B-A3B on mõeldud tekstisisendi ja tekstiväljundi töötlemiseks.

21 miljardi parameetri koguarv, ligikaudu 3 miljardit aktiivset parameetrit, avatud kaalud ja pikk kontekstiaken paigutavad selle mudeli väikeste, peamiselt vähese ressursikuluga järelduseks optimeeritud mudelite ning suuremate tihedate või multimodaalsete süsteemide vahele. Viimased võivad pakkuda laiemat võimekust, kuid nende teenindamine võib olla kulukam. Baidu materjalides positsioneeritakse mudelit üldiste keeleülesannete, arutlemisele suunatud töökoormuste ja kasutusstsenaariumide jaoks, kus arvutuslik tõhusus on oluline.

Peamised näitajad ja piirangud

128 000 token’i suurune kontekstiaken on kasulik pikkade dokumentide, pikemate vestluste, suurte lähtekoodikogumike ja mitme dokumendi analüüsimisel. Qianfani 12 288 väljundtoken’i piirang kehtib selle mudeli kohta esitatud hostitud API teabe põhjal. Kohaliku juurutuse praktilised piirangud võivad kontrollpunktist, käituskeskkonnast, saadaolevast mälust ja konfiguratsioonist olenevalt erineda; esitatud uurimismaterjalide põhjal ei ole üht universaalset kohalikku maksimumi kindlaks tehtud.

Võimekus ja modaalsused

ERNIE-4.5-21B-A3B võtab vastu teksti ja väljastab teksti. Olemasoleva mudeliteabe kohaselt ei toeta see algupäraselt pildi-, heli- ega videosisendit või -väljundit. Seetõttu sobib see vestlusteks, kokkuvõtete tegemiseks, tõlkimiseks, teabe eraldamiseks, mustandite koostamiseks, küsimustele vastamiseks ja muudeks keelekeskseteks töövoogudeks, kuid mitte fotode otseseks tõlgendamiseks, heli transkribeerimiseks, piltide genereerimiseks ega videote loomiseks.

Mudeli pikk kontekst on üks selle selgemaid praktilisi eeliseid. Arendaja saab ühe päringuga edastada oluliselt rohkem materjali kui lühikese kontekstiga mudeli puhul, kuigi pikad viibad suurendavad endiselt mälukasutust, latentsust ja järelduse kogukulu. 128 000 token’i suurune aken ei taga ka seda, et väga pika viiba iga detail pälvib võrdselt tähelepanu; rakendused peaksid dokumente siiski struktureerima ning testima otsingu või kokkuvõtete kvaliteeti oma andmetel.

Selle ülevaate jaoks esitatud ametlikud materjalid ei kinnita täpse ERNIE-4.5-21B-A3B mudeli sisseehitatud funktsioonikutseid, struktureeritud väljundit, veebiotsingut ega otsingutööriistu. Neid võimalusi ei tohiks eeldada lihtsalt seetõttu, et need võivad olla olemas teiste ERNIE mudelite või platvormitaseme funktsioonidena. Usaldusväärseid masinloetavaid vastuseid vajavad arendajad peaksid kontrollima konkreetse Qianfani lõpp-punkti ja mudeli dokumentatsiooni, mitte käsitlema tavalist tekstigeneratsiooni garanteeritud JSON-režiimina.

Arutlemis- ja kodeerimisvõimekus

ERNIE-4.5-21B-A3B on mõeldud üldiseks tekstigeneratsiooniks ning selle positsioneerimises on välja toodud ka arutlemisele suunatud kasutusjuhud. Mudeli 21 miljardi parameetriga arhitektuur annab sellele rohkem võimekust kui väga väikesel keelemudelil, samas kui ligikaudu 3 miljardi aktiivse parameetriga ülesehitus peaks muutma token’ite töötlemise suhteliselt tõhusaks.

Esitatud toimetuslik hinnang annab selle arutlemis- ja kodeerimisvõimekusele hindeks 7 punkti 10-st. Need on ülevaate koostajate hinded, mitte Baidu avaldatud võrdlustulemused. Need näitavad praktilist ootust, et mudel suudab toime tulla tavapärase arutlemise, juhiste järgimise, koodi genereerimise ja koodi selgitamisega, kuid neid ei tohiks tõlgendada kontrollitud paremusjärjestusena teiste mudelite suhtes.

Kodeerimisülesannete puhul võib pikk kontekst olla abiks, kui päring sisaldab mitut faili, pikki logisid või mahukat tehnilist spetsifikatsiooni. Olemasolev uurimismaterjal ei kinnita siiski algupärast koodi käivitamist, hoidlate tööriistu, agenditoiminguid ega kontrollitud funktsioonikutseid. Seetõttu peaks arendustöövoog käsitlema genereeritud koodi käivitamata väljundina, välja arvatud juhul, kui välised tööriistad on eraldi integreeritud ja testitud.

Juurutamise ja tõhususe kompromissid

Mudeli peamine tehniline kompromiss seisneb laia üldvõimekuse ja väiksema token’i kohta aktiveeritava mahu vahel. MoE-konfiguratsioon võib muuta teenindamise tõhusamaks kui kõigi 21 miljardi parameetri töötlemine iga token’i puhul, kuid see ei muuda mudelit igas juurutamise aspektis 3 miljardi parameetriga mudeliga samaväärseks. Olulised on endiselt täielikud kaalud, marsruutimise käitumine, mälunõuded ja käituskeskkonna rakendus.

Baidu ametlik hoidla dokumenteerib juhendatud peenhäälestuse, SFT-LoRA, DPO, DPO-LoRA ning mitu järeldusvormingut, sealhulgas BF16, W4A16C16, W8A16C16 ja FP8. Need valikud annavad käitajatele paindlikkuse tasakaalustada kvaliteeti, mälukasutust ja läbilaskevõimet. Praktiline tulemus sõltub riist- ja tarkvaratoest, mistõttu ei tohiks kvantimise või täpsusvaliku olemasolu tõlgendada garanteeritud kiirusekasvuna igas süsteemis.

Esitatud toimetuslikud hinded annavad kiirusele ja kulule hindeks 8 punkti 10-st. Ka need on subjektiivsed hinnangud, mis põhinevad kergel MoE-arhitektuuril, hostitud kasutusvõimalusel ja juurutusvalikutel, mitte tarnija avaldatud mõõtmistulemustel. Tegelik latentsus ja kulu sõltuvad viiba pikkusest, väljundi pikkusest, paralleelsete päringute arvust, riistvarast, kvantimisest ning sellest, kas mudelit hostitakse ise või kasutatakse Qianfani kaudu.

Hinnastamine ja hostitud kasutus

Baidu pakub hostitud järeldust Qianfani kaudu ja tähistab hostitud mudelit kui ernie-4.5-21b-a3b. Selle konkreetse mudeli ajakohast täpset avalikku hinda ei õnnestunud otseselt kohaldatavast ametlikust hinnatabelist kontrollida, mistõttu siin ei esitata usaldusväärset sisend- ega väljundtoken’i hinda.

Kontrollitud hinna puudumine ei tähenda, et hostitud kasutus oleks tasuta. Enne juurutamist tuleks Qianfani arvelduse, konto nõuete, piirkondliku kättesaadavuse, kvootide ja kehtivate kampaaniatingimuste kohta otse järele uurida. Ise hostimise korral ei kaasne Baidult token’ipõhist API-tasu, kuid lisanduvad taristu-, salvestus-, haldus- ja seirekulud.

Parimad kasutusjuhud

• Pika konteksti tekstianalüüs: pikkade dokumentide, spetsifikatsioonide, eeskirjade, tekstina esitatud transkriptide või seotud materjalikogumike läbivaatamine.
• Hiina- ja mitmekeelne genereerimine: mustandite koostamine, ümberkirjutamine, kokkuvõtete tegemine, tõlkimine ja vestlusrakendused, mille puhul Baidu keelemudelite ökosüsteem hästi sobib.
• Kulukontrollitud hostitud järeldus: rakendused, mis vajavad väikesest mudelist suuremat võimekust, kuid saavad kasu MoE-arhitektuurist ja Qianfani juurdepääsust.
• Ise hostitud keelerakendused: meeskonnad, kes vajavad avatud kaalusid, Apache 2.0 litsentsi, kohalikku järeldust või võimalust mudelit peenhäälestada.
• Arutlemis- ja kodeerimisabi: tekstipõhine analüüs, koodi koostamine, selgitamine ja teisendamine tingimusel, et väljundid kontrollitakse ning välised käivitusvahendid või tööriistad lisatakse eraldi.

Millal seda mudelit valida?

Vali ERNIE-4.5-21B-A3B, kui vajad avatud kaaludega tekstimudelit, mille kontekstiaken on 128 000 token’it ja mille võimekuse ning arvutusvajaduse suhe võib olla soodne. See on eriti atraktiivne juhul, kui kohalik juurutus, peenhäälestus, Apache 2.0 litsents või juurdepääs Baidu Qianfanile on olulisem kui kontrollitud sisseehitatud agendifunktsioonide komplekt.

See võib sobida väikesest tihedast mudelist paremini, kui rakendus saab kasu suuremast mudelivõimekusest või pikkadest viipadest. Samuti võib see olla eelistatav suuremale ja kallimale mudelile, kui töökoormus on peamiselt tekstipõhine ega vaja pildi- või helisisu mõistmist.

Teine valik võib olla sobivam juhul, kui rakendus vajab algupärast multimodaalset sisendit, pildi- või meediageneratsiooni, usaldusväärset struktureeritud väljundi jõustamist, dokumenteeritud funktsioonikutseid, integreeritud veebiotsingut või kontrollitud hinda ja teenusetaseme kohustust. Eelkõige visuaalsete ülesannete puhul tähendab selle mudeli tekstipõhisus, et tuleks hinnata hoopis visuaal-keelemudelit, näiteks Baidu eraldi nimetatud ERNIE-4.5-VL-28B-A3B-d, võttes arvesse selle mudeli enda näitajaid ja kättesaadavust.

Piirangud, mida enne juurutamist kontrollida

• Mudel on ainult tekstipõhine ega suuda otse töödelda pilte, heli või videot.
• Selle täpse mudeli kontrollitud teadmiste lõppkuupäev ei ole teada.
• Sisseehitatud veebiotsingut, funktsioonikutseid ja struktureeritud väljundit ei ole selle täpse mudeli puhul kontrollitud.
• Qianfani täpset ajakohast hinda ei õnnestunud otseselt kohaldatavast ametlikust hinnatabelist kontrollida.
• Pikad kontekstid võivad suurendada mälukasutust, latentsust ja kulu ka siis, kui nominaalne kontekstilimiit on 128 000 token’it.
• Kohalik jõudlus sõltub riistvarast, täpsusest, kvantimisest, käituskeskkonnast ja juurutuskonfiguratsioonist.

Kokkuvõttes tuleks ERNIE-4.5-21B-A3B-d käsitleda eelkõige tõhusa, avatud kaaludega ja pika kontekstiga tekstimudelina, mitte täieliku multimodaalse või agendiplatvormina. Peamised põhjused selle kaalumiseks on MoE-arhitektuur, ligikaudu 3 miljardit aktiivset parameetrit, 128 000 token’i suurune kontekst, kohaliku juurutuse võimalused, peenhäälestuse tugi ja Apache 2.0 litsents. Sobivust tuleks hinnata selle põhjal, kui palju vajab rakendus tööriistu ja eri modaalsusi ning kui oluline on hinna- ja töökorralduse selgus.