Mis on ERNIE-4.5-300B-A47B?
ERNIE-4.5-300B-A47B on Baidu pakutav avatud kaaludega ainult tekstipõhine suur keelemudel. See kuulub ERNIE 4.5 mudeliperesse ja avaldati 30. juunil 2025 Baidu avatud lähtekoodiga mudelite väljalasete osana. Mudel on mõeldud organisatsioonidele, kes soovivad suure jõudlusega keelemudelit ise käitada, peenhäälestada või oma süsteemidega integreerida, selle asemel et tugineda täielikult teenusepakkuja hallatavale ja kasutuspõhiselt tasustatavale teenusele.
Nimi kirjeldab mudeli suurust ja hõredat arhitektuuri. Sellel on kokku 300 miljardit parameetrit, kuid iga märgi kohta aktiveeritakse ligikaudu 47 miljardit parameetrit. Praktikas sisaldab mudel väga suurt hulka õpitud komponente, samal ajal kui segu ekspertidest marsruutimise mehhanism valib iga tekstiosa jaoks kasutamiseks vaid osa sellest võimsusest. See erineb tihedast mudelist, mille puhul osalevad peaaegu kõik parameetrid iga märgi töötlemisel.
ERNIE-4.5-300B-A47B võtab vastu teksti ja genereerib teksti. See ei ole ERNIE 4.5 mudelipere multimodaalne liige: mudeli kohta esitatud teabe järgi on see ainult tekstipõhine, samas kui eraldi ERNIE-4.5-VL mudelid pakuvad pildi- ja videopõhiseid võimalusi.
Koht Baidu mudelivalikus
ERNIE 4.5 mudeliperekonnas on ERNIE-4.5-300B-A47B esitatud uuringu järgi suurim tekstimudel. Selle 300 miljardi parameetriga ülesehitus paigutab selle mudelipere suure jõudlusega otsa, olles väiksematest mudelitest sobivam juhul, kui esmatähtsad on mudeli võimekus ja pika konteksti töötlemine, mitte minimaalsed riistvaranõuded või väike latentsus.
Selle positsiooniga kaasneb oluline kasutuslik erinevus. Tegemist on peamiselt ise hostitava või taristu kaudu kasutatava mudeliga. Baidu avaldab mudeli kaalud, teostuse ja juurutustööriistad, kuid uuringus ei nimetata selle avatud kaaludega väljalaske jaoks standardset Baidu hallatavat sisend- ega väljundmärgi hinda. Kolmanda osapoole pakutav hostitud teenus sõltub selle teenusepakkuja riistvarast, kvantimisest, teenusetasemest ja hinnastamispõhimõtetest.
Arhitektuur ja 131K kontekstiaken
ERNIE-4.5-300B-A47B kasutab hõredat segu ekspertidest ehk MoE-arhitektuuri. MoE-mudel suunab iga märgi valitud ekspertkomponentide kaudu, selle asemel et hinnata iga kord kogu parameetrikomplekti. Mudeli avaldatud konfiguratsioon sisaldab 54 kihti, 64 päringupäist, 8 võtme-/väärtusepäist ja maksimaalset konteksti pikkust 131 072 märki.
Kontekstiaken näitab, kui palju teksti suudab mudel ühe päringu jooksul arvesse võtta, sealhulgas antud viipa ja genereeritud vastust. 131 072 märgi suurune piirang on piisav mahukate dokumendikogumite, pikkade tehniliste kirjelduste, koodihoidlate, uurimismaterjalide või ulatuslike vestluste töötlemiseks. See ei tähenda, et iga pikk sisend annaks sama usaldusväärseid tulemusi: praktilist jõudlust mõjutavad endiselt otsingukvaliteet, tähelepanumehhanismi käitumine, viiba ülesehitus ja järeldamiseks saadaolev mälu.
Baidu on avaldanud ka hõreda tähelepanu ja kvantimisega seotud juurutustöid. Need tehnikad võivad vähendada pika kontekstiga järeldamise arvutus- ja mälukoormust, kuid ei muuda mudelit kergeks valikuks. Organisatsioonid peaksid kontrollima täpseid mälu-, paralleelsuse- ja latentsusnõudeid selle kontrollpunkti ja kvantimisvormingu puhul, mida nad kavatsevad käitada.
Võimekus ja väljundkäitumine
Mudel on loodud teksti üldiseks genereerimiseks ja mõistmiseks. Selle nimetatud sihtvaldkondade hulka kuuluvad juhiste järgimine, teadmisterohked ülesanded, arutlemine, matemaatika ja programmeerimine. Baidu hindamismaterjal käsitleb tulemusi juhiste järgimise ja teadmiste võrdlustestides, nagu IFEval, Multi-IF, SimpleQA ja ChineseSimpleQA, ning laiemates teadmiste, arutlemise, matemaatika ja kodeerimise hindamistes. Need viited näitavad valdkondi, mida Baidu hindab; neid ei tohiks tõlgendada konkreetse tulemuse või edetabelikoha garantiina igas juurutuses.
Kasutajate jaoks on kõige olulisem erinevus see, et mudel suudab töödelda nõudlikke keeleülesandeid ilma patenteeritud hostitud lõpp-punktita. Seda saab kasutada dokumendianalüüsiks, mitmekeelsetes ja hiinakeelsetes rakendustes, koodiabis, küsimustele vastamisel, uurimistöövoogudes ja genereerimisülesannetes, millele tuleb kasuks suur kontekstiaken.
Selle väljund on tekst. Esitatud uuring ei kinnita selle mudeli puhul loomulikku pildi-, heli-, video-, muusika-, kõne- ega vektorväljundit. Samuti ei kinnita see spetsiaalset struktureeritud väljundi või JSON-režiimi, mistõttu rangete skeemidega rakendused peaksid rakendama valideerimist ja veakäsitlust, mitte eeldama skeemi garanteeritud järgimist.
Juurutamine, peenhäälestamine ja teenindamine
Baidu pakub mudeliga töötamiseks mitut võimalust. Standardne Transformeriga ühilduv kontrollpunkt kannab nime baidu/ERNIE-4.5-300B-A47B-PT. PaddlePaddle'iga ühilduvad variandid kasutavad tavaliselt järelliidet -Paddle. Ametlik tugi hõlmab PaddlePaddle'i ökosüsteemi, ERNIEKiti ja FastDeploy'd, samas kui ühilduvaid järeldusmootoreid, nagu vLLM ja SGLang, võib samuti kasutada, sõltuvalt kontrollpunkti ja funktsioonide toest.
Ametlikud tööriistad toetavad juhendatud peenhäälestamist, LoRA-peenhäälestamist, otsest eelistuste optimeerimist ja kvantimisteadlikku treenimist. Juhendatud peenhäälestamine võimaldab kohandada mudelit soovitud käitumise näidete põhjal, samas kui LoRA pakub parameetrisäästlikumat viisi selle spetsialiseerimiseks. Otsene eelistuste optimeerimine on mõeldud vastuste kohandamiseks eelistusandmetega. Need võimalused muudavad mudeli asjakohaseks mitte ainult järeldamist kasutavatele inimestele, vaid ka teadus- ja ettevõttemeeskondadele, kes arendavad spetsialiseeritud variante.
Juurutamine võib hõlmata tensorparalleelsust ja ekspertide paralleelsust. Tensorparalleelsus jaotab mudeli arvutuse osad mitme kiirendi vahel, ekspertide paralleelsus aga jaotab MoE eksperdid. Mudeli jaoks on toetatud tööriistades dokumenteeritud ka BF16, FP8, 4-bitised ja muud optimeeritud juurutuskonfiguratsioonid. Iga vormingu täpne sobivus sõltub nõutavast täpsusest, saadaolevast riistvarast, läbilaske eesmärgist ja järeldusmootorist.
Praktikas nõuab täppis- või vähesel määral kvanditud juurutus üldjuhul mahukat mitme GPU-ga taristut. Tugev kvantimine võib nõudeid vähendada, kuid see võib kaasa tuua kompromisse kvaliteedis või ühilduvuses. Seetõttu sobib mudel paremini taristupakkujatele, ettevõtete tehisintellektimeeskondadele ja teadusrühmadele kui tavalistele lauaarvutitele või tarbijaseadmetele.
Hind ja kasutuskulud
Avatud kaaludega väljalaske jaoks ei ole tuvastatud standardset teenusepakkuja hallatavat sisend- ega väljundmärgi hinda. Seetõttu ei ole kohaldatav soetusmaksumus lihtsalt API-tellimuse hind: kasutajad peavad arvestama kiirendite riistvara, salvestusruumi, võrgunduse, elektri, inseneritöö, seire ja pideva mudelihaldusega. Kolmanda osapoole host võib pakkuda API-t, kuid selle hind sõltub juurutusest ega ole esitatud uuringus Baidu avaldatud standardhind.
MoE-arhitektuur võib parandada arvutuslikku tõhusust võrreldes sama parameetrite koguarvuga tiheda mudeliga, sest iga märgi kohta aktiveeritakse ainult ligikaudu 47 miljardit parameetrit. Siiski tekitab 300 miljardi parameetri suurune kogum endiselt märkimisväärseid mälu-, laadimis-, side- ja orkestreerimisnõudeid. Mudelit ei tohiks pidada odavaks üksnes seetõttu, et aktiivsete parameetrite arv on väiksem kui parameetrite koguarv.
Toimetuslikult võib mudeli arutlemis- ja kodeerimispotentsiaali hinnata kõrgeks selle suuruse ja positsiooni tõttu, samas kui selle kiiruse ja kulusobivuse näitajad on väikeste juurutuste korral märksa nõrgemad. Need on praktilised hinnangud, mitte teenusepakkuja avaldatud hinded. Tegelikud tulemused sõltuvad riistvarast, kvantimisest, pakisuurusest, konteksti pikkusest, paralleelsusest ja teenindustarkvarast.
Peamised tugevused ja piirangud
Tugevused
- Suur mudelivõimekus: 300 miljardit parameetrit kokku ja ligikaudu 47 miljardit aktiivset parameetrit märgi kohta paigutavad selle esitatud ERNIE 4.5 teabe põhjal suurimate avatud tekstimudelite hulka.
- Pikk kontekst: 131 072 märgi suurune kontekstiaken toetab mahukaid dokumente, koodibaase ja ulatuslikke tekstipõhiseid töövooge.
- Avatud litsents: mudel on välja antud Apache 2.0 litsentsi alusel, arvestades kohaldatavaid litsentsitingimusi ja levitamisnõudeid.
- Paindlik juurutamine: kasutajad saavad töötada Transformeriga ühilduvate PyTorchi kontrollpunktide, PaddlePaddle'i tööriistade, ERNIEKiti, FastDeploy' ja ühilduvate teenindusplatvormidega.
- Kohandamisvõimalused: ametlikud tööriistad toetavad SFT-d, LoRA-t, DPO-d, kvantimisteadlikku treenimist ja hajutatud järeldamise meetodeid.
- Tekstipõhised kasutusjuhtumid: mudel on mõeldud juhiste järgimiseks, teadmistega töötamiseks, arutlemiseks, matemaatikaks, kodeerimiseks ning hiina- või mitmekeelseteks rakendusteks.
Piirangud
- Taristukoormus: mudeli suurus nõuab tavaliselt mitme GPU-ga või muul viisil hajutatud taristut.
- Kasutuse keerukus: tensorparalleelsus, ekspertide paralleelsus, kvantimine ja mootori ühilduvus võivad nõuda spetsialiseeritud juurutusekspertiisi.
- Kinnitatud multimodaalse sisendi puudumine: seda mudelit ei tohiks valida pildi-, heli- või video mõistmiseks.
- Standardse märgihinna puudumine: ise hostimine muudab kuluarvestuse API-kasutusest taristu- ja halduskuludeks.
- Kinnitamata väljunditagatised: esitatud uuring ei kinnita spetsiaalset JSON-režiimi, kindlat maksimaalset väljundmärkide arvu ega garanteeritud tööriista- või funktsioonikõnede liidest.
- Kiiruse kompromiss: isegi hõreda aktiveerimise korral võivad pikad kontekstid ja suur parameetrite kogumaht muuta mudeli väiksematest mudelitest aeglasemaks ja kulukamaks.
Millal valida ERNIE-4.5-300B-A47B?
Valige see mudel juhul, kui vajate avatud kaaludega suure võimekusega tekstimudelit ja suudate hallata hajutatud järeldamiseks vajalikku taristut. See sobib hästi ettevõtete teadustööks, hiina- või mitmekeelseteks rakendusteks, pika kontekstiga dokumendianalüüsiks, kodeerimissüsteemideks, spetsialiseeritud peenhäälestamiseks ning organisatsioonidele, kes vajavad kontrolli mudeli hostimise ja juurutamise üle.
See on eriti sobiv siis, kui suure mudeli eelised kaaluvad üles väiksema teenindusliku lihtsuse. Organisatsioon, millel on olemas GPU-klaster, järeldusplatvorm või kontrollpunkti toetav hallatud host, saab kasutada mudeli pikka konteksti ja kohandamisvõimalusi, ilma et peaks kõiki juurutuskomponente algusest peale ise looma.
Väiksem mudel on tõenäoliselt sobivam juhul, kui rakendus vajab väikest latentsust, tagasihoidlikku riistvara, töötamist tarbijaseadmes või prognoositavalt väikeseid kasutuskulusid. Hostitud API võib olla eelistatum ka siis, kui meeskond ei soovi hallata hajutatud järeldamist, kvantimist, skaleerimist, seiret või mudeliuuendusi. Pildi- või videomõistmiseks tuleks selle asemel valida multimodaalne ERNIE variant või muu mudel, mille visuaalne sisend on kinnitatud.
Üldjoontes tuleks ERNIE-4.5-300B-A47B-d käsitleda suure avatud juurutusega mudelina, mitte kerge vestlusroboti lõpp-punktina. Selle 300 miljardi parameetri suurune kogumaht, 47 miljardit aktiivset parameetrit, 131K kontekst, Apache 2.0 litsents ning ametlikud peenhäälestus- ja teenindustööriistad muudavad selle kasulikuks võimeka taristuga meeskondadele. Samad omadused muudavad selle liigseks lihtsate rakenduste puhul, kus maksimaalsest avatud mudeli võimekusest on olulisemad kiirus, lihtsus ja kasutuskulud.