Mis on ERNIE-4.5-21B-A3B-Thinking?
ERNIE-4.5-21B-A3B-Thinking on Baidu välja töötatud avatud kaaludega arutlusvõimeline keelemudel. See on mõeldud ülesannete jaoks, mille puhul on vaja läbimõeldud mitmeastmelist tekstilist arutlust, mitte ainult lühivormis teksti genereerimist. Tüüpilised kasutusvaldkonnad on matemaatika- ja teadusprobleemide lahendamine, loogiline analüüs, programmeerimine, tehniline kirjutamine, pikkade dokumentide töötlemine ning tööriistu kasutavad assistendid.
Kanooniline kontrollpunkt on baidu/ERNIE-4.5-21B-A3B-Thinking. Mudel kuulub Baidu ERNIE 4.5 põlvkonda ning erineb nii ilma mõtlemisrežiimita mudelist ERNIE-4.5-21B-A3B kui ka suurematest ERNIE 4.5 variantidest. Selle avatud kaaludega levitamine on mudeli positsioneerimise oluline osa: kasutajad saavad kontrollpunkti ise käitada ja kohandada, selle asemel et toetuda täpselt selle mudeli puhul dokumenteeritud Baidu hostitud tasulisele API-le.
Nel on märgitud väljalaskekuupäevaks 9. september 2025 ning selle olekuks on märgitud praegu saadaval olevate avatud kaaludega mudel. Esitatud dokumentatsiooni kohaselt on tegemist tekstipõhise segu-ekspertidest mudeliga, mida on järeltreeningu käigus kohandatud arutlusele keskenduvaks kasutuseks.
Arhitektuur ja 131K märgi kontekstiaken
ERNIE-4.5-21B-A3B-Thinkingul on kokku 21 miljardit parameetrit, kuid iga märgi puhul aktiveeritakse neist ligikaudu 3 miljardit. Tegemist on segu-ekspertidest ehk MoE-arhitektuuriga: võrgu eri osad saavad spetsialiseeruda erinevatele sisenditele, samal ajal kui konkreetset märki töötlevad ainult valitud eksperdid. Praktikas mõjutab kogu mudeli suurus endiselt salvestus- ja juurutamisnõudeid, kuid aktiivsete parameetrite arv aitab selgitada, miks märgi kohta vajalik arvutusmaht võib olla paremini hallatav kui tiheda 21B mudeli puhul.
Avaldatud konfiguratsiooniandmete hulka kuuluvad 28 kihti, 20 päringupäist, neli võtme/väärtuse päist, 64 tekstieksperti, kuus aktiveeritud tekstieksperti ja kaks jagatud eksperti. Need on juurutamise tehnilised näitajad, mitte kasutajale suunatud funktsioonid, kuid need on riistvara ja järeldusmootori valimisel olulised.
Kontekstiaken on 131 072 märki. Kontekstiaken näitab sisendi ja genereeritud vestlusajaloo mahtu, mida mudel saab ühe päringu raames töödelda, lähtudes valitud teenindusvirna piirangutest. Pikk aken on kasulik suurte dokumentide, pikkade vestluste, mitmeastmeliste arutluskäikude, koodihoidlate ja töövoogude puhul, kus mudelile edastatakse mahukaid tööriistade tulemusi. See ei taga, et iga pikk viip saab võrdselt täpse tähelepanu, mistõttu tuleks suuri sisendeid endiselt hoolikalt struktureerida.
Arutlus- ja ülesandevõimekus
Mudel on konkreetselt positsioneeritud selgesõnaliselt arutlusele suunatud teksti genereerimiseks. Kontrollpunkti kohta dokumenteeritud toetatud ülesandevaldkonnad hõlmavad loogikamõistatusi, matemaatikat, teadust, akadeemilist hindamist, kodeerimist, teksti genereerimist ja funktsioonikutseid. Seetõttu tasub seda kaaluda töövoogudes, kus on vaja enamat kui lihtsat teabeotsingut või lühikesi vestlusvastuseid – näiteks konkureerivate tehniliste selgituste võrdlemisel, mitmeastmelise arvutuse läbimisel või koodi loomisel ja muutmisel vastavalt etteantud spetsifikatsioonile.
- Arutlus: sobib mitmeastmeliste loogika-, matemaatika-, teadus- ja akadeemiliste ülesannete jaoks.
- Kodeerimine: mõeldud koodi genereerimiseks ja tehniliste probleemide lahendamiseks, sealhulgas isemajutatud rakenduste kodeerimisabis.
- Pika konteksti analüüs: 131 072 märgi aken toetab suuri dokumente ja pikki tekstipõhiseid suhtlusi.
- Teksti genereerimine: suudab koostada selgitusi, analüüse, struktureeritud viipasid ja muud tekstipõhist väljundit.
- Funktsioonikutsed: dokumenteeritud juurutustööriistad toetavad funktsioonikutsete ja tööriistakasutuse töövooge.
Funktsioonikutset tuleks mõista mehhanismina, mille abil genereeritakse tööriistakutseid, mida rakendus saab täita. See ei tähenda, et mudel juhiks iseseisvalt arvutit, sirviks veebi või sooritaks väliseid toiminguid ilma integreeriva rakenduseta. Esitatud uuringud ei kinnita selle konkreetse kontrollpunkti puhul veebotsingu ega autonoomse arvutijuhtimise loomulikku tuge.
Sisendi ja väljundi modaalsused
ERNIE-4.5-21B-A3B-Thinking on ainult tekstipõhine. See võtab vastu tekstisisendit ja genereerib tekstiväljundit. Dokumenteeritud kontrollpunkt ei toeta loomupäraselt piltide, heli ega video sisendina kasutamist ning ei genereeri pilte, heli, muusikat ega videot.
Seetõttu sobib mudel paremini tekstikesksetesse arutlussüsteemidesse kui multimodaalsetesse assistentidesse. Rakendus võib paigutada selle ette välise pildi- või kõnetuvastussüsteemi, kuid see oleks eraldi töövoog, mitte ERNIE-4.5-21B-A3B-Thinkingu loomupärane võimekus.
Juurutamine, teenindamine ja litsents
Baidu levitab kaalusid Apache License 2.0 alusel. Mudelikaart dokumenteerib kasutamise koos Transformersi, vLLM-i ja FastDeployga, samas kui Baidu seotud ERNIE tööriistad ja muud teenindusraamistikud pakuvad täiendavaid juurutusvõimalusi. FastDeploy näited kasutavad OpenAI-ga ühilduvat teenindusliidest ning sisaldavad arutlus- ja tööriistakutsete parsereid.
Mudel sobib organisatsioonidele, kes vajavad kontrolli andmekäitluse, mudeli paigutuse, kohandamise või järelduste ajastamise üle. Seda saab juurutada kohapeal või privaatselt hallatavas taristus, kuid avatud kaalud ei muuda juurutamist tasuta tegevuseks. Käitajad vastutavad endiselt GPU-võimsuse, salvestusruumi, võrgu, teenindustarkvara, seire, skaleerimise ja hoolduse eest.
Dokumenteeritud FastDeploy konfiguratsioonis on märgitud nõudeks 80 GB GPU. Seda tuleks käsitleda selle konfiguratsiooni lähtepunktina, mitte universaalse riistvaranõudena iga kvantimise, täpsuse, raamistiku või töökoormuse puhul. 21B suurune parameetrite koguarv on mälu kavandamisel endiselt oluline, kuigi ühe märgi puhul aktiveeritakse ainult ligikaudu 3B parameetrit.
Baidu ERNIE tööriistad märgivad, et see mudel toetab juhendatud peenhäälestust ja funktsioonikutsete treenimist. See muudab mudeli asjakohaseks meeskondadele, kes soovivad kohandada seda konkreetse valdkonna või tööriistaskeemi järgi, kuigi peenhäälestus toob kaasa täiendavad salvestus-, riistvara-, andmeettevalmistus- ja hindamisnõuded.
Kiiruse ja hinna kompromissid
Hõre MoE-struktuur on mudeli peamine tõhususargument. Ligikaudu 3B parameetri aktiveerimine märgi kohta võib vähendada arvutuskoormust võrreldes olukorraga, kus iga märgi puhul käitatakse kõiki 21B parameetrit. See võib parandada läbilaskevõimet või vähendada käituskulu võrreldes sama nimiparameetrite arvuga tiheda mudeliga, kuigi tegelik jõudlus sõltub täpsusest, pakkimistöötlusest, GPU-mälust, konteksti pikkusest, paralleelsusest ja teenindusraamistikust.
Mudelit ei tohiks kirjeldada absoluutses mõttes odavana. Kogu kontrollpunkt tuleb endiselt salvestada ja laadida ning esitatud uuringus on dokumenteeritud FastDeploy kasutuse jaoks nimetatud 80 GB GPU konfiguratsioon. Pikad kontekstid suurendavad samuti mälu- ja töötlusvajadust. Toimetuse kuluskoor 9 kajastab avatud kaaludega litsentsi, hõredat aktiveerimist ja kontrollpunkti puhul hostitud märgipõhiste tasude puudumist; see ei ole Baidu avaldatud hind ega võrdlustulemus.
Selle täpse mudeli puhul ei ole ametlikku Baidu hostitud sisend- ega väljundmärgi hinda kinnitatud. Seetõttu ei ole olemas usaldusväärset korduvat API-hinda, millega võrrelda hostitud keelemudeleid. Kõik kuluhinnangud peavad põhinema valitud pilve-GPU-l, kohalikul riistvaral, kasutusastmel ja käitamise lisakuludel.
Millal valida ERNIE-4.5-21B-A3B-Thinking
Vali see mudel siis, kui isemajutamine ja tekstipõhine arutlus on olulisemad kui kasutusvalmis API mugavus. See sobib eriti hästi järgmisteks kasutusjuhtudeks:
- Privaatsed või ettevõtte enda taristus töötavad arutlusassistendid.
- Matemaatiline, teaduslik, loogiline ja akadeemiline analüüs.
- Koodi genereerimise ja tehnilise toe tööriistad.
- Pikkade dokumentide läbivaatamine ja pikad tekstivestlused.
- Agentide prototüübid, mis vajavad funktsioonikõnesid või struktureeritud tööriistakutseid.
- Meeskonnad, kes soovivad Apache 2.0 avatud kaaludega litsentsi ja võimalust mudelit peenhäälestada.
See võib olla väikesest tihedast mudelist parem valik, kui ülesanne kasutab ära tugevamat arutlusvõimet ja käitajal on sobiv riistvara. Aktiivsete parameetrite arhitektuur võib pakkuda ka soodsamat arvutusprofiili kui sarnase parameetrite koguarvuga tihe mudel, kuid tegemist on juurutamise kompromissiga, mitte garanteeritud kiiruse edetabelikohaga.
Millal võib sobida mõni teine valik
Väiksem tihe keelemudel võib olla parem valik kergete rakenduste, väikese mälumahuga keskkondade või suure koormusega töövoogude jaoks, kus selle mudeli arutlussügavust pole vaja. Hostitud kommertsmudel võib olla mugavam siis, kui organisatsioon soovib hallatud skaleerimist, kasutuspõhist arveldamist, seiret ja toetatud API-t, mitte 80 GB klassi juurutuse käitamist.
Multimodaalne mudel sobib paremini piltide, heli või video mõistmiseks ja genereerimiseks. Samuti võib eelistada mudelit või teenust, mille puhul on dokumenteeritud JSON-režiimi garantii, kui range masinloetav väljund on vältimatu nõue. Olemasolev dokumentatsioon ei kinnita ERNIE-4.5-21B-A3B-Thinkingule eraldiseisvat JSON-režiimi garantiid, viipade vahemällu salvestamise funktsiooni, partiipõhist API-t, ametlikku teadmiste lõppkuupäeva ega täpset maksimaalset väljundmärkide arvu.
Piirangud ja täpsustamata näitajad
Kõige olulisem piirang on mudeli tekstipõhisus. See ei saa loomupäraselt asendada nägemis-keele-, kõne-, pildigeneratsiooni- ega videomudelit. Avatud kaaludega mudel annab taristu eest vastutuse samuti kasutajale ning kogu 21B parameetriga kontrollpunkt võib olla nõudlik hoolimata hõredast märgipõhisest aktiveerimisest.
Mudelikaart ja seotud dokumentatsioon ei esita selle konkreetse kontrollpunkti puhul kinnitatud teadmiste lõppkuupäeva. Samuti ei määratleta neis kontekstiaknast eraldi universaalset maksimaalset väljundi pikkust. Väljundipiirangud võivad sõltuda teenindusraamistikust ja käitusaja konfiguratsioonist, mistõttu tuleks need enne tootmiskasutusse juurutamist üle kontrollida.
Mudeliga seotud toimetuse hinded on arutluse eest 8, kodeerimise eest 7, kiiruse eest 8 ja hinna eest 9. Need on võrdlevad toimetuslikud hinnangud, mis põhinevad mudeli kirjeldatud arutlusele keskendumisel, hõredal arhitektuuril, avatud kaalude saadavusel ja juurutusomadustel. Need ei ole teenusepakkuja avaldatud võrdlustulemused ega tohiks asendada mudeli testimist tüüpiliste ülesannetega.
Kokkuvõte
ERNIE-4.5-21B-A3B-Thinking on praktiline valik arendajatele ja organisatsioonidele, kes otsivad avatud kaaludega arutlusmudelit, millel on väga pikk kontekstiaken, funktsioonikutsete tugi ja paindlikkus kohapealseks juurutamiseks. Selle 21B kogumahuga ja 3B aktiivse parameetriga MoE-arhitektuur pakub tõhususe seisukohalt põhjendatud lahendust, samas kui Apache 2.0 litsents toetab privaatset käitamist ja kohandamist. Kompromiss seisneb käitamises: kasutajad peavad tagama sobiva taristu ning ei tohiks eeldada kinnitatud hostitud hinnastust, loomupärast multimodaalset töötlust ega dokumenteeritud garantiisid JSON-režiimi, väljundipiirangute, vahemällu salvestamise või partiipõhise järeldamise kohta.