ERNIE-4.5-0.3B

Mis on ERNIE-4.5-0.3B?

ERNIE-4.5-0.3B on Baidu ERNIE 4.5 mudeliperekonda kuuluv kompaktne tihe kausaalne keelemudel. See on loodud teksti genereerimiseks ja lõpetamiseks, mitte piltide, heli või video töötlemiseks. Mudel kuulutati välja Baidu avatud lähtekoodiga ERNIE 4.5 väljalaske osana 30. juunil 2025.

Tähis „0.3B” viitab mudeli ligikaudsele suurusele. Baidu avaldatud konfiguratsioon sisaldab umbes 0,36 miljardit parameetrit, mistõttu on see mudel märkimisväärselt väiksem kui keskmised ja suured keelemudelid, mida kasutatakse nõudlikuks arutlemiseks, programmeerimiseks ja laialdaste teadmistega seotud ülesanneteks. Väiksem suurus on kasulik siis, kui kohaliku juurutamise kiirus, väiksemad riistvaranõuded või odav katsetamine on olulisemad kui maksimaalne võimekus.

ERNIE-4.5-0.3B on järeltreenitud versioon, mis on mõeldud vestluslikuks ja juhistepõhiseks kasutuseks. Baidu avaldab ka ERNIE-4.5-0.3B-Base kontrollpunkti teksti lõpetamiseks ja edasiseks kohandamiseks. Base-kontrollpunkt on seotud mudel, mitte siin ülevaadatud järeltreenitud mudeli teine nimi.

Tehnilised näitajad ja konteksti pikkus

ERNIE-4.5-0.3B kohta esitatud kontrollitud näitajad kirjeldavad tihedat transformermudelit, millel on 18 kihti, 16 päringupäist ja 2 võtme-väärtuse pead. Dokumenteeritud maksimaalne konteksti pikkus on 131 072 tokenit. Kontekstiaken näitab, kui palju teksti saab mudel ühe päringu käigus arvesse võtta, sealhulgas sisendit ja genereeritud jätku, kuigi tegelik kasutatav maht võib sõltuda juurutuse konfiguratsioonist.

131 072 tokeni pikkune kontekstiväide pärineb avaldatud mudelikonfiguratsioonist ning seda ei tohiks käsitleda garantiina, et iga kohalik juurutus suudab seda pikkust tõhusalt töödelda. Mälu kasutus, saadaolev riistvara, järeldusseaded ja teenindustarkvara võivad tegelikku piiri mõjutada.

Modaalsused ja põhivõimekused

ERNIE-4.5-0.3B töötab ainult tekstiga. See võtab vastu teksti ja tagastab teksti; esitatud mudeliandmete kohaselt ei paku see algupäraselt pildi-, heli-, video-, kõne-, muusika- ega embedding-väljundit. Samuti ei ole dokumenteeritud sisseehitatud veebotsingut, tööriistade kasutamist, funktsioonikutseid ega toimingute täitmist.

Seetõttu sobib mudel tavalisteks teksti genereerimise ülesanneteks, nagu mustandite koostamine, ümberkirjutamine, klassifitseerimislaadne juhendamine, teabe eraldamine, teksti lõpetamine ja lihtsam vestlus. Arendajad võivad luua rakenduse ümber loogika, mis kutsub väliseid tööriistu, kuid selline võimekus kuuluks rakendusele, mitte ERNIE-4.5-0.3B kontrollitud algupärase funktsiooni hulka.

Uurimismaterjalid ei sisalda tarnija võrdlustulemusi ega mudelipõhist teadmiste lõppkuupäeva. Seetõttu on mõistlikum käsitleda mudelit üldotstarbelise kompaktse generaatorina, mitte eeldada kindlat faktiteadmiste värskust või garanteeritud jõudlust eriotstarbelistes ülesannetes.

Arutlemine, programmeerimine ja töökindluse kompromissid

ERNIE-4.5-0.3B suudab järgida juhiseid ning luua struktureeritud või selgitavat teksti, kuid selle väike parameetrite arv piirab keerukalt arutlemiselt oodatavat taset. Esitatud toimetuslik hinnang annab arutlemisvõimekusele hindeks 3 punkti 10-st ja programmeerimisvõimekusele samuti 3 punkti 10-st. Need on toimetuslikud võrdlushinded, mitte Baidu avaldatud võrdlustestide tulemused.

Praktikas võib mudel sobida lihtsate teisenduste, lühikeste selgituste, põhilise koodilõpetuse ja piiratud valdkonnaga töövoogude jaoks pärast peenhäälestust. See sobib vähem mitmeastmeliseks matemaatiliseks arutlemiseks, keerukaks tarkvaraarenduseks, pikkadeks üksteisest sõltuvate juhiste ahelateks või rakendusteks, kus faktitäpsus peab olema pidevalt kõrge. Suuremad mudelid on üldjuhul parem valik, kui ülesanne sõltub ulatuslikest maailmateadmistest, töökindlast planeerimisest või keerukast koodigenereerimisest.

Väike suurus pakub teistsugust eelist: suuremate mudelitega võrreldes väiksemat ressursikulu. Esitatud toimetuslikud hinded annavad kiirusele 8 punkti 10-st ja kulule 9 punkti 10-st. Ka need hinded on subjektiivsed võrdlused, mitte garanteeritud mõõtmistulemused. Tegelik kiirus ja kulu sõltuvad riistvarast, kvantimisest, pakisuurusest, jadapikkusest ja teenindusraamistikust.

Kohalik juurutamine ja peenhäälestus

Baidu teeb ERNIE-4.5-0.3B kättesaadavaks ametlike Hugging Face'i repositooriumide ja seotud juurutusdokumentatsiooni kaudu. Avaldatud raamistikupõhiste identifikaatorite hulka kuuluvad PaddlePaddle'i kaalude jaoks ERNIE-4.5-0.3B-Paddle ning Transformersiga ühilduva kontrollpunkti jaoks ERNIE-4.5-0.3B-PT. Need nimed tähistavad kaalude vorminguid ja juurutusviise, mitte eraldi mudeliperekondi.

PaddlePaddle'il põhinev FastDeploy dokumentatsioon toetab kohalikku järeldust ja demonstreerib Paddle'i vormingus mudeli OpenAI-ga ühilduvat teenindamist. Transformersiga ühilduv kontrollpunkt pakub teise võimaluse arendajatele, kes juba töötavad laiemas Transformersi ökosüsteemis. Sobiv valik sõltub ümbritsevast tarkvaravirnast, riistvarast ja käitamisnõuetest.

ERNIEKit toetab mudeli juhendatud peenhäälestust, LoRA-põhist parameetrisäästlikku peenhäälestust ja otsese eelistuse optimeerimise töövooge. Juhendatud peenhäälestus kohandab mudelit soovitud sisendite ja väljundite näidete abil. LoRA muudab kogu mudeli ümbertreenimise asemel suhteliselt väikest hulka lisatud parameetreid, mis võib vähendada treeningunõudeid. Otsene eelistuse optimeerimine on mõeldud vastuste kooskõlla viimiseks eelistusandmetega. Need võimalused muudavad mudeli praktiliseks valdkonnapõhiseks katsetamiseks, kui eelistatakse väikest kontrollpunkti palju suuremale mudelile.

Hind ja juurdepääs

ERNIE-4.5-0.3B on Apache License 2.0 alusel välja antud avatud kaaludega mudel. Esitatud allikates ei ole selle mudeli ametlikku hostitud API hinda tokeni kohta dokumenteeritud. Seetõttu ei ole kontrollitud sisend- ega väljundhinda esitada. Kohalikult mudelit käitavad kasutajad kannavad selle asemel oma juurutusest tulenevaid taristu-, riistvara-, hostimis- ja käitamiskulusid.

Avatud kaaludega kättesaadavus ei tähenda, et iga kasutus oleks tasuta. Mudeli käitamiseks võib vaja minna sobivat arvutit või renditud arvutusressurssi ning ärikasutajad vastutavad endiselt Apache 2.0 litsentsi ja kohaldatavate kolmandate osapoolte juurutustingimuste järgimise eest. Mudeli väiksem maht võib siiski muuta kohaliku testimise ja suuremahulise lihtsama järelduse ökonoomsemaks kui hostitud suure mudeli kasutamine.

Peamised tugevused ja piirangud

Tugevused

• Väike jalajälg: Ligikaudu 0,36 miljardit parameetrit muudab selle katsetamise lihtsamaks kui suuremate ERNIE 4.5 variantidega.
• Pikk dokumenteeritud kontekst: Avaldatud 131 072 tokeni pikkune kontekst on sellise suurusega mudeli kohta märkimisväärne, kuid sõltub juurutuse piirangutest.
• Avatud kaaludega juurutamine: Apache 2.0 litsents ja allalaaditavad kontrollpunktid toetavad kohalikku katsetamist ja rakenduste arendamist.
• Mitu tööriistateed: Arendajad võivad kasutada PaddlePaddle'i, FastDeploy'd või Transformersiga ühilduvat kontrollpunkti.
• Kohandamise tugi: ERNIEKit dokumenteerib SFT-, LoRA- ja DPO-töövood.
• Tekstigenereerimise fookus: Kitsas modaalsuste profiil hoiab mudeli sobivana rakendustele, mis ei vaja multimodaalset töötlemist.

Piirangud

• Piiratud mudelivõimekus: See ei ole mõeldud tipptasemel arutlemiseks, keerukaks programmeerimiseks ega järjepidevalt väga töökindlaks teadmistepõhiseks tööks.
• Ainult tekstiga töötamine: See ei mõista ega genereeri algupäraselt pilte, heli, videot ega kõnet.
• Kontrollitud algupärased tööriistad puuduvad: Esitatud uurimismaterjalides ei ole dokumenteeritud veebotsingut, funktsioonikutseid ega toiminguväljundit.
• Teadmata väljundipiir: Mudelipõhist maksimaalset väljundtokenite arvu ei ole esitatud.
• Dokumenteeritud hostitud hind puudub: Kasutajad peavad korraldama kohaliku või kolmanda osapoole taristu, mitte tuginema kontrollitud ametlikule tokenipõhisele hinnale.
• Kontrollitud teadmiste lõppkuupäev puudub: Läbi vaadatud esimese osapoole dokumentatsioonis seda ei nimetata.

Parimad kasutusjuhud

ERNIE-4.5-0.3B sobib hästi siis, kui rakendus vajab kompaktset kohapeal juurutatavat tekstimudelit, mitte parimat saadaolevat intelligentsust. Sobivad näited on järgmised:

• Kohalikud tekstigenereerimise, lõpetamise, ümberkirjutamise ja kokkuvõtete katsetused
• Hiina- ja ingliskeelne prototüüpimine
• Kerged vestlusliidesed
• Valdkonnapõhine kohandamine juhendatud peenhäälestuse või LoRA abil
• Haridusprojektid, mis hõlmavad mudeli teenindamist või peenhäälestust
• Suuremahuline ja väiksema keerukusega tekstitöötlus, kus väike mudel võib taristukulusid vähendada
• Rakendused, millele tuleb kasuks pikk konfigureeritud kontekst, kuid mis ei vaja multimodaalset sisendit

Tootmiskasutuseks peaksid arendajad testima konkreetseid viipasid, keeli, kontekstipikkusi ja peenhäälestusandmeid, mis on nende rakenduse jaoks asjakohased. Mudeli kompaktne suurus võib muuta iteratsiooni mugavaks, kuid see ei kõrvalda hindamise ja turvameetmete vajadust.

Millal valida ERNIE-4.5-0.3B?

Valige ERNIE-4.5-0.3B siis, kui kohalik kontroll, väikesed ressursinõuded, avatud kaaludega juurdepääs ja paindlik peenhäälestus on olulisemad kui maksimaalne arutlemis- või programmeerimisjõudlus. See on eriti atraktiivne arendajatele, kes juba kasutavad Baidu PaddlePaddle'i, FastDeploy'd või ERNIEKiti tööriistu ning soovivad katsetamiseks või spetsialiseeritud tekstirakendusteks väikest kontrollpunkti.

Suurem keelemudel on sobivam siis, kui ülesanne nõuab keerukat arutlemist, täiustatud programmeerimisabi, laialdast faktiteadmiste katvust või järjepidevalt töökindlat juhiste järgimist. Piltide, heli või video mõistmiseks on vaja multimodaalset mudelit. Hostitud API-mudel võib olla eelistatav ka siis, kui meeskond ei soovi hallata riistvara, teenindamist, uuendusi ega järeldusvõimsust.

ERNIE 4.5 perekonna suuremad või multimodaalsed variandid võivad pakkuda sellest mudelist ulatuslikumaid võimekusi, kuid esitatud uurimismaterjalid ei sisalda arvuliseks võrdluseks piisavalt üksikasjalikke näitajaid. ERNIE-4.5-0.3B selge positsioon on olla kompaktne tihe tekstimudel: seda on lihtsam juurutada ja kohandada, kuid see on nõudlikes ülesannetes suurematest alternatiividest vähem võimekas.

Kokkuvõte

ERNIE-4.5-0.3B on praktiline avatud kaaludega valik arendajatele, kes vajavad väikest tekstigenereerimise mudelit, mida saab kohapeal käitada ja Baidu tööriistade abil kohandada. Ligikaudu 0,36 miljardit parameetrit, Apache 2.0 litsents, dokumenteeritud 131 072 tokeni pikkune kontekst ning SFT-, LoRA- ja DPO-tugi muudavad selle kasulikuks teadustöös, hariduses, prototüüpimisel ja fokuseeritud keelerakendustes. Peamine kompromiss on piiratud võimekus: seda ei tohiks valida tipptasemel arutlemiseks, nõudlikuks programmeerimiseks, multimodaalseks tööks ega rakendusteks, mis vajavad dokumenteeritud hostitud API-t ja garanteeritud suurt töökindlust.