ERNIE-4.5-VL-28B-A3B

Mis on ERNIE-4.5-VL-28B-A3B?

ERNIE-4.5-VL-28B-A3B on Baidu avatud kaaludega visuaal-keelemudel rakendustele, mis peavad tõlgendama teksti koos visuaalse teabega. See suudab töödelda teksti, pilte ja videot ning vastata tekstina. Tüüpiliste ülesannete hulka kuuluvad pildi kohta küsimustele vastamine, dokumentidest tähenduse eraldamine, diagrammide tõlgendamine, visuaalsete stseenide analüüsimine ja videosisu uurimine.

Mudel avaldati 30. juunil 2025 Baidu ERNIE 4.5 mudeliperekonna osana. See ei ole üldotstarbeline pildi-, video- ega heligeneraatorsüsteem: kontrollitud väljund on tekst. Baidu avaldas mudeli kaalud ja järelduskoodi Apache 2.0 litsentsi alusel, mistõttu sobib see litsentsi ja operaatori taristu tingimusi järgides kohalikuks või enda hallatavaks juurutuseks.

Nimetus kirjeldab mudeli arhitektuuri ja suurust. Mudelil on kokku 28 miljardit parameetrit, kuid Mixture-of-Expertsi (MoE) arhitektuur aktiveerib iga märgi kohta ligikaudu 3 miljardit parameetrit. Praktikas säilitab mudel suurema õpitud võimekuse varu, kasutades samal ajal iga järelduspäringu osa jaoks väiksemat aktiivset osa. See on peamine põhjus, miks see paikneb kompaktsete visuaal-keelemudelite ja palju suuremate tihedate mudelite vahel.

Kuhu see Baidu ERNIE mudelivalikus paigutub?

ERNIE-4.5-VL-28B-A3B on ERNIE 4.5 perekonna kerge visuaal-keelemudel, millel on kokku 28 miljardit ja aktiivselt ligikaudu 3 miljardit parameetrit. Selle fookus on multimodaalsel mõistmisel, mitte tarbijatele mõeldud vestlusfunktsioonidel või meedia loomisel. Perekonda kuuluvad ka eraldi nimetatud variandid, sealhulgas ERNIE-4.5-VL-28B-A3B-Thinking. Seda Thinking-mudelit ei tohiks käsitleda sama mudeli kirjena, isegi kui standardne mudeliperekond toetab mõtlemis- ja mittemõtlemisrežiimi.

See eristus on kaalude valimisel või juurutusnõuete võrdlemisel oluline. Viide mudelile ERNIE-4.5-VL-28B-A3B ei kinnita automaatselt mõne teise ERNIE 4.5 variandi spetsifikatsioone, käitumist ega ressursinõudeid.

Sisendid, väljundid ja kontekstiaken

Kontrollitud sisendmodaalsused on tekst, pildid ja video. Ametlikud protsessori näited käsitlevad lisaks mudeli dokumentatsioonis kirjeldatud teksti ja visiooni töötlemisele ka videot. Mudel toodab ainult teksti; see ei väljasta otse pilte, heli ega videot.

131 072 märgi suurune kontekstiaken on kasulik pikkade dokumentide, ulatuslike visuaalse sidumise ülesannete ja selliste päringute puhul, mis ühendavad juhised mahuka teksti- ja meediateabega. See ei tähenda, et iga juurutus suudaks vastu võtta suvalise suurusega faili või video: praktilised piirangud võivad sõltuda ka protsessorist, pildi- või videokujutusest, saadaolevast GPU-mälust ja teenindusraamistikust. Selle konkreetse mudeli autoriteetset väljundmärkide maksimaalset piirangut ei õnnestunud kontrollida.

Arhitektuur ja arvutuslik kompromiss

Mudeli hõre MoE-arhitektuur on selle kõige olulisem tehniline eripära. Tavaline tihe mudel kasutab iga märgi puhul kogu parameetrite hulka. MoE-mudelis saab eri märkide jaoks valida erinevaid ekspertkomponente. Esitatud mudeliteabe kohaselt on ERNIE-4.5-VL-28B-A3B-l kokku 28 miljardit parameetrit, kuid iga märgi puhul aktiveeritakse ligikaudu 3 miljardit.

See lahendus võib võrreldes sama kogusuurusega tiheda mudeliga vähendada aktiivset arvutustööd, kuid ei kaota vajadust mahuka mälu järele. Baidu juurutusdokumentatsiooni kohaselt vajab ühe kaardiga juurutus vähemalt 80 GB GPU-mälu. Tegelik riistvaranõue võib varieeruda olenevalt kvantimisest, raamistikust, pakisuurusest, konteksti pikkusest ja teeninduskonfiguratsioonist. Seetõttu tuleks 80 GB käsitleda viidatud juurutusviisi dokumenteeritud lähtetasemena, mitte iga võimaliku seadistuse universaalse nõudena.

Juurutusdokumentatsioon toetab mudelit Hugging Face Transformersi, vLLM-i, PaddlePaddle'i ja FastDeploy' kasutamisel. Need võimalused muudavad mudeli enda hallatavaks käitamise praktilisemaks meeskondadele, kes ei soovi tugineda teenusepakkuja hallatavale lõpp-punktile. Samal ajal jäävad GPU-võimekuse, skaleerimise, jälgimise, juurdepääsu kontrolli ja mudeli uuendamise eest vastutama operaatorid.

Arutlemine, programmeerimine ja tööriistade tugi

ERNIE 4.5 VL perekond toetab mõtlemis- ja mittemõtlemisrežiimi. Mõtlemisrežiim on mõeldud päringutele, mille puhul võib täiendav vahepealne arutlemine kasulik olla, samas kui mittemõtlemisrežiim sobib paremini siis, kui esmatähtis on vastuse kiirus. Esitatud materjalid ei anna kummagi režiimi kohta ühtset kvaliteedig garantiid, mistõttu tuleks valikut testida konkreetse rakenduse päringute ja latentsusnõuete põhjal.

Toimetuslik hinnang annab mudeli arutlemisvõimele 7 punkti 10-st ja programmeerimisvõimele 6 punkti 10-st. Need on toimetuse võrdlevad hinnangud, mitte Baidu avaldatud võrdlustulemused. Programmeerimishinnangut ei tohiks tõlgendada tõendina, et tegemist on peamiselt koodigeneratsiooni mudeliga. Selle kõige tugevam toetatud kasutusala on multimodaalne mõistmine, näiteks tarkvarakuva tõlgendamine, tehnilise diagrammi lugemine või koodi ja visuaale sisaldava dokumendi kohta küsimustele vastamine.

Tööriistade kasutamist ja funktsioonikutseid selle konkreetse mudeli puhul ei ole kontrollitud. Samuti ei ole kontrollitud teenusepakkuja hallatava veebiotsingu võimalust. Rakendus võib enda hallatava mudeli ümber väliseid tööriistu luua, kuid see oleks rakendustaseme integratsioon, mitte ERNIE-4.5-VL-28B-A3B kinnitatud loomupärane võimekus.

Peamised tugevused ja piirangud

Visuaalse mõistmise tugevused

• Lai multimodaalne sisend: mudel aktsepteerib teksti, pilte ja videot, võimaldades rakendustel ühendada kirjalikud juhised visuaalsete tõenditega.
• Pikk kontekst: 131 072 märgi suurune kontekstiaken sobib hästi pikkade dokumentide, diagrammikogumite ja mitmeosaliste analüüsiülesannete jaoks.
• Tõhus aktiivne arvutus: ligikaudu 3 miljardi aktiivse parameetriga MoE-arhitektuur pakub väiksemat aktiivsete parameetrite hulka, kui mudeli 28 miljardi parameetri suurus võiks eeldada.
• Paindlik juurutus: avatud kaalud, Apache 2.0 litsents ja mitme järelduspaketi tugi võimaldavad kohalikku ja enda hallatavat kasutust.
• Visuaalsete dokumentide kasutusjuhud: mudel on mõeldud visuaalsetele küsimustele vastamiseks, dokumentide, diagrammide, piltide ja videote mõistmiseks ning piltide analüüsimiseks.

Piirangud, millega arvestada

• Riistvaranõuded on endiselt märkimisväärsed: dokumenteeritud ühe kaardiga juurutuse lähtetase nõuab vähemalt 80 GB GPU-mälu, mistõttu ei ole see igapäevase sülearvuti mõistes kerge mudel.
• Ainult tekstiväljund: seda ei saa kasutada loomuliku pildi-, heli- ega videogenereerijana.
• Kontrollimata teenindusfunktsioonid: selle konkreetse mudeli puhul ei õnnestunud kontrollida autoriteetset majutatud API hinda, väljundmärkide maksimaalset arvu, JSON-režiimi garantiid, päringute vahemällu salvestamist ega pakktöötluse API-t.
• Kinnitatud loomupärane veebiotsing ja tööriistakutsed puuduvad: rakendused, mis vajavad teenusepakkuja hallatavat andmehõivet või funktsioonide käivitamist, peaksid need võimalused eraldi üle kontrollima või väliselt lisama.
• Juurutuse keerukus: enda hallatav kasutus eeldab ühilduvate GPU-de, järeldustarkvara, protsessori käitumise, skaleerimise ja turbe haldamist.

Hind ja juurdepääs

Esitatud uuringus ei õnnestunud ERNIE-4.5-VL-28B-A3B jaoks kontrollida autoriteetset majutatud API märgihinda. Mudelile ei tohiks määrata sisend- või väljundmärgi hinda, kui selle konkreetse mudeli kohta ei ole avaldatud lõpp-punkti ja hinnakirja.

Mudeli avatud kaaludega Apache 2.0 väljalase muudab kuluküsimust, mitte ei muuda juurutust tasuta. Nimetatud litsentsi alusel ei pruugi mudelilitsentsi tasu olla, kuid kasutajad peavad siiski kandma GPU-de, salvestusruumi, elektri, pilveeksemplaride, arenduse, jälgimise ja muude seotud teenuste kulusid. Selle mudeli võrdlemisel majutatud multimodaalse API-ga peaksid meeskonnad võrdlema kogukulusid ja hoolduskoormust, mitte ainult nominaalset märgihinda.

Parimad kasutusjuhud

ERNIE-4.5-VL-28B-A3B sobib hästi meeskondadele, kes vajavad enda hallatavat multimodaalset analüüsi ja suudavad pakkuda vajalikku riistvara. Praktilised rakendused on muu hulgas järgmised:

• Visuaalsed küsimustele vastamise süsteemid piltide, ekraanipiltide või pildistatud materjalide jaoks.
• Dokumendiabilised, kes tõlgendavad teksti koos lehekülje paigutuse, jooniste ja tabelitega.
• Diagrammide ja skeemide analüüs teadus-, aruandlus- ja äriprotsessides.
• Piltide kontrollimise ja klassifitseerimise töövood, mis vajavad loomulikus keeles selgitusi.
• Video mõistmise töövood, mis esitavad küsimusi edastatud videosisu kohta.
• Privaatsed või kontrollitud juurutused, kus dokumentide ja visuaalsete andmete saatmine kolmanda osapoole hallatavasse lõpp-punkti ei ole soovitav.
• Teadus- ja peenhäälestusprojektid, mis kasutavad Baidu toetatud ERNIE ökosüsteemi ja juurutustööriistu.

Esitatud mudeli metaandmete kohaselt on peenhäälestus toetatud, kuid uuringus ei täpsustata universaalset peenhäälestusretsepti, andmestiku suurust ega riistvaranõuet. Enne treeninguprojekti kavandamist tuleks need üksikasjad üle kontrollida valitud raamistiku ja mudelikaardi põhjal.

Millal see mudel valida?

Vali ERNIE-4.5-VL-28B-A3B siis, kui keskne vajadus on multimodaalne mõistmine, juurdepääs avatud kaaludele ja kontroll juurutuse üle. See on eriti atraktiivne juhul, kui pikk kontekstiaken ning visuaalsete dokumentide või videote analüüs on olulisemad kui kohe kasutatav majutatud API. Selle hõre arhitektuur võib võrreldes palju suurema tiheda visuaal-keelemudeliga pakkuda ka kasulikku kiiruse ja arvutusressursi kompromissi, kuigi tegelik jõudlus sõltub riistvarast ja teeninduskonfiguratsioonist.

Majutatud multimodaalne mudel võib olla sobivam siis, kui meeskond soovib prognoositavat päringupõhist arveldust, hallatavat skaleerimist, minimaalset taristutööd või kinnitatud tööriista- ja veebiotsinguintegratsioone. Väiksem visuaal-keelemudel võib olla eelistatav servaseadmete, vähese mäluga keskkondade või väga suure läbilaskevõimega töökoormuste puhul, kus dokumenteeritud 80 GB ühe kaardiga lähtetase ei ole otstarbekas. Kui vajalik väljund on teksti asemel meedia, tuleks valida eraldi pildi- või videogeneerimismudel.

Keerukate arutlusülesannete puhul peaksid kasutajad võrdlema standardmudeli mõtlemis- ja mittemõtlemisrežiimi eraldi nimetatud variandiga ERNIE-4.5-VL-28B-A3B-Thinking, mitte eeldama, et need on omavahel asendatavad. Praegune mudel on paremini määratletud valik juhul, kui vaja on avatud kaaludega tekstiväljundiga visuaal-keelemudelit, mida saab juurutada väljakujunenud järeldusraamistike kaudu.

Kokkuvõte

ERNIE-4.5-VL-28B-A3B ühendab 28 miljardi parameetri suuruse MoE-arhitektuuri ligikaudu 3 miljardi aktiivse parameetriga märgi kohta, 131 072 märgi suuruse kontekstiakna ning teksti-, pildi- ja videosisendi. Selle peamine väärtus on kontrollitud ja enda hallatav multimodaalne mõistmine Apache 2.0 litsentsi alusel. Peamised kompromissid on suured riistvaranõuded, ainult tekstiväljund ning kontrollitud majutatud hinnastuse ja mitme hallatava API-funktsiooni puudumine. Organisatsioonidele, kes on valmis taristut käitama, pakub see praktilist avatud kaaludega võimalust visuaalsete dokumentide, diagrammide, piltide ja videote analüüsimiseks.