EXAONE-4.5-33B

Mis on EXAONE-4.5-33B?

EXAONE-4.5-33B on LG AI Researchi 33 miljardi parameetriga visuaal-keelemudel. Praktilises mõttes on see suur keelemudel, mis suudab töödelda nii kirjalikku teksti kui ka pilte. Seetõttu saab mudel töötada tavaliste päringute, visuaalsete küsimuste, skannitud dokumentide, diagrammide ja muude pildipõhiste sisenditega, mida selle teostus toetab.

Mudel ühendab 31,7 miljardi parameetriga keelemudeli ja 1,29 miljardi parameetriga visuaaltermudeli. Keelekomponent tegeleb teksti genereerimise ja arutlemisega, visuaaltermudel aga teisendab pildiinfo esitusteks, mida keelemudel saab kasutada. Tulemuseks on mudel, mis on mõeldud näiteks dokumentide mõistmiseks, optiliseks märgituvastuseks, visuaalsetele küsimustele vastamiseks ja multimodaalseks arutlemiseks.

EXAONE-4.5-33B levitatakse avatud kaaludega mudelina LG AI Researchi ametlikes repositooriumides, sealhulgas Hugging Face'is. „Avatud kaaludega“ tähendab, et mudeli kaalud tehakse sobilikele kasutajatele allalaadimiseks ja juurutamiseks kättesaadavaks, selle asemel et neile pääseks ligi ainult varalise majutatud vestlusroboti kaudu. See muudab mudeli sobivamaks kontrollitud, enda hallatavaks või teadustööle suunatud juurutuseks kui kasutajatele, kes soovivad lihtsalt valmis tarbijarakendust.

Milline on selle koht LG AI Researchi mudelivalikus?

EXAONE-4.5-33B kuulub EXAONE 4.5 perekonda ning on selle konkreetse väljalaske suur professionaalse taseme mudel. LG AI Researchi laiem EXAONE'i arendustöö hõlmab keelemudeleid, multimodaalseid süsteeme, seadmesiseseid mudeleid ning tööstusele, teadusele, biomeditsiinile, materjaliteadusele ja agentidele suunatud erirakendusi.

Seda mudelit ei tohiks segi ajada tavapärase LG tarbijatele mõeldud tellimusteenusega. LG AI Research tutvustab EXAONE'i peamiselt teadusväljalasete, avatud kaaludega repositooriumide, demonstratsioonide, ettevõttelahenduste ja partnerite toetatud juurdepääsu kaudu. Esitatud uuringumaterjalides ei tuvastata EXAONE-4.5-33B jaoks esimese osapoole majutatud API-t, millel oleks avaldatud märgipõhine hinnastus.

LG AI Research on varem kirjeldanud ka teisi EXAONE'i võimalusi, sealhulgas hübriidset arutlus- ja mittearutlusrežiimi, tööriistade kasutamist, funktsioonikutseid ning partnerite taristu kaudu pakutavat kommertslikku API-juurdepääsu seotud väljalasetele. EXAONE-4.5-33B puhul näitab ametlik repositoorium tööriistadega agentset kasutust ühilduvate teenindusraamistike kaudu, kuid seda ei tohiks tõlgendada hallatava LG majutatud API-na ega eraldi tasulise API-paketi tõendina.

Võimalused ja toetatud sisendid

EXAONE-4.5-33B kontrollitud sisendmodaalsused on tekst ja pildid. Mudel genereerib teksti. Esitatud mudeliandmete kohaselt ei paku see natiivset pildi-, video-, heli-, muusika-, manustamis- ega kõneväljundit.

Suur kontekstiaken on kasulik pikkade dokumentide, mitmeleheküljeliste materjalide ja töövoogude puhul, mis ühendavad juhiseid, viiteteksti ja visuaalseid sisendeid. Kontekstiakna suurus ei tähenda siiski automaatselt garanteeritud praktilist dokumendimahtu. Tegelik mälukasutus ja jõudlus sõltuvad pildi eraldusvõimest, tokeniseerimisest, teenindusraamistikust, kvantimisest, saadaolevast riistvarast ja soovitud väljundi mahust.

Arutlemine, programmeerimine ja tööriistade kasutamine

EXAONE-4.5-33B toetab arutlus- ja mittearutlusrežiimi. Arutlusrežiim on mõeldud selleks, et mudel kulutaks enne vastuse esitamist probleemi läbitöötamisele rohkem arvutusressursse, samas kui mittearutlusrežiim võib olla eelistatav siis, kui oluline on väiksem latentsus. Esitatud uuringumaterjalides nimetatakse arutlemist mudeli üheks keskseks võimeks, eriti visuaalsete ja dokumendipõhiste ülesannete puhul.

Tüüpiliste kasutusjuhtude hulka kuuluvad skannitud dokumendist teabe eraldamine, pildi ja kirjaliku juhise üksikasjade võrdlemine, visuaalse vastuse selgitamine ning teksti- ja pilditõendite kombinatsiooni põhjal järelduste tegemine. Mudel on mõeldud ka programmeerimisülesanneteks, sealhulgas koodi genereerimiseks ja selgitamiseks. Need võimalused muudavad selle asjakohaseks tarkvaraarenduse töövoogudes, mis hõlmavad tehnilisi dokumente, ekraanipilte, diagramme või struktureeritud probleemilahendust.

Tööriistade kasutamist toetavad ühilduvad teenindusraamistikud ning ametlik repositoorium näitab agentset kasutust. See tähendab, et rakendus saab ühendada mudeli väliste funktsioonide või tööriistadega, näiteks otsingusüsteemi, kalkulaatori, andmebaasi või ärilise töövooga, kui juurutuskiht on selleks seadistatud. Mudel ise ei paku automaatselt veebiotsingut ega juurdepääsu välistele andmetele. Tööriistade käitamise eest vastutavad ümbritsev rakendus ja teeninduskiht.

Esitatud mudeliandmed ei kinnita eraldi JSON-režiimi ega garanteeritud struktureeritud väljundi lepingut. Skeemipiirangutega vastuseid vajavad arendajad peaksid valitud teenindusraamistikku ning juhiste või dekodeerimise seadistust testima, mitte eeldama, et tööriistade tugi tagab automaatselt range JSON-i genereerimise.

Juurutus, riistvara ja litsents

EXAONE-4.5-33B-d saab ametlikes materjalides nimetatud tehnoloogiate abil teenindada, sealhulgas Transformers, TensorRT-LLM, vLLM, SGLang ja llama.cpp. See annab tehnilistele meeskondadele mitu juurutusvõimalust alates teadustööle suunatud Pythoni keskkonnast kuni optimeeritud järeldusserverite või kohalike käituskeskkondadeni.

33 miljardi parameetriga mudel vajab märksa rohkem ressursse kui väike seadmesisene mudel. Uuringumaterjalides märgitakse konkreetselt, et ilma kvantimiseta ei sobi see vähese mäluga juurutuseks hästi. Kvantimine võib vähendada mälunõudeid väiksema täpsusega esituste kasutamise kaudu, kuid sobiv vorming, riistvarakonfiguratsioon ning sellest tulenev kvaliteet või kiirus on juurutusotsused, mitte iga kasutaja jaoks ette kindlaks määratud näitajad.

Ametlikes mudelimaterjalides nimetatakse litsentsi EXAONE AI Model License Agreement 1.2 ning märgitakse see väljalase mitteäriliseks. See on oluline praktiline piirang. Teadlased ja nõuetele vastavad haridusasutuste kasutajad võivad avatud kaaludest kasu saada, kuid ettevõte peaks litsentsi hoolikalt läbi vaatama, enne kui mudel lisatakse kommertstoodetesse, ettevõtte siseprotsessi või tasulisse teenusesse. Avatud kaalud ei tähenda automaatselt piiranguteta ärilist kasutust.

Hinnastus ja API-juurdepääs

Esitatud uuringumaterjalides ei ole määratud sisendmärkide hinda, väljundmärkide hinda, tellimuse hinda ega väljundi maksimumhinna aluseid. Seetõttu ei saa EXAONE-4.5-33B-d dokumenteeritud esimese osapoole hinna põhjal võrrelda tavapärase märgipõhise hinnastusega mudeliga.

Enda hallatava kasutuse puhul on majandusmudel teistsugune. Kulud võivad hõlmata riistvara, pilvearvutust, salvestusruumi, inseneritööd, seiret ja hooldust. Enda hallatav juurutus võib pakkuda suuremat kontrolli andmete ja järelduskäitumise üle, kuid annab kasutajale ka operatiivse vastutuse. Partnerite taristu võib mõne LG AI Researchi mudeli puhul pakkuda hallatumat lahendust, kuid esitatud teave ei kinnita EXAONE-4.5-33B jaoks kehtivat kommerts-API hinda ega konkreetselt sellele mudelile mõeldud majutatud teenust.

Peamised tugevused

• Multimodaalne mõistmine: Mudel käsitleb teksti ja pilte samas töövoos, mis on kasulik dokumentide, ekraanipiltide, diagrammide ja visuaalsetele küsimustele vastamise puhul.
• Pikk kontekst: Dokumenteeritud 262 144 märgi suurune kontekstiaken sobib hästi suurtele dokumendikogumitele ja pikkadele arutlusjuhistele, arvestades riistvara ja teeninduse piiranguid.
• Keskendumine korea keelele: EXAONE'i kujundas LG AI Research ning see on eriti asjakohane korea keele ja mitmekeelsete rakenduste puhul.
• Juurutus avatud kaaludega: Nõuetele vastavad kasutajad saavad avaldatud mudelit uurida ja juurutada, selle asemel et tugineda ainult suletud majutatud liidesele.
• Arutlemine ja programmeerimine: Mudel toetab arutlus- ja mittearutlusrežiimi ning on mõeldud programmeerimiseks, tehniliseks analüüsiks ja dokumendipõhiseks probleemilahenduseks.
• Paindlik juurutus: Mitme väljakujunenud teenindusraamistiku tugi annab insenerimeeskondadele valikuvõimalusi kohalikes, ettevõtte enda taristus või optimeeritud järelduskeskkondades.

Peamised piirangud

• Kontrollitud majutatud hinna puudumine: Kasutajad ei saa dokumenteeritud esimese osapoole EXAONE-4.5-33B API-hinna alusel kavandada tavapärast märgipõhist eelarvet.
• Märkimisväärsed taristunõuded: 33 miljardi parameetri suurus võib muuta juurutuse kulukaks või tehniliselt nõudlikuks, eriti ilma kvantimiseta.
• Mitteäriline litsents: Määratud litsentsistaatus võib kommertsjuurutust takistada või piirata, mistõttu on vajalik õiguslik ülevaatus.
• Ainult tekstigeneerimine: Mudel mõistab pilte, kuid ei genereeri natiivselt pilte, heli, videot ega kõnet.
• Sisse ehitatud veebijuurdepääsu puudumine: Värske teabe hankimine tuleb lisada väliste tööriistade või rakenduskihi kaudu.
• Piiratud tarbijatooteks vormistamine: Seda ei esitleta küpse üldotstarbelise vestlusrobotina, millel oleks laialdased mobiili- ja töölauarakendused, tellimustasemed või ulatuslik tarbijaökosüsteem.
• Täpsustamata väljundipiir: Kontekstiaken on dokumenteeritud, kuid eraldi maksimaalset väljundmärkide arvu esitatud allikates ei ole toodud.

Millal valida EXAONE-4.5-33B?

Vali EXAONE-4.5-33B siis, kui vajad suurt multimodaalset mudelit, mida saab kasutada enda tehnilise kontrolli all, ning sinu töö hõlmab koreakeelset sisu, pikki dokumente, pilte, OCR-i, visuaalsetele küsimustele vastamist või segatud teksti- ja visuaaltõendite põhjal arutlemist. See on eriti asjakohane teadusrühmadele, ettevõtete katsetööks ning dokumentide või tööstuslike töövoogude arendajatele, kes saavad tegutseda mudeli litsentsitingimuste piires.

See on mõistlik valik ka siis, kui oluline on võimalus valida teeninduskiht. Transformers võib sobida teadustööks ja katsetamiseks, samas kui vLLM-i, TensorRT-LLM-i, SGLang-i või llama.cpp-d võib hinnata erinevate jõudlus- ja riistvaranõuete puhul. Parim valik sõltub sihtseadmest, kvantimisstrateegiast, samaaegsete päringute arvust ja latentsusootustest.

Millal võib mõni teine lahendus olla sobivam?

Väiksem mudel võib olla eelistatav siis, kui madal latentsus, tagasihoidlik riistvara või servajuurutus on olulisem kui suurim saadaolev arutlusvõimekus. Majutatud kommertsmudel võib olla lihtsam valik siis, kui prioriteediks on prognoositav API, hallatav skaleerimine, selge hinnastus või minimaalne taristutöö. Natiivse pildi- või heligeneratsiooniga mudel on loominguliseks meediatootmiseks parem valik, sest EXAONE-4.5-33B on mõistmise ja teksti genereerimise süsteem, mitte meediageneratsiooni mudel.

Kommertskasutust kavandavad organisatsioonid peaksid võrdlema ka mudeleid, mille litsentsid on mõeldud sõnaselgelt äriliseks juurutuseks. Samuti vajavad värskest veebiteabest sõltuvad rakendused otsinguvõimekusega arhitektuuri või mudelit ja teenust, mis pakub selgelt veebiotsingut. EXAONE-4.5-33B saab ühendada väliste tööriistadega, kuid see integratsioon tuleb eraldi üles ehitada ja seda hallata.

Kokkuvõte

EXAONE-4.5-33B-d on kõige õigem käsitleda enda hallatava suure multimodaalse arutlusmudelina, mitte kasutusvalmis tarbijatele mõeldud vestlusroboti või hinnastatud API-tootena. Teksti- ja pildisisendi, 262 144 märgi suuruse kontekstiakna, korea keele asjakohasuse, programmeerimise toe, arutlusrežiimide ja ühilduvate tööriistakasutuse raamistike kombinatsioon muudab selle atraktiivseks teadustööks ja kontrollitud ettevõtete katsetusteks. Kompromiss seisneb operatiivsetes ja õiguslikes nõuetes: juurutus vajab märkimisväärset taristut, maksimaalset väljundipiiri ja esimese osapoole API-hinda ei ole siin dokumenteeritud ning esitatud litsents on märgitud mitteäriliseks.