Mis on K-EXAONE 2.0 750B-A37B?
K-EXAONE-2.0-750B-A37B on LG AI Researchi välja töötatud avatud kaaludega mitmekeelne keelemudel. Selle ametlik mudelitunnus on LGAI-EXAONE/K-EXAONE-2.0-750B-A37B. See on K-EXAONE 2.0 väljalaske 750 miljardi parameetriga mudel ning mõeldud nõudlikeks keelemudeli töökoormusteks, mitte tavapäraseks tarbijatele suunatud vestluseks.
Mudel kasutab ekspertide segu ehk MoE-arhitektuuri. Kõiki parameetreid ei kasutata iga genereeritud märgi puhul, vaid iga märk suunatakse läbi valiku spetsialiseeritud komponentide. K-EXAONE 2.0 750B-A37B sisaldab kokku 750 miljardit parameetrit ning aktiveerib iga järeldussammu ajal 37 miljardit parameetrit. See võib pakkuda suurt mudelimahtu, ilma et iga arvutus oleks võrdväärne tiheda 750 miljardi parameetriga mudeli käitamisega, kuid kogu mudel seab endiselt suured nõudmised mälule, salvestusruumile ja teenindamisele.
LG AI Research avaldas mudeli 31. juulil 2026 Apache License 2.0 litsentsi alusel. Esitatud uurimus käsitleb seda praeguse avatud kaaludega mudelina, mitte tavapärase tellimuspõhise vestlusroboti või laialdaselt dokumenteeritud esimese osapoole mõõdetava API-teenusena.
Arhitektuur ja 262 000 märgiga kontekstiaken
K-EXAONE 2.0 750B-A37B ühendab hõredad MoE-kihid hübriidtähelepanuga. Dokumenteeritud konfiguratsioon sisaldab 256 eksperti, millest aktiveeritakse kaheksa, üht jagatud eksperti, 78 põhikihti ja 153 600 märgist koosnevat sõnavara.
Märgitud konteksti pikkus on 262 144 märki. Kontekstiaken näitab, kui palju sisendit ja genereeritud vestlusmaterjali saab ühe mudelisuhtluse käigus töödelda. See ebatavaliselt suur piir muudab mudeli sobivaks pikkade tehniliste dokumentide, suurte otsingukogumite, pikkade agendijälgede ja mitme faili analüüsi jaoks. Tegelik piir sõltub ka teenindamise konfiguratsioonist, saadaolevast GPU-mälust, pakkide töötlemisest ja soovitud väljundi mahust.
Hübriidtähelepanu arhitektuur ühendab globaalset tähelepanu libiseva aknaga tähelepanuga. Praktikas on selle eesmärk säilitada juurdepääs pika jada eri osades olevale teabele, vähendades samal ajal mälukoormust võrreldes piiramatu tähelepanu rakendamisega kõikjal. LG AI Research dokumenteerib ka Multi-Token Predictioni ja DSparki spekulatiivse dekodeerimise meetodid, mis võivad nende hinnangul sobivate töökoormuste korral genereerimist ligikaudu kolm kuni viis korda kiirendada. Need on teenusepakkuja dokumenteeritud väited, mitte garantii iga viiba, riistvarakonfiguratsiooni või teenindusprotsessi puhul.
Arutlus, kodeerimine ja tööriistade kasutamine
Mudel toetab nii arutlus- kui ka mittearutlusrežiimi. Dokumenteeritud näidetes on arutlus vaikimisi sisse lülitatud. Kui kasutaja eelistab pikemale sisemisele arutlusele väiksemat latentsust ja lühemaid vastuseid, saab ta määrata enable_thinking=False. Pikemate ülesannete puhul mitme pöörde jooksul arutluskonteksti säilitamiseks on dokumenteeritud ka valik preserve_thinking.
Seetõttu sobib mudel ülesannetele, mille puhul on kasulik põhjalik mitmeastmeline analüüs, näiteks uurimistulemuste süntees, keerukad kodeerimisülesanded, planeerimine ja struktureeritud probleemide lahendamine. Arutlus võib aga pikendada vastamisaega ja suurendada arvutusressursi kulu, mistõttu võib mittearutlusrežiim olla sobivam lihtsa klassifitseerimise, eraldamise, ümberkirjutamise või tavapärase genereerimise puhul.
K-EXAONE 2.0 750B-A37B toetab tööriistade kutsumist OpenAI-laadsete ja muude tööriistade skeemide kaudu. Arendaja saab ühendada mudeli selliste funktsioonidega nagu andmebaasipäringud, otsingusüsteemid, kalkulaatorid, ettevõtte siseteenused või rakenduse juhtfunktsioonid. Tööriistade kutsumine tähendab, et mudel saab välise orkestreerimiskihi kaudu funktsioone soovitada või käivitada; see ei tähenda, et baasmudel sisaldaks iseseisvalt esimese osapoole veebiotsinguteenust. Esitatud spetsifikatsioonides on veebiotsing märgitud mittetoetatuks.
Mudel on mõeldud ka tarkvaraarenduseks ja kodeerimisabiks. Selle kasulikkus kodeerimisel tuleneb üldistest keele-, arutlus-, pika konteksti ja tööriistade kasutamise võimekusest, kuid esitatud uurimus ei paku standardiseeritud võrdlustulemust. Uurimuses toodud kodeerimisskoor on toimetuslik võrdlev hinnang, mitte teenusepakkuja avaldatud spetsifikatsioon.
Keeled ja toetatud modaalsused
Dokumenteeritud keeletugi hõlmab korea, inglise, hispaania, saksa, jaapani, vietnami, prantsuse, itaalia, poola ja portugali keelt. Korea keele oskus on eriti oluline mudeli positsioneerimisel LG AI Researchi mudelikataloogis, samas kui lisakeeled toetavad mitmekeelseid rakendusi ja keelteüleseid töövooge.
Esitatud spetsifikatsioonide kohaselt on K-EXAONE 2.0 750B-A37B teksti sisendiga ja teksti väljundiga mudel. Sellel puudub kontrollitud pildi-, heli-, video-, muusika-, manustamisvektorite või muu otsese mittetekstilise väljundi tugi. Uurimuses on pildi-, heli- ja videosisend samuti märgitud mittetoetatuks. Seetõttu ei tohiks seda segi ajada LG AI Researchi eraldiseisva visuaal-keelealase töö ega multimodaalse mudeliga, mis analüüsib otse visuaalse sisendina pilte ja dokumente.
Juurutamine ja API-juurdepääs
Peamine praktiline väljakutse on juurutamine. LG AI Research dokumenteerib hajutatud teeninduskonfiguratsioone, milles kasutatakse mitut NVIDIA H200 GPU-dega varustatud sõlme. Ametlik hoidla sisaldab SGLangi ja vLLM-iga seotud mudelipõhise toe integratsioonijuhiseid ning OpenAI-ga ühilduva kohaliku teenindamise näiteid.
OpenAI-ga ühilduv kohalik teenindamine kirjeldab liidese stiili, mitte hostitud OpenAI teenust ega tagatud ühilduvust iga standardse vLLM-i väljalaskega. Ametlikus hoidlas märgitakse, et DSparki teenindamist vLLM praegu ei toeta. Seetõttu peaksid organisatsioonid enne tootmisjuurutuse kavandamist kontrollima vajalikke harusid, mootoriversioone, mudelikoodi, paralleelsusseadeid ja riistvara.
Mudel ei sobi hästi ühe tarbijatele mõeldud GPU ega tavalise lauaarvuti juurutuseks. Kvantimine ja optimeeritud järeldusmootorid võivad riistvaranõudeid vähendada, kuid need ei muuda 750 miljardi parameetriga mudelit kergeks kohalikuks mudeliks. Praktikas sobib see mudel kõige paremini uurimisrühmadele, taristupakkujatele ja ettevõtetele, kellel on juurdepääs hajutatud kiirenditele või spetsialiseeritud hostitud järeldusmahule.
Hinnakujundus ja kasutuskulu
K-EXAONE-2.0-750B-A37B sisend- ega väljundmärgi ametlikku hinda ei tuvastatud. Mudelit esitletakse Apache License 2.0 alusel avaldatud avatud kaaludega mudelina, mitte mudelina, millel oleks selgelt avaldatud esimese osapoole hostitud API hinnakiri.
Avatud kaalud ei tähenda, et juurutamine oleks tasuta. Käitajad peavad arvestama GPU-de soetamise või rentimise, salvestusruumi, võrguühenduse, arenduse, elektri, seire ja mitme järelduseks saadaoleva kiirendi ülalhoidmise kuludega. Aktiivsete parameetrite arv võib võrreldes sama kogumahuga tiheda mudeliga parandada arvutustõhusust, kuid parameetrite koguarv ja hajutatud teenindamise nõuded jäävad oluliseks kuluteguriks.
Esitatud toimetuslikus hinnangus on mudeli kuluskoor 3 punkti 10-st ja kiirusskoor 7 punkti 10-st. Need on toimetuslikud võrdlevad hinnangud, mitte LG AI Researchi avaldatud mõõtmised või hinnangud. Dokumenteeritud MTP ja DSparki kiirendusväited võivad sobivates juurutustes kiirust parandada, kuid tegelik jõudlus sõltub riistvarast ja töökoormusest.
Peamised tugevused ja piirangud
Peamised tugevused
- 262 144 märgi suurune kontekstiaken pikkade dokumentide, otsingupõhiste töövoogude ja pikkade agendisessioonide jaoks.
- Kokku 750 miljardit parameetrit, millest iga järeldussammu ajal on aktiivsed 37 miljardit.
- Arutlus- ja mittearutlusrežiim, sealhulgas võimalus mõtlemine latentsusaja tähtsuse korral välja lülitada.
- Tööriistade kutsumine funktsioonipõhiste ja agendipõhiste rakenduste jaoks.
- Kümne keele tugi, sealhulgas korea, inglise, jaapani, saksa, hispaania ja portugali keel.
- Avatud kaalud Apache License 2.0 litsentsi alusel.
- Dokumenteeritud kohaliku OpenAI-ga ühilduva teenindamise ja spetsialiseeritud järeldusoptimeeringute tugi.
Olulised piirangud
- Juurutamine nõuab ulatuslikku hajutatud GPU-taristut ega ole mõeldud tavapärasele tarbijariistvarale.
- Täpse mudeli kohta ei tuvastatud kontrollitud hostitud API hinnastust.
- Tegu on ainult tekstimudeliga ning kontrollitud pildi-, heli- ega videosisendi või -väljundi tugi puudub.
- Mõned teenindusviisid sõltuvad mudelipõhistest integratsioonidest või harudest.
- Ametliku hoidla kohaselt ei toeta vLLM DSparki teenindamist praegu.
- Mudeli teadmiste lõppkuupäev on 2025. aasta teine kvartal, mistõttu ei tea see olemuslikult pärast seda perioodi toimunud sündmusi ega avaldatud teavet.
- Mudelikaart hoiatab, et väljundid võivad olla ebatäpsed, kallutatud, kahjulikud või praeguse teabega vastuolus.
Millal valida K-EXAONE 2.0 750B-A37B?
Vali see mudel siis, kui vajad avatud kaaludega süsteemi pika konteksti arutluseks, mitmekeelseks genereerimiseks, koreakeelseteks töödeks, kodeerimiseks, tööriistu kasutavateks agentideks või teaduslikuks juurutuseks ning suudad pakkuda hajutatud kiirenditaristut. See on eriti asjakohane siis, kui kontroll kohaliku juurutuse, mudelikaalude ja integratsiooniarhitektuuri üle on olulisem kui kohe kasutatav juurdepääs tarbijatele mõeldud teenusele.
Väga suur kontekstiaken, arutluse juhtimise võimalused ja funktsioonide kutsumine toetavad näiteks suurte tehniliste kogumite analüüsi, otsingu- ja ettevõttetööriistade koordineerimist, mahukate koodibaaside ülevaatamist või mitmeastmeliste uurimisagentide käitamist. Võimalus arutlus välja lülitada annab kasutajatele ka võimaluse vahetada osa põhjalikkusest lihtsamate päringute väiksema latentsusaja vastu.
Mõni muu valik võib olla sobivam, kui prioriteediks on väike kulu, lihtne hostitud juurdepääs, kiire vastamine tagasihoidlikul riistvaral, pildi- või helisisendi mõistmine või küps tarbijarakendus koos sisseehitatud otsingu- ja kontofunktsioonidega. Tavapärase vestluse, eraldamise või suuremahulise genereerimise puhul võib väiksem mudel pakkuda paremat kogukulu ja lihtsamat haldust. Pildi- või helisisendi jaoks on vajalik multimodaalne mudel. Avaldatud märgihinnastusega hostitud teenusepakkuja on eelistatav siis, kui organisatsioon ei soovi hallata hajutatud teeninduskeskkonda.
Üldhinnang
K-EXAONE-2.0-750B-A37B-d on kõige õigem käsitleda tipptasemel avatud kaaludega taristumudelina, mitte valmis vestlusrobotina. Kontrollitud spetsifikatsioonid viitavad süsteemile, mis on mõeldud väga pikkade kontekstide, mitmekeelsete tekstipõhiste töökoormuste, põhjaliku arutluse, kodeerimise ja agendipõhise tööriistakasutuse jaoks. Apache 2.0 litsents ja kohaliku teenindamise tugi võivad meeldida organisatsioonidele, kes vajavad juurutuse üle kontrolli.
Selle kompromissiks on märkimisväärne halduslik keerukus. Mudeli 750 miljardi parameetri suurune mastaap, mitme sõlmega GPU-nõuded, mittetäielik ühilduvus standardsete teeninduslahendustega ja avaldatud hostitud hinnastuse puudumine muudavad selle hindamise tavapärase API-mudeliga võrreldes keerukaks. Vajaliku taristuga meeskondadele pakub see laiaulatuslikku ja tehniliselt ambitsioonikat alust. Odavat, kiiret, multimodaalset või kohe kasutatavat juurdepääsu otsivatele kasutajatele on tõenäoliselt praktilisem väiksem või hostitud alternatiiv.