EXAONE-Deep-7.8B

EXAONE-Deep-7.8B on LG AI Researchi avatud kaaludega põhjuslik keelemudel, mis on loodud spetsiaalselt palju arutlemist nõudvate tekstülesannete jaoks. Selle peamised kasutusalad on matemaatika, teadusülesannete lahendamine, programmeerimine ning kakskeelne inglise ja korea keeles teksti genereerimine. Mudelil on ligikaudu 7,8 miljardit parameetrit ehk ilma manusteta umbes 6,98 miljardit parameetrit. See on märksa väiksem kui paljud majutatud tipptasemel mudelid ja seetõttu praktilisem kohalikuks katsetamiseks.

Erinevalt tarbijatele mõeldud vestlusrobotist on EXAONE-Deep-7.8B eelkõige teadlastele ja arendajatele mõeldud mudeli kontrollpunkt. Selle saab alla laadida Hugging Face'ist ja seda saab käitada kohaliku järeldustarkvaraga, nagu Transformers, vLLM, SGLang, TensorRT-LLM, llama.cpp, Ollama ja LM Studio. See annab kasutajatele juurutamise üle kontrolli, kuid tähendab ka seda, et nad peavad ise tagama ühilduva riistvara, seadistama käituskeskkonna ning tegelema mudeli teenindamise ja turvalisusega.

Mis on EXAONE-Deep-7.8B?

EXAONE-Deep-7.8B on mudeli EXAONE-3.5-7.8B-Instruct arutlemisele spetsialiseeritud täiendhäälestus. LG AI Research treenis seda juhendatud täppishäälestuse, otsese eelistusoptimeerimise ja veebipõhise tugevdusõppe abil. Praktikas kohandati mudel nii, et see kulutaks mitmeastmelistele probleemidele rohkem ressursse, selle asemel et anda ainult lühikesi juhistele vastavaid vastuseid.

Mudel kuulub LG AI Researchi EXAONE'i perekonda, kuid selle roll on kitsam kui organisatsiooni laiematel multimodaalsetel ja ettevõtetele suunatud väljalasetel. EXAONE-Deep-7.8B on ainult tekstipõhine: see võtab vastu teksti ja väljastab teksti. See ei ole sobiv EXAONE'i mudel piltide mõistmiseks, dokumendipiltide töötlemiseks, visuaalseks arutlemiseks ega muude multimodaalsete töökoormuste jaoks.

Mudel on avalikult kättesaadav avatud kaaludega teadusmudelina. Mudelikaart ja hoidla sisaldavad peamist kasutusteavet, sealhulgas mudelifailid, vestlusmalli juhised, hindamisseaded ja toetatud juurutusviisid.

Põhispetsifikatsioonid ja piirangud

32 768 tokeni suurune kontekstiaken on piisavalt mahukas pikkade viipade, lähtekoodi, matemaatiliste tuletuskäikude ja mahukate dokumentide jaoks, kuigi tegelik kasutatav maht sõltub järelduskonfiguratsioonist ja olemasolevast mälust. Ka märgitud maksimaalne väljund on 32 768 tokenit, kuid nii pika vastuse genereerimine võib olla aeglane ja mälumahukas. Tavakasutuses on tõenäoliselt praktilisemad lühemad väljundipiirangud.

Ametlik konfiguratsioon määrab 32 kihti, 32 päringu-tähelepanu pead, kaheksa võtme-väärtuse pead ja 102 400 tokenist koosneva sõnavara. Grupeeritud päringu-tähelepanu kasutab vähem võtme-väärtuse päid kui päringupäid – see võib võrreldes mõne tavapärase tähelepanukonfiguratsiooniga vähendada järelduse mälunõudeid. Need on mudeli arhitektuuri üksikasjad, mitte garantii konkreetse riistvara saavutatava kiiruse kohta.

Arutlemine, matemaatika ja programmeerimine

Arutlemine on mudeli kõige iseloomulikum võimekus. LG AI Research teatab muu hulgas järgmised tulemused: MATH-500 tulemuseks 94,8, AIME 2024 pass@1 tulemuseks 70,0, AIME 2024 consensus@64 tulemuseks 83,3, AIME 2025 pass@1 tulemuseks 59,6, AIME 2025 consensus@64 tulemuseks 76,7, CSAT Math 2025 tulemuseks 89,9, GPQA Diamond tulemuseks 62,6 ja LiveCodeBenchi tulemuseks 55,2.

Need tulemused viitavad mudelile, mis on mõeldud mitmeastmeliste matemaatika- ja teadusülesannete jaoks, mitte lihtsalt vestluslikuks teksti lõpetamiseks. Pass@1 mõõdab, kas esimene genereeritud vastus on õige, samas kui consensus@64 kajastab tulemust olukorras, kus genereeritakse palju näidiseid ja valitakse kõige järjekindlam vastus. Neid mõõdikuid ei tohiks käsitleda samaväärsetena ning võrdlustulemused ei taga sama jõudlust konkreetse viiba puhul.

Programmeerimise puhul toetab teatatud LiveCodeBenchi tulemus mudeli kasutamist koodi genereerimise katsetes, algoritmiülesannete lahendamisel, silumisabilise rollis ja programmiloogika üle arutlemise hindamisel. Esitatud spetsifikatsioonide järgi ei ole tööriistade kasutamine siiski toetatud. Seetõttu tuleks mudelit käsitleda tekstipõhise programmeerimisabilisena, mitte agendina, mis suudab iseseisvalt koodi käivitada, hoidlat uurida, väliseid funktsioone kutsuda või veebis sirvida.

LG AI Researchi soovitatud viipade juhised on arutlemisel põhinevate töövoogude puhul eriti olulised. Ametlikud juhised soovitavad kasutada kaasasolevat vestlusmalli, alustada arutlemist märgendiga <thought>, vältida süsteemiviipasid ning kasutada hindamisel temperatuuri 0,6 ja väärtust top_p 0,95. Neid soovitusi tuleks järgida, kui soovitakse teatatud käitumist korrata. Need on pakkuja juhised, mitte universaalsed nõuded iga juurutuse jaoks.

Juurutamine ja kasutamine arenduses

EXAONE-Deep-7.8B on mõeldud kohalikuks või enda hallatavas keskkonnas toimuvaks järelduseks. Esitatud uuringu kohaselt toetatud juurutusviisid on Hugging Face Transformers, vLLM, SGLang, TensorRT-LLM, llama.cpp, Ollama ja LM Studio. Valik sõltub sellest, kas kasutaja eelistab teadustöövoogu, suure läbilaskevõimega serverit, laia riistvaratuge või lihtsamat töölaualiidest.

Transformers on tavapärane lähtekoht teadlastele, kes soovivad mudeli konfiguratsioonile ja genereerimisseadetele vahetult ligi pääseda. vLLM ja SGLang on asjakohasemad siis, kui mudelit teenindatakse mitme päringu jaoks või integreeritakse rakendusse. llama.cpp, Ollama ja LM Studio võivad muuta kohaliku katsetamise lihtsamaks, eeldusel et saadaval on ühilduv mudeliteisendus ja selle kvaliteet on piisav.

Esitatud spetsifikatsiooni järgi toetab mudel voogedastust ning toetatud on ka täppishäälestus. Need märked kirjeldavad saadaolevat mudelit ja juurutusökosüsteemi, mitte majutatud teenuse garantiid. Kasutajad peavad siiski kontrollima täpset käituskeskkonda, kvantimist, riistvara ja kavandatavat täppishäälestusmeetodit.

EXAONE-Deep-7.8B jaoks ei ole tuvastatud ametlikku majutatud API-tunnuse hinda. Mudelit ei tohiks esitleda tavalise kuumaksega paketi ega esimese osapoole kasutuspõhise maksega lõpp-punktina. Hallatud majutust vajav meeskond peab korraldama oma taristu või kasutama kolmanda osapoole teenust, kui see mudelit ja selle litsentsi toetab.

Modaalsused ja funktsioonide piirid

Mudelil on ainult tekstisisend ja tekstiväljund. See ei toeta piltide, heli ega video sisendina kasutamist; samuti ei genereeri see pilte, heli ega videot ega loo esitatud mudelikirje kohaselt manuseid või muud mittetekstilist väljundit.

Samuti puuduvad kontrollitud sisseehitatud veeb otsing, juurdepääs reaalajaandmetele, struktureeritud väljundi režiim, partiiliidese tugi ning funktsioonide või tööriistade kutsumine. Seetõttu ei sobi see valmis veebiteabega põhjendatud assistendiks ega autonoomseks töövooagendiks. Arendajad võivad luua ümbritseva rakendusloogika, kuid mudelilt ei tohiks eeldada tööriistade kutsumist ega skeemipiirangutega JSON-i usaldusväärset tagastamist.

LG AI Research ei ole täpsustanud treeningandmete teadmiste lõppkuupäeva. Mudeli dokumentatsioon hoiatab, et vastused ei pruugi kajastada kõige värskemat teavet. Isegi kui mudel annab enesekindla vastuse, tuleks ajakohaseid fakte kontrollida autoriteetsetest allikatest, mitte järeldada neid mudeli ladusa väljenduse põhjal.

Litsents, maksumus ja äriline kasutamine

EXAONE AI Model License Agreement 1.1 - NC annab õigused teaduslikuks kasutamiseks ja piirab ärilist kasutamist, välja arvatud juhul, kui LG AI Research annab eraldi loa. See on kõige olulisem praktiline erinevus mudeli kaalude allalaadimise ja nende ärilises tootes kasutamise vahel. Ettevõte peaks enne mudeli rakendamist tasulistes teenustes, ettevõttesisestes äriprotsessides või muudes kasutusviisides, millele piirang võib kohalduda, tutvuma täieliku litsentsiga ja hankima vajaliku loa.

Kaalud on teaduslikuks kasutamiseks Hugging Face'i kaudu saadaval, kuid tasuta juurdepääs failidele ei tähenda piiramatut ärilist kasutust. Selle mudeli jaoks ei ole kontrollitud pakkuja avaldatud sisend- ega väljundhinda, mistõttu sõltub maksumus peamiselt riistvarast, elektrist, arendusajast, salvestusruumist ja võimalikust kolmanda osapoole majutusest.

Peamised tugevused ja piirangud

Tugevused

• Spetsialiseerumine arutlemisele: Mudel on spetsiaalselt optimeeritud mahukate matemaatika-, teadus- ja programmeerimisülesannete jaoks.
• Kohalik kontroll: Avatud kaalud võimaldavad teadustööd, hindamist ja enda hallatavas keskkonnas katsetamist, sõltumata ühest majutatud lõpp-punktist.
• Mõõdukas mudeli suurus: Ligikaudu 7,8 miljardi parameetriga on seda kohaliku juurutuse puhul lihtsam kasutada kui palju suuremaid arutlusmudeleid, kuigi täpsed riistvaranõuded varieeruvad.
• Korea ja inglise keele tugi: Mudel sobib kakskeelseteks uuringuteks ja korea keeles teksti käsitlevateks rakendusteks.
• Lai käituskeskkondade ühilduvus: Dokumenteeritud ökosüsteem hõlmab Transformersit, vLLM-i, SGLangi, TensorRT-LLM-i, llama.cpp-d, Ollamat ja LM Studiot.

Piirangud

• Mitteäriline litsents: Äriline kasutamine nõuab eraldi luba.
• Ainult tekstipõhine töö: Mudel ei suuda otse analüüsida pilte ega luua meediat.
• Sisseehitatud tööriistade puudumine: Veebiotsing, koodi käivitamine, funktsioonide kutsumine ja juurdepääs reaalajaandmetele ei ole kontrollitud võimekused.
• Enda hallatava majutuse vastutus: Kasutajad peavad ise haldama riistvara, käituskeskkonna seadistust, skaleerimist, seiret ja turvalisust.
• Täpsustamata teadmiste lõppkuupäev: Mudelile ei tohiks ajakohase teabe puhul loota ilma välise kontrollita.
• Arutlemise latentsus: Mahukas genereerimine võib olla aeglasem ja kulukam kui väiksema arutluseta mudeli käitamine, eriti pika sisemise arutluse või mitme näidise genereerimisel.

Millal valida EXAONE-Deep-7.8B?

Vali EXAONE-Deep-7.8B siis, kui prioriteediks on matemaatilise arutlemise, teadusküsimuste, programmeerimise hindamise või inglise ja korea keeles teksti genereerimise kohalik uurimine. See sobib eriti hästi meeskonnale, kes soovib uurida mudeli käitumist, korrata avaldatud võrdlusteste, katsetada järeldusseadeid või hoida viipasid ja väljundeid enda hallatavas taristus.

See on mõistlik valik ka siis, kui prognoositav juurdepääs avatud kaaludele on olulisem kui viimistletud kasutajaliides. Väiksem parameetrite arv võib muuta katsetamise palju suurema tipptasemel mudeli kasutamisest praktilisemaks, kuigi tegelik kiirus ja mälukasutus sõltuvad täpsusest, kvantimisest, partiisuurusest ja riistvarast. Selle profiili jaoks esitatud toimetuslik hinnang annab mudelile arutlemise ja programmeerimise sobivuse eest kõrge ning kulupositsiooni eest suuremate mudelitega võrreldes soodsa hinnangu; need hinded on võrdlevad toimetuslikud hinnangud, mitte LG AI Researchi mõõtmistulemused.

Teistsugune mudel on sobivam siis, kui rakendus vajab piltide või dokumentide mõistmist, häält, veebiotsingut, ajakohast teavet, tööriistade kutsumist, majutatud skaleerimist või õigust mudelit äriliselt edasi levitada. Tarbijatele mõeldud assistendi jaoks võib eelistada ka üldotstarbelist majutatud mudelit, sest EXAONE-Deep-7.8B ei paku küpset tellimustoodet ega dokumenteeritud esimese osapoole API-kogemust. LG AI Researchi laiemas EXAONE'i arendustöös täidavad uuemad multimodaalsed väljalasked teistsuguseid eesmärke, kuid neid ei tohiks pidada selle ainult tekstipõhise arutlusmudeliga samaväärseks.

Praktiline hinnang

EXAONE-Deep-7.8B-d on kõige mõistlikum käsitleda keskendunud teadusmudelina, mitte universaalse tehisintellektiteenusena. Selle tugevaim kasutusjuht on kohalik tekstipõhine arutlemine matemaatika, teaduse ja koodi üle, eriti kasutajate jaoks, kes hindavad avatud kaalusid ja korea keele tuge. 32 768 tokeni suurune kontekst ja lai kohalike käituskeskkondade tugi muudavad selle tõsiseks katsetamiseks kasulikuks.

Kompromissid on sama selged: mudelil puudub kontrollitud majutatud API hinnastus, natiivsed multimodaalsed ja tööriistafunktsioonid, märgitud teadmiste lõppkuupäev ning selle litsents on mitteäriline. Need piirangud muudavad mudeli tugevaks kandidaadiks teadustööks ja enda hallatavas keskkonnas hindamiseks, kuid kehvaks vaikevalikuks ärilisele assistendile, reaalajas teabetoodetele või multimodaalsele rakendusele ilma täiendava litsentsi ja toetava taristuta.