Mis on EXAONE-Deep-2.4B?
EXAONE-Deep-2.4B on LG AI Researchi välja töötatud avatud kaaludega teksti genereerimise mudel. Mudeli kanooniline identifikaator on LGAI-EXAONE/EXAONE-Deep-2.4B ning kaalud on saadaval Hugging Face'i ametlikus repositooriumis. See kuulub EXAONE Deepi mudeliperre koos suuremate 7,8B ja 32B variandiga, kuid 2,4B mudel on mõeldud suhteliselt väiksemate ressursivajadustega kasutuseks.
Mudel on EXAONE 3.5-2.4B-Instructi arutlusele keskenduv peenhäälestatud versioon. LG AI Research kirjeldab treeninguprotsessi sellisena, et see hõlmas juhendatud peenhäälestust, otsest eelistusoptimeerimist ja veebipõhist tugevdusõpet. Praktikas tähendab see, et mudel peaks enne vastuse andmist keerukate probleemide lahendamisele rohkem aega pühendama, eriti matemaatika, teaduse ja programmeerimise valdkonnas.
Tegemist ei ole tarbijatele mõeldud tellimusteenuse ega üldotstarbelise teenusepakkuja vestlusrobotiga. See on allalaaditav mudel, mida kasutajad saavad oma seadmetes käitada, võttes arvesse litsentsi ja olemasoleva riistvara võimalusi.
Koht EXAONE'i mudelivalikus
EXAONE Deepi seerias on EXAONE-Deep-2.4B kaasasoleva uurimuse põhjal väikseim avaldatud variant. Väiksem maht annab sellele suuremate arutlusmudelitega võrreldes praktilise kiiruse- ja juurutamiseelise, kuigi suuremad mudelid võivad keerukate või laiema ulatusega ülesannete jaoks pakkuda rohkem võimekust. LG AI Research soovitab igapäevaste juhiste järgimise ülesannete laiemaks kasutuseks EXAONE 3.5 Instructi mudeleid. See on oluline erinevus: EXAONE-Deep-2.4B on optimeeritud arutlemiseks, mitte EXAONE'i kataloogi kõige paindlikumaks assistendiks.
Mudelit tuleks eristada ka LG AI Researchi multimodaalsetest EXAONE'i väljalasetest. EXAONE-Deep-2.4B töötab ainult tekstiga ega paku piltide mõistmise või dokumentide visuaalse analüüsi funktsioone, mida seostatakse teenusepakkuja visioon-keele tööga.
Tehnilised näitajad ja piirangud
| Näitaja | Kontrollitud üksikasjad |
|---|---|
| Teenusepakkuja | LG AI Research |
| Mudelipere | EXAONE Deep |
| Mudeli suurus | Ligikaudu 2,4B parameetrit; ilma embedding'uteta umbes 2,14B |
| Arhitektuuri üksikasjad | 30 transformeri kihti, grupeeritud päringutega tähelepanu (grouped-query attention), 32 päringupäist ja 8 võtme-väärtuse pead |
| Sõnavara | 102 400 tokenit |
| Konteksti pikkus | 32 768 tokenit |
| Maksimaalne genereerimisseade | Dokumenteeritud kasutusnäites kuni 32 768 uut tokenit |
| Sisend | Tekst |
| Väljund | Tekst, sealhulgas arutluskäigud, kui mudeli juhiste kohaselt seda küsitakse |
| Kaalud | Allalaaditavad Hugging Face'ist |
| Litsents | EXAONE AI Model License Agreement 1.1 - NC |
32 768 tokeni suurune kontekstiaken on dokumenteeritud maksimaalne konteksti pikkus, kuid see ei tähenda, et igal kohalikul juurutusel oleks selle tõhusaks kasutamiseks piisavalt mälu. Tegelik kiirus ja kasutatav kontekst sõltuvad järeldusmootorist, arvulise täpsuse seadistusest, riistvarast ja operaatori valitud seadetest. Dokumenteeritud maksimum kuni 32 768 uut tokenit on genereerimisseade, mistõttu ei tohiks seda segi ajada samal ajal edastatava sisendi mahuga.
Arutlemine ja võrdlustestide tulemused
Arutlemine on mudeli peamine eesmärk. See on loodud mitmeastmeliste probleemide lahendamiseks, mitte üksnes lihtsale viipale lühikese vastuse ennustamiseks. LG AI Researchi soovitatud viipade kasutamise meetod hõlmab <thought> märgendit, mis annab märku arutlusele suunatud genereerimisest. Kaasasolevates mudeli märkustes soovitatakse vältida süsteemiviipasid ning alustada temperatuuri väärtusest 0,6 ja top-p väärtusest 0,95.
LG AI Research esitab EXAONE-Deep-2.4B kohta järgmised tulemused: MATH-500 testis 92,3 pass@1, AIME 2024 testis 52,5 pass@1, AIME 2025 testis 47,9 pass@1, GPQA Diamondi testis 54,3 ja LiveCodeBenchi testis 46,6. Need on teenusepakkuja esitatud võrdlustestide tulemused, mitte sõltumatud garantiid mudeli toimimise kohta kasutaja enda probleemidel. Teatatud andmetel edestas mudel loetletud matemaatika-, teadus- ja programmeerimisvõrdlustes mudelit DeepSeek-R1-Distill-Qwen-1.5B.
Algaja jaoks tähendab see praktilises mõttes, et mudel sobib paremini ülesanneteks, mis nõuavad vaheetappe, arvutusi, tõestusi, algoritmide kavandamist või koodi üle arutlemist, kui lihtsateks vestluslikeks vastusteks. Võrdlustestide tulemusi tuleks siiski käsitada suunavana, sest tulemusi võivad mõjutada viipade sõnastus, valimi võtmise seaded, hindamisversioonid ja riistvara.
Matemaatika, programmeerimine ja keelekasutus
Matemaatika ja programmeerimine on kõige selgemad sihtkasutused. Sobivate näidete hulka kuuluvad struktureeritud algebraülesande lahendamise palumine, matemaatilise lähenemise selgitamine, programmis oleva vea tuvastamine, väikese algoritmi genereerimine või programmeerimisülesande samm-sammuline lahendamine. Treeningu ja hindamise fookus muudab selle nende ülesannete jaoks sobivamaks kui väikese mudeli, mis on optimeeritud üksnes vestlusliku sujuvuse jaoks.
Mudel võib olla kasulik inglise ja korea keele katsetes ning kompaktsetes kakskeelsetes rakendustes, nagu näitavad kaasasolevad hindamismärkused. Uurimus ei määra siiski kindlaks täielikku keelekatvuse loendit ega garanteeri kõigis keeltes ühesugust kvaliteeti. Kasutajad peaksid testima just neid korea-, inglise- või segakeelseid töövooge, millest nad huvitatud on.
Arutluskäigud võivad muuta väljundi silumise või õppimise seisukohast informatiivsemaks, kuid võivad muuta vastused ka pikemaks ja aeglasemaks. Genereeritud selgitust ei tohiks pidada tõendiks, et iga vahepealne samm on õige. Mudelikaart hoiatab, et väljundid võivad sisaldada faktivigu, kallutatust, sobimatut sisu või aegunud teavet.
Modaalsused, tööriistad ja struktureeritud väljund
EXAONE-Deep-2.4B võtab vastu teksti ja genereerib teksti. See ei töötle algupäraselt pilte, heli ega videot ega genereeri mittetekstilist meediat. Seetõttu ei saa see fotot otse uurida, salvestist kuulata ega videot analüüsida, kui väline süsteem ei teisenda seda materjali esmalt tekstiks.
Kaasasolev uurimus ei kinnita selle mudeli puhul algupärast tööriistade kutsumist, funktsioonide kutsumist, veebotsingut, JSON-režiimi ega sisseehitatud koodi täitmise keskkonda. Arendaja võib mudeli potentsiaalselt paigutada suuremasse rakendusse, mis haldab tööriistu väliselt, kuid sel juhul oleks tegemist rakendustaseme integratsiooni, mitte kontrollitud mudelivõimekusega. Mudelil ei ole ka dokumenteeritud teadmiste lõppkuupäeva ning seda ei tohiks ilma välise teabe hankimise ja kontrollimiseta kasutada ajakohase teabe süsteemina.
Juurutamine, kiirus ja kulude kompromissid
LG AI Research dokumenteerib selle mudeli puhul kohalikku ja isemajutatavat juurutamist, mitte teenusepakkuja hallatavat tokenipõhist API-t. Ametlik kasutusviis toetab Transformersi kasutamist, kui kaugkood on lubatud, ning mudelit saab teenindada ka vLLM-i ja SGLangi abil. Täiendavate dokumenteeritud juurutusvõimaluste hulka kuuluvad TensorRT-LLM, llama.cpp, Ollama ja LM Studio. Voogedastusega genereerimine on saadaval standardsete genereerimisutiliitide, näiteks TextIteratorStreamer, kaudu.
Ametlik näide kasutab bfloat16-kaalusid, automaatset seadmete kaardistamist, Transformersit versiooniga 4.43.1 või uuemaga ning maksimaalset genereerimisseadet kuni 32 768 uue tokeni jaoks. Need üksikasjad on kasulik lähtekoht, kuid ei määra kindlaks üht kindlat riistvaranõuet ega garanteeritud vastamiskiirust. Kvantimine ja erinevad teenindusmootorid võivad vähendada mälunõudlust, samal ajal kui pikad arutluskäigud ja suured kontekstid võivad latentsust suurendada.
Kaasaolevas uurimuses ei ole kontrollitud korduvat tellimishinda ega esimese osapoole tokenipõhist API-hinda. Seega seisneb peamine rahaline eelis allalaaditavate kaalude kättesaadavuses kasutajatele, kellel on juba sobiv riistvara või taristu. Ise majutamisega kaasnevad endiselt arvutusvõimsuse, salvestusruumi, käitamise ja arenduse kulud. Juhukasutuse puhul võib see olla vähem ökonoomne kui majutatud API, kuid korduvate kohalike katsete, privaatsustundlike töövoogude või selliste juurutuste korral, kus välist lõpp-punkti ei soovita, võib see olla atraktiivsem.
Peamised tugevused ja piirangud
Tugevused
- Fookus arutlemisel: Mudel on loodud sihipäraselt põhjalikuks matemaatiliseks, teaduslikuks ja programmeerimisega seotud tööks.
- Kompaktne suurus: 2,4B klassi mudelit on suuremate arutlusmudelitega võrreldes kohalikes katsetes lihtsam kasutada, kuigi vajalikud ressursid sõltuvad täpsusest ja konteksti pikkusest.
- Avatud kaaludega juurdepääs: Arendajad saavad mudeli alla laadida ja valida mitme kohaliku teenindusraamistiku vahel, selle asemel et sõltuda dokumenteeritud majutatud API-st.
- Suur kontekst oma suuruse kohta: 32 768 tokeni suurune kontekstiaken on kasulik pikemate probleemipüstituste, koodi ja selgituste puhul.
- Läbipaistvad juurutusvõimalused: Dokumentatsioonis nimetatakse Transformersi, vLLM-i, SGLangi, TensorRT-LLM-i, llama.cpp-d, Ollamat ja LM Studiot.
Piirangud
- Ainult tekstiga töötamine: See ei suuda otse töödelda pildi-, heli- ega videosisendit.
- Arutlemine ei tähenda üldist juhiste järgimist: Laiahaardelise igapäevase assistendikäitumise jaoks suunab LG AI Research kasutajad hoopis EXAONE 3.5 Instructi mudelite poole.
- Kontrollitud sisseehitatud ajakohast teavet ei ole: Dokumenteeritud veebotsingu võimalus ja täpne teadmiste lõppkuupäev puuduvad.
- Kontrollitud algupärast tööriista- ega JSON-režiimi ei ole: Kaasasolev dokumentatsioon ei kinnita funktsioonide kutsumist, struktureeritud väljundit ega koodi täitmist mudeli funktsioonidena.
- Litsentsipiirangud: Enne ärilist kasutust või edasi levitamist tuleb tutvuda lepinguga EXAONE AI Model License Agreement 1.1 - NC.
- Ebakindel faktitäpsus: Nagu teistegi arutlusmudelite puhul, võivad ka pikemad selgitused sisaldada valesid samme või järeldusi.
Millal valida EXAONE-Deep-2.4B?
Vali see mudel, kui soovid allalaaditavat ja suhteliselt kompaktset arutlusmudelit kohalikuks matemaatikakasutuseks, programmeerimiskatseteks, õppetööks, uurimistööks või inglise ja korea keele kakskeelseks testimiseks. See on eriti sobiv siis, kui soovid vältida majutatud API-d, vajad juurutust uurida või kontrollida või kui suurem arutlusmudel oleks tarbetult kallis või aeglane.
Ebatavaliselt keerukate probleemide, keeruka tarkvaraarenduse või töövoogude puhul, kus maksimaalne vastuse kvaliteet on kohalikust tõhususest olulisem, võib sobivam olla suurem arutlusmudel. Laiemate assistendiülesannete, loomuliku vestluse ja tavapäraste juhiste järgimise jaoks on parem valik üldine juhiste järgi peenhäälestatud mudel. Piltide, heli või video töötlemiseks on vaja multimodaalset mudelit. Kui rakendus vajab ajakohast veebiteavet, hallatud skaleerimist või kontrollitud funktsioonide kutsumist, sobib paremini majutatud teenus koos teabe hankimise ja tööriistade integratsiooniga.
Kättesaadavus ja litsents
EXAONE-Deep-2.4B on kirjeldatud praeguse ja avalikult allalaaditavana ametlikus LGAI-EXAONE Hugging Face'i repositooriumis ning seda dokumenteeritakse ametlikus EXAONE Deepi GitHubi repositooriumis. Enne juurutamist peaksid kasutajad tutvuma lepinguga EXAONE AI Model License Agreement 1.1 - NC, kontrollima, kas kavandatud kasutus on lubatud, ning arvestama mudeli hoiatustega faktivigade, kallutatuse, sobimatu sisu ja aegunud teabe kohta.