EXAONE-3.5-2.4B-Instruct

Mis on EXAONE-3.5-2.4B-Instruct?

EXAONE-3.5-2.4B-Instruct on LG AI Researchi välja töötatud juhiste järgi häälestatud põhjuslik keelemudel. Juhiste järgi häälestamine tähendab, et mudelit on treenitud vastama loomulikus keeles päringutele, mistõttu sobib see baas-tekstikomple­teerimismudelist paremini näiteks küsimustele vastamiseks, teksti ümberkirjutamiseks, dokumentide kokkuvõtete koostamiseks, sisu klassifitseerimiseks ja struktureeritud viipade järgimiseks.

Mudel kuulub EXAONE 3.5 mudeliperre ning on selle teatatud 2.4B, 7.8B ja 32B variandi hulgast väikseim. LG AI Research suunab selle versiooni väikestele või piiratud ressurssidega seadmetele. Praktikas tähendab see, et suuremate sama pere mudelitega võrreldes loobutakse osast võimekusest, et vähendada riistvaranõudeid ja võimaldada potentsiaalselt kiiremat kohalikku järeldamist.

Mudel avaldati 9. detsembril 2024. See on ametlike mudelijagamise kanalite, sealhulgas Hugging Face'i kaudu allalaaditavate avatud kaaludena saadaval. See erineb tarbijatele mõeldud vestlusroboti või tavapärase hostitud API kasutamisest: kasutaja või organisatsioon vastutab järelduskeskkonna valimise, mudeli seadistamise ja litsentsi järgimise eest.

Võimekus ja tehniline profiil

EXAONE-3.5-2.4B-Instruct on mõeldud inglise ja korea keeles kakskeelse teksti genereerimiseks. Dokumenteeritud maksimaalne konteksti pikkus on 32 768 tokenit. Kontekstiaken näitab, kui palju sisendit ja vestluse ajalugu saab mudel ühe päringu käigus arvesse võtta; see ei garanteeri, et iga pikka dokumenti mõistetakse algusest lõpuni võrdselt hästi.

Mudelikaardi kohaselt on mudelil 30 kihti, rühmitatud päringutega tähelepanu (grouped-query attention), milles on 32 päringupead ja 8 võtme-väärtuse pead, 102 400 ühikuga sõnastik ning seotud sõnaembeddingud. Rühmitatud päringutega tähelepanu on arhitektuuriline lähenemisviis, mis võib genereerimise ajal vähendada mälukasutust võrreldes olukorraga, kus iga päringupea jaoks hoitakse eraldi võtme-väärtuse päid. Need üksikasjad on juurutusinseneridele kasulikud, kuid ei taga iseenesest kindlat kiirust konkreetses arvutis.

Modaalsused ja platvormifunktsioonid

See mudel töötab ainult tekstiga. See võtab vastu teksti ja genereerib teksti; algupäraselt ei töötle see pilte, heli ega videot ega loo mittetekstilist meediat. Seetõttu tuleks seda hinnata kompaktse keelemudelina, mitte visuaal-keelelise või üldise multimodaalse süsteemina.

Selle lehe jaoks esitatud autoriteetne mudelipõhine dokumentatsioon ei kinnita veebotsingu, funktsioonikutsete, tööriistade kasutamise, jõustatud JSON-režiimi, struktureeritud väljundi tagatiste, pakktöötluse, viipade vahemällu salvestamise ega mudelipõhise peenhäälestuse töövoo olemasolu. Arendaja võib suuta osa neist ülesannetest lahendada rakenduse ümbritseva loogika abil, kuid see ei muudaks neid EXAONE-3.5-2.4B-Instructi algupärasteks ega kinnitatud võimeteks.

Esitatud allikates ei ole dokumenteeritud ka maksimaalset väljundtokenite arvu. 32 768 tokeni pikkust konteksti ei tohiks tõlgendada eraldi lubadusena, et mudel suudab genereerida 32 768 väljundtokenit. Tegelikud genereerimispiirangud sõltuvad järeldusraamistikust, saadaolevast mälust ja päringusse lisatud sisendi mahust.

Jõudlus, arutlusvõime ja programmeerimine

LG AI Research esitab mudeli kohta järgmised võrdlustulemused: MT-Bench 7,81, LiveBench 33,0, Arena-Hard 48,2, AlpacaEval 37,1, IFEval 73,6, KoMT-Bench 7,24 ja LogicKor 8,51. Need on teenusepakkuja avaldatud võrdlusmaterjalist pärinevad tulemused. Võrdlusskoorid sõltuvad testi ülesehitusest, viipadest, hindajatest ja võrdlusmudelitest, mistõttu ei tohiks neid käsitleda konkreetse rakenduse jõudluse universaalse prognoosina.

Mudeli juhiste järgi häälestamine ja kakskeelne tugi muudavad selle sobivaks tavapärasteks arutlusülesanneteks, näiteks teabe väljavõtmiseks, esitatud teksti võrdlemiseks, mitmeastmeliste juhiste järgimiseks ja lühikeste selgituste koostamiseks. Samas on sellel märksa vähem parameetreid kui EXAONE 3.5 suurematel variantidel. Esitatud hinnangus liigitatakse selle arutlusvõime mõõdukaks, mitte tipptasemel võimekuseks, ning programmeerimisvõimekus piiratud kuni mõõdukaks. See võib olla kasulik koodi selgitamiseks, lihtsaks genereerimiseks ja teisendamiseks ning kergemaks programmeerimisabiks, kuid nõudlik tarkvaraarendus või keeruline arutlemine võib saada suuremast mudelist rohkem kasu.

Mudeliga kaasas olevas toimetuslikus hinnangus antakse arutlusvõimele hindeks 5 punkti 10-st, programmeerimisvõimele 4 punkti 10-st, kiirusele 8 punkti 10-st ja kulule 9 punkti 10-st. Need on toimetuslikud võrdlevad hinnangud, mitte LG AI Researchi avaldatud tehnilised näitajad. Kõrged kiiruse- ja kuluhinnangud kajastavad mudeli väikest mahtu ning allalaaditavat kohalikuks juurutamiseks mõeldud vormi, kuid tegelikud tulemused varieeruvad sõltuvalt kvantimisest, riistvarast, pakisuurusest ja teenindustarkvarast.

Juurutusvõimalused ja litsents

Ametlikud juhised toetavad mudeli laadimist Transformersiga ning pakuvad juurutusjuhiseid vLLM-i, SGLang-i, TensorRT-LLM-i, llama.cpp ja Ollama jaoks. Kvantiseeritud AWQ ja GGUF-i variandid on saadaval EXAONE 3.5 mudelikogus. Kvantimine vähendab mudeli salvestamisel või käitamisel kasutatavat arvulist täpsust ja võib vähendada mälunõudeid, kuid sellega võib kaasneda kompromiss kvaliteedi või ühilduvuse osas.

Ametlik litsents on EXAONE AI Model License Agreement 1.1 - NC. Esitatud uuringu kohaselt lubab see teadustöös kasutamist, kuid keelab ärilise kasutamise, kui eraldi ärilitsentsi ei ole saadud. See piirang on juurutusotsuste puhul keskse tähtsusega: kaalude allalaadimine ei anna automaatselt luba mudeli lisamiseks tasulisse tootesse, kommertsteenusesse või äriprotsessi.

Selle konkreetse mudeli ametlikku hostitud API-hinda ei ole kinnitatud. Praktiline kulu sõltub seega riistvarast, pilveinstantsist, järeldusraamistikust ja kaalude käitamiseks kasutatavast töökorraldusest. Organisatsioonid peaksid enne kvantiseeritud või muudetud versiooni juurutamist tutvuma ka litsentsi ja muude kohaldatavate tingimustega.

Peamised tugevused ja piirangud

Tugevused

• Kompaktne juurutusprofiil: Väiksem maht muudab selle suuremate keelemudelitega võrreldes sobivamaks kohalikuks järeldamiseks ja piiratud ressurssidega keskkondades kasutamiseks.
• Inglise ja korea keele tugi: See on spetsiaalselt loodud kakskeelse teksti genereerimiseks, mis võib olla väärtuslik tõlkelähedastes töövoogudes, kakskeelsetes assistentides, ümberkirjutamisel ja koreakeelsetes rakendustes.
• Pikk kontekst oma suuruse kohta: 32 768 tokeni pikkune kontekstiaken toetab mahukaid viipasid ja dokumente, arvestades kasutatava käituskeskkonna kvaliteedi- ja mälupiiranguid.
• Mitu juurutusviisi: Ametlikes juurutusjuhistes nimetatakse Transformersit, vLLM-i, SGLang-i, TensorRT-LLM-i, llama.cpp-d ja Ollamat ning saadaval on AWQ ja GGUF-i variandid.
• Kohalik kontroll: Allalaaditavad kaalud võivad toetada rakendusi, mis vajavad kohalikku või asutusesisest töötlemist ega soovi saata iga viipa kolmanda osapoole hostitud lõpp-punkti.

Piirangud

• Teadustööle suunatud litsents: Äriliseks kasutamiseks on esitatud EXAONE AI Model License Agreement 1.1 - NC tõlgenduse kohaselt vaja eraldi luba.
• Ainult tekstiga töötamine: Mudel ei suuda algupäraselt mõista pilte, heli ega videot.
• Kinnitatud hostitud API puudub: Selle konkreetse mudeli ametlikku hostitud API-hinda ega laiaulatuslikku esimese osapoole API-pakkumist ei ole kinnitatud.
• Dokumenteeritud algupärased tööriistad puuduvad: Veebiotsingut, funktsioonikutseid, JSON-režiimi, struktureeritud väljundi jõustamist, pakktöötlust, vahemällu salvestamist ega mudelipõhist peenhäälestuse töövoogu ei ole kinnitatud.
• Piiratum võimekuse lagi: 2.4B-klassi mudel sobib paremini lihtsamate ülesannete kui nõudliku arutlemise, keeruka programmeerimise või palju teadmisi nõudvate töökoormuste jaoks.
• Aegunud teabe risk: LG AI Research hoiatab, et vastused võivad olla ebatäpsed, kallutatud, kahjulikud või aegunud. Praegusele teabele juurdepääsu võimaldavat veebotsingu võimekust ei ole dokumenteeritud.

Parimad kasutusjuhud

EXAONE-3.5-2.4B-Instruct on mõistlik valik, kui rakendus vajab suhteliselt väikest kakskeelset tekstimudelit ja suudab järeldamist kohalikult käitada. Sobivad näited on järgmised:

• inglise ja korea keeles küsimustele vastamine esitatud teabe põhjal
• sisemise või kasutaja esitatud teksti kokkuvõtete koostamine ja ümberkirjutamine
• teksti klassifitseerimine ja kerged sisu suunamise töövood
• lühikeste vastuste, kirjelduste või kakskeelse suhtluse kavandite koostamine
• kohalikud katsed piiratud ressurssidega seadmetes
• avatud kaaludega keelemudelitega seotud teadus- ja õppeprojektid
• privaatsed dokumenditöötluse prototüübid, mille puhul eelistatakse kohalikku käitamist

Tootmiskasutuse korral peaksid arendajad mudelit katsetama tüüpiliste korea- ja ingliskeelsete viipadega, mõõtma kavandatud riistvaral latentsust ja mälukasutust ning lisama rakenduse tasandil valideerimise. Mudelile ei tohiks tugineda kui praeguste faktide autoriteetsele allikale.

Millal seda mudelit valida?

Vali EXAONE-3.5-2.4B-Instruct siis, kui kompaktne suurus, kohalik juurutamine, kakskeelne inglise ja korea keeles genereerimine ning teadustööks kasutamise võimalus on tähtsamad kui maksimaalne arutlus- või programmeerimisvõimekus. See on eriti atraktiivne katsetes, kus hostitud API-d pole vaja ja litsents lubab kavandatud mitteärilist kasutust.

Suurem mudel on tõenäoliselt sobivam keerukaks mitmeastmeliseks arutlemiseks, raskete programmeerimisülesannete, suure mõjuga analüüsi või töökoormuste jaoks, mille puhul vastuse kvaliteet on mälukasutusest ja järeldamise tõhususest olulisem. EXAONE 3.5 pere 7.8B või 32B variandid võivad pakkuda suuremat võimekust suuremate ressursinõuete hinnaga, kuigi esitatud uuring ei sisalda iga ülesandetüübi kohta otsest ja täielikku võrdlusanalüüsi.

Kui vaja on piltide, heli või video mõistmist, tuleks selle asemel valida multimodaalne mudel. Hostitud kommertsmudel võib olla parem valik ka siis, kui organisatsioon vajab dokumenteeritud API-d, hallatud skaleerimist, ajakohase teabe tööriistu, jõustatud struktureeritud väljundit või selgemaid ärilise teenuse tingimusi. EXAONE-3.5-2.4B-Instructi eelis on kitsam ja praktilisem: see on väike, kakskeelne ja allalaaditav tekstimudel kohalikuks ning teadustööle suunatud kasutuseks.