Mis on EXAONE-3.5-7.8B-Instruct?
EXAONE-3.5-7.8B-Instruct on LG AI Researchi juhiste järgi häälestatud ainult dekooderiga Transformer-keelemudel. Juhiste järgi häälestamine tähendab, et mudelit on kohandatud kasutajate päringutele vastama, mitte ainult järgmise tekstiosa ennustama. Praktikas saab seda kasutada vestlusvastuste koostamiseks, kokkuvõtete tegemiseks, tõlkimiseks, dokumentide kohta küsimustele vastamiseks, koodiabilise ja matemaatikaülesannete lahendamise vahendina.
Mudel on EXAONE 3.5 perekonna 7,8 miljardi parameetriga versioon. Perekonda kuuluvad ka 2,4 miljardi ja 32 miljardi parameetriga variandid. 7,8B mudel paikneb nende vahel: paljude nõudlike ülesannete puhul on see väikseimast pereliikmest märgatavalt võimekam, kuid seda on siiski praktilisem kohapeal kasutusele võtta kui 32B mudelit. Turunduses toodud parameetrite arv on 7,8 miljardit; ametlik mudelikaart teatab manustamiskihte arvestamata 6,98 miljardist parameetrist.
LG AI Research avaldas EXAONE 3.5 9. detsembril 2024. Täpset mudelit levitatakse avatud kaaludena ametlikul Hugging Face'i mudelikaardil ja EXAONE 3.5 repositooriumis.
Põhiandmed
| Spetsifikatsioon | Kontrollitud üksikasjad |
|---|---|
| Pakkuja | LG AI Research |
| Mudelite perekond | EXAONE 3.5 |
| Mudeli tüüp | Juhiste järgi häälestatud ainult dekooderiga keelemudel |
| Parameetrid | Turunduses 7,8B; manustamiskihte arvestamata 6,98B |
| Konteksti pikkus | 32 768 tokenit |
| keeled | Inglise ja korea |
| Arhitektuuri üksikasjad | 32 kihti, grupeeritud päringutega tähelepanu, 32 päringupead, 8 võtme-väärtuse pead |
| Sõnavara | 102 400 tokenit |
| Sisend ja väljund | Tekstisisend ja teksti genereerimine |
| Kättesaadavus | Allalaaditavad avatud kaalud teadustööks |
| Ametlik tokenipõhine hind | Selle täpse mudeli kohta ei ole tuvastatud |
32 768 tokeni suurune kontekstiaken on kaasasolevates ametlikes materjalides märgitud maksimaalne konteksti pikkus. Kontekstiaken hõlmab mudelile edastatud teksti ja päringu käigus genereeritud teksti, sõltuvalt käituskeskkonna ja rakenduse seadistusest. Uurimismaterjalides ei täpsustata eraldi maksimaalset väljundtokenite piirangut, mistõttu ei tohiks eeldada sõltumatut väljundi ülempiiri.
Keele- ja ülesandevõimekus
EXAONE-3.5-7.8B-Instruct on peamiselt kakskeelne inglise-korea mudel. See muudab selle eriti asjakohaseks rakendustes, kus on vaja koreakeelset suhtlust, korea-inglise tõlget või töövooge, milles kasutajad ja dokumendid vahetavad keelt. Mudel saab hakkama ka ainult ingliskeelsete ülesannetega, kuid selle kõige iseloomulikum eripära on kakskeelse toe ja kohapealse kasutuselevõtu kombinatsioon.
Mudelit hinnati juhiste järgimise, pika konteksti mõistmise, matemaatika, programmeerimise ja üldteadmiste valdkonnas. Need hindamiskategooriad näitavad kavandatud kasutusviise, kuid neid ei tohiks käsitleda konkreetse täpsustaseme garantiina. Selle lehe jaoks esitatud uurimismaterjalid ei sisalda täielikku võrdlustabelit ning tegelik jõudlus sõltub viipade koostamisest, keelest, kvantimisest, käituskeskkonnast ja ülesande keerukusest.
Pika konteksti kasutamine dokumentidega
32K kontekstiaken võimaldab rakendusel edastada ühe päringuga mahukaid aruandeid, stenogramme, poliitikadokumente või otsingu käigus leitud tekstilõike. Sobivate ülesannete hulka kuuluvad kokkuvõtete tegemine, dokumentide kohta küsimustele vastamine, pika teksti põhjal teabe eraldamine ja aruande osade võrdlemine. Mudel ei hangi iseseisvalt ajakohaseid dokumente ega sirvi veebi. Otsing, andmete hankimine, dokumentide importimine ja viidete haldamine tuleb lisada ümbritsevasse rakendusse.
Programmeerimine ja matemaatika
EXAONE-3.5-7.8B-Instruct sobib koodi genereerimiseks ja selgitamiseks, silumisabiks ning matemaatikaküsimustele vastamiseks. Selle suhteliselt kompaktne suurus võib muuta katsetamise suuremast mudelist lihtsamaks, eriti juhul, kui meeskond soovib järelduste tegemist hoida kohalikus või privaatses taristus. Genereeritud koodi ja arvutusi tuleb siiski testida ja kontrollida; mudelit ei tohiks käsitleda kompilaatori, tõestussüsteemi ega ohutuskriitilise kalkulaatorina.
Kasutuselevõtu ja järelduste tegemise võimalused
Mudel on mõeldud kasutajatele, kes soovivad järelduste tegemise keskkonda ise hallata. Ametlikud materjalid sisaldavad näiteid Hugging Face Transformersi jaoks ning toetavad kasutuselevõttu vLLM-i ja SGLangi abil. Saadaval on ka kvanditud AWQ- ja GGUF-variandid, mis võimaldavad kasutada mudelit llama.cpp, Ollama, LM Studio ja teiste ühilduvate kohalike käituskeskkondadega.
Lihtsustatult öeldes salvestab kvantimine mudeli kaalud väiksema arvulise täpsusega, et vähendada mälukasutust. See võib muuta mudeli olemasoleval riistvaral lihtsamini käivitatavaks, kuid täpne mälunõue sõltub täpsusest, konteksti pikkusest, pakisuurusest ja käituskeskkonna seadetest. Kvantimine võib mõjutada ka väljundi kvaliteeti või kiirust. Uurimismaterjalides ei täpsustata iga konfiguratsiooni jaoks üht kindlat riistvaranõuet, mistõttu tuleks kasutuselevõttu kavandada valitud kontrollpunkti ja järeldusmootori, mitte ainult parameetrite arvu põhjal.
Kohapealne kasutuselevõtt võib olla kasulik privaatsete dokumentide töötlemisel, siseeksperimentides ja rakendustes, mis ei saa saata viipasid kolmanda osapoole majutatavasse teenusesse. Samuti annab see kasutajale suurema operatiivse vastutuse: juurutusmeeskond peab haldama riistvara, uuendusi, juurdepääsu kontrolli, seiret, viipade töötlemist ja mudeli turvalisust.
Modaalsused, tööriistad ja arutlusvõime
Ametlik EXAONE-3.5-7.8B-Instructi väljalase on ainult tekstipõhine. See võtab vastu teksti ja genereerib teksti; see ei võta algupäraselt vastu pilte, heli ega videot ega loo neid meediatüüpe otse. Seetõttu ei tohiks seda segi ajada multimodaalsete EXAONE'i väljalasetega ega eraldi visuaal-keele süsteemiga.
Esitatud dokumentatsioonis ei tuvastata selle täpse mudeli puhul algupärast tööriistade kutsumist, funktsioonide kutsumist, jõustatud JSON-i või struktureeritud väljundi režiimi, pakkuja majutatavat veebiotsingut ega sisseehitatud koodi täitmist. Rakendus võib mudelit täiendada otsingu, tööriistade, valideerijate või struktureeritud viipade skeemiga, kuid need funktsioonid kuuluksid ümbritsevasse süsteemi, mitte mudeli kinnitatud algupäraste võimete hulka.
Siin tuleks arutlusvõimet mõista kui mudeli oskust töötada läbi juhiseid, matemaatika- ja programmeerimisülesandeid ning pikki dokumente. Esitatud andmebaas annab arutlusvõime hindeks 7 punkti 10-st, kuid see on toimetuslik hinnang, mitte LG AI Researchi avaldatud tulemus. Mudel võib olla praktiline valik tavapäraste analüütiliste ülesannete jaoks, kuid parimat võimalikku arutlusjõudlust otsivad kasutajad peaksid seda võrdlema suuremate või spetsialiseeritumate alternatiividega.
Hinnastus ja litsents
EXAONE-3.5-7.8B-Instructi jaoks ei tuvastatud ametlikku pakkuja majutatavat sisend- ega väljundtokeni hinda. Kuna mudelit levitatakse allalaaditavate kaaludena, ei esitata otsest tarkvarakulu tavapärase korduva tellimuse või API-tasuna. Selle käitamisega kaasnevad siiski taristukulud riistvarale, majutusele, elektrile, salvestusruumile, haldusele ja arendusele.
Äriline kasutus eeldab litsentsi hoolikat läbivaatamist. Ametlikes materjalides kirjeldatakse EXAONE 3.5 väljalaset teadustööks kättesaadavana ning viidatakse EXAONE AI Model License Agreement 1.1-le. Äriliseks kasutuselevõtuks võib olla vaja võtta ühendust LG AI Researchiga või täita täiendavaid tingimusi. Allalaaditavate kaalude kättesaadavust ei tohiks tõlgendada piiramatu ärilise kasutusloana.
Peamised tugevused ja piirangud
Tugevused
- Spetsialiseerumine inglise ja korea keelele: mudel on loodud kakskeelsete töövoogude jaoks, mitte käsitlema korea keelt kõrvalise keelena.
- Pikk kontekst: 32 768 tokeni pikkune kontekst toetab mahukaid dokumente, stenogramme ja otsingu käigus leitud teksti.
- Kohalik kontroll: avatud kaalude levitamine võimaldab privaatset või ise hallatavat kasutuselevõttu, ilma et oleks vaja pakkuja majutatavat lõpp-punkti.
- Paindlik kasutuselevõtt: Transformers, vLLM, SGLang, llama.cpp, Ollama ja ühilduvad tööriistad võimaldavad täita erinevaid kasutusvajadusi.
- Tasakaalustatud mudelisuurus: 7.8B konfiguratsioon pakub kesktee väikese mudeli tõhususe ja suurema mudeli võimekuse vahel.
Piirangud
- Ainult tekst: algupärast pildi-, heli- ja videosisendit ega -väljundit ei toetata.
- Kinnitatud sisseehitatud veebiühendus puudub: ajakohase teabe jaoks on vaja välist otsingu- või andmehankekihti.
- Dokumenteeritud sõltumatu väljundipiirang puudub: konteksti pikkus on teada, kuid eraldi maksimaalset väljundtokenite arvu ei ole tuvastatud.
- Algupärast tööriista- või JSON-režiimi ei ole kinnitatud: tööriistade integreerimist ja rangelt struktureeritud väljundit ei tohiks eeldada.
- Teadustööle suunatud litsents: äriline kasutus eeldab kehtiva mudelilepingu läbivaatamist.
- Operatiivne koormus: ise majutamiseks peavad kasutajad tagama sobiva riistvara ja haldama järeldustaristut.
- Teadaolevad mudeliriskid: LG AI Research hoiatab, et vastused võivad olla ebatäpsed, kallutatud, kahjulikud või aegunud.
Millal seda mudelit valida?
Vali EXAONE-3.5-7.8B-Instruct, kui peamised nõuded on inglise ja korea keele tekstide töötlemine, pika konteksti kasutamine, kohalik kontroll ja avatud kaaludega kasutuselevõtu võimalus. See on mõistlik kandidaat kakskeelsele siseabilisele, privaatsele dokumentide küsimustele vastamise süsteemile, tõlketöövoole, teadusprototüübile, programmeerimisabile või koreakeelsele rakendusele, mis ei vaja algupärast meedia mõistmist.
Selle keskmise suurusega konfiguratsioon on eriti asjakohane siis, kui 32B mudel nõuaks liiga palju riistvara või põhjustaks liiga suure latentsuse, samas kui väiksem mudel ei pakuks piisavat kvaliteeti pikkade dokumentide, kakskeelse suhtluse, programmeerimise või matemaatika jaoks. Kvanditud versioonid võivad parandada kasutuselevõtu tõhusust, kuid õige kompromissi peaks kindlaks tegema sihtkoormuse mõõtmisega, mitte tuletama seda ainult mudeli nimest.
Teine võimalus võib olla sobivam, kui rakendus vajab pildi- või helisisendi mõistmist, automaatset veebiotsingut, kinnitatud funktsioonikutsungeid, rangelt struktureeritud väljundit, hallatavat API-t või küpset tarbijarakendust koos tellimustoega. Suurem mudel võib olla eelistatav ka kõige keerukamate arutlus- ja programmeerimisülesannete korral, samas kui väiksem mudel võib sobida paremini suure läbilaskevõime või väga piiratud ressurssidega rakendustele. EXAONE 3.5 2.4B ja 32B variandid pakuvad perekonna piires erineva suurusega alternatiive, kuid esitatud uurimismaterjalid ei näita, et kumbki neist oleks mingi kindla töökoormuse puhul alati parem.
Kokkuvõte
EXAONE-3.5-7.8B-Instruct on praktiline avatud kaaludega valik kakskeelsetele inglise-korea tekstirakendustele, mis saavad kasu 32K kontekstiaknast ja kohapealsest järelduste tegemisest. Selle peamised eristajad on keeleline fookus, kontroll kasutuselevõtu üle ja ühilduvus mitme avatud lähtekoodiga teenindus- ja kvantimistööriistaga. Sama olulised on kompromissid: mudel on ainult tekstipõhine, sellel puudub kinnitatud pakkuja API ja tokenipõhine hind, algupäraseid tööriistu ega ranget JSON-väljundit ei ole dokumenteeritud ning enne tootmis- või ärikasutust tuleb teha litsentsi- ja taristuga seotud otsused.