Mis on EXAONE-3.5-32B-Instruct?
EXAONE-3.5-32B-Instruct on LG AI Researchi välja töötatud juhiste järgi häälestatud autoregressiivne keelemudel. Praktikas tähendab see, et tegemist on teksti genereerimise mudeliga, mis on treenitud kirjalikele juhistele vastama, mitte lihtsalt teksti jätkama. Seda saab kasutada vestlusteks, tekstide koostamiseks, kokkuvõtete tegemiseks, tõlkimiseks, programmeerimise abistamiseks, matemaatikaülesannete lahendamiseks ja muudeks keeleülesanneteks.
Mudel kuulub EXAONE 3.5 perekonda, kuhu kuuluvad ka väiksemad 2.4B ja 7.8B variandid. 32B versioon on selle perekonna suurim konfiguratsioon ning mõeldud kasutajatele, kes eelistavad väiksemate riistvaranõuete asemel väljundi kvaliteeti ja võimekust. Selle kanooniline mudelitähis on LGAI-EXAONE/EXAONE-3.5-32B-Instruct ning mudeli kaalud on Hugging Face'is kättesaadavad LGAI-EXAONE'i organisatsiooni kaudu.
LG AI Research avaldas mudeli 9. detsembril 2024. See on teenusepakkuja laiemas EXAONE'i kataloogis vanema põlvkonna mudel, kuid jääb asjakohaseks kasutajatele, kes otsivad just avatud kaaludega kakskeelset inglise-korea mudelit, mitte tarbijatele mõeldud juturobotit või tavapärast majutatud API-d.
Peamised tehnilised näitajad ja konteksti piirang
| Näitaja | Kontrollitud teave |
|---|---|
| Mudeli tüüp | Juhiste järgi häälestatud autoregressiivne keelemudel |
| Parameetrid | Ligikaudu 30,95 miljardit, manuseid arvestamata |
| Keeled | Inglise ja korea keel |
| Konteksti pikkus | 32 768 tokenit |
| Transformeri kihid | 64 |
| Tähelepanu mehhanismi ülesehitus | Grupeeritud päringutega tähelepanu 40 päringupea ja 8 võtme-väärtuse peaga |
| Sõnavara | 102 400 tokenit |
| Sisend ja väljund | Tekstisisend ja tekstiväljund |
32 768 tokeni suurune kontekstiaken näitab tekstihulka, mida mudel saab ühe päringu puhul arvesse võtta, sealhulgas viipa ja genereeritud vastust. See on kasulik pikkade dokumentide, ulatuslike vestluste, lähtekoodifailide ja kakskeelse materjali puhul. Avaldatud teave ei täpsusta eraldi väljundtokenite maksimaalset arvu, mistõttu ei tohiks eeldada, et kogu kontekstiaken on ainult genereeritud väljundi jaoks kasutatav.
Keeled ja põhivõimekused
EXAONE-3.5-32B-Instructi selgeim spetsialiseerumine on kakskeelne inglise- ja koreakeelne teksti genereerimine. Mudel on loodud järgima juhiseid mõlemas keeles ning sobib muu hulgas tekstide koostamiseks, ümberkirjutamiseks ja kokkuvõtmiseks, küsimustele vastamiseks, tõlkimisega seotud töövoogudeks ning kasutaja esitatud tekstil põhinevaks dokumendianalüüsiks.
Suurem parameetrite arv annab sellele EXAONE 3.5 perekonnas suurema võimekusega positsiooni, kuigi esitatud uuringud ei kinnita universaalset kvaliteediedetabelit võrreldes kõigi praeguste kommerts- või avatud kaaludega mudelitega. LG AI Research teatab tugevatest tulemustest juhiste järgimisel, praktilisel kasutatavusel, pika konteksti mõistmisel ja koreakeelsetes hindamistes. Need on teenusepakkuja või uuringutega seotud väited; tegelikud tulemused sõltuvad viipade koostamisest, riistvarast, kvantimisest, keelest ja konkreetsest hindamisülesandest.
Mudel on mõeldud ka programmeerimiseks ja matemaatikaks. See võib aidata koodi selgitada, funktsioone genereerida, vigu uurida, arvutusi läbi teha ja sobivate viipade korral struktureeritud vastuseid koostada. Need võimekused ei tähenda, et mudel sisaldaks sisseehitatud koodi täitmiskeskkonda või et genereeritud kood oleks automaatselt korrektne. Arendajad peaksid koodi testima ja matemaatilisi väljundeid valideerima, eriti tootmis- või suure mõjuga kasutusjuhtudel.
Arutlus, programmeerimine ja tööriistade tugi
EXAONE-3.5-32B-Instruct on juhiste järgi töötav mudel, mitte eraldi dokumenteeritud arutlusrežiimiga mudel. Olemasolevad uuringud ei kinnita spetsiaalset arutlusrežiimi lülitit, varjatud samm-sammulise mõttekäigu funktsiooni, teenusepakkuja hallatavat arutluse eelarvet ega arutlustokenite piirangut. Mudel suudab tavalise tekstigenereerimise käigus teha mitmeastmelist arutlust, kuid selle arutluse kvaliteeti ja usaldusväärsust tuleks hinnata vastavalt kavandatud töökoormusele.
Programmeerimine on üks mudeli toetatud kasutusjuhtudest matemaatika ja üldise teksti genereerimise kõrval. Tööriistade kasutamist, funktsioonikutseid, struktureeritud väljundi garantiisid, JSON-režiimi, voogedastust, pakk-töötlust, vahemällu salvestamist ja peenhäälestust ei ole esitatud mudelipõhistes uuringutes kinnitatud. Seetõttu tuleks mudelit käsitleda allalaaditava teksti genereerimise mudelina, mitte täieliku majutatud agentide platvormina.
Mudeliga ei ole ühendatud teenusepakkuja hallatavat veebiotsingusüsteemi. See ei hangi automaatselt ajakohast teavet ning mudelikaart hoiatab, et mudel ei kajasta uusimat teavet. Värskeid fakte vajavad rakendused võivad lisada oma otsingu- või teabehankesüsteemi, kuid see oleks välise rakenduse funktsioon, mitte EXAONE-3.5-32B-Instructi loomupärane võimekus.
Toetatud modaalsused ja praktilised piirangud
See mudel võtab vastu teksti ja genereerib teksti. See ei toeta loomupäraselt pilte, heli ega videot ega genereeri otse pilte, heli või videot. See eristus on oluline, sest LG AI Researchi laiemasse EXAONE'i tootevalikusse kuuluvad uuemad multimodaalsed uuringud ja mudelid; neid võimekusi ei tohiks omistada sellele konkreetsele 3.5 32B juhiste järgi töötavale mudelile.
Tekstipõhiste rakenduste jaoks on 32 768 tokeni suurune kontekst piisav paljude pika dokumendi ja mitme vooruga kasutusjuhtude jaoks. Pikk kontekst ei taga siiski iga detaili täpset meeldejätmist. Olulised lõigud võivad endiselt vajada esiletõstmist, kokkuvõtmist või etapiviisilist hankimist. Kuna esitatud allikates ei ole täpset väljundtokenite maksimaalset arvu avaldatud, tuleks juurutusseadeid testida, mitte rajada neid eeldatavale väljundipiirile.
Juurutamisvõimalused ja kompromissid riistvara kasutamisel
EXAONE-3.5-32B-Instruct on suunatud kohalikule, privaatsele või ise majutatavale järeldamisele. Ametlik dokumentatsioon pakub juurutusvõimalusi Transformersi, vLLM-i, SGLangi, TensorRT-LLM-i, llama.cpp ja Ollama jaoks. Saadaval on ka AWQ- ja GGUF-kvantiseeritud versioonid. Kvantimine vähendab mudeli laadimiseks vajalikku mälu, kasutades väiksema täpsusega esitusi, kuid võib kaasa tuua kompromisse kvaliteedis või ühilduvuses.
32B mudel nõuab märksa rohkem ressursse kui sama perekonna 2.4B ja 7.8B liikmed. Suurem mudel võib pakkuda keerukate keele-, programmeerimis- ja pika kontekstiga ülesannete puhul paremat võimekust, kuid vajab üldjuhul rohkem mälu, arvutusvõimsust ja haldustööd. Väiksemad variandid võivad sobida paremini sülearvutitele, piiratud ressurssidega serveritele, kiiretele interaktiivsetele rakendustele või juurutustele, kus taristu maksumus on maksimaalsest kvaliteedist olulisem.
Selle profiiliga kaasas olev toimetuslik hinnang annab mudeli arutlus- ja programmeerimisvõimekusele 7 punkti 10-st, kiirusele 4 punkti 10-st ja maksumusele 8 punkti 10-st. Need on võrdlevad toimetuslikud hinnangud, mitte LG AI Researchi avaldatud mõõtmised ega käitusjõudluse garantiid. Tegelik kiirus ja maksumus sõltuvad riistvarast, kvantimisest, pakkide töötlemisest, konteksti pikkusest ja järeldamistarkvarast.
Hinnakujundus ja litsents
EXAONE-3.5-32B-Instructi ametlikku majutatud tokenipõhist hinda ega korduva tellimuse hinda ei ole kindlaks tehtud. Kuna mudelit levitatakse avatud kaaludena, on peamised rahalised kaalutlused dokumenteeritud teenusepakkuja API-hinna asemel riistvara, majutuse, elektri, arenduse, salvestusruumi ja kasutajatoe kulud. EXAONE'i ökosüsteemis võib mujal olla partnerite kaudu pakutav kommertskasutus, kuid selle mudeli spetsiifilist majutatud hinda ei ole siin kinnitatud.
Mudel kasutab litsentsi EXAONE AI Model License Agreement 1.1 - NC. Tähis „NC” tähendab, et seda ei tohiks käsitleda piiranguteta kommertsliku avatud lähtekoodi litsentsina. Enne kaalude kasutamist kommertstootes tutvuge ametliku litsentsiga ja tehke kindlaks, kas kavandatav kasutus vastab selle mitteärilistele ja muudele tingimustele. Kvantiseeritud koopiaid ja kolmandate osapoolte juurutuspakette tuleks kontrollida ka nende endi levitamistingimuste osas.
Peamised tugevused ja piirangud
Tugevused
- Fookus inglise ja korea keelel, sealhulgas koreakeelsete töökoormuste tugi.
- Suur 32B konfiguratsioon kasutajatele, kes otsivad suuremat võimekust kui väiksemates EXAONE 3.5 variantides.
- 32 768 tokeni suurune kontekstiaken pikkade viipade ja dokumendipõhiste ülesannete jaoks.
- Allalaaditavad kaalud, mis toetavad kohalikku ja ise majutatavat juurutust.
- Dokumenteeritud ühilduvus mitme laialt kasutatava järeldamisraamistikuga.
- Kvantiseeritud AWQ- ja GGUF-valikud piiratumate ressurssidega juurutuste jaoks.
- Kasulikud sihtülesanded, sealhulgas juhiste järgimine, programmeerimine, matemaatika ja üldine teksti genereerimine.
Piirangud
- Ainult tekstisisend ja tekstiväljund; loomupärane piltide, heli ega video tugi puudub.
- Kinnitatud teenusepakkuja hallatav veebiotsing, värske teabe hankimine ja koodi täitmine puuduvad.
- Mudelipõhist tuge funktsioonikutsetele, JSON-režiimile, voogedastusele, pakk-API-dele, vahemällu salvestamisele ega peenhäälestusele ei ole kinnitatud.
- Esitatud dokumentatsioonis ei ole avaldatud täpset väljundtokenite maksimaalset arvu.
- 32B suurus võib muuta järeldamise väiksemate mudelitega võrreldes aeglasemaks ja riistvaranõudlikumaks.
- Litsents nõuab hoolikat läbivaatamist ega pruugi sobida piiranguteta kommertskasutuseks.
- Vastused võivad sisaldada faktivigu, kallutatust, kahjulikku sisu või aegunud teavet.
Millal valida EXAONE-3.5-32B-Instruct?
Valige see mudel, kui vajate allalaaditavat inglise ja korea keele mudelit kohalikuks või ise majutatavaks järeldamiseks ning suudate katta selle taristunõuded. See sobib mõistliku valikuna koreakeelsetele rakendustele, kakskeelsetele dokumenditöövoogudele, privaatseks katsetamiseks, programmeerimise abistamiseks, pika kontekstiga tekstitöötluseks ning organisatsioonidele, kes soovivad paremini kontrollida, kus järeldamine toimub.
See sobib vähem olukordadesse, kus vajate viimistletud tarbijatele mõeldud juturobotit, selgelt dokumenteeritud tokenihinnaga hallatavat esimese osapoole API-d, sisseehitatud veebiotsingut, loomupärast multimodaalset sisendit, struktureeritud väljundi garantiisid või integreeritud tööriistu ja agente. Väiksem EXAONE 3.5 variant võib olla eelistatavam, kui kiirus ja riistvara tõhusus on 32B mudeli võimekusest olulisemad. Piltide või dokumendifotode mõistmiseks võib sobida paremini uuem multimodaalne mudel, samas kui hallatav kommertsteenus võib vähendada halduskoormust meeskondadel, kes ei soovi ise järeldamist käitada.
Suure mõjuga kasutuses käsitlege mudelit abistava komponendina, mitte autoriteedina. Lisage ajakohase teabe vajaduse korral rakenduse tasandi teabeotsing, valideerige genereeritud kood ja arvutused, rakendage ohutusfiltreid ning kaasake inimkontroll otsuste puhul, mis mõjutavad inimesi, rahaasju, tervist, turvalisust või seaduslikke õigusi.