Mis on Llama-3.1-70B-TFree-HAT-SFT?
Llama-3.1-70B-TFree-HAT-SFT on Aleph Alpha Researchi avaldatud avatud kaaludega keelemudel. Mudel on loodud juhiste järgimiseks ja teksti genereerimiseks inglise ja saksa keeles, keskendudes eelkõige tokeniseerijata keelemudelite uurimisele.
Nimi kirjeldab mitut olulist omadust. „Llama-3.1-70B” tähistab Llama 3.1 70B mudelisarja, mida kasutatakse peamise transformeri alusena. „TFree” viitab tokeniseerijata lähenemisele ning „HAT” tähendab hierarhilist autoregressiivset transformerit (Hierarchical Autoregressive Transformer). „SFT” tähendab juhendatud peenhäälestust (supervised fine-tuning), mis näitab, et alusmudelit treeniti täiendavalt juhiste järgimist parandavate näidete põhjal.
Mudel sisaldab ligikaudu 69,3 miljardit parameetrit, sealhulgas teadaolevalt 68,45 miljardi parameetriga alusmudelit. Seda levitatakse Hugging Face'i kaudu BF16 safetensors-vormingus ning kanooniline repositoorium on Aleph-Alpha/llama-3_1-70b-tfree-hat-sft.
Miks on tokeniseerijata arhitektuur oluline?
Enamik tänapäevaseid keelemudeleid jagab teksti esmalt alam-sõnetokeniteks. Token võib tähistada tervet sõna, sõnaosa, kirjavahemärki või tähemärkide kombinatsiooni. See lähenemine on tõhus, kuid tekkiv sõnavara ja segmentimine võivad mõne keele, kirjaviisi või valdkonna teistega võrreldes eelisseisu panna.
Llama-3.1-70B-TFree-HAT kasutab teistsugust lähenemist. Selle HAT-arhitektuur töötleb sõnade sees olevaid töötlemata UTF-8 baidijadasid, teisendab need sõnataseme esitusteks, suunab need Llama-laadsesse alusmudelisse ning dekodeerib ennustused seejärel tagasi baitideks. Praktikas asendab mudel tavapärase tokenite manustamise ja väljundtokenite töötluse hierarhiliste kodeerija- ja dekoodrikomponentidega.
Selle lahenduse eesmärk on vähendada jada killustumist ja parandada teksti tihendamist, eriti keelte või eritekstide puhul, mida fikseeritud alam-sõnavara võib ebatõhusalt esitada. Aleph Alpha mudeliinfo kohaselt saavutab mudel mitmes hindamises parema tihenduse kui võrdluseks kasutatud Llama 3.3 70B Instructi alusmudel. See on uurimistulemus, mitte garantii, et iga juurutus töötab kiiremini: tokeniseerijata rakendus lisab oma töötlusetapid ning tegelik läbilaskevõime sõltub tarkvarast, riistvarast ja optimeerimise tasemest.
Arhitektuur ja konteksti üksikasjad
Mudeli kolm peamist komponenti on baiditaseme kodeerija, Llama-laadne alusmudel ja baiditaseme dekooder. Kodeerija muudab baidijadad esitusteks, mida alusmudel saab töödelda, samal ajal kui dekooder teisendab genereeritud esitused tagasi tekstiks.
Avaldatud arhitektuuris on kodeerija jada pikkuseks märgitud 12 288 positsiooni ja dekoodri jada pikkuseks 98 304 positsiooni. Viimast esitatakse sageli mudeli konteksti pikkusena, kuid seda ei tohiks tõlgendada täpselt samamoodi nagu tavapärast alam-sõnetokenite kontekstiakent. Need on HAT-i jada positsioonid, mitte tavalised tokeniseerija loodud tokenite arvud. Praktiline sisendteksti hulk sõltub sellest, kuidas mudeli baidi- ja sõnataseme töötlus teksti esitab.
Esitatud dokumentatsiooni põhjal ei ole väljundtokenite maksimaalset piirangut kinnitatud. Mudel on ise hostitav uurimisväljaanne, mitte hallatav teenus, millel oleks üks pakkuja kehtestatud väljundkvoot. Seetõttu sõltub kasutatav väljundi pikkus ka järelduse teostusest ja saadaolevast riistvarast.
Treening, keeled ja juhiste järgimine
Llama-3.1-70B-TFree-HAT-SFT eeltreeniti ja järelhäälestati kureeritud inglise- ja saksakeelsetel andmetel. Juhistele häälestamise andmekogum sisaldab ühe- ja mitmevoorulisi vestlusi, arutlusülesandeid, programmeerimisega seotud päringuid, ohutusandmeid, mitmekeelseid vestlusi, tabelipõhist arutlemist ja matemaatikat.
Tavakasutuseks on kõige selgemalt toetatud inglise ja saksa keel. Mudel suudab oma baiditaseme liidese kaudu teksti vastu võtta ja genereerida, kuid üksnes mitmekeelse materjali esinemise tõttu treeningandmetes ei tohiks seda pidada laialdaselt mitmekeelseks mudeliks.
Mudeli kaardi kohaselt ei optimeeritud seda spetsiaalselt koodi genereerimiseks ega matemaatikaks ning nendes valdkondades ei hinnatud seda põhjalikult. Mudel võib programmeerimis- või matemaatikaküsimustele siiski vastata, kuid usaldusväärset erialast jõudlust vajavad kasutajad peaksid tulemusi hoolikalt kontrollima või valima nende töökoormuste jaoks loodud ja testitud mudeli.
Võimekused ja avaldatud hindamistulemused
Peamine võimekus on teksti genereerimine loomulikus keeles antud juhiste järgi. Sobivate ülesannete hulka kuuluvad inglise- ja saksakeelse teksti koostamine või teisendamine, antud konteksti põhjal küsimustele vastamine, kokkuvõtete tegemine, tõlkimine peamiste keelte vahel, vestluste pidamine ning pika konteksti või tokeniseerijata arhitektuuride katsetamine.
Avaldatud hindamised hõlmavad MTBenchi, MMLU-d, MMLU Prod, GPQA-d, BBH-d, ARC-i, Winogrande'i, HellaSwagi, TruthfulQA-d, saksakeelset GSM8K-d, WMT16-t, AlpacaEvali ja pika konteksti ülesandeid. Võrreldes Llama 3.3 70B Instructiga teatab Aleph Alpha MTBenchi võidumääraks inglise keeles 0,633 ja saksa keeles 0,639. Laiemate teadmiste ja arutlusoskuste võrdlustestide tulemused on ebaühtlased, samas kui mõne saksakeelse juhiste järgimise ja arutlusoskuse hindamise tulemusi kirjeldatakse konkurentsivõimeliste või headena.
Need näitajad on pakkuja esitatud uurimistulemused, mitte sõltumatud tootmiskasutuse garantiid. Võrdlustestide tulemused võivad sõltuda viipamisest, hindamise korraldusest, dekodeerimisseadetest ja rakendusest. Neid tuleks kasutada mudeli uurimissuuna mõistmiseks, mitte konkreetse rakenduse jõudluse lubadusena.
Toetatud modaalsused, tööriistad ja struktureeritud väljund
See on ainult teksti töötlev keelemudel. Kinnitatud võimekused hõlmavad tekstisisendit ja tekstiväljundit; puuduvad tõendid, et mudel võtaks algupäraselt vastu pilte, heli või videot või genereeriks neid meediatüüpe.
Selle väljaande puhul ei ole algupärast tööriista- ega funktsioonikutsete tuge dokumenteeritud. Samuti ei ole kinnitatud pakkuja määratletud JSON-režiimi ega struktureeritud väljundi garantiid. Rakendus võib oma teeninduskihi kaudu genereeritud teksti piirata või parsida, kuid seda ei tohiks segi ajada sisseehitatud struktureeritud väljundi funktsiooniga.
Mudelit ei ole kirjeldatud veeb otsingu, reaalajas teabele juurdepääsu ega sisseehitatud väliste toimingute võimalusega. Selle treeningandmed on ajalooliselt fikseeritud ning mudel võib esitada aegunud teavet. Rakendused, mis vajavad ajakohaseid fakte, otsingut, andmebaasipääsu või kontrollitud äritoiminguid, peavad need süsteemid eraldi lisama ja valideerima.
Juurutamine ja kättesaadavus
Kaalud on Hugging Face'is allalaaditavad kasutajatele, kes suudavad käitada sobivat kohalikku või privaatset järelduskeskkonda. Aleph Alpha pakub HAT-arhitektuurile kohandatud, vLLM-il põhinevat arendusjärgus järeldusrakendust. Rakendus on endiselt aktiivses arenduses ning mudel ei ole praegu Hugging Face'i järeldusteenuse pakkuja kaudu juurutatud.
Selline kättesaadavus eristab Llama-3.1-70B-TFree-HAT-SFT-d tavapärasest hostitud vestlusrobotist või API-mudelist. Kasutajad peaksid arvestama, et peavad ise haldama mudelifailide, ühilduva tarkvara, riistvaravõimekuse, jõudluse häälestamise, seire ja rakenduse turvameetmetega. Ligikaudu 69,3 miljardi parameetriga mudel on üksikisikutele ja väikestele meeskondadele ka mahukas juurutus, eriti BF16-kaalude kasutamisel.
Tokeniseerijata arhitektuuri ei tohiks automaatselt samastada väiksemate teeninduskuludega. Aleph Alpha teatab paremast tihendusest, kuid avalik rakendus ei ole täielikult optimeeritud ning otsast lõpuni kiirus sõltub kodeerijast, alusmudelist, dekoodrist, riistvarast ja teenindusvirnast. Selle mudeli avalikku korduvat hinda ega kasutuspõhist järelduse hinda ei ole kinnitatud. Seega moodustavad peamise kulu selle käitamiseks vajalik taristu ja arendustöö, välja arvatud juhul, kui organisatsioon saab juurdepääsu eraldi läbiräägitava juurutuse kaudu.
Peamised tugevused ja piirangud
- Tokeniseerijata uurimisväärtus: Mudel on mahukas avatud kaaludega näide baidi- ja sõnataseme töötlusest Llama 3.1 70B alusmudeli ümber.
- Inglise ja saksa keele fookus: Selle treening ja hindamised on eriti asjakohased kakskeelse inglise-saksa juhiste järgimise seisukohast.
- Juurdepääs avatud kaaludele: Teadlased saavad kaalud alla laadida ja arhitektuuri uurida, selle asemel et tugineda ainult suletud hostitud lõpp-punktile.
- Suure mudeli võimekus: 70B-klassi alusmudel annab mudelile tekstülesannete jaoks tugeva üldise keelemudeli aluse.
- Tihendamise uurimine: Aleph Alpha teatab oma hindamistes paremast tihendusest kui võrdluseks kasutatud Llama 3.3 70B Instructi alusmudelil.
- Juurutamise keerukus: Mudel ei ole ühe klõpsuga kasutatav hostitud teenus ning saadaolev vLLM-rakendus on endiselt arendusjärgus.
- Ebaselge tootmiskasutuse läbilaskevõime: Tihendusmõõtmised ei tõesta tegelikku latentsust ega läbilaskevõimet.
- Piiratud modaalsuste ja tööriistade tugi: Kinnitatud mudel töötab ainult tekstiga ning dokumenteeritud algupärast pildi-, heli-, video-, veebiotsingu- ega funktsioonikutsumise võimekust ei ole.
- Erialased puudujäägid: Mudelit ei optimeeritud ega hinnatud põhjalikult koodi genereerimiseks ja matemaatikaks.
- Litsentsipiirangud: Open Aleph License toetab mitteärilist teadus- ja hariduskasutust, mistõttu vajab kommertskasutus litsentsi hoolikat ülevaatamist.
- Keeltemudelite tavapärased riskid: Mudel võib genereerida ebatäpset, aegunud, kallutatud, korduvat või ebaturvalist sisu ning suure mõjuga kasutusjuhtudel on vaja rakenduse tasandi valideerimist.
Arutlusoskus, kodeerimine, kiirus ja kulude kompromissid
Llama-3.1-70B-TFree-HAT-SFT sisaldab juhistele häälestamise andmekogumis arutlusele suunatud materjali ning seda on hinnatud mitme arutlusoskuse võrdlustestiga. Siiski ei esitata seda spetsiaalse arutlusmudelina, millel oleks eraldi süvaanalüüsi režiim. Seetõttu tuleks selle arutlusoskust hinnata ülesandepõhiste testidega, mitte eeldada seda parameetrite arvu põhjal.
Kodeerimine on teisejärguline võimekus, mitte mudeli põhikasutusjuht. Treeningus sisaldus programmeerimisega seotud päringuid, kuid Aleph Alpha ütleb selgelt, et mudelit ei optimeeritud koodi genereerimiseks. Tarkvaraarenduseks mudelit valivad meeskonnad peaksid seda võrdlema koodile spetsialiseerunud võimalusega ning katsetama praktilisi ülesandeid, nagu repositooriumis navigeerimine, silumine, koodi teisendamine ja testide genereerimine.
Toimetuslik hinnang paigutab selle arutlusoskuse keskmisele tasemele, kodeerimise üldotstarbelistest tugevustest madalamale, kiiruse keskmisele tasemele ja kulu tasuvaks võrreldes tasuliste hostitud mudelitega juhul, kui kaale saab tõhusalt käitada. Need on võrdlevad toimetuslikud hinnangud, mitte Aleph Alpha spetsifikatsioonid. Praktikas võib suurt ise hostitavat mudelit olla kulukas käitada ka siis, kui pakkuja ei võta tokenipõhist tasu.
Millal valida Llama-3.1-70B-TFree-HAT-SFT?
Vali see mudel siis, kui projekt saab konkreetselt kasu avatud kaaludega, inglise-saksa keelele suunatud tokeniseerijata arhitektuurist ning meeskond on valmis uurimisjuurutust ise haldama. See sobib hästi baiditaseme keelemudelite uurimiseks, tihenduskäitumise hindamiseks, kakskeelse teksti genereerimise katseteks ja privaatse järelduse testimiseks Llama 3.1 70B klassi alusmudeliga.
See võib sobida ka organisatsioonidele, kes soovivad uurida, kuidas keelemudelid käituvad tavapärase alam-sõnetokeniseerimise eemaldamisel, eriti saksa või segatud inglise-saksa töökoormuste puhul. Mudel sobib paremini kontrollitud uurimis- ja arenduskeskkondadesse kui tavakasutajatele, kes otsivad kohe kättesaadavat assistenti.
Teine võimalus võib olla sobivam juhul, kui esmatähtsad on viimistletud hostitud API, prognoositav latentsus, algupärane multimodaalne sisend, veebipõhise teabega põhjendatud vastused, sisseehitatud tööriistad, garanteeritud JSON-väljund, väga spetsialiseeritud kodeerimine või selgelt dokumenteeritud kommertslitsents. Väiksem mudel võib olla eelistatavam ka siis, kui teeninduskulu, mälukasutus või vastusekiirus on olulisemad kui 70B-klassi arhitektuuri katsetamine.
Litsents ja kavandatud kasutus
Mudel on välja antud Open Aleph License'i alusel mitteäriliseks teadus- ja hariduskasutuseks. Kuna see sisaldab Llama 3.1 alusmudelit, peaksid kasutajad üle vaatama ka kohaldatavad Llama litsentsi- ja kasutusnõuded ning ekspordikontrolli, privaatsuse ja muud nende juurutuse suhtes kehtivad õiguslikud kohustused.
Selle kavandatud kasutusalad hõlmavad tokeniseerijata arhitektuuride uurimist, kakskeelset inglise-saksa teksti genereerimist, juhiste järgimise katseid, tekstitihenduse uuringuid ja edasist kohandamist tehniliselt võimekate kasutajate poolt. Enne mudeli kasutamist tootmises või suure mõjuga töövoos peaksid meeskonnad kontrollima litsentsi, hindama täpset juurutusvirna, testima mõlemat keelt esinduslikel andmetel ning lisama meetmed faktitäpsuse, kallutatuse, privaatsuse ja ebaturvalise väljundi käsitlemiseks.