Mis on Llama-3.1-8B TFree HAT SFT?
Llama-3.1-8B TFree HAT SFT on Aleph Alpha Researchi avatud kaaludega keelemudel. See on Llama-3.1-8B TFree HATi mudeliperekonna juhendatud peenhäälestusega kontrollpunkt ning seda levitatakse Aleph Alpha Hugging Face'i organisatsiooni kaudu Open Aleph License'i alusel.
Mudeli aluseks on eeltreenitud Llama 3.1 8B, kuid see ei kasuta tavapärast Llama alam-sõnade tokeniseerijat. Selle asemel kasutab see Aleph Alpha hierarhilise autoregressiivse transformaatori ehk HAT-i arhitektuuri. Juhendatud peenhäälestuse etapis kohandatakse mudel juhiste järgimisega vestlusteks ja muudeks teksti genereerimise ülesanneteks inglise ja saksa keeles.
Praktilises mõttes on tegemist teadustööle suunatud mudeliga, mille kasutajad laadivad alla ja käitavad ise. Seda ei pakuta majutatud kommertsvestlusrobotina ega hallatud järeldus-API-na, millel oleks avaldatud sümbolipõhine hinnakiri.
Kuidas töötab tokeniseerijata HAT-i arhitektuur?
Enamik keelemudeleid teisendab teksti enne töötlemist tokeniteks. Token võib tähistada sõna, sõnaosa, kirjavahemärki või muud tekstifragmenti. HAT kasutab teistsugust lähenemist, ühendades märgitaseme kodeerimise ja dekodeerimise sõnataseme transformaatori põhistruktuuriga.
Lihtsustatult tegelevad märgitaseme komponendid üksikasjaliku õigekirja ja teksti esitamisega, samal ajal kui sõnataseme põhistruktuur teeb suure osa kõrgema taseme keeletöötlusest. Aleph Alpha esitleb seda hierarhiat võimaliku viisina parandada teksti tihendamist ning hõlbustada kohandamist uute keelte ja valdkondadega.
See ülesehitus on oluline ka mudeli avaldatud piirangute tõlgendamisel. Konfiguratsioon määrab parameetri max_position_embeddings väärtuseks 262 144. See on kontrollitud konfiguratsiooniväärtus, kuid seda ei tohiks automaatselt tõlgendada tavapärase 262 144 tokeni pikkuse kontekstiaknana. HAT kasutab eraldi märgi- ja sõnataseme esitusi koos kohandatud töötlemisloogikaga, mistõttu sõltub tegelik kasutatav maht sellest, kuidas teostus teksti nende komponentide kaudu kaardistab.
Treening ja keelevalik
Lühend SFT tähistab juhendatud peenhäälestust. Kontrollpunkt treeniti Llama-3.1-8B TFree HATi baasmudelist ühe- ja mitmevooruliste juhiste järgimise andmete abil. Mudelikaardi järgi toetab mudel inglise ja saksa keelt.
Aleph Alpha teatab mitmes hindamises algse Llama 3.1 mudeliga võrreldes tugevast saksa keele jõudlusest. Mudelikaart sisaldab tulemusi ka teadmiste, arutlusoskuse, saksakeelsete ülesannete, juhiste järgimise, ohutuse ja pika konteksti ülesannetes. Ühe avaldatud võrdluse järgi saavutas mudel inglise keeles AllenAI Llama-3.1-Tulu-3-8B-SFT vastu MTBenchi võidumääraks 65,0% ja saksa keeles 64,1%.
Need näitajad on pakkuja avaldatud hindamistulemused, mitte konkreetse rakenduse jõudluse garantii. Need on kõige asjakohasemad kasutajatele, kes hindavad inglise- ja saksakeelset vestluslikku juhiste järgimist, mitte koodi genereerimist või matemaatiliste ülesannete lahendamist.
Võimekused, modaalsused ja arutlusoskus
Llama-3.1-8B TFree HAT SFT on ainult tekstipõhine mudel. See võtab vastu tekstisisendit ja väljastab teksti; mudeli kohta esitatud teave ei näita loomulikku pildi-, heli- ega videosisendi või -väljundi tuge. Seetõttu ei sobi see rakendustesse, mis vajavad visuaalset mõistmist, kõnetöötlust, piltide loomist või muu mittetekstilise meedia genereerimist.
Selle peamised võimekused on teksti lõpetamine, juhiste järgimine ja vestluslik genereerimine. Seda saab kasutada alternatiivsete keelemudelite esituste uurimiseks, inglise- ja saksakeelsete assistentide loomiseks, teksti teisendamiseks ning valdkonnapõhisteks katseteks keskkondades, kus kasutaja kontrollib järelduskeskkonda.
Mudelil ei ole dokumenteeritud loomulikku veebotsingu, tööriistade kutsumise, funktsioonide kutsumise ega toimingute täitmise liidest. Samuti puudub kontrollitud struktureeritud väljundi või JSON-režiimi garantii. Ümbritsev rakendus võib vastuse vormingu juhiste või järeltöötluse abil määrata, kuid see oleks rakenduse taseme tehnika, mitte dokumenteeritud mudelivõimekus.
Toimetuslikust vaatenurgast on mudelil selle suuruse kohta mõõdukas üldise arutlusoskuse potentsiaal ning see sobib paremini keele- ja juhiste järgimise uurimiseks kui keerukate arutlusülesannete jaoks. Esitatud uuring annab sellele arutlusoskuse hindeks 5 punkti 10-st ja kodeerimisoskuse hindeks 4 punkti 10-st; need on võrdlevad toimetuslikud hinnangud, mitte Aleph Alpha avaldatud hinded.
Jõudlus, kiirus ja kulude kompromissid
Mudelil on ligikaudu 7 miljardit parameetrit ning see on mõeldud enda hallatavas või teadustöö keskkonnas juurutamiseks. Selle suhteliselt kompaktne suurus võib muuta selle katsetamiseks sobivamaks kui väga suured mudelid, kuid kohandatud HAT-i teostus muudab tavapäraseid juurutamise kompromisse.
Aleph Alpha märgib, et avalikult kättesaadav põhiline järelduste teostus ei olnud optimeeritud. Eraldi vLLM-il põhinev teostus pidi võimaldama tõhusamat pakktöötlust. Seetõttu sõltub mudeli tegelik kiirus suuresti valitud teostusest, riistvarast, pakktöötlusstrateegiast ja ühilduvusseadistusest. Avaldatud arhitektuurilise tihendamise eeliseid ei tohiks käsitleda tõendina kiirema otsast lõpuni järelduse kohta.
Selle kontrollpunkti jaoks ei ole kontrollitud majutatud API-, tellimus- ega sisend- ja väljundtokeni hinda. Peamine rahaline kompromiss seisneb seega ise majutamise jõupingutuse ja taristu üle kontrolli vahel: kasutajad väldivad dokumenteeritud pakkuja API arvet, kuid peavad hankima ühilduva riistvara, seadistama tarkvara ja käitama järeldusi ise. Mudel ei ole loomulik valik ostjatele, kes otsivad kohe kasutusvalmis kommertslikku lõpp-punkti.
Konteksti- ja väljundpiirangud
Avaldatud konfiguratsioonis on maksimaalseks positsioonide mahuks märgitud 262 144. Kuna HAT-i esitus on hierarhiline, tuleb seda arvu tõlgendada ettevaatlikumalt kui standardse tokeniseerijal põhineva kontekstipikkuse puhul. See on kasulik näitaja mudeli seadistatud positsioonilise mahu kohta, kuid üksi ei määra, kui palju tavalisi kasutajatokeneid saab konkreetses rakenduses edastada.
Esitatud mudeliteabes ei ole määratud eraldi maksimaalset väljundtokenite arvu. Rakendused peaksid seetõttu kontrollima konkreetse järelduste teostuse käitumist, mitte eeldama pakkuja määratud väljundkvooti. Väljundi pikkus sõltub ka saadaolevast mälust, genereerimisseadetest ning sellest, kuidas HAT-i kood märgi- ja sõnataseme esitusi käsitleb.
Juurutamise ja litsentsi kaalutlused
Mudeli käitamine nõuab enamat kui tavalise Transformersi kontrollpunkti laadimine. Mudelikaardi järgi on vaja kohandatud kaugkoodi, PyTorchi, ühilduvat Transformersi versiooni ja paketti hat-splitter. Ühilduvuse tagamiseks soovitatakse Transformers 4.46.3.
Kaalud ja järelduskood on Hugging Face'i kaudu saadaval. Open Aleph License lubab mitteärilist teadus- ja õppetööd. Kõik, kes kaaluvad kommertskasutust, peavad litsentsi hoolikalt läbi vaatama, mitte eeldama, et avatud kaaludega kättesaadavus tähendab piiranguteta kommertskasutust. Arvesse tuleb võtta ka Llama 3.1 aluseks oleva litsentsi nõudeid ja muid kohaldatavaid õiguslikke või kasutuspiiranguid.
Need juurutamisnõuded muudavad mudeli sobivamaks tehnilistele meeskondadele, teadlastele ja haridusasutuste kasutajatele, kes suudavad hallata kohandatud koodi. Need on puuduseks arendajatele, kes vajavad stabiilset majutatud lõpp-punkti, tavapärast SDK-d, automaatset skaleerimist või tugiteenusega tootmisteenust.
Peamised tugevused ja piirangud
Peamised tugevused
- Alternatiivne arhitektuur: HAT pakub konkreetset teadusplatvormi hierarhilise ja tokeniseerijata keelemudeldamise uurimiseks.
- Inglise ja saksa keele fookus: Kontrollpunkt on suunatud juhiste järgimisele ja teksti genereerimisele mõlemas keeles.
- Avatud kaaludega juurdepääs: Teadlased saavad mudelit uurida ja käitada, selle asemel et tugineda üksnes kaugjuhitavale kommertslikule lõpp-punktile.
- Teadustöö jaoks asjakohane konteksti ülesehitus: Konfiguratsiooni 262 144 positsiooni suurune maht võimaldab pika konteksti katseid, arvestades kohandatud arhitektuuri tõlgendust ja piiranguid.
- Jõukohane mudeli suurus: Ligikaudu 7 miljardi parameetriga on see väiksem kui paljud tipptasemel süsteemid ning võib olla kontrollitud katsetes praktilisem.
Peamised piirangud
- Kohandatud tarkvarapakett: Kaugkood, kindel Transformersi ühilduvuse sihtversioon ja lisapaketid muudavad seadistamise keerukamaks.
- Optimeerimata põhiteostus: Tegelik läbilaskevõime võib ilma tõhusama teostuse ja sobiva riistvarata pettumuse valmistada.
- Majutatud API hinnastuse puudumine: Esitatud uuringus ei ole dokumenteeritud pakkuja hallatavat lõpp-punkti ega lihtsat tokenipõhist kommertskasutuse võimalust.
- Ainult tekst: Mudelil puuduvad loomulikud pildi-, heli- ja videovõimekused.
- Piiratud tõendid kodeerimise ja matemaatika kohta: Mudelikaardi järgi ei ole mudelit koodi genereerimiseks ja matemaatikaks ulatuslikult optimeeritud ega hinnatud.
- Mitteärilise kasutuse fookus: Open Aleph License sobib eelkõige teadus- ja õppetööks.
- Dokumenteeritud tööriistade ja struktureeritud väljundi puudumine: Otsingut, funktsioonide kutsumist, garanteeritud JSON-vastuseid, pakktöötlus-API-sid ega viipade vahemällu salvestamist ei ole loomulike võimekustena tuvastatud.
Millal seda mudelit valida?
Vali Llama-3.1-8B TFree HAT SFT, kui eesmärk on uurida tokeniseerijata või hierarhilisi keelemudelite lahendusi, teha inglise ja saksa keeles juhiste järgimise katseid või juurutada avatud kaaludega tekstimudel kontrollitud mitteärilises keskkonnas. See on mõistlik valik ka teadlastele, kes uurivad teksti tihendamist, alternatiivseid keeleesitusi ja saksakeelse mudeli kohandamist.
Mudel on eriti atraktiivne siis, kui arhitektuurilised katsed ja ise majutamine on tähtsamad kui kasutusvalmis juurutamine. Meeskond, kes suudab töötada kohandatud kaugkoodiga ja hinnata järelduste jõudlust otse, võib sellest saada rohkem kasu kui kasutaja, kes vajab üksnes tavapärast vestlusliidest.
Teistsugune mudel on tõenäoliselt sobivam, kui projekt nõuab loomulikku multimodaalset sisendit, usaldusväärset tööriistade kutsumist, hallatud veebijuurdepääsu, garanteeritud struktureeritud vastuseid, tootmiskõlbulikku majutatud skaleerimist või põhjalikult valideeritud kodeerimis- ja matemaatikajõudlust. Kasutajad, kes otsivad prognoositava API-arveldusega kommertsrakendust, peaksid samuti otsima avaldatud hinnakirjaga majutatud mudelit, mitte käsitlema seda teadustöö kontrollpunkti API-tootena.
Üldhinnang
Llama-3.1-8B TFree HAT SFT-d on kõige õigem käsitleda spetsialiseeritud avatud kaaludega teadusmudelina, mitte üldotstarbelise kommertsteenusena. Selle eripära on hierarhilise autoregressiivse transformaatori arhitektuur, mis asendab standardse alam-sõnade tokeniseerimise märgitaseme ja sõnataseme töötlemise kombinatsiooniga.
Selle inglise ja saksa keele juhiste järgimise fookus, avatud kaaludega levitamine ja ebatavaline arhitektuur muudavad selle kasulikuks teadustöös ja kontrollitud katsetes. Samas vähendavad kohandatud juurutamisnõuded, praktilise konteksti tõlgenduse ebamäärasus, optimeerimata põhiteostus, piiratud tõendid kodeerimise kohta ja mitteäriline litsents selle sobivust kohe kasutusvalmis tootmisülesanneteks. Seega on peamine põhjus selle mudeli valimiseks arhitektuuri ja keelefookuse kombinatsioon, mitte lai funktsioonide valik või hallatud teenuse pakkumine.