Llama 3.2 3B

Mis on Llama 3.2 3B?

Llama 3.2 3B on Meta välja töötatud 3,21 miljardi parameetriga keelemudel, mis avaldati 25. septembril 2024. Parameeter on mudeli õpitud väärtus, mida kasutatakse keele töötlemiseks ja genereerimiseks; parameetrite arv ei näita otseselt mudeli kvaliteeti, kuid annab ligikaudse ettekujutuse selle suurusest ja riistvaranõuetest. 3,21 miljardi parameetriga mudel on märksa väiksem kui paljud üldotstarbelised serverimudelid ning mõeldud tõhusaks kasutuselevõtuks.

Mudel on autoregressiivne transformer. Praktikas tähendab see, et väljund genereeritakse, ennustades teksti varasema osa põhjal järgmist tokenit. Meta kirjeldab Llama 3.2 1B ja 3B mudeleid kergete mudelitena, mis on mõeldud kasutamiseks servaseadmetes ja mobiilseadmetes. Mudelite väljatöötamisel kasutati struktureeritud kärpimist ja teadmiste destilleerimist suurematest Llama mudelitest. Nende tehnikate eesmärk on vähendada arvutusnõudeid, säilitades samal ajal kasulikud võimekused.

Llama 3.2 3B on baaseeltreenitud mudel. See suudab teksti jätkata, teisendada ja genereerida, kuid ei ole sama kontrollpunkt mis Llama-3.2-3B-Instruct, mida on juhiste abil täiendavalt treenitud assistendilaadsetele viipadele vastamiseks. Kui rakendus vajab otseseid vestlusvastuseid, juhiste täpset järgimist või vestlusele suunatud vormingut, on Instruct-kontrollpunkt üldjuhul selle mudelipere sobivam valik.

Kuhu see Meta mudelivalikus sobitub?

Llama 3.2 3B kuulub Meta kergete mudelite perekonda Llama 3.2. Sellesse perekonda kuulub 1B mudel ning eraldi juhiste järgi täiendavalt treenitud variandid. 3B-kontrollpunkt paikneb kergete mudelite vahemiku keskosas: see on 1B versioonist suurem ja võib seetõttu pakkuda rohkem keelelisi võimekusi, kuid vajab ka rohkem mälu ja arvutusvõimsust.

Seda mudelit jagatakse allalaaditavate kaaludena Meta Llama distributsiooni ja ametliku Meta Llama hoidla kaudu Hugging Face'is. Esitatud uuringus ei käsitleta seda eraldiseisva Meta hallatava API-lõpp-punktina, mille sisend- ja väljundtokenite hinnad oleksid avaldatud. Arendajad saavad seda kasutada ühilduva järeldustarkvara ja hostimisteenuste kaudu, kuid need kasutusviisid on mudelist endast eraldiseisvad.

Võimekused ja toetatud sisendid

Llama 3.2 3B võtab vastu mitmekeelset teksti ja genereerib teksti, sealhulgas koodi. Ametlikult loetletud toetatud keeled on inglise, saksa, prantsuse, itaalia, portugali, hindi, hispaania ja tai keel. Mudelikaardi kohaselt hõlmavad treeningandmed ka teisi keeli, kuid väljaspool ametlikult toetatud keelte loendit tuleks mudelit hoolikalt testida, mitte eeldada samaväärset kvaliteeti.

Kontrollpunkt on ainult tekstipõhine. See ei võta natiivselt vastu pilte, heli ega videot ega genereeri pilte, heli, videot, kõnet, manuseid ega muusikat. Seetõttu tuleks seda hinnata keele- ja koodimudelina, mitte multimodaalse mudelina. Ümbritsev rakendus võib ühendada selle eraldi tööriistade või meediamudelitega, kuid need võimekused tulenevad rakenduse arhitektuurist, mitte Llama 3.2 3B mudelist endast.

Selle täppisarvuline mudel toetab konteksti pikkust 128 000 tokenit. Kontekstiaken on tekstihulk, mida mudel saab ühe interaktsiooni jooksul arvesse võtta, sealhulgas viip ja asjakohane genereeritud sisu. Nii suur kontekstiaken võib olla kasulik pikkade dokumentide, mahukate koodifailide või mitmeosalise tekstitöötluse puhul, kuigi tegelik mälukasutus ja jõudlus sõltuvad järeldusseadistusest. Kvantiseeritud versioonidel võivad olla teistsugused konteksti piirangud.

Kohalik, privaatne ja servaseadmetes kasutamine

Llama 3.2 3B peamine praktiline eelis on paindlik kasutuselevõtt. Kuna Meta jagab mudeli kaalusid, saavad arendajad seda käitada kohapeal, privaatses taristus või valitud hostimisteenuse kaudu, selle asemel et saata iga viip kindlasse avalikku lõpp-punkti. See võib olla kasulik rakenduste puhul, kus viibad sisaldavad tundlikku materjali, võrguühendus on piiratud või operaator soovib kontrollida mudeli versioone ja järelduskulusid.

Mudelit saab kasutada ökosüsteemi tööriistadega, nagu Transformers, vLLM, SGLang, llama.cpp-ga ühilduvad rakendused ja muud järeldusraamistikud. Täpsed riistvaranõuded, läbilaskevõime ja mälukasutus sõltuvad kontrollpunkti vormingust, arvulisest täpsusest, kvantiseerimisest, partiisuurusest, konteksti pikkusest ja rakendusest. Kvantiseerimine võib vähendada mälunõudeid ja parandada tegelikku kiirust, kuid võrreldes algse bfloat16-kontrollpunktiga võib see kaasa tuua kompromisse kvaliteedis ja konteksti pikkuses.

Väiksem suurus muudab selle sobivaks ka servaseadmete ja mobiilikasutuse jaoks. Kuid väljend „toetab servaseadmetes kasutamist” ei tähenda, et mudel töötab igas telefonis, manussüsteemis või sülearvutis sama kiirusega. Kohalikku kasutuselevõttu tuleks testida kavandatud viipade pikkuse ja samaaegsete päringute arvuga. Pikad kontekstid võivad vajada lühikeste vastustega võrreldes märksa rohkem mälu.

Järeldamine, kodeerimine ja tööriistade tugi

Llama 3.2 3B suudab koodi genereerida ja teisendada, mistõttu sobib see koodi lõpetamiseks, lihtsamaks programmeerimisabiks, struktureeritud teksti teisendamiseks ja arendajatele mõeldud kohalike tööriistade loomiseks. Mudeli suhteliselt väike suurus tähendab, et nõudlikumaid tarkvaraarenduse ülesandeid tuleks hoolikalt kontrollida, eriti suurte koodihoidlate, keeruka silumise või tundmatute raamistike puhul.

Esitatud toimetuslikus hinnangus saab mudel järeldamise eest 5 punkti 10-st ja kodeerimise eest 5 punkti 10-st. Need on võrdlevad toimetuslikud hinnangud, mitte Meta avaldatud skoorid ega võrdlustestide tulemused. Need viitavad mudelile, mis on mõeldud pigem kergete ja praktiliste ülesannete jaoks kui keeruka mitmeastmelise järeldamise või väga töökindla autonoomse kodeerimise juhtivaks valikuks.

Meta kirjeldab kergeid Llama 3.2 mudeleid tööriistakutsete kasutusjuhtumeid toetavatena. Selles kontekstis rakendab tööriistade kasutamist ümbritsev rakendus: mudel võib genereerida teksti vormingus, mida rakendus tõlgendab funktsiooni või välise teenuse kutsumise taotlusena. Mudel ise ei sirvi veebi, ei käivita koodi, ei hangi ajakohast teavet ega soorita väliseid toiminguid. Uuringus märgitakse tööriistade tugi olemasolevaks, kuid sisseehitatud veebiotsingu süsteemi ega eraldi määratletud JSON-režiimi ei ole kinnitatud.

Hinnad ja kasutuskulud

Esitatud uuringus ei ole allalaaditavatele Llama 3.2 3B kaaludele leitud ametlikku Meta hostitud sisend- või väljundtokeni hinda. Seetõttu ei ole olemas kontrollitud teenusepakkuja hinda, mida võrrelda kuu- või tokenipõhise tellimusega.

Kasutuskulu sõltub mudeli kasutusviisist. Kohalik järeldamine võib hõlmata olemasolevat riistvara, elektrit, salvestusruumi ja arendustööd. Hostitud kasutuselevõtu puhul võib teenusepakkuja küsida tasu arvutusvõimsuse, salvestusruumi, päringute või genereeritud tokenite eest. Kvantiseeritud järeldamine võib vähendada riistvaranõudeid, samas kui suuremad kontekstid, suurem samaaegsus ja kiirem riistvara võivad kulusid suurendada. Neid kulusid ei tohiks segi ajada Meta avaldatud API-hinnaga selle mudeli jaoks.

Tugevused ja piirangud

Mudeli peamine tugevus seisneb avatud kaaludega ligipääsu, suhteliselt väikese suuruse, mitmekeelse tekstivõimekuse ja pika kontekstiakna kombinatsioonis. Seda on kohaliku või privaatse kasutuse jaoks lihtsam kaaluda kui mudelit, mis on saadaval ainult kaugteenuse kaudu. See võib olla ka lähtekohaks täiendavale treenimisele, ülesandepõhisele kohandamisele, teadustööle ja spetsialiseeritud tekstigeneratsioonisüsteemidele.

• Kompaktne kasutuselevõtuprofiil: 3B suurus on mõeldud vähendama riistvarakoormust võrreldes suuremate keelemudelitega.
• Pikk kontekst: täppisarvuline kontrollpunkt toetab kuni 128 000 tokenit.
• Mitmekeelne tekst: Meta nimetab ametlikult kaheksat toetatud keelt.
• Avatud kaalude paindlikkus: arendajad saavad litsentsi tingimusi järgides valida oma järeldusraamistiku, riistvara ja hostimislahenduse.
• Kohandatavus: mudel sobib täiendavaks treenimiseks ja ülesandepõhiste rakenduste arendamiseks.

Sama olulised on ka mudeli piirangud. Selle treeningandmete ajaline piir on detsember 2023 ning sellel puudub sisseehitatud veebiotsing ja ajakohase teabe hankimine. Seda ei tohiks kasutada ajakohaste faktide allikana, kui sellele ei lisata välist otsingusüsteemi. Baaskontrollpunkt on otseseks vestluseks ka vähem mugav kui juhiste järgi täiendavalt treenitud variant. See on ainult tekstipõhine ning väiksem suurus piirab selle töökindlust keerulise järeldamise, nõudliku kodeerimise ja laiaulatuslike teadmistega seotud ülesannetes võrreldes suuremate mudelitega.

Kasutamist reguleerivad Llama 3.2 Community License ja sellega seotud lubatud kasutuse nõuded. Arendajad peaksid nende tingimustega tutvuma enne rakenduse levitamist või mudeli ärilist kasutamist. Samuti tuleks testida mudeli faktilist täpsust, keelekvaliteeti, ohutuskäitumist ja jõudlust konkreetses valdkonnas, mitte käsitleda mudeli üldist kättesaadavust tootmiskasutuseks valmisoleku garantiina.

Millal valida Llama 3.2 3B?

Vali Llama 3.2 3B siis, kui kohalik kontroll, väiksemad ressursinõuded, mitmekeelne tekstitöötlus või täiendav treenimine on olulisemad kui maksimaalne järeldusvõimekus. See on mõistlik lähtekoht võrguühenduseta assistentidele, privaatsele dokumenditöötlusele, mitmekeelsele ümberkirjutamisele, pärast kohandamist tehtavale teksti klassifitseerimisele, kokkuvõtete loomisele, andmete eraldamisele, kergetele kodeerimistööriistadele ja servarakendustele, mis ei saa sõltuda suurest kaugmudelist.

See on kasulik valik ka siis, kui rakenduse meeskond soovib kontrollida kvantiseerimist, järeldustarkvara ja riistvara, selle asemel et kasutada kindlate parameetritega hostitud API-t. Avatud kaaludega versioon võib muuta katsetamise ja spetsialiseeritud kohandamise praktilisemaks kui suletud mudeli kasutamine, mille allalaaditav kontrollpunkt puudub.

Teine lahendus võib olla sobivam, kui rakendus vajab järjepidevalt tugevat keerukat järeldamist, nõudlikku tarkvaraarendust, ajakohast veebiteavet, suure kindlusega faktilisi vastuseid või natiivset pildi-, heli- ja videotöötlust. Otseste assistendivestluste jaoks sobib Llama-3.2-3B-Instruct sellest baaskontrollpunktist paremini. Töökoormuste puhul, kus kiirusest, mälukasutusest ja kasutuskulust on olulisem maksimaalne kvaliteet, võib eelistada suuremat mudelit. Kui aga esmatähtis on võimalikult väike ressursijälg, tasub hinnata Llama 3.2 kergete mudelite perekonna 1B-liiget, arvestades, et selle võimekused on teistsuguse kompromissiga.

Tehniline kokkuvõte