Llama 3.2 1B

Mis on Llama 3.2 1B?

Llama 3.2 1B on Meta pakutav ainult teksti töötlev autoregressiivne transformer-arhitektuuriga keelemudel. „1B” viitab selle ligikaudsele suurusele: standardmudel sisaldab umbes 1,23 miljardit parameetrit. Parameetrid on mudeli õpitud väärtused, mida see kasutab teksti mõistmiseks ja genereerimiseks; väiksem parameetrite arv võimaldab üldjuhul kiiremat ja odavamat järeldamist, kuid piirab tavaliselt jõudlust keerukate arutlus-, kodeerimis- ja juhiste järgimise ülesannete puhul.

Mudel on saadaval eeltreenitud ja juhiste järgi häälestatud versioonina. Eeltreenitud versioon on mõeldud arendajatele, kes loovad oma rakendusi või kohandavad mudelit, samas kui juhiste järgi häälestatud versioon on loodud kasutaja viipadele otsesemalt reageerima. Meta positsioneeris Llama 3.2 1B ja 3B mudelid servaseadmete, mobiilsete seadmete ja seadmesiseste kasutusjuhtude jaoks, kus mälukasutus, reageerimiskiirus ja juurutamise kontroll on maksimaalsest mudelivõimekusest olulisemad.

Llama 3.2 1B on avatud kaaludega mudel, mis tähendab, et arendajad saavad mudeli kaalud alla laadida ning neid ühilduva tarkvara ja riistvaraga käitada. See ei ole litsentsi mõttes igas aspektis sama mis täielikult avatud lähtekoodiga projekt: kasutamist reguleerivad Meta kohandatud Llama 3.2 Community License ja Acceptable Use Policy.

Tehnilised andmed ja kontekstiaken

128 000 tokeni suurune kontekstiaken on standardse Llama 3.2 1B kontrollpunkti puhul kindlaks määratud maksimaalne konteksti pikkus. Kontekst tähendab tekstihulka, mida mudel saab ühe suhtluse käigus arvesse võtta, sealhulgas viipa ning asjakohast vestlust või hangitud dokumente. Suur kontekstiaken võib olla pikkade dokumentide puhul kasulik, kuid see ei taga, et väike mudel mõistab väga pika sisendi kõiki üksikasju võrdselt hästi.

Meta mudelikaardi järgi on teadmiste lõppkuupäev detsember 2023. Seetõttu ei tohiks eeldada, et mudel teab pärast seda kuupäeva ilmunud sündmustest, toodetest, seadustest või muust teabest, välja arvatud juhul, kui rakendus annab ajakohast teavet otsingu või mõne muu välise süsteemi kaudu. 128 000 tokeni suurune kontekstilimiit ja teadmiste lõppkuupäev on eri asjad: mudel võib vastu võtta pika dokumendi, kuid samal ajal puuduvad sellel ajakohased teadmised maailmas toimuvast.

Võimekus ja toetatud modaalsused

Llama 3.2 1B võtab vastu teksti ning genereerib teksti või koodilaadset teksti. See ei toeta algupäraselt pilte, heli ega videot ega genereeri otse pilte, heli või videot. Rakendused võivad paigutada mudeli suurema multimodaalse süsteemi osaks, kuid see ei muuda 1B kontrollpunkti ennast multimodaalseks mudeliks.

Mudel toetab ametlikult mitmekeelset teksti, sealhulgas inglise, saksa, prantsuse, itaalia, portugali, hindi, hispaania ja tai keelt. Meta sõnul sisaldasid ulatuslikumad treeningandmed rohkem keeli, kuid mudelikaardil nimetatakse toetatud keeltena konkreetselt neid keeli. Seetõttu sobib mudel kergekaaluliseks mitmekeelseks genereerimiseks, ümberkirjutamiseks ja klassifitseerimislaadseteks töövoogudeks, kuigi kvaliteet võib ülesande ja keele lõikes erineda.

Meta kirjeldab kergekaalulisi Llama 3.2 mudeleid sobivana sellisteks ülesanneteks nagu kokkuvõtete koostamine, viipade ja päringute ümberkirjutamine, otsinguga täiendatud genereerimine ning kohalike assistentide kasutusjuhud. Llama 3.2 1B kasutab ka grupeeritud päringutega tähelepanu (Grouped-Query Attention) – tähelepanuarhitektuuri, mille eesmärk on parandada järeldamise skaleeritavust – ning jagatud esitusi. Meta teatel treeniti mudelit kuni 9 triljoni tokeni abil ja arenduse käigus kasutati teadmustihendust suurematelt Llama mudelitelt. Need on pakkuja esitatud arendusdetailid, mitte konkreetse rakenduse jõudlusgarantiid.

Tööriistakutsed ja rakendustega integreerimine

Llama 3.2 1B-d saab kasutada rakendustes, mis ühendavad selle genereeritud väljundi väliste tööriistadega. Näiteks võib arendaja paluda mudelil koostada struktureeritud päringu kohaliku otsingufunktsiooni, dokumendiotsingu, kalkulaatori või ärilise töövoo jaoks. Seejärel valideerib ümbritsev rakendus päringu ja käivitab tööriista.

Seda ei tohiks segi ajada sisseehitatud veebisirvimise või autonoomse täitmisega. Baaskontrollpunkt ei sirvi iseseisvalt veebi, ei kutsu teenuseid ega käivita koodi. Arendajad peavad ise looma orkestreerimiskihi, tööriistade määratlused, argumentide valideerimise, veahaldus-, õiguste ja turvakontrollid. Seega on tööriistade tugi pigem mudeli ümber ehitatud rakenduse võimekus, mitte Meta otse pakutav hostitud assistendi funktsioon.

Esitatud uuringud ei kinnita eraldiseisva natiivse JSON-režiimi ega garanteeritud struktureeritud väljundi lepingu olemasolu. Masinloetavaid vastuseid vajavad arendajad peaksid mudeli väljundit oma rakenduses valideerima ning vajaduse korral piirama või parandama.

Jõudlus, kiirus ja kulude kompromissid

1,23 miljardi parameetriga mudel on märkimisväärselt väiksem kui suure jõudlusega arutluseks või nõudlikuks tarkvaraarenduseks mõeldud mudelid. Selle peamine eelis on tõhusus: väiksem kontrollpunkt vajab üldjuhul vähem mälu ja arvutusvõimsust kui suurem mudel, mistõttu võib kohalik, mobiilne ja servaseadmetes juurutamine olla praktilisem. Uuringud positsioneerivad Llama 3.2 1B kiirelt reageerivate rakenduste jaoks, kus mudel peab töötama kasutaja lähedal või piiratud riistvara tingimustes.

Selle kirje võrdlevas toimetuslikus hinnangus on kiirust ja kulutõhusust hinnatud kõrgelt, samas kui arutlus- ja kodeerimisvõimekust hinnatakse tagasihoidlikuks. Need hinnangud on toimetuse prognoosid, mitte Meta avaldatud võrdlustestide tulemused. Praktikas sobib mudel paremini lühikesteks või mõõdukalt keerukateks teisendusteks kui mitmeastmeliseks arutluseks, keerukaks silumiseks, edasijõudnud planeerimiseks või suure tähtsusega faktilisteks vastusteks.

Selle allalaaditava kontrollpunkti kohta ei ole tuvastatud Meta ametlikku standardset hostitud API-d, mille kasutustasu põhineks tokenite arvul. Kaalud võib hankida Meta Llama levikanalite kaudu, kuid kasutamise kogukulu sõltub riistvarast, hostimisest, kvantimisest, elektrist ja võimalikust kolmanda osapoole järeldamisteenuse pakkujast. Kvantitud versioonid võivad vähendada mälukasutust ja parandada juurutamise tõhusust, kuid esitatud uuringud eristavad eraldi dokumenteeritud kvantitud variante standardsest 128 000 tokeni kontekstiga kontrollpunktist. Arendajad peaksid kontrollima kasutatava konkreetse variandi konteksti pikkust ja kvaliteediomadusi.

Parimad kasutusjuhud

• Seadmesisesed assistendid: Kohalikud tekstiassistendid võivad vähendada sõltuvust võrgust ja hoida töötlemise seadmele lähemal.
• Kokkuvõtete koostamine: Mudel võib teha kokkuvõtteid märkmetest, sõnumitest, hangitud lõikudest või muust tekstist, kui prioriteediks on mõõdukas võimekus ja väike ressursikulu.
• Ümberkirjutamine: See sobib päringute ja viipade ümberkirjutamiseks, stiili muutmiseks ning muudeks kontrollitud tekstiteisendusteks.
• Otsinguga toetatud rakendused: Otsingusüsteem võib anda asjakohaseid dokumente, et mudel saaks töötada ka teabega, mis jääb väljapoole 2023. aasta detsembris lõppenud teadmiste piiri.
• Mobiilsed kirjutamistööriistad: Väiksem suurus on oluline kergekaalulise kirjutamisabi pakkumisel piiratud võimalustega riistvaras.
• Kohalikud tööriistadega ühendatud töövood: Arendajad saavad kasutada mudelit tööriistapäringute koostamiseks, mida rakendus seejärel valideerib ja täidab.
• Kergekaaluline mitmekeelne genereerimine: Mudel toetab tekstipõhiseid töövooge, mis hõlmavad Meta mudelikaardil nimetatud keeli.

Piirangud ja olukorrad, kus valida mõni teine mudel

Llama 3.2 1B ei ole parim valik juhul, kui peamine nõue on maksimaalne intelligentsus. Selle väike suurus piirab jõudlust keeruka arutluse, raske kodeerimise, nüansirohke juhiste järgimise ja faktilise usaldusväärsuse puhul. Suurem mudel on tõenäoliselt sobivam edasijõudnud tarkvaraarenduseks, keerukaks analüüsiks, pikaks mitmeastmeliseks planeerimiseks või ülesanneteks, kus vead on kulukad.

Samuti ei sobi see ajakohase teabe iseseisvaks allikaks. 2023. aasta detsembris lõppenud teadmiste piir tähendab, et ajakohast teavet vajavad rakendused peavad kasutama otsingut, väliseid tööriistu või mõnda muud ajakohast teenust. Isegi otsingu kasutamise korral peaksid arendajad hindama, kas mudel kasutab esitatud tõendeid usaldusväärselt.

Vali Llama 3.2 1B siis, kui kohalik kontroll, väikesed ressursinõuded, kiirus või juurutamise paindlikkus kaaluvad üles vajaduse tipptasemel arutlusvõime järele. Kaalu suuremat mudelit või hostitud alternatiivi, kui vajad tugevamat kodeerimisvõimekust, usaldusväärsemat keerukat arutlust, natiivset multimodaalset töötlust, hallatud juurdepääsu ajakohasele teabele või selgelt avaldatud kasutushinnaga toetatud API-t.

Selle ainult teksti töötlev ülesehitus on veel üks oluline piirang. Mudel ei suuda otse tõlgendada üles laaditud pilti, kuulata heli ega genereerida meediat. Nende ülesannete jaoks on vaja eraldi nägemis-, kõne- või meediamudelit; Llama 3.2 1B-d võib kasutada suuremas töövoos üksnes tekstitöötluse osana.

Juurutamise ja litsentsi kaalutlused

Meta levitab Llama 3.2 1B-d oma Llama ökosüsteemi ja Hugging Face’i kaudu. Uuringutes nimetatud ühilduvate juurutusvõimaluste hulka kuuluvad Transformers, Meta algne Llama koodibaas, vLLM, SGLang ja muud järeldamissüsteemid. Seega saab mudeli integreerida enda hallatavasse taristusse, ilma et oleks vaja esimese osapoole Meta lõpp-punkti.

Enne ärilist juurutamist tutvu Llama 3.2 Community License’i, Acceptable Use Policy ja võimalike kohustustega, mis kehtivad valitud levitamis- või hostimiskorralduse puhul. Allalaaditav mudel võib anda rohkem kontrolli andmekäitluse ja taristu üle, kuid samal ajal lähevad juurutajale üle ka vastutus uuenduste, seire, turbe, skaleerimise, viipade töötlemise, tööriistade õiguste ja väljundi hindamise eest.

Kokkuvõte

Llama 3.2 1B on praktiline väike keelemudel arendajatele, kes eelistavad tõhusat kohalikku või servaseadmetes toimuvat järeldamist maksimaalsele võimekusele. Selle kontrollitud tugevused on ligikaudu 1,23 miljardi parameetri suurus, 128 000 tokeni kontekstiaken, mitmekeelse teksti tugi, allalaaditavad kaalud ning sobivus teksti teisendamiseks ja tööriistadega ühendatud rakendusteks. Sama olulised on ka piirangud: mudel töötab ainult tekstiga, selle teadmiste lõppkuupäev on detsember 2023, Meta ametlikku hostitud API-hinda ei ole kontrollitud ning keeruka arutluse ja kodeerimise puhul jääb see suurematele mudelitele alla.