Mis on Llama 3.3 70B Instruct?
Llama 3.3 70B Instruct on Meta juhiste järgi häälestatud suur keelemudel, millel on 70 miljardit parameetrit. See avaldati 6. detsembril 2024 Llama 3.3 mudeliperekonna osana. „Juhiste järgi häälestatud” tähendab, et baasmudelit treeniti täiendavalt kasutajate päringute järgimiseks ja assistendilaadsete vastuste loomiseks, mitte lihtsalt teksti jätkamiseks.
Mudel on mõeldud üldotstarbeliseks tekstitöötluseks: vestlusteks, mustandite koostamiseks, kokkuvõtete tegemiseks, küsimustele vastamiseks, koodi genereerimiseks, arutlemiseks, mitmekeelse sisu loomiseks, sünteetiliste andmete genereerimiseks ning rakenduste töövoogudeks, mis vajavad struktureeritud tööriistakutseid. See on avatud kaaludega mudel, mitte tavapärane suletud lähtekoodiga mudel, millele pääseb ligi ainult ühe teenusepakkuja hallatava API kaudu.
Meta levitab mudelit Llama 3.3 Community License'i ja Acceptable Use Policy alusel. Kaalud saab alla laadida Meta mudeliressurssidest või ametlikust Hugging Face'i repositooriumist, järgides kohaldatavaid tingimusi. Organisatsioonid saavad seejärel mudelit käitada enda hallatavas taristus või kasutada seda toetavat kolmanda osapoole järeldusteenust.
Koht Meta mudelivalikus
Llama 3.3 70B Instruct kuulub Meta avatud mudelite perekonda Llama. Selle peamine positsioneerimine seisneb tõhususes võrreldes palju suuremate mudelitega: Meta esitles seda mudelina, mis pakub konkurentsivõimelisi tulemusi, kuid vajab teenindamiseks vähem ressursse kui märkimisväärselt suurem mudel. See ei tähenda, et mudel oleks väikese ressursivajadusega. 70 miljardi parameetriga mudel vajab endiselt palju mälu ja arvutusvõimsust, eriti pikkade päringute töötlemisel või paljude kasutajate samaaegsel teenindamisel.
Mudelit tasub käsitleda suure võimekusega üldotstarbelise tekstimudelina arendajatele ja organisatsioonidele, kes väärtustavad kontrolli juurutamise, mudelile juurdepääsu ja taristuvalikute üle. See on eraldiseisev Meta AI-st, tarbijatele mõeldud assistendist, mis on saadaval Meta rakendustes. Llama 3.3 70B Instruct on allalaaditav mudel, mis on mõeldud integreerimiseks ja juurutamiseks, mitte ühe standardse kasutajaliidesega tarbijatele mõeldud vestlustellimus.
Sisendid, väljundid ja toetatud modaalsused
Llama 3.3 70B Instruct töötab ainult tekstiga. See võtab vastu tekstisisendit ja genereerib teksti või koodi. Mudel ei töötle algupäraselt pilte, heli ega videot ega genereeri neid meediumivorme otse.
See eristus on rakenduse jaoks mudeli valimisel oluline. Tekstipõhine dokumendiassistent, kodeerimistööriist, mitmekeelne vestlusrobot või otsinguga täiendatud küsimustele vastamise süsteem saab kasutada Llama 3.3 70B Instructi oma keelemootorina. Rakendus, mis vajab piltide loomulikku mõistmist, kõnetuvastust, piltide genereerimist või videoanalüüsi, vajab teistsugust mudelit või täiendavat konkreetsele modaalsusele mõeldud süsteemi.
Meta dokumentatsioon kirjeldab assistendivestluste, nullnäitelise funktsioonikutsumise, sisseehitatud tööriistakonventsioonide ja JSON-põhiste tööriistakutsevormingute tuge. Need vormingud võimaldavad rakendusel paluda mudelil kirjeldada kavandatud funktsioonikutset struktureeritud kujul. Mudel ise funktsiooni ei käivita; ümbritsev rakendus peab päringu valideerima, tööriista käivitama ja tulemuse mudelile tagasi edastama.
128K kontekstiaken ja teadmiste lõppkuupäev
Mudeli dokumenteeritud konteksti pikkus on 128 000 tokenit. Token on mudeli kasutatav tekstifragment, mistõttu mahutava teksti tegelik hulk sõltub keelest ja sisust. 128K tokeni suurune aken mahutab pikki dokumente, pikki vestlusi, koodihoidlaid või mitut otsinguga leitud tekstilõiku, kuigi pikemate sisendite korral suureneb tegelik mälukasutus ja teenindamise kulu.
Llama 3.3 70B Instructi treeningandmete dokumenteeritud lõppkuupäev on detsember 2023. Seetõttu ei tea mudel olemuslikult sündmustest, mis toimusid pärast seda aega. Samuti ei paku see loomulikku veebotsingut ega reaalajas juurdepääsu ajakohasele teabele.
Värskeid vastuseid vajavad rakendused saavad ühendada mudeli otsingu, andmeotsingu, andmebaaside või muude väliste tööriistadega. Selline lahendus võib pakkuda ajakohast teavet, kuid ei muuda mudeli aluseks olevat teadmiste lõppkuupäeva. Rakendus vastutab välise teabe kogumise, filtreerimise ja esitamise eest.
Arutlemis- ja kodeerimisvõimekus
Llama 3.3 70B Instruct on mõeldud nii rohket arutlemist nõudvateks tekstiülesanneteks kui ka tavapäraseks vestluseks. Meta esitab tulemusi üldteadmiste, juhiste järgimise, arutlemise, matemaatika, koodi genereerimise, mitmekeelse mõistmise ja tööriistakasutuse hindamistestides. Esitatud näitajate hulka kuuluvad Meta kirjeldatud hindamistingimustel 92,1 IFEvalis, 50,5 protsenti GPQA Diamondis, 88,4 protsenti HumanEvalis, 77,0 protsenti MATH-is ja 91,1 protsenti MGSM-is.
Need on teenusepakkuja esitatud võrdlustesti tulemused, mitte iga päringu või juurutuse garantii. Võrdlustestide tulemused võivad varieeruda sõltuvalt viipade koostamisest, hindamismetoodikast, dekodeerimisseadetest, kvantimisest ning kasutatavast riist- või järeldustarkvarast.
Kodeerimisel suudab mudel vestluspõhistes töövoogudes koodi genereerida, selgitada, teisendada ja siluda. Samuti võib see koostada struktureeritud tööriistakutseid tarkvarale, mis ühendab mudeli väliste funktsioonidega. Arendajad peaksid genereeritud koodi siiski kontrollima testide, koodianalüsaatorite, turvakontrollide ja asjakohase ülevaatuse abil. Mudel võib kirjutada näiliselt usutavat koodi, mis sisaldab loogikavigu või ebaturvalisi mustreid või põhineb eeldustel teekide ja keskkondade kohta.
Juurutamisvõimalused ja hinnastamine
Meta ei avalda Llama 3.3 70B Instructi jaoks ühtset universaalset hostitud teenuse hinda tokeni kohta. Mudeli avatud kaaludega levitamise tõttu sõltub hind kasutusviisist, mitte ühest Meta API hinnakirjast.
Juurutamiseks on kaks peamist lähenemist:
- Oma taristus majutamine: Organisatsioon laadib kaalud alla ja käitab mudelit enda riistvaral või pilvetaristus. Kulude hulka kuuluvad GPU-d või muud kiirendid, salvestusruum, võrk, arendus, hooldus ja elektrienergia.
- Kolmanda osapoole järeldusteenus: Majutusteenuse pakkuja käitab mudelit ja küsib tasu enda hinnastamismudeli alusel, mis võib sõltuda sisendtokenitest, väljundtokenitest, päringutest, arvutusajast või reserveeritud mahust.
Avatud kaalud võivad suure koormusega töövoogude puhul olla kulutõhusad, sest annavad kontrolli majutamise ja ressursikasutuse üle. Samas ei ole 70 miljardi parameetriga mudel väikese mälukasutusega lahendus. Kvantimine võib vähendada mälunõudeid, kuid mõjutada väljundi kvaliteeti ja jõudlust. Kiirus sõltub samuti riistvarast, kvantimisvormingust, pakktöötlusest, konteksti pikkusest ja teenindustarkvarast.
Uurimuses ei määratleta universaalset väljundtokenite maksimumlimiiti. Praktiline väljundipiir sõltub järeldusimplementatsioonist ja mudeli kontekstiaknasse jäänud vabast ruumist. Ostjad peaksid konkreetse genereerimislimiidi kontrollima valitud majutusteenuse pakkujalt või teenindusraamistikust.
Peamised tugevused ja kompromissid
Tugevused
- Juurdepääs avatud kaaludele: Arendajad saavad valida oma taristus majutamise, privaatse juurutuse või ühilduva kolmanda osapoole taristu vahel, selle asemel et sõltuda ühest suletud lähtekoodiga lõpp-punktist.
- Pikk kontekst: 128K tokeni suurune kontekstiaken toetab mahukaid dokumente, pikki vestlusi ja ulatuslikku otsinguga täiendatud töötlust.
- Mitmekeelsus: Meta nimetab toetatud keelte seas inglise, saksa, prantsuse, itaalia, portugali, hindi, hispaania ja tai keelt.
- Lai valik tekstipõhiseid kasutusjuhtumeid: Mudel sobib vestlusteks, kodeerimiseks, arutlemiseks, sisu genereerimiseks, sünteetiliste andmete loomiseks ja struktureeritud tööriistadega suhtlemiseks.
- Tööriistakutsete vormindamine: See võib koostada rakenduse funktsioonide jaoks JSON-põhiseid või muul viisil struktureeritud päringuid, tingimusel et rakendus tegeleb täitmise ja valideerimisega.
Kompromissid
- Märkimisväärsed taristunõuded: Kuigi mudel on mõnest suuremast mudelist väiksem, vajavad 70 miljardit parameetrit endiselt palju mälu ja arvutusvõimsust.
- Algupärase meediatoe puudumine: Mudel ei saa otse vastu võtta ega genereerida pilte, heli ega videot.
- Sisseehitatud ajakohase teabe puudumine: 2023. aasta detsembris lõppevad teadmised ja loomuliku veebotsingu puudumine muudavad ajakohase teabe töövoogudes vajalikuks otsingu või andmeotsingu kasutamise.
- Vastutus käitamise eest: Oma taristus majutamine eeldab, et organisatsioon haldab skaleerimist, turvalisust, seiret, mudeliuuendusi ja järelduste töökindlust.
- Litsentsikohustused: Kommertskasutus, levitamine, peenhäälestus ja tootesse integreerimine peavad järgima Llama 3.3 Community License'i ja Acceptable Use Policy tingimusi.
Millal valida Llama 3.3 70B Instruct?
See mudel on tugev kandidaat, kui organisatsioon vajab võimekat üldotstarbelist keelemudelit ja soovib kontrollida, kus seda käitatakse. See sobib eriti hästi privaatsetele dokumendiassistentidele, mitmekeelsele vestlusele, kodeerimisabile, pika konteksti kokkuvõtete loomisele, otsinguga täiendatud genereerimisele, sünteetiliste andmete töövoogudele ja rakendustele, mis vajavad struktureeritud suhtlust äritööriistadega.
See võib olla sobiv ka juhul, kui prognoositav kontroll taristu üle on olulisem kui lihtne teenusepakkuja hallatav lõpp-punkt. Sobiva riistvara, pilvemahu või väljakujunenud mudelite teenindusplatvormiga ettevõte saab juurutust enda töökoormuse järgi kohandada ja valida sobiva kvantimistaseme.
Väiksem mudel võib olla sobivam, kui peamine eesmärk on väike latentsus, vähene mälukasutus või odav suure mahuga järeldamine. Suurem tipptasemel mudel võib olla parem valik töökoormustele, mis nõuavad keeruliste arutlusülesannete puhul tugevamat jõudlust ja mille puhul ollakse valmis leppima suuremate kulude või väiksema juurutamiskontrolliga. Kui rakenduse keskmes on pildid, heli või video, on parem valida multimodaalne mudel. Ajakohase teabe jaoks tuleks Llama 3.3 70B Instructi kasutada koos otsingu või tööriistadega, mitte üksinda.
Piirangud, litsentsimine ja ohutu kasutamine
Nagu teised keelemudelid, võib ka Llama 3.3 70B Instruct genereerida ebatäpset, puudulikku, kallutatud või ohtlikku sisu. Ladusalt sõnastatud vastust ei tohiks pidada tõendiks selle õigsuse kohta. Rakendused peaksid kasutama ülesandespetsiifilist hindamist, seiret, juurdepääsukontrolle, vajaduse korral inimkontrolli ning tundlike valdkondade jaoks sobivaid kaitsemeetmeid.
Tööriistakutsed toovad kaasa täiendavaid turvariske. Rakendused peaksid mudeli struktureeritud päringuid valideerima, lubatud funktsioone piirama, autoriseerimist jõustama, argumendid puhastama ning vältima kontrollimata väljundi lubamist suure mõjuga toimingute käivitamiseks.
Enne juurutamist peaksid meeskonnad üle vaatama Llama 3.3 Community License'i ja Acceptable Use Policy. Samuti tuleks kontrollida kõigi majutusteenuse pakkujate tingimusi, kasutajaandmete käsitlemist, valitud mudelikaalude päritolu ning levitamise või kommertsintegratsiooni nõudeid.
Kokkuvõte
Llama 3.3 70B Instruct on ainult tekstiga töötav avatud kaaludega mudel organisatsioonidele, kes vajavad laialdast keele-, kodeerimis- ja arutlemisvõimekust, kuid ei soovi olla seotud ühe hostitud API-ga. Selle 128K kontekstiaken, mitmekeelsus ja struktureeritud tööriistakutsevormingud muudavad selle kasulikuks mahukates rakenduste töövoogudes. Peamised kulud on 70 miljardi parameetriga mudeli käitamiseks vajalik taristu, vajadus lisada ajakohase teabe jaoks väline andmeotsing ning vastutus juurutuse ja ohutuse enda korraldamise eest.