Mis on Llama-3.1-Tulu-3-405B?
Llama-3.1-Tulu-3-405B on Allen Institute for Artificial Intelligence’i ehk lühidalt Ai2 avatud kaaludega juhiste järgimisele suunatud keelemudel. See põhineb Meta mudelil Llama 3.1 405B ning on Ai2 405B Tülu 3 mudelite seeria viimane kontrollpunkt, mis on treenitud kontrollitavatel preemiatel põhineva tugevõppega (RLVR).
Praktikas on tegu väga suure tekstimudeliga, mida on pärast eeltreeningut täiendavalt treenitud juhiste järgimiseks ning selliste ülesannete täitmiseks nagu arutlemine, matemaatika, programmeerimine ja küsimustele vastamine. „Avatud kaaludega“ tähendab, et mudeli kaalud on ühilduvatele kasutajatele allalaadimiseks ja käitamiseks kättesaadavad, järgides Meta Llama 3.1 kogukonnalitsentsi lepingut. See ei tähenda, et tegu oleks väikese ja piiranguteta tarbijarakendusega või et Ai2 pakuks sellele tavapärast majutatud API-t.
Ai2 on avaldanud ka dokumentatsiooni Tülu 3 andmete, treeningukoodi, hindamisprotsessi ja retseptide kohta. Seetõttu on see kontrollpunkt eriti oluline teadlastele, kes soovivad suurte mudelite järeltreeningu meetodeid uurida, korrata või edasi arendada.
Eesmärk ja positsioon mudelite seas
Ai2 mudelite kontekstis on Tülu 3-405B teadustööks mõeldud järeltreenitud mudel, mitte üldotstarbeline tarbekaup. Selle eripära seisneb alusmudeli suures mahus koos dokumenteeritud järeltreeningu töövooga. Töövoog hõlmab juhendatud peenhäälestust (SFT), otsest eelistusoptimeerimist (DPO) ja kontrollitavatel preemiatel põhinevat tugevõpet (RLVR). SFT õpetab mudelit näidete abil, DPO kohandab seda eelistatud ja vähem eelistatud vastuste põhjal ning RLVR kasutab valitud ülesannete puhul automaatselt kontrollitavaid preemiaid.
Ai2 nimetab RLVR-i etapi üheks põhifookuseks matemaatilist võimekust. Seetõttu sobib mudel katseteks, mis käsitlevad arutlemiskäitumist, juhiste järgimise hindamist, matemaatikaülesannete lahendamist, programmeerimise võrdlusteste ja järeltreeningu meetodite analüüsi. See sobib halvemini olukordadesse, kus peamine vajadus on lihtne veebiliides, prognoositav majutatud kasutusvõimalus või soodne järeldamine.
Kontrollitud spetsifikatsioonid lühidalt
| Spetsifikatsioon | Üksikasjad |
|---|---|
| Teenusepakkuja | Ai2 |
| Avaldamiskuupäev | 30. jaanuar 2025 |
| Mudeli identifikaator | allenai/Llama-3.1-Tulu-3-405B |
| Alusmudel | Meta Llama 3.1 405B |
| Parameetrite arv | Ligikaudu 406 miljardit |
| Konteksti piirang | 8192 tokenit |
| Sisend ja väljund | Tekstisisend ja tekstiväljund |
| Sisendmodaalsused | Ainult tekst; pildi-, heli- ega videosisendit ei ole loetletud |
| Väljundmodaalsused | Ainult tekst |
| Litsents | Meta Llama 3.1 kogukonnalitsentsi leping |
| Majutatud kasutuse hind | Ametlikku esimese osapoole majutatud API hinda ei tuvastatud |
Hugging Face’i mudelikaardi järgi on mudelil BF16-vormingus ligikaudu 406 miljardit parameetrit. Ai2 dokumentatsioon soovitab vLLM-i juurutustes mudeli maksimaalseks pikkuseks määrata 8192, kuna mudeli vestlusmall on pikk. Seetõttu tuleks 8192 tokeni suurust käsitleda olulise juurutuspiiranguna, mitte lihtsalt nimelise kontekstiakna suurusena.
Võimekus ja tugevused
Mudeli tugevaim kasutusvaldkond on suurte mudelitega seotud teadustöö. Selle juhiste järgimise võimekus tuleneb mitmest järeltreeningu etapist, mitte üksnes alusmudeli eeltreenimisest. SFT, DPO ja RLVR-i kombinatsioon annab teadlastele konkreetse uurimisobjekti, mille abil analüüsida, kuidas eri järeltreeningumeetodid mõjutavad arutlemist ja vastuste kvaliteeti.
Esitatud mudelihinnangu põhjal on selle arutlemis- ja programmeerimisvõimekus kataloogi võrdlusraamistikus suhteliselt kõrgelt hinnatud. Need hinded on toimetuslikud hinnangud, mitte Ai2 avaldatud tulemused, ning neid ei tohiks segi ajada konkreetse võrdlustesti tulemusega. Paremini kontrollitav väide on see, et Ai2 kavandas treeninguretsepti juhiste järgimiseks ja rõhutab RLVR-i puhul matemaatilist arutlemist.
Programmeerimisel võib mudel olla kasulik koodigenereerimise katsetes, programmeerimise hindamises ja selle analüüsimisel, kuidas suur avatud kaaludega mudel tehnilisi juhiseid käsitleb. Samas ei ole loetletud hallatud programmeerimiskeskkonda, koodi käivitamise tööriista, veebotsingut ega sisseehitatud väliste toimingute süsteemi. Käivitamise, andmete hankimise, liivakasti või rakendusega integreerimise peab tagama operaator.
Mudel toetab ka voogedastust ühilduvates järeldamisseadistustes ning esitatud mudelikirjes on see märgitud peenhäälestatavana. Need võimalused sõltuvad teeninduskomplektist ja olemasolevast taristust; neid ei tohiks tõlgendada tõendina, et Ai2 pakub esimese osapoole standardsete voogedastus- või peenhäälestusjuhtelementidega lõpp-punkti.
Juurutamine, hinnastamine ja taristu kompromissid
Llama-3.1-Tulu-3-405B ametlikku esimese osapoole majutatud API hinda ei ole tuvastatud. Seega on praktilised hinnastamisvõimalused enda taristus majutamine või ühilduva kolmanda osapoole järeldamisteenuse kasutamine, kui mõni teenusepakkuja mudelit pakub. Taristu-, salvestus-, elektri-, teenindus- ja arenduskulud sõltuvad juurutusest ning esitatud uurimistöös neid ei täpsustata.
Ligikaudu 406 miljardi parameetriga mudeli käitamine nõuab märkimisväärset taristut. Esitatud hinnangu järgi on mudeli kiirus väike ja kulutõhusus võrreldes väiksemate mudelitega piiratud. Need on toimetuslikud hinded, mitte teenusepakkuja avaldatud mõõtmistulemused, kuid need peegeldavad olulist praktilist kompromissi: mudeli suurus võib olla teadustöö kvaliteedi ja katsetamise seisukohast väärtuslik, kuid muudab selle halvasti sobivaks interaktiivsetele rakendustele, mis vajavad soodsaid või pidevalt kiireid vastuseid.
Ai2 mudelikaart soovitab Transformersiga ja vLLM-iga ühilduvaid juurutusviise ning dokumenteerib tokeniseerijasse põimitud kohandatud vestlusmalli. Operaatorid peaksid kasutama ametlikku mudeliidentifikaatorit ja tokeniseerija malli, mitte eeldama, et üldine Llama’i viibam vorming annab samaväärse tulemuse. Soovituslik 8192 tokeni suurune mudeli maksimaalne pikkus on vLLM-i seadistamisel eriti oluline.
Piirangud, millega arvestada
Kõige ilmsem piirang on ressursivajadus. 405B-klassi mudel ei ole tarbijariistvaral juurutamiseks ega tavapäraseks odavaks järeldamiseks praktiline valik. Isegi kui kolmanda osapoole majutaja võimaldab sellele juurdepääsu, võivad vastuste kiirus ja hind olla väiksemate või spetsialiseeritumate mudelitega võrreldes ebasoodsamad.
Mudel töötab ainult tekstiga. See ei paku dokumenteeritud pildi-, heli- ega videotöötlust ega loo mittetekstilist meediat. Samuti ei ole loetletud esimese osapoole veebotsingut, andmete hankimist, koodi käivitamist ega tööriista- või funktsioonivõimekust. Rakendused, mis vajavad ajakohast teavet, failipõhiseid vastuseid, väliseid toiminguid või multimodaalset sisendit, vajavad lisasüsteeme või võivad sobida paremini mõne teise mudeli ja platvormiga.
Ai2 märgib, et mudelil on piiratud ohutuskoolitus ning seda ei juurutata automaatselt vastuste ahelasisese filtreerimisega. Operaatorid vastutavad väljundite hindamise ja kasutusjuhtumile sobivate kaitsemeetmete lisamise eest. Kehtib ka Llama 3.1 kogukonnalitsentsi leping ning Ai2 kirjeldab mudelit teadus- ja haridusotstarbeliseks. Enne ärilist või suure mõjuga juurutamist tuleks litsentsi- ja kasutusnõuded üle vaadata.
Selle täpselt peenhäälestatud kontrollpunkti autoriteetset teadmiste lõppkuupäeva ei tuvastatud. Aluseks oleva Llama 3.1 mudeli lõppkuupäeva ei tohiks automaatselt käsitleda Tülu 3-405B lõppkuupäevana.
Millal valida Llama-3.1-Tulu-3-405B?
Vali see mudel juhul, kui avatud kaalude ja dokumenteeritud järeltreeninguretsepti olemasolu on olulisem kui juurutamise lihtsus. See sobib hästi järgmisteks eesmärkideks:
- suuremahuline juhiste järgimise ja arutlemise uurimine;
- matemaatilise arutlemise ja RLVR-i katsed;
- programmeerimise ja tehnilise keele hindamine;
- SFT, DPO ja tugevõppel põhineva järeltreeningu uurimine;
- enda taristus tehtavad katsed, mille puhul operaator kontrollib taristut ja andmeid; ning
- taasesitatav õppetöö, mis hõlmab mudeliartefakte, retsepte ja hindamisi.
Tootmiskasutuses vestluse, kiirete interaktiivsete rakenduste, tarbijariistvara, prognoositava API-arvelduse või sisseehitatud tööriistu ja multimodaalset sisendit vajavate rakenduste puhul võib sobivam olla väiksem mudel või hallatud majutatud teenus. Töökoormuste korral, mis ületavad regulaarselt 8192 tokenit, võib eelistada ka pikemat toetatud kontekstiakent pakkuvat mudelit.
Kokkuvõte
Llama-3.1-Tulu-3-405B-d tuleks käsitleda suure avatud teadustööks mõeldud kontrollpunktina, mitte kasutusvalmis assistendina. Selle väärtus tuleneb 405B-klassi suuruse ja Ai2 avalikult dokumenteeritud Tülu 3 järeltreeningumeetodi, sealhulgas SFT, DPO ja RLVR-i, ühendamisest. See muudab mudeli huvitavaks teadlastele, kes uurivad arutlemist, matemaatikat, programmeerimist ja juhiste järgimist. Sama suurus loob aga märkimisväärsed taristu-, kiiruse- ja kulupiirangud ning tekstipõhine ülesehitus ja loetletud sisseehitatud tööriistade puudumine piiravad selle kasulikkust üldotstarbelistes tootmisrakendustes.