Mis on Llama-3.1-Tulu-3-8B?
Llama-3.1-Tulu-3-8B on Allen Institute for AI ehk üldtuntud Ai2 pakutav avatud kaaludega juhiste järgimisele keskenduv keelemudel. See põhineb Meta Llama 3.1 8B baasmudelil ning avaldati Ai2 algse Tülu 3 8B arendussarja viimase tugevdusõppe kontrollpunktina.
Juhiste järgimine tähendab, et mudelit on täiendavalt treenitud vastama kasutaja päringutele vestlusvormingus, mitte lihtsalt jätkama etteantud toorteksti. See on mõeldud näiteks küsimustele vastamiseks, mitmeastmeliste juhiste järgimiseks, matemaatikaülesannete lahendamiseks, koodi kirjutamiseks ja selgitamiseks ning üldiste tekstivastuste koostamiseks.
Mudel avaldati 21. novembril 2024 koos Tülu 3 andmestike, treeningukoodi, hindamistööriistade ja korratavate täiendtreeningu retseptidega. Selline avaldamisviis muudab selle eriti oluliseks teadlastele ja arendajatele, kes soovivad mudeli täiendtreeningut uurida või korrata, selle asemel et kasutada läbipaistmatu ülesehitusega majutatud assistenti.
Treeninguviis ja mudeli päritolu
Tülu 3 on täiendtreeningu uurimisprojekt, mitte täiesti uue baas-arhitektuuriga mudel. Ai2 alustas Meta Llama 3.1 8B mudelist ja koostas omavahel seotud kontrollpunktide jada. Nende hulka kuulusid juhendatud peenhäälestus, otsene eelistuste optimeerimine ja lõplik tugevdusõppe mudel.
Kanooniline mudelitunnus on allenai/Llama-3.1-Tulu-3-8B. Lõplik kontrollpunkt põhineb Tülu 3 DPO mudelil ning kasutab kontrollitavate tasudega tugevdusõpet, mida tavaliselt lühendatakse RLVR-iks. Selle meetodi puhul saab mõningaid vastuseid võrrelda objektiivse või osaliselt objektiivse tasuga. See on kasulik näiteks matemaatika, programmeerimise ja muude ülesannete puhul, kus õigsust saab hinnata.
Ai2 avaldatud materjalides kirjeldatakse treeninguretsepti eesmärkidena juhiste järgimist, matemaatikaülesannete lahendamist, programmeerimist, teadmistepõhiseid ülesandeid ja üldist vestlusvõimekust. Need on pakkuja kirjeldatud treeningueesmärgid, mitte garantii, et mudel lahendab iga ülesande usaldusväärselt. Esitatud uurimus ei määra selle konkreetse lehe jaoks üht kindlat võrdlustesti tulemust, mistõttu tuleks mudeli võimekust hinnata kavandatud töökoormuse põhjal.
Tehniline profiil ja konteksti maht
Llama-3.1-Tulu-3-8B on ainult dekoodriga keelemudel, millel on ligikaudu 8 miljardit parameetrit. Selle konfiguratsioon määrab positsioonilise konteksti mahuks 131 072 tokenit. Konteksti maht näitab vestluse, lähteteksti või muu tokeniseeritud sisendi hulka, mida mudel teoreetiliselt töödelda suudab, kuigi tegelik kasutatav piir sõltub teeninduskihtidest, mälust ja viiba vormingust.
Praktiliseks vLLM-i juurutuseks soovitab Ai2 kasutusjuhend maksimaalseks mudeli pikkuseks 8192 tokenit. See soovitus on kohaliku serveri seadistamisel arendajatele olulisem kui toorkonfiguratsiooni väärtus. Suur seadistatud kontekst ei tähenda automaatselt, et iga juurutus suudab seda pikkust tõhusalt või töökindlalt teenindada.
Selle konkreetse kontrollpunkti autoriteetset maksimaalset väljundtokenite arvu ei õnnestunud tuvastada. Seega sõltub väljundi pikkus järeldusraamistikust ja genereerimisseadetest, mitte dokumenteeritud esimese osapoole majutatud API piirangust. Arendajad peaksid määrama olemasoleva mäluga ja rakendusega sobiva selge genereerimispiiri.
Toetatud modaalsused ja väljunditüübid
See on ainult tekstimudel. See võtab vastu tekstipõhiseid viipasid ja koostab tekstivastuseid. See ei võta algupäraselt vastu pilte, heli ega videot ega genereeri pilte, heli ega videot. Nende modaalsuste jaoks oleks vaja eraldi OCR-, nägemis- või kõnesüsteemi ning seejärel tekstipõhist viipamist, kui nende süsteemide väljundid edastatakse Tülu 3-le.
Esitatud uurimuse kohaselt on mudel eelkõige mõeldud ingliskeelseks kasutuseks. Selle tokeniseerija sisaldab Tüluga ühilduvat vestlusmalli, milles on süsteemi, kasutaja ja assistendi rollid. Arendajad peaksid vestlusvormingu käsitsi taastamise asemel kasutama tokeniseerijasse lisatud vestlusmalli, sest õiged rollimärgised ja vorming võivad mõjutada vastuste kvaliteeti.
Arutlus, programmeerimine ja tööriistade tugi
Arutlus on üks mudeli kavandatud kasutusvaldkondi. RLVR-i etapp keskendub konkreetselt ülesannetele, mille vastuseid või vahetulemusi saab kontrollida, sealhulgas matemaatikale ja programmeerimisele. Praktikas sobib mudel seetõttu lahenduskäigu küsimiseks, koodiselgituste koostamiseks, silumisettepanekute andmiseks ja struktureeritud samm-sammuliste vastuste loomiseks. Seda ei tohiks pidada eksimatuks arutlusmootoriks: genereeritud arvutused ja kood vajavad endiselt kontrollimist.
Programmeerimine on samuti Tülu 3 treeninguretsepti üks sõnastatud eesmärke. Mudel suudab tekstipõhist koodi genereerida, selgitada ja muuta, mistõttu sobib see kohalikele programmeerimisassistentidele, õppevahenditele, koodi hindamise katsetele ja täiendtreeningu uurimiseks. Esitatud teave ei tuvasta konkreetset programmeerimiskeele spetsialiseerumist ega garanteeritud läbimismäära programmeerimise võrdlustestis.
Mudel ei paku algupärast tööriistade ega funktsioonide täitmist. Mudelikirje märgib tööriistakasutuse toetamata funktsiooniks ning mudelit ei kirjeldata veebisirvimise, koodi täitmise ega reaalajas andmetele juurdepääsu võimaldavana. Rakendus võib paigutada mudeli välisesse orkestreerimissüsteemi, kuid see on rakendustaseme integratsioon, mitte kontrollpunkti sisseehitatud võimekus.
Samuti ei ole tuvastatud kontrollitud algupärast JSON-režiimi ega struktureeritud väljundi funktsiooni. Masinloetavat väljundit vajavad arendajad peaksid vastuseid oma tarkvaras valideerima ja parandama, mitte eeldama, et tavaline viipamine tagab korrektse JSON-i.
Juurutus, hinnastamine ja kulude kompromissid
Llama-3.1-Tulu-3-8B levitatakse allalaaditavate kaaludena, mitte esimese osapoole tokenipõhise järeldus-API-na. Selle kontrollpunkti sisendhinda, väljundhinda ega korduva tellimuse hinda ei ole saadaval. Kasutamise maksumus sõltub riistvarast, majutusteenuse pakkujast, elektrist, salvestusruumist ja mudeli käitamiseks vajalikust arendustööst.
Kohalik juurutus võib püsiva kasutuskoormuse korral olla päringupõhisest tasumisest soodsam, kui kasutajal on juba sobiv riistvara. Kvantimine võib vähendada mälunõudeid ja muuta mudeli kättesaadavamaks, kuigi mõju kvaliteedile sõltub kvantimismeetodist ja töökoormusest. Täis- või suurema täpsusega teenindus nõuab üldjuhul rohkem mälu ja võib võrreldes kvanditud seadistusega vähendada läbilaset.
Iseseisev majutamine toob kaasa ka kohustused, mida hallatav API tavaliselt ise korraldab, sealhulgas mudelite allalaadimise, sõltuvuste haldamise, GPU-de eraldamise, skaleerimise, seire, turbe ja uuendused. Seega on mudel litsentsikulude mõttes paljude uurimisotstarvete jaoks soodne, kuid selle käitamine ei ole tasuta.
Peamised tugevused ja piirangud
Selle mudeli kasutamise tugevaim põhjus on läbipaistvus. Ai2 avaldas lisaks kontrollpunktile ka seotud andmestikud, treeningukoodi, hindamistööriistad ja retseptid. See toetab korratavust, uurimist ja täiendtreeningu meetoditega eksperimenteerimist. Võrreldes palju suuremate keelemudelitega on mudel ka piisavalt väike, et olla praktiline kandidaat kohalikuks teeninduseks ja domeenikohanduseks.
Selle kavandatud katvus on 8B mudeli kohta lai: üldine juhiste järgimine, matemaatika, programmeerimine, teadmistepõhised ülesanded ja vestlustekst. Avatud kaalud võimaldavad arendajatel hinnata mudelit privaatsetel andmetel, kohandada seda täiendava peenhäälestusega ja integreerida süsteemidesse, kus viipade saatmine kolmanda osapoole API-le ei ole soovitav.
Piirangud on sama olulised. Tegemist on Tülu 3 sarja vanema mudeliga ning selle on asendanud Llama-3.1-Tulu-3.1-8B. Uuem sõsarmudel muudab lõpliku tugevdusõppe etapi PPO-lt GRPO-le ja teatab parematest tulemustest, mistõttu võivad kõige uuemat 8B Tülu kontrollpunkti otsivad kasutajad eelistada seda järglast. Algne mudel on endiselt oluline algse Tülu 3 väljalaske taastootmisel või selle algse treeninguretsepti võrdlemisel.
Mudelil puuduvad ka sisseehitatud veebijuurdepääs, algupärane multimodaalne mõistmine, tööriistade täitmine ja pakkuja hallatav API. Selle toorkonfiguratsioonis määratud 131 072 tokenit ei tohiks segi ajada Ai2 soovitatud 8192-tokenise teenindusmahuga. Lisaks tuleb enne ärilist või suure mõjuga juurutust läbi vaadata Llama 3.1 Community License Agreement ja vastutustundliku kasutuse nõuded.
Millal valida Llama-3.1-Tulu-3-8B?
Vali Llama-3.1-Tulu-3-8B, kui vajad kohalikuks järelduseks, uurimistööks või kontrollitud katsetamiseks avalikult allalaaditavat juhistele häälestatud mudelit. See sobib hästi järgmisteks kasutusjuhtudeks:
- Ai2 algse Tülu 3 täiendtreeningu uurimine või taastootmine.
- Ise majutatava tekstipõhise assistendi loomine üldiste küsimuste ja juhiste järgimise jaoks.
- Matemaatilise arutluse, programmeerimise ja kontrollitavate tasudega treeningu katsetamine.
- 8B mudeli peenhäälestamine domeenipõhiseks tekstülesandeks.
- Hindamiste läbiviimine ilma viipasid majutatud kommerts-API-le saatmata.
- Kvanditud järelduse kasutamine olukorras, kus riistvara või käituskulud on piiratud.
Kui prioriteediks on Tülu 3 8B seeria uusim väljalase, võib sobivam olla teine valik: esitatud uurimuses kirjeldatakse asjakohase järglasena mudelit Llama-3.1-Tulu-3.1-8B. Majutatud kommertsmudel võib olla eelistatum, kui rakendus vajab hallatavat skaleerimist, garanteeritud API kättesaadavust, veebiotsingut, funktsioonikutseid või lihtsat kasutuspõhist arveldust. Pildi-, heli- või videosisendi jaoks on vaja multimodaalset mudelit.
Saadavus ja litsents
Mudel on endiselt allalaadimiseks saadaval Ai2 Hugging Face'i hoidlas. Mudelikirje järgi kehtib sellele Meta Llama 3.1 Community License Agreement koos seotud vastutustundliku kasutuse nõuetega. Litsentsi sobivus võib sõltuda rakendusest, levitamismudelist ja jurisdiktsioonist, mistõttu peaksid organisatsioonid üldise kirjelduse asemel tutvuma kehtiva litsentsitekstiga.
Praktilises mõttes tuleks Llama-3.1-Tulu-3-8B-d mõista läbipaistva uurimis- ja juurutusvahendina, mitte valmis tarbijatele mõeldud assistendina. Selle väärtus tuleneb 8B juhistele häälestatud mudeli, avalikult dokumenteeritud täiendtreeningu ning kaalude iseseisva käitamise või muutmise võimaluse kombinatsioonist.