Mis on DeepSeek-R1-Distill-Llama-70B?
DeepSeek-R1-Distill-Llama-70B on tihke 70 miljardi parameetriga keelemudel, mille DeepSeek avaldas DeepSeek-R1 destilleeritud mudelite seerias. Tihke mudel kasutab iga vastuse genereerimisel kogu mudeli parameetrite hulka, mitte ainult valitud alamhulka. Kontrollpunkt põhineb Meta mudelil Llama 3.3 70B Instruct ning seda viimistleti DeepSeek-R1 abil loodud arutlusnäidetega.
Praktikas ühendab see mudel suure Llama mudeli juhiste järgimise aluse treeningandmetega, mille eesmärk on parandada mitmeastmelist arutlemist. Mudeli kaalud on Hugging Face'i kaudu allalaaditavad, mistõttu on see eelkõige mõeldud kohalikuks, privaatseks või enda hallatavaks juurutuseks. See ei ole sama toode mis juurdepääs majutatud DeepSeek Chati või API-teenusele.
Koht DeepSeeki mudeliperes
Mudel kuulub DeepSeeki R1 destilleeritud mudelite seeriasse. See ei ole DeepSeek-R1 algne suuremahuline kontrollpunkt, vaid väiksem tihke mudel, mis on treenitud avatud lähtekoodiga alusmudelist DeepSeek-R1 loodud näidete abil. Llama-põhine variant pakub seega võimalust kasutada R1-st mõjutatud arutlusvõimet, säilitades samal ajal tuttava avatud kaaludega mudeliarhitektuuri.
Selle päritolu on litsentsimise ja juurutamise hindamisel oluline. Kaasasoleva uuringu kohaselt on DeepSeeki hoidla ja kaalud avaldatud MIT-litsentsi alusel, kuid kontrollpunkt põhineb mudelil Llama 3.3 70B Instruct. Kõik, kes seda edasi levitavad või juurutavad, peaksid tutvuma nii Llama vastavate algsete litsentsitingimuste kui ka DeepSeeki väljalasketeabega.
Põhivõimekus
DeepSeek-R1-Distill-Llama-70B on tekstisisendi ja tekstiväljundiga mudel. See võtab vastu kirjalikke viipasid ja genereerib kirjalikke vastuseid; see ei toeta algupäraselt piltide, heli ega video sisendit ega genereeri mittetekstilist meediat.
- Arutlus: Mudel on mõeldud mitmeastmeliseks matemaatikaks, teaduslikuks arutlemiseks, analüüsiks ja keerukatele küsimustele vastamiseks. Arutlusele keskenduv treening muudab selle sobivamaks ülesannete jaoks, mille puhul on kasulik läbida mitu vaheetappi, kui lihtsa klassifitseerimise või lühikeste automaatse lõpuleviimise ülesannete jaoks.
- Programmeerimine: See suudab genereerida koodi, selgitada algoritme, lahendada programmeerimisülesandeid ja toetada koodipõhist analüüsi. DeepSeek on esitanud tulemusi programmeerimise hindamistel, sealhulgas LiveCodeBenchi ja Codeforcesi testidel.
- Üldine juhiste järgimine: Kuna mudeli alus on Llama 3.3 70B Instruct, saab see hakkama ka selgituste, tekstide koostamise, kokkuvõtete ja muude üldiste keeletöötlusülesannetega.
- Pikad vastused: Kaasasolevad mudeliandmed näitavad konteksti pikkuseks 131 072 tokenit ja väljundi maksimaalseks pikkuseks 32 768 tokenit. Tegelikult kasutatavad piirangud võivad sõltuda teenindusraamistikust, mälust, konfiguratsioonist ja viiba pikkusest.
Testitulemused ja nende tähendus
DeepSeeki avaldatud hindamise kohaselt saavutas DeepSeek-R1-Distill-Llama-70B AIME 2024 pass@1 testis tulemuse 70,0 protsenti, MATH-500 testis 94,5 protsenti, GPQA Diamondi testis 65,2 protsenti ja LiveCodeBenchi testis 57,5 protsenti. DeepSeek teatas ka Codeforcesi reitingust 1633.
Need on teenusepakkuja avaldatud hindamistulemused, mitte igas juurutuses tagatud näitajad. Hinded võivad muutuda sõltuvalt viipade koostamisest, valimi võtmise seadetest, riistvarast, tarkvaraversioonidest ja hindamismetoodikast. Eelkõige näitavad need, et kontrollpunkt on suunatud nõudlikele arutlus- ja programmeerimisülesannetele, mitte ei ennusta konkreetse rakenduse jõudlust.
Juurutamine ja riistvara
Kaasasoleva uuringu kohaselt on täppismudeli hoidla suurus ligikaudu 141 GB. Seetõttu on tavalisel üksikul masinal juurutamine keeruline ning üldjuhul on vaja mitut GPU-d, suure mälumahuga süsteemi või kvantitud teisendust. Kvantimine vähendab mudeli käitamiseks vajalikku mälumahtu, salvestades parameetrid väiksema arvulise täpsusega, kuid kogukonna loodud teisendused on kolmandate osapoolte tööd ning nende kvaliteet, täpsus ja ühilduvus raamistikega võivad erineda.
Ühilduvate teenindusvõimaluste hulka kuuluvad Transformers, vLLM ja SGLang. Need tööriistad võivad pakkuda kohalikku järeldamist või OpenAI-ga ühilduvat teeninduskihti, kuid see ühilduvus tuleneb teenindusraamistikust ega tähenda DeepSeeki eraldi algupärast API-võimekust. Mudeliandmete kohaselt toetatakse ühilduvates teeninduskontekstides voogedastust, samas kui algupärast tööriistade või funktsioonide kutsumist pole toetatuna loetletud.
DeepSeeki avaldatud juhistes soovitatakse temperatuuri vahemikus 0,5–0,7, kus tüüpiline väärtus on 0,6. Samuti soovitatakse süsteemiviipa vältida ja paigutada juhised kasutajaviipa. Teenusepakkuja hindamistes kasutati genereerimise maksimaalse pikkusena 32 768 tokenit. Need seaded on kasulik lähtekoht, kuid tootmiskasutajad peaksid neid katsetama enda viipade ja teeninduslahendusega.
Hind ja juurdepääs
Selle kontrollpunkti sisend- ega väljundtokeni hinda pole esitatud. Uuring kirjeldab seda allalaaditavate kaaludena, mitte eraldi hinnastatud DeepSeeki API-mudelina. See tähendab, et peamised kulud on seotud taristuga: GPU-de või muude arvutusressursside, salvestusruumi, elektri, majutuse ja käitamise haldamisega.
Ise majutamine võib olla majanduslikult atraktiivne, kui meeskonnal on sobiv riistvara või on vaja kontrollida andmeid ja järeldamist. See on vähem atraktiivne väikese või latentsustundliku töökoormuse korral või siis, kui 70 miljardi parameetriga mudeli seadistamine ja hooldus pole põhjendatud. Majutatud järeldamisteenuse pakkuja võib pakkuda lihtsamat käitamislahendust, kuid selle hinnad ja teenusepiirangud tulenevad teenusepakkujast, mitte DeepSeeki mudeliväljalaskest.
Peamised tugevused ja piirangud
Tugevused
- Arutlusele keskenduv treening: Kontrollpunkt on spetsiaalselt destilleeritud DeepSeek-R1 loodud arutlusandmetest, mistõttu on matemaatika ja keerukate probleemide lahendamine selle peamised kasutusjuhud.
- Juurdepääs avatud kaaludele: Kasutajad saavad mudeli alla laadida ega pea tuginema ainult teenusepakkuja majutatud lõpp-punktile.
- Tugevad avaldatud hindamistulemused: AIME, MATH-500, GPQA Diamondi, LiveCodeBenchi ja Codeforcesi tulemused toetavad selle kasutamist keerukate matemaatika- ja programmeerimisülesannete puhul.
- Suur konteksti- ja väljundipiirang: Loetletud 131 072 tokeni pikkune kontekst ja 32 768 tokeni pikkune maksimaalne väljund on kasulikud pikkade dokumentide, põhjaliku analüüsi ja mahukate koodipõhiste viipade korral, sõltudes siiski juurutuse ressurssidest.
- Paindlik juurutamine: Mudelit saab kohandada kohalike järeldamisplatvormidega, nagu Transformers, vLLM ja SGLang.
Piirangud
- Suur ressursivajadus: Ligikaudu 141 GB suurune hoidla on paljude tagasihoidlike süsteemide jaoks liiga suur, kui ei kasutata kvantimist või mitme GPU-ga taristut.
- Ainult tekstipõhine suhtlus: Mudel ei suuda otse töödelda pilte, heli ega videot ega genereeri neid meediatüüpe.
- Majutatud kasutuse hind puudub: Kaasasolevas uuringus pole ametlikku tokenipõhist hinda, mistõttu peavad kasutajad taristu kogukulud ise välja arvutama.
- Algupärast tööriistatuge pole loetletud: Mudeliandmetes on tööriistade kasutamine märgitud toetamata funktsioonina. Välised rakendused võivad siiski genereeritud teksti ümber töövooge ehitada, kuid usaldusväärset funktsioonide täitmist ei tohiks eeldada.
- Arutlus võib suurendada latentsust: Pikad arutluskäigud võivad tarbida rohkem väljundtokeneid, mälu ja aega kui lühemate vastustega mudel.
- Võimalikud fakti- ja koodivead: Mudel võib genereerida valesid selgitusi, ebaturvalist koodi või tarbetut arutlust. Kontrollimine, testimine ja turvameetmed on endiselt vajalikud.
- Teadmiste lõppkuupäev pole kinnitatud: DeepSeek ei avalda selle konkreetse destilleeritud kontrollpunkti kohta kinnitatud teadmiste lõppkuupäeva. Ilma välise teabeotsinguta ei tohiks seda käsitleda ajakohase teabe või veebiotsingu süsteemina.
Millal valida DeepSeek-R1-Distill-Llama-70B?
Vali see mudel, kui vajad avatud kaaludega arutlusmudelit ning sul on selle teenindamiseks vajalik riistvara või majutatud taristu. See sobib hästi matemaatikauuringuteks, algoritmide arendamiseks, koodi genereerimiseks, tehniliseks analüüsiks, võrguühenduseta katsetamiseks ja rakendusteks, kus on oluline hoida viibad ja vastused enda kontrolli all.
See on mõistlik valik ka siis, kui võimekus on kiirusest olulisem ja töökoormus saab kasu põhjalikust arutlusest. Mudeliga kaasas olevad toimetuslikud hinded annavad arutlusele hindeks 9, programmeerimisele 8, kiirusele 4 ja kulule 9. Need on võrdlevad toimetuslikud hinnangud, mitte DeepSeeki spetsifikatsioonid. Need näitavad eeldatavat kompromissi: mudel võib pakkuda tugevat võimekust ja soodsat tarkvaralitsentsi, kuid selle suur riistvaravajadus võib muuta üksikpäringud väiksemate mudelitega võrreldes aeglasemaks või kallimaks.
Millal võib mõni teine valik paremini sobida?
Väiksem mudel võib olla parem suure läbilaskevõime ja väikese latentsusega rakenduste, tagasihoidliku riistvara või rutiinse tekstigenereerimise jaoks, kui 70 miljardi parameetriga mudeli arutlusvõimet pole vaja. Majutatud API-mudel võib olla eelistatav siis, kui meeskond soovib kasutuspõhist arveldamist, hallatud skaleerimist ja seiret ega soovi ise GPU-de juurutamise eest vastutada. Multimodaalne mudel on parem valik, kui rakendus peab mõistma pilte, heli või videot. Natiivse tööriistakutse toega mudel või platvorm sobib paremini siis, kui töövoo keskmes on usaldusväärsed struktureeritud toimingud, andmebaasitoimingud või väliste API-de kutsumine.
Seetõttu tuleks DeepSeek-R1-Distill-Llama-70B-d hinnata kui avatud kaaludega arutlusmudelit, mitte kui universaalset asendust väikestele kiiretele mudelitele, multimodaalsetele süsteemidele või hallatud agentplatvormidele. Selle peamine eripära on R1-st tuletatud arutlusandmete, Llama 3.3 70B aluse ja võimaluse kombinatsioon juurutada kaalud enda taristus.
Kokkuvõte
DeepSeek-R1-Distill-Llama-70B on mahukas ise majutatav arutlusmudel kasutajatele, kes hindavad allalaaditavaid kaalusid ning tugevaid avaldatud matemaatika- ja programmeerimistulemusi. Selle 131 072 tokeni pikkune kontekst ja 32 768 tokeni pikkune maksimaalne väljund toetavad mahukaid ülesandeid, kuid ligikaudu 141 GB suurune hoidla ja loetletud algupärase tööriistatoe puudumine seavad praktilisi piiranguid. See sobib kõige paremini tehniliselt võimekatele meeskondadele, kellel on piisavalt arvutusressursse, mitte kasutajatele, kes otsivad kõige lihtsamat või kiiremat võimalust üldotstarbelisele tehisintellektile juurdepääsuks.