Mis on DeepSeek-R1-Distill-Qwen-7B?
DeepSeek-R1-Distill-Qwen-7B on avatud kaaludega 7 miljardi parameetriga põhjuslik keelemudel, mis on keskendunud arutlemisele. See võtab vastu teksti ja genereerib teksti, pöörates erilist tähelepanu matemaatikale, programmeerimisele, struktureeritud probleemilahendusele ning samm-sammult lähenemisest kasu saavatele selgitustele.
Mudel kuulub DeepSeeki destilleeritud R1-mudelite sarja. See ei ole täismahus DeepSeek-R1 mudel, vaid väiksem õpilasmudel, mis põhineb mudelil Qwen2.5-Math-7B ja mida on täiendavalt treenitud DeepSeek-R1 abil loodud või kureeritud arutlusnäidetega. Selline lähenemine kannab osa suurema mudeli probleemilahendusvõimest üle kontrollpunkti, mida on praktilisem alla laadida ja kohapeal käitada.
DeepSeek avaldas mudeli 20. jaanuaril 2025. Kanoniline repositoorium Hugging Face'is on deepseek-ai/DeepSeek-R1-Distill-Qwen-7B ning mudelirepositoorium ja sellega seotud materjalid on avaldatud MIT-litsentsi alusel.
Koht DeepSeeki mudelite kataloogis
See kontrollpunkt paikneb DeepSeek-R1 perekonna väiksemate ja allalaaditavate mudelite hulgas. Selle peamine eripära ei ole hostitud API mugavus ega maksimaalne üldvõimekus, vaid arutlemisele suunatud käitumise, avatud kaalude ja suhteliselt hõlpsasti teostatava kohaliku juurutuse kombinatsioon.
Qwenil põhinevaid destilleeritud mudeleid treeniti ligikaudu 800 000 kureeritud arutlusnäitega. DeepSeek nimetab selle kontrollpunkti baasmudeliks Qwen2.5-Math-7B. Saadud mudel on täismahus DeepSeek-R1 süsteemist oluliselt väiksem, kuid neid kahte ei tohiks käsitleda võimekuselt ega ressursinõuetelt samaväärsetena.
DeepSeek märgib ka, et destilleeritud kontrollpunktid kasutavad muudetud konfiguratsioone ja tokeniseerijaid. Seetõttu peaksid kasutajad järgima mudelikaardil toodud soovituslikku konfiguratsiooni ja laadimisjuhiseid, mitte eeldama, et kontrollpunkti saab käsitleda muutmata Qweni mudelina.
Põhispetsifikatsioonid ja piirangud
| Spetsifikatsioon | Kontrollitud üksikasjad |
|---|---|
| Teenusepakkuja | DeepSeek |
| Mudelite perekond | DeepSeek-R1 |
| Baasmudel | Qwen2.5-Math-7B |
| Parameetrite arv | 7 miljardit |
| Mudeli tüüp | Tihe põhjuslik keelemudel |
| Konteksti konfiguratsioon | 131 072 tokenit |
| Avaldatud seadistuses soovitatud genereerimise maksimum | Kuni 32 768 tokenit |
| Litsents | MIT |
| Sisend ja väljund | Tekstisisend ja tekstiväljund |
| Esimese osapoole hind | Selle kontrollpunkti kohta ei ole eraldi tokenipõhist hinda avaldatud |
131 072 tokeni suurus näitab mudeli konfiguratsioonis määratud maksimaalset positsioonipikkust. Seda ei tohiks tõlgendada garantiina, et iga kohalik teenindusseadistus suudab sellise pikkusega viipa tõhusalt töödelda. Praktilist jõudlust mõjutavad muu hulgas mälu, viiba pikkus, järeldusmootor ja genereerimisseaded. DeepSeeki avaldatud näited ja hindamised kasutavad kuni 32 768 tokeni pikkuseid genereerimisi, kuid juurutuses võib latentsuse ja mälukasutuse kontrollimiseks olla vaja madalamat piirangut.
Arhitektuuri kirjeldatakse Qwen2-põhisena: sellel on 28 kihti, peitdimensioon 3584, 28 tähelepanupead ja neli võtme-väärtuse pead. Algsed kaalud kasutavad bfloat16 konfiguratsiooni metaandmeid. Kogukond on loonud kvantiseeritud versioone, kuid nende kvaliteeti, mälunõudeid ja ühilduvust tuleks hinnata algsest kontrollpunktist eraldi.
Arutlemise, matemaatika ja programmeerimise jõudlus
Mudeli peamine eesmärk on lahendada probleeme, mille puhul on kasu vahepealsest arutlemisest, mitte lihtsalt lühikese vastuse leidmisest või lõpetamisest. Tüüpilised ülesanded hõlmavad matemaatikaülesandeid, loogikaprobleeme, koodi genereerimist, silumisabi, tehnilisi selgitusi ning destilleeritud arutlusmudelite uurimist.
DeepSeek esitab selle kontrollpunkti kohta järgmised tulemused: AIME 2024 testis 55,5 protsenti pass@1, MATH-500 testis 92,8 protsenti, GPQA Diamondi testis 49,1 protsenti, LiveCodeBenchis 37,6 protsenti ning Codeforcesi reiting 1189. Need on teenusepakkuja esitatud võrdlustulemused. Need annavad kasuliku indikatsiooni mudeli kavandatud tugevuste kohta, kuid ei taga sama tulemust iga viiba, valimi moodustamise seadistuse, keele ega järeldusraamistiku puhul.
Mudel suudab genereerida arutluskäike eeldatud vormingus <think>. DeepSeek soovitab temperatuuri vahemikus 0,5–0,7, süsteemiviiba vältimist ja juhiste paigutamist kasutajaviipa. Vajaduse korral soovitatakse mudelikaardil paluda mudelil alustada vastust tekstiga <think>. Mõned viibad võivad põhjustada mudeli oodatud mõtlemismustri lühendamise või vahelejätmise, mistõttu võib väljundi käitumine viiba vormingust sõltuda.
Programmeerimise puhul tuleks seda mudelit käsitleda pigem kohaliku programmeerimisabina kui täieliku tarkvaraarendusagendina. See suudab genereerida koodi, selgitada rakendusotsuseid ja aidata programmeerimisprobleemide üle arutleda. Esitatud spetsifikatsioonid ei dokumenteeri siiski loomulikku tööriistade käivitamist, hallatavat agendikäituskeskkonda ega esimese osapoole juurdepääsu repositooriumidele ja veebile.
Modaalsused ja tööriistade tugi
DeepSeek-R1-Distill-Qwen-7B on ainult tekstipõhine. See võtab vastu tekstisisendi ja toodab tekstiväljundi. Selle kontrollpunkti puhul ei ole loomulikku pildi-, heli- ega videosisendit dokumenteeritud ning see ei genereeri pilte, heli, videot ega muud mittetekstilist meediat.
Loomulikku tööriista- või funktsioonikutset ei ole dokumenteeritud ning esitatud mudeliandmetes on see märgitud toetamata funktsioonina. Ümbritsev rakendus võiks teksti parsida ja ühendada mudeli välise tarkvaraga, kuid see oleks rakendustaseme integratsioon, mitte kontrollitud sisseehitatud mudelivõimekus. Samuti ei ole dokumenteeritud esimese osapoole veebotsingufunktsiooni ega avaldatud mudelipõhist teadmiste lõpptähtaega.
Ühilduvad kohalikud järeldusraamistikud võivad pakkuda voogedastust ja vahemällu salvestamist, kuid need on juurutusfunktsioonid, mitte kaalude ainulaadsed omadused. Sama eristus kehtib täiendava treenimise kohta: allalaaditavad kaalud muudavad kasutaja hallatava täiendava treenimise võimalikuks, kuid DeepSeek ei dokumenteeri selle konkreetse kontrollpunkti jaoks hallatavat täiendava treenimise API-t.
Juurutus ja hinnastamine
Mudel on mõeldud allalaadimiseks ja ise hostimiseks. See ühildub Transformerite ökosüsteemiga ning seda saab käitada kohalike järeldussüsteemidega, nagu vLLM ja SGLang. Repositooriumi avatud kaalud võimaldavad kasutajatel kontrollpunkti ka kvantiseerida, kohandada seda spetsiaalsete töökoormuste jaoks või integreerida selle privaatsetesse järeldusteenustesse.
DeepSeek-R1-Distill-Qwen-7B enda kohta ei ole avaldatud esimese osapoole tokenipõhist ega tellimuse hinda. See erineb hostitud mudeli lõpp-punkti kasutamisest: peamised kulutegurid on riistvara, salvestusruum, elekter, käitamine ja kontrollpunkti kasutamiseks vajalik arendustöö. Hostitud kolmanda osapoole teenus võib juurdepääsu eest tasu küsida, kuid see hind kuulub teenusepakkujale ja seda ei tohiks esitada DeepSeeki hinnana selle mudeli eest.
Mudeli 7 miljardi parameetriga suurus muudab selle kohalikuks juurutamiseks kättesaadavamaks kui palju suuremad arutlusmudelid, kuid pikad arutluskäigud võivad siiski suurendada latentsust ja mälukasutust. Kvantiseerimine võib ressursinõudeid vähendada, kuigi kvantiseeritud versiooni käitumine võib algsest bfloat16 kontrollpunktist erineda. Rakendustes, kus vastuse kiirus on pikast arutlemisest tähtsam, võib lühem genereerimispiirang ja hoolikalt kujundatud viip olla kasulikum kui kogu avaldatud genereerimispiiri lubamine.
Parimad kasutusjuhud
- Kohalikud matemaatikaabilised: ülesannete lahendamine, vahepealse arutluse kontrollimine ja selgituste genereerimine ilma viipasid hostitud teenusele saatmata.
- Programmeerimise tugi: funktsioonide kavandamine, koodi selgitamine, algoritmide läbimõtlemine ja programmeerimisülesannete lahendamise toetamine.
- Privaatsustundlikud juurutused: järelduse käitamine organisatsiooni enda keskkonnas, kui eelistatakse allalaaditavaid kaalusid.
- Arutlemise uurimine: uurimine, kuidas destilleerimine kannab suurema arutlusmudeli käitumise üle väiksemasse kontrollpunkti.
- Hariduslikud ja eksperimentaalsed tööriistad: prototüüpide loomine, mis vajavad tekstipõhist probleemilahendust ilma iga päringu eest eraldi API-tasuta.
See sobib eriti hästi juhul, kui kontroll mudeli ja juurutuskeskkonna üle on tähtsam kui võtmed-kätte-hostimine. MIT-litsents võib olla kasulik ka projektidele, mis vajavad lubava litsentsiga mudelirepositooriumi, tingimusel et konkreetse edasijagamise või juurutamise puhul vaadatakse üle täpsed repositooriumi failid ja kohustused.
Piirangud ja olukorrad, kus valida mõni muu lahendus
See mudel ei sobi kõigiks töökoormusteks. Valige suurem või võimekam arutlusmudel, kui rakendus vajab parimat saadaolevat vastusekvaliteeti, tugevamat üldotstarbelist jõudlust või keerukate mitmeastmeliste ülesannete usaldusväärsemat käsitlemist. Esitatud uurimistöö ei tõesta otsest vastastikust võrdlust konkreetse sõsarmudeliga, mistõttu oleksid üldised paremuseväited põhjendamatud.
Valige multimodaalne mudel, kui kasutajad vajavad pildi-, heli- või videomõistmist või -genereerimist. Valige hostitud API-mudel, kui töö lihtsus, hallatav skaleerimine või teenusepakkuja hooldatav taristu on kaalude omamise ja käitamisega võrreldes tähtsam. Valige dokumenteeritud tööriistakutsetega mudel, kui usaldusväärne loomulik suhtlus väliste funktsioonide, andmebaaside või veebiteenustega on rakenduse keskne osa.
DeepSeek-R1-Distill-Qwen-7B-l on ka praktilisi piiranguid. Pikad arutlusväljundid võivad olla aeglased ja ressursimahukad. Mudeli vastamisstiil sõltub viipadest ja soovitatud genereerimisseadetest. See ei paku autoriteetset ajakohase teabe hankimist ning täpset teadmiste lõpptähtaega ei ole avaldatud. Lõpuks ei tohiks võrdlustulemusi käsitleda konkreetse projekti jaoks oluliste keelte, valdkondade, viipade ja latentsuseesmärkidega testimise asendusena.
Praktiline hinnang
DeepSeek-R1-Distill-Qwen-7B on sihipärane kohalik arutluskontrollpunkt, mitte üldotstarbeline hostitud tehisintellektitoode. Selle peamine kasutusargument on ise hallatav rakendus, mis vajab matemaatika- või programmeerimisabi, avatud kaalusid ja võimalust hoida järeldus kontrollitud keskkonnas. Selle kompromiss seisneb selles, et kasutajad peavad ise korraldama juurutuse, riistvara, optimeerimise, viipade vormindamise ja kvaliteedi hindamise.
Arendajatele ja teadlastele, kes on valmis seda käitamisvastutust kandma, pakub mudel suhteliselt kompaktset võimalust katsetada DeepSeek-R1-laadset destilleeritud arutlemist. Multimodaalsete rakenduste, loomulike tööriistavoogude, ajakohase teabe hankimise või tipptasemel jõudluse jaoks sobib tõenäoliselt paremini teist tüüpi mudel.