Mis on DeepSeek-V2?
DeepSeek-V2 on 236 miljardi parameetriga avatud kaaludega keelemudel, mille DeepSeek avaldas 6. mail 2024. See on teksti genereeriv mudel, mitte üldotstarbeline multimodaalne assistent: selle põhifunktsioon on võtta vastu teksti ja väljastada teksti. Tüüpilised kasutusviisid on tekstide koostamine ja ümberkirjutamine, tõlkimine, küsimustele vastamine, kokkuvõtete tegemine, matemaatikaülesannete lahendamine, uurimistöövood ja programmeerimisabi.
Mudel põhineb ekspertide segu ehk MoE-arhitektuuril. Selle asemel et kasutada iga sisendmärgi puhul kõiki parameetreid, suunab MoE-mudel iga märgi valitud väiksemate eksperdivõrkude rühma kaudu. DeepSeek-V2-l on kokku 236 miljardit parameetrit, kuid iga märgi puhul aktiveeritakse ligikaudu 21 miljardit. See erinevus on oluline: kogusuurus kirjeldab mudeli võimekust ja mälumahtu, samas kui aktiivsete parameetrite arv peegeldab täpsemalt ühe märgi töötlemiseks vajalikku arvutustööd.
DeepSeek avaldas baasversiooni DeepSeek-V2 koos vestluseks kohandatud variandi DeepSeek-V2-Chat ning väiksemate mudelitega DeepSeek-V2-Lite ja DeepSeek-V2-Lite-Chat. Siin käsitletav mudel on algne baasversioon, mitte üks neist vestlus- või Lite-versioonidest.
Miks arhitektuur on oluline
DeepSeek-V2 ühendab DeepSeekMoE ja mitme peaga latentse tähelepanu ehk MLA (Multi-head Latent Attention) mehhanismi. DeepSeekMoE võimaldab valikulist ekspertide suunamist. MLA muudab tähelepanuinfo esitamise ja vahemällu salvestamise viisi, mistõttu vajab mudeli teenindamine tavapärase lahendusega võrreldes oluliselt vähem võtme-väärtuse vahemälu ehk KV-vahemälu mälu.
Teenusepakkuja esitatud võrdlustes teatas DeepSeek, et MLA vähendas KV-vahemälu vajadust eelkäijaga võrreldes 93,3 protsenti ning suurendas esitatud võrdluses genereerimise maksimaalset läbilaset kuni 5,76 korda. Need on teenusepakkuja esitatud arhitektuuri- ja jõudlusväited, mitte garantii, et sama tulemus saavutatakse igas riistvarakonfiguratsioonis. Tegelik läbilase sõltub muu hulgas kvantimisest, pakisuurusest, teenindustarkvarast, jada pikkusest, GPU-konfiguratsioonist ja võrgust.
Arhitektuur toob kaasa olulise kompromissi. Ligikaudu 21 miljardi parameetri aktiveerimine ühe märgi kohta võib vähendada märgi töötlemiseks vajalikku arvutust võrreldes tiheda mudeliga, milles kasutatakse kõiki 236 miljardit parameetrit, kuid kogu kontrollpunkt tuleb siiski salvestada ja kogu järeldussüsteemis kättesaadavaks teha. DeepSeeki väljalaskejuhendis kirjeldati BF16-järeldust kaheksa 80 GB GPU abil. Kvantimine ja optimeeritud teenindussüsteemid võivad tegelikku vajadust muuta, kuid see mudel ei ole mõeldud tavakasutaja sülearvutis või väikeses ühe GPU-ga juurutuses kasutamiseks.
Kontekstiaken ja sisendipiirangud
DeepSeeki väljalaskedokumentatsioonis on konteksti pikkuseks märgitud 128K märki. See annab mudelile võimaluse töödelda ühes kontekstis pikki dokumente, mahukaid koodifaile, mitmeosalist uurimismaterjali või pikaajalisi tekstipõhiseid töövooge. Kontekstiaken hõlmab nii mudelile edastatud materjali kui ka genereeritud vastust, mistõttu jätab väga pikk viip väljundile vähem ruumi.
128K on dokumenteeritud mudeli konteksti pikkus, mitte lubadus, et iga kolmanda osapoole host kogu seda akent võimaldab. Majutusteenuse pakkuja võib kehtestada oma päringu-, mälu- või väljundipiirangud. Oluline on ka DeepSeek-V2 esimese osapoole API praegune staatus: algset kontrollpunkti ei ole enam DeepSeeki praeguses majutatud API-kataloogis loetletud. Varasemas API-dokumentatsioonis mainiti sel ajal kättesaadava API jaoks 8K max_tokens seadistust, kuid seda ajaloolist seadistust ei tohiks käsitleda allalaaditava mudeli olemusliku maksimaalse väljundina ega praegu kehtiva majutatud teenuse hinnateabena.
Võimekus ja toetatud modaalsused
DeepSeek-V2 on ainult tekstipõhine. See võtab vastu tekstisisendi ja tagastab tekstiväljundi; selle kontrollpunkti kohta ei ole dokumenteeritud loomulikku pildi-, heli- ega videosisendit või -väljundit. Seetõttu tuleks seda hinnata teksti- ja kooditöövoogude keelemudelina, mitte nägemismudeli, kõnesüsteemi, pildigeneraatori või videogeneraatorina.
Selle laiaulatuslik keelemudeli võimekus hõlmab genereerimist, tõlkimist, kokkuvõtete tegemist, küsimustele vastamist, matemaatikat, arutlemist ja programmeerimist. DeepSeeki avaldatud väljalaskematerjalides teatati mudeli väljalaskeperioodi kohta tugevatest tulemustest inglise ja hiina keele mõistmises, matemaatikas, arutlemises ning koodi genereerimise hindamistes. Need tulemused näitavad valdkondi, millele teenusepakkuja keskendus, kuid ei taga konkreetse viiba puhul kindlat skoori ega täpsustaset.
Baasversioon on tavapärane põhjuslik keelemudel, mitte spetsiaalne arutlusmudel eraldi nähtava mõtlemisrežiimiga. See suudab tavalise tekstigeneratsiooni kaudu teha arutlusi ja lahendada matemaatikaülesandeid, kuid esitatud uurimismaterjal ei kinnita teenusepakkuja hallatavat arutlusjuhtimist, garanteeritud mõttekäigu genereerimist ega spetsiaalset arutlusmärkide eelarvet.
Programmeerimine, tööriistad ja struktureeritud väljund
Programmeerimine on üks DeepSeek-V2 kavandatud kasutusviise. Selle suur kontekstiaken võib olla kasulik pikkade lähtefailide ülevaatamisel, koodi selgitamisel, teostuskavandite genereerimisel, koodiga seotud dokumentatsiooni tõlkimisel ja tehnilise teksti analüüsimisel. Mudeli ekspertide segu arhitektuur oli samuti mõeldud pakkuma nõudlike keele- ja programmeerimistöökoormuste puhul head kvaliteedi ja järelduskulu tasakaalu.
DeepSeek-V2 ise ei paku sisseehitatud veebiotsingut, failide hankimist, koodi käivitamist ega muid majutatud tööriistu. Mudeli kirjelduses ei ole allalaaditava kontrollpunkti loomulikku funktsioonide või tööriistade kutsumist kinnitatud. Kohalik või kolmanda osapoole rakendus võib ühendada mudeli väliste tööriistadega, kuid see oleks rakendusekihi võimekus, mitte kontrollpunkti olemuslik omadus.
Samuti ei ole praeguse mudelikirje puhul kinnitatud teenusepakkuja hallatavat JSON-režiimi ega garanteeritud struktureeritud väljundeid. Varasemates DeepSeeki API-materjalides kirjeldati tollal kättesaadava API puhul JSON-väljundit ja funktsioonikutsunguid, kuid neid üksikasju ei tohiks segi ajada praeguse hallatava DeepSeek-V2 lõpp-punktiga. Arendajad, kes vajavad lepingu alusel jõustatavat skeemi, peaksid kontrollima enda valitud konkreetse järeldusserveri või API-ümbrise võimalusi.
Kättesaadavus ja koht DeepSeeki tootevalikus
DeepSeek-V2-d on praegu kõige mõistlikum käsitleda pärandvarana avatud kaaludega mudelina. Selle kaalud ja mudelimaterjalid on endiselt saadaval DeepSeeki ametlikes GitHubi ja Hugging Face'i organisatsioonides ning väljalase sisaldas juhiseid juurutamiseks selliste süsteemidega nagu Transformers, vLLM ja SGLang. See muudab mudeli oluliseks teadlastele, taristumeeskondadele ja arendajatele, kes soovivad juurutamist ise kontrollida, selle asemel et sõltuda praegusest majutatud lõpp-punktist.
Seda ei ole praegu DeepSeeki esimese osapoole majutatud API-kataloogis aktiivse mudelina loetletud. Hiljem ühendas ja täiustas DeepSeek V2 Chati ja DeepSeek Coder V2 tooteliinid mudeliks DeepSeek-V2.5. See hilisem mudel aitab mõista mudeliperekonna arengusuunda, kuid ei muuda algse DeepSeek-V2 kontrollpunkti identiteeti ega spetsifikatsioone.
See eristus mõjutab praktilist hindamist. Allalaaditav kontrollpunkt võib olla kasulik ka pärast seda, kui selle teenusepakkuja hallatav API-kirje on kadunud, kuid siis vastutab kasutaja riistvara, teenindustarkvara, uuenduste, skaleerimise, seire, juurdepääsu kontrolli ja jõudlustestide eest.
Hinnakujundus ja kulukompromissid
Algse DeepSeek-V2 mudeli kohta ei ole praegu kinnitatud esimese osapoole majutatud API hinda. Sellele ei tohiks ajaloolise API-dokumentatsiooni põhjal määrata praegust märgipõhist hinda. Tänapäeval sõltub kasutamise maksumus kontrollpunkti allalaadimiseks, majutamiseks, kvantimiseks ja teenindamiseks kasutatavast taristust või kolmanda osapoole teenusepakkuja küsitavast hinnast.
DeepSeek-V2 kulueelis tuleneb arhitektuurist, mitte praegu kehtivast tellimusest või API-hinnast. Ligikaudu 21 miljardi parameetri aktiveerimine ühe märgi kohta ja väiksem KV-vahemälu vajadus võivad parandada teeninduse tõhusust võrreldes sarnase kogumahuga tiheda mudeliga. Samas vajab 236 miljardi parameetriga kontrollpunkt endiselt palju mälu ja hajutatud järeldusressursse. Väikesele meeskonnale, kellel puuduvad sobivad GPU-d, võib väiksem mudel või praegune hallatav API olla tervikuna odavam, kui arvesse võtta inseneri- ja riistvarakulusid.
Esitatud jõudluse paranemisi, näiteks teenusepakkuja 5,76-kordset läbilaskevõrdlust, tuleks käsitleda kindlates testitingimustes tehtud võrdlusväidetena, mitte universaalse kiirusnäitajana. Kvantimine võib vähendada mälukasutust, kuid muuta ka kvaliteeti ja kiirust. Enne juurutuslahenduse lõplikku valimist peaksid kasutajad mõõtma täpselt oma töökoormust, konteksti pikkust, pakisuurust ja teeninduskihti.
Peamised tugevused ja piirangud
Tugevused
- Suur koguvõimekus: 236 miljardi parameetriga mudel pakub märkimisväärset esitlusvõimekust, kasutades samal ajal hõredat aktiveerimist.
- Tõhus tähelepanuarhitektuur: MLA loodi KV-vahemälu mäluvajaduse vähendamiseks, mis on eriti oluline pikkade kontekstide ja suure läbilaskega teeninduse puhul.
- Pikk kontekst: Dokumenteeritud 128K-märgine kontekst toetab suuri dokumente ning mahukaid koodi- või uurimissisendeid.
- Avatud kaaludega juurutamine: Kasutajad saavad kontrollpunkti alla laadida ja seda kohapeal või kolmanda osapoole taristu kaudu käitada, sõltumata praegusest esimese osapoole lõpp-punktist.
- Lai teksti- ja programmeerimiskasutus: Mudel on mõeldud üldiseks keeletööks, matemaatikaks, arutlemiseks, hiina ja inglise keele mõistmiseks ning programmeerimiseks.
Piirangud
- Suur taristuvajadus: Kogu kontrollpunkt on mahukas ning väljalaskedokumentatsioonis kirjeldati BF16-järeldust kaheksa 80 GB GPU abil.
- Loomuliku multimodaalse toe puudumine: Mudel ei töötle loomulikult pilte, heli ega videot ega genereeri neid meediatüüpe.
- Kinnitatud sisseehitatud tööriistade puudumine: Veebiotsing, koodi käivitamine, andmete hankimine ja funktsioonikutsungud ei ole kontrollpunkti olemuslikud võimed.
- Praeguse esimese osapoole API-kirje puudumine: Algse mudeli kohta ei ole kinnitatud praegust DeepSeeki majutatud teenuse hinda ega lõpp-punkti.
- Vastutus juurutamise eest: Käitajad peavad riistvara, teenindust, skaleerimist, turvalisust ja töökindlust ise haldama või sõltuma kolmanda osapoole hostist.
Millal valida DeepSeek-V2?
Vali DeepSeek-V2 siis, kui avatud kaaludega juurdepääs ja kontroll juurutamise üle on olulisemad kui valmislahendusena pakutav majutus. See sobib mõistlikult uurimiskeskkondadesse, sisemistesse tekstigeneratsioonisüsteemidesse, pika kontekstiga dokumenditöötlusse, koodianalüüsi, tõlkimisse, matemaatikasse ja hõredate suuremate mudelite arhitektuuride katsetamiseks. See on kasulik ka siis, kui meeskond soovib avaldatud kontrollpunkti uurida või kohandada ning tal on juurdepääs hajutatud GPU-taristule.
Vali väiksem mudel siis, kui töökoormus on tagasihoidlik, latentsus on maksimaalsest võimekusest olulisem või olemasolev riistvara ei toeta 236 miljardi parameetriga kontrollpunkti. Vali praegune hallatav mudel siis, kui ennustatav API-juurdepääs, teenusepakkuja hallatav skaleerimine, ajakohane tugi, tööriistade integreerimine või selge märgipõhine hind on olulisem kui juurutuse omamine. Vali loomupäraselt multimodaalne mudel siis, kui töövoog vajab pilte, heli või videot. DeepSeek-V2 ei ole õige valik pelgalt suure parameetrite arvu tõttu: selle praktiline väärtus sõltub sellest, kas meeskonna taristu ja töökorraldus sobivad avatud ning palju mälu nõudva juurutusega.
Kokkuvõte
DeepSeek-V2 on tehniliselt oluline avatud kaaludega MoE-keelemudel, mille peamised eripärad on väga suur koguvõimekus, hõre aktiveerimine, MLA-tähelepanu ja 128K kontekstiaken. Tänapäeval on seda kõige õigem käsitleda allalaaditava pärandvarana, mida saab kontrollitud keskkonnas või kolmanda osapoole taristus juurutada, mitte praeguse üldotstarbelise DeepSeeki API-tootena. Selle tugevaim kasutusjuht on teksti- ja kooditöö, mille puhul meeskond suudab katta riistvara- ja käituskulud. Kõige vähem sobib see töövoogudesse, mis nõuavad loomulikku meediamõistmist, sisseehitatud tööriistu, lihtsat vähese ressursivajadusega juurutust või praegust esimese osapoole majutatud kättesaadavust.