DeepSeek-Coder-V2-Lite-Instruct

Mis on DeepSeek-Coder-V2-Lite-Instruct?

DeepSeek-Coder-V2-Lite-Instruct on DeepSeeki välja töötatud avatud kaaludega juhiste järgi häälestatud põhjuslik keelemudel. Selle peamine ülesanne on teksti genereerimine ja teisendamine, pöörates erilist tähelepanu tarkvaraarendusele. See suudab loomulikus keeles antud juhistele vastata lähtekoodi genereerimise, olemasoleva koodi selgitamise, paranduste soovitamise, koodi ühest keelest teise tõlkimise ning matemaatika- ja programmeerimisülesannete lahendamisega.

Mudel avaldati 17. juunil 2024 DeepSeek-Coder-V2 mudeliperekonna väiksema liikmena. „Lite” viitab väiksemale parameetrite koguarvule võrreldes mudeliga DeepSeek-Coder-V2-Instruct, samas kui „Instruct” tähistab kasutaja juhiste järgimiseks ja vestluspõhiste töövoogude jaoks häälestatud versiooni.

Mudeli kaalud on allalaaditavana saadaval DeepSeeki ametliku GitHubi projekti ja Hugging Face’i organisatsiooni kaudu. See eristab mudelit tavalisest üksnes hostitud mudelist: kasutajad saavad seda käitada ühilduva järeldustarkvara abil, kuid esitatud uurimismaterjalides ei ole selle konkreetse kontrollpunkti jaoks tuvastatud ametlikku teenusepakkuja hallatavat märgipõhist API-hinda.

Arhitektuur ja põhispetsifikatsioonid

DeepSeek-Coder-V2-Lite-Instruct kasutab hõredat ekspertide segu ehk MoE-arhitektuuri (Mixture of Experts). MoE-mudelis toimivad võrgu eri osad spetsialiseerunud „ekspertidena” ning marsruutimisüsteem aktiveerib iga märgi puhul ainult osa neist. Praktikas on mudelil ligikaudu 16 miljardit parameetrit, kuid iga märgi puhul aktiveeritakse umbes 2,4 miljardit parameetrit.

Aktiivsete parameetrite arvu ei tohiks segi ajada mudeli kogu mälunõudlusega. Kohalik juurutus peab endiselt mudelit talletama ja haldama selle pikka konteksti, mistõttu väiksem aktiivne arvutus ei muuda mudelit kõigis riistvara- või latentsusolukordades väikese tiheda mudeliga võrdväärseks.

Ametlikus dokumentatsioonis kirjeldatakse DeepSeek-Coder-V2 mudeliperekonda kui 338 programmeerimiskeele toetajat. See on teenusepakkuja või projekti tasandi väide ning seda ei tohiks tõlgendada garantiina, et kõik keeled saavad võrdselt kvaliteetse toe või et kõigi keelte jaoks on olemas samaväärsed tööriistad.

Mida mudel suudab teha

Juhiste järgi häälestatud kontrollpunkt on loodud vestluspõhiste programmeerimisülesannete jaoks. Arendaja võib paluda sellel kirjutada spetsifikatsiooni põhjal funktsiooni, lõpetada osaliselt kirjutatud faili, selgitada tundmatut moodulit, tuvastada tõenäolisi vigu, pakkuda parandust või tõlkida teostuse teise programmeerimiskeelde. Samuti suudab see ühendada ühes vastuses koodi ja tavapärase proosa, mis on kasulik dokumentatsiooni ning koodiülevaadete selgituste koostamisel.

Selle pikk kontekst on eriti oluline ülesannete puhul, mis hõlmavad enamat kui lühikest koodilõiku. 128 000 märgi suurune kontekst mahutab ühte viipa suured lähtefailid, mahukad logid, API-dokumentatsiooni või mitu omavahel seotud faili, sõltuvalt valitud käituskeskkonna mälu- ja kontekstitöötluse piirangutest. Pikk kontekst ei taga, et mudel pöörab igale detailile võrdselt tähelepanu, kuid annab lühikese kontekstiga koodimudeliga võrreldes märksa rohkem ruumi.

DeepSeeki dokumentatsioonis esitletakse seda mudeliperekonda ka matemaatilise arutlemise ja üldiste juhiste järgimise jaoks. Olemasolev uurimismaterjal toetab matemaatika ja arutlemise kirjeldamist kavandatud võimekusena, kuid ei anna universaalset täpsusgarantiid. Tulemused sõltuvad ülesandest, viibast, programmeerimiskeelest ja järelduse konfiguratsioonist.

Sisend, väljund ja tööriistade tugi

DeepSeek-Coder-V2-Lite-Instruct võtab vastu tekstisisendit ja genereerib tekstiväljundit. Tekst võib sisaldada loomulikus keeles juhiseid, lähtekoodi, veateateid, konfiguratsioonifaile ja muud viipa lisatud materjali. Mudel ei genereeri algupäraselt pilte, heli ega videot ning seda ei ole dokumenteeritud nägemis-, kõne-, manustamis- ega veebotsingumudelina.

Esitatud spetsifikatsioonides ei dokumenteerita selle kontrollpunkti jaoks loomulikku funktsioonikutsete ega tööriistakasutuse liidest. Rakendus võib potentsiaalselt paigutada tööriistade tulemused mudeli tekstikonteksti ja tõlgendada vastust väliselt, kuid see oleks rakenduse tasandi integratsioon, mitte kontrollitud sisseehitatud tööriistavõimekus. Samuti ei ole struktureeritud JSON-väljundit eraldi toetatud funktsioonina loetletud.

Esitatud uurimismaterjalides ei ole määratud genereeritavate märkide maksimumarvu. 128 000 märgi suurune näitaja tähistab dokumenteeritud konteksti pikkust, mitte lubadust, et iga päring võib genereerida 128 000 uut märki. Tegelikud sisendi- ja väljundipiirangud võivad sõltuda mudeli konfiguratsioonist ja järeldusmootorist.

Juurutamine ja praktilised kompromissid

Ametlikes näidetes määratletakse mudel kui deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct. Selle saab alla laadida Hugging Face’ist ja käitada Transformersi, vLLM-i, SGLangi või muu DeepSeek-V2 arhitektuuri toetava tarkvara ühilduvate versioonidega. Mõni juurutuskonfiguratsioon võib nõuda kaugkoodi tuge, mistõttu tuleks ühilduvust enne käituskeskkonna valimist kontrollida.

Hõre arhitektuur võib vähendada aktiivset arvutust võrreldes tiheda mudeliga, millel on sarnane parameetrite koguarv. See on üks põhjus, miks Lite-kontrollpunkt võib olla atraktiivne isemajutuse jaoks. Mudel on siiski 16 miljardi parameetriga kontrollpunkt, mille kontekstiaken on 128 000 märki. Mälukasutus, käivitamise nõuded, läbilaskevõime ja latentsus sõltuvad täpsusest, kvantimisest, pakisuurusest, konteksti pikkusest, riistvarast ja taustsüsteemi toest.

Kvantiseeritud versioonid ja optimeeritud järelduse taustsüsteemid võivad vähendada riistvaranõudeid, kuid esitatud uurimismaterjalid ei määra üht kindlat riistvara miinimumnõuet ega garanteeritud kiirust. Selle kirje jaoks antud toimetuslik hinnang annab kiirusele 7/10 ja maksumusele 9/10; need on võrdlevad toimetuslikud hinnangud, mitte DeepSeeki avaldatud hinded. Praktiline kulueelis on peamiselt oluline kasutajatele, kes suudavad mudelit kohapeal või ühilduva kolmanda osapoole hosti kaudu käitada.

Hind ja kättesaadavus

Esitatud uurimismaterjalides ei ole selle konkreetse kontrollpunkti jaoks kinnitatud ametlikku hostitud API-hinda. Selle kaalud on allalaadimiseks saadaval, mistõttu erineb rahastusmudel tavapärasest API-tootest: kasutajatel võivad tekkida taristu-, elektri-, salvestus-, hostimis- või kolmanda osapoole järelduskulud, mitte dokumenteeritud DeepSeeki märgipõhine tasu.

Kuna selle kontrollpunkti jaoks ei ole määratud ametlikku sisendi- ega väljundihinda, väljundi maksimumpiirangut, vahemällu salvestamise eeskirju ega paketipõhist API-t, ei tohiks neid käsitleda saadaolevate funktsioonidena. Hostitud teenus võib pakkuda mudelit oma tingimustel, kuid selline hinnakiri ja funktsioonide komplekt kuuluks hostile, mitte automaatselt DeepSeeki algsele mudeliversioonile.

Tugevused ja piirangud

Tugevused

• Spetsialiseerumine koodile: Mudel on loodud programmeerimise, koodi lõpetamise, parandamise ja selgitamise ning nendega seotud arutlemisülesannete jaoks.
• Pikk kontekst: Dokumenteeritud 128 000 märgi suurune kontekst on kasulik suurte failide, pikkade logide, dokumentatsiooni ja kogu hoidlat hõlmavate viipade puhul.
• Avatud kaaludega juurdepääs: Allalaaditavad kaalud võimaldavad kohalikku hostimist, katsetamist, uurimist ja võimalikku kohandamist.
• Hõre arvutus: Ligikaudu 2,4 miljardit aktiivset parameetrit märgi kohta võib pakkuda soodsamat arvutusprofiili kui võrreldava suurusega tihe mudel.
• Lai keelekate: DeepSeek teatab, et kogu mudeliperekond toetab 338 programmeerimiskeelt.

Piirangud

• Vanem väljalase: See eelneb DeepSeeki hilisematele üldotstarbelistele ja kodeerimismudelitele, mistõttu võivad uusimaid mudelivõimeid otsivad kasutajad eelistada uuemat lahendust.
• Juurutamise keerukus: DeepSeek-V2 arhitektuur nõuab ühilduvat tarkvara ning mõni seadistus võib vajada kaugkoodi tuge.
• Ressursinõuded: Pikk kontekst ja 16 miljardi parameetriga kontrollpunkt võivad endiselt nõuda palju mälu, eriti ilma kvantimiseta.
• Kinnitatud hallatava API puudumine: Selle konkreetse kontrollpunkti jaoks ei ole dokumenteeritud ametlikku märgipõhist hinda ega teenusepakkuja hallatavat API-funktsioonide komplekti.
• Ainult tekst: Mudel ei paku loomulikku pildi-, heli- ega videosisendit või -väljundit.
• Dokumenteeritud loomulike tööriistade puudumine: Esitatud uurimismaterjalides ei ole kinnitatud sisseehitatud funktsioonikutseid, veebotsingut, struktureeritud väljundit, vahemällu salvestamist ega paketttöötlust.

Millal seda mudelit valida

Vali DeepSeek-Coder-V2-Lite-Instruct, kui soovid avatud kaaludega koodimudelit, mida saab käitada kohapeal või ühilduva kolmanda osapoole taristu kaudu, ning hindad pika kontekstiga programmeerimistöövooge. See on mõistlik valik koodi lõpetamiseks, silumiseks, koodi selgitamiseks, lähtekoodi tõlkimiseks, dokumentatsiooni genereerimiseks ning viipade jaoks, mis ühendavad mitu faili või mahukaid tugidokumente.

See on kasulik valik ka siis, kui juurutuse üle kontrolli omamine on olulisem kui kasutusvalmis API. Allalaaditavad kaalud võimaldavad katsetamist ja kohandamist, kuigi selle kontrollpunkti jaoks ei ole teenusepakkuja hallatavat peenhäälestust dokumenteeritud. Meeskonnad peaksid mudelit siiski oma programmeerimiskeelte, hoidlate, turvanõuete ja latentsuseesmärkidega testima, enne kui sellele püsivalt üle lähevad.

Teine võimalus võib olla sobivam, kui vajad tänapäevast hostitud API-t läbipaistva märgipõhise hinnastamise, sisseehitatud tööriistakutsete, garanteeritud struktureeritud väljundite, hallatava skaleerimise või multimodaalse genereerimisega. Uuem kodeerimismudel võib olla eelistatum ka siis, kui võrdlustestide ajakohasus või uusim tarkvaraarenduskäitumine on allalaaditavast juurdepääsust ja suurest kontekstiaknast olulisem. DeepSeek-Coder-V2 perekonnas on asjakohane võrdlusmudel palju suurem DeepSeek-Coder-V2-Instruct neile kasutajatele, kes on valmis suurema mudeli nimel leppima suuremate ressursinõuetega.

Kokkuvõte

DeepSeek-Coder-V2-Lite-Instructi tasub käsitleda pigem pika konteksti ja avatud kaaludega koodimudelina kui valmis API-teenusena. Selle 16 miljardi parameetriga hõre MoE-arhitektuur, ligikaudu 2,4 miljardi aktiivse parameetriga marsruutimine, 128 000 märgi suurune kontekst ja programmeerimisele keskendumine muudavad selle asjakohaseks kohalikes arendustöövoogudes. Peamised kompromissid on juurutamise keerukus, potentsiaalselt suur mälunõudlus, ainult tekstipõhine töö ning dokumenteeritud ametliku hinnastamise ja hallatava API-funktsioonide puudumine selle konkreetse kontrollpunkti puhul.