DeepSeek-LLM 67B

Mis on DeepSeek-LLM 67B?

DeepSeek-LLM 67B on DeepSeeki välja töötatud 67 miljardi parameetriga ainult dekooderiga transformermudel. See avaldati avatud kaaludega mudelina, mitte praeguse esimese osapoole majutatava API-tootena. „Avatud kaalud” tähendab, et treenitud mudeli kontrollpunkte saavad alla laadida ja käitada arendajad, kellel on ühilduv riistvara ja järeldustarkvara.

67B-seeria sisaldab kahte peamist kontrollpunkti: deepseek-llm-67b-base ja deepseek-llm-67b-chat. Baaskontrollpunkt on mõeldud teksti lõpetamiseks, katsetamiseks, hindamiseks ja edasiseks kohandamiseks. Vestluskontrollpunkti on täiendavalt juhiste järgi häälestatud, mistõttu sobib see paremini vestlusküsimusteks ja üldisteks assistendilaadseteks suhtlusteks.

DeepSeek avaldas mudeli 29. novembril 2023. Teenusepakkuja kataloogis on see varasem põlvkond, mis eelneb uuematele DeepSeeki mudeliperedele. Seetõttu tuleks seda käsitleda eelkõige teadus- ja isemajutamise võimalusena, mitte DeepSeeki praeguste tarbijateenuste võimekuse või kättesaadavuse näitena.

Arhitektuur ja treenimine

DeepSeek-LLM 67B kasutab LLaMA disainil põhinevat ainult dekooderiga transformerarhitektuuri. Selle 67 miljardi parameetri suurus annab sellele sama väljalaske 7B-mudeliga võrreldes märkimisväärselt suurema mahutavuse, kuigi ainuüksi parameetrite arv ei määra praktilist kvaliteeti, kiirust ega sobivust konkreetse töökoormuse jaoks.

Märkimisväärne arhitektuuriline omadus on Grouped-Query Attention (GQA). Tavalise mitme pea tähelepanu korral on igal tähelepanupeal oma võtme- ja väärtusesitused. GQA jagab osa neist võtme-väärtuse esitustest päringupäid sisaldavate rühmade vahel. Selle eesmärk on vähendada võtme-väärtuse vahemälu mälukasutust ning muuta järeldamine paremini hallatavaks kui võrreldava mudeli puhul, mis kasutab täielikult eraldiseisvaid võtme- ja väärtusepäid.

Mudel treeniti algusest peale ligikaudu 2 triljonil inglise- ja hiinakeelsel märgendil. See kakskeelne treenimisfookus on mudeli positsioneerimise keskmes: see on loodud nii inglise- kui ka hiinakeelse teksti mõistmiseks ja genereerimiseks, mitte peamiselt ingliskeelseks mudeliks, mille teise keele tugi on piiratud.

Ametlik dokumentatsioon määrab jada pikkuseks 4096 märgendit. See piirang kehtib mudelile kättesaadava kombineeritud tekstikonteksti kohta, hõlmates viipa ja genereeritud jätku sellisel kujul, nagu juurutussüsteem neid käsitleb. 4096-märgendiline kontekstiaken on piisav lühikesteks vestlusteks, keskendunud dokumentideks ning paljudeks programmeerimis- või matemaatikanäideteks, kuid tänapäevaste standardite järgi on see piirav pikkade aruannete, suurte koodihoidlate ja pikkade vestlusajalugude puhul.

Baas- ja vestluskontrollpunkt

Baasmudeli kasutamine

Baaskontrollpunkt ennustab eelnevale tekstile tuginedes järgmist märgendit. Arendajad saavad seda kasutada lõpetamisülesannetes, keelemudeli hindamisel, kohalikul katsetamisel või kohandatud juhiste järgi häälestamisel. See on sobivam lähtekoht siis, kui organisatsioon soovib oma kohandamisprotsessi ise juhtida, mitte kasutada vestluseks häälestatud kontrollpunkti valmis käitumist.

Baasmudelit ei tohiks siiski automaatselt pidada valmis assistendiks. Selle lõpetamiskäitumine ei ole sama mis mudelil, mis on spetsiaalselt häälestatud kasutajajuhiste järgimiseks, vestlusvormingu säilitamiseks või prognoositavate assistendivastuste andmiseks.

Vestlusmudeli kasutamine

Vestluskontrollpunkti häälestati täiendavalt juhiste järgimiseks ja vestlusteks. See on praktiline valik küsimustele vastamiseks, üldiseks abistamiseks, kakskeelseks dialoogiks, matemaatikaviipadeks ja programmeerimispäringuteks, kui arendaja soovib toormudelil põhineva lõpetamismudeli asemel olemasolevat vestluskäitumist.

DeepSeek avaldas tulemused valitud matemaatika-, programmeerimis-, hiina keele ja juhiste järgimise hindamistel. Need on teenusepakkuja avaldatud tulemused, mis on seotud konkreetsete kontrollpunktide ja hindamismeetoditega. Neid ei tohiks pidada tänapäevaste mudelitega otseselt võrreldavaks, välja arvatud juhul, kui kasutatakse samu viipasid, andmekogumeid, valimi võtmise seadeid ja hindamisprotseduure.

Võimekus ja toetatud modaalsused

DeepSeek-LLM 67B on ainult tekstimudel. See võtab sisendina vastu teksti ja väljastab teksti. See ei toeta algupäraselt pilte, heli ega videot ning ei genereeri pilte, heli, videot ega muud mittetekstilist meediat.

• Teksti genereerimine: sobib lõpetamiseks, ümberkirjutamiseks, lühikeste sisendite kokkuvõtmiseks ja üldiseks tekstitootmiseks.
• Inglise ja hiina keel: mudelit treeniti mõlemas keeles, kusjuures kakskeelne genereerimine ja mõistmine on selle peamised kasutusjuhud.
• Küsimustele vastamine: kõige loomulikumalt kättesaadav vestluskontrollpunkti kaudu, arvestades keelemudelite tavapäraseid täpsuspiiranguid.
• Matemaatika: mudel on mõeldud matemaatiliste ülesannete lahendamiseks, kuid vastuseid tuleks kontrollida, mitte käsitleda garanteeritud tõestuste või arvutustena.
• Programmeerimine: kasulik programmeerimisabis ja programmeerimiskatsetes, kuid sellel puuduvad uuematelt programmeerimissüsteemidelt oodatavad integreeritud arendustööriistad ja tänapäevane hoidlate ulatuse kontekst.
• Kohalik järeldamine: allalaaditavad kaalud võimaldavad juurutamist arendaja kontrollitud keskkonnas, kui saadaval on piisav riistvara ja ühilduv tarkvara.

Mudeli kirje ei kinnita algupärast funktsioonikutsungit, struktureeritud väljundit, veebist otsimist, voogedastust, pakktöötlust ega sisseehitatud käivituskeskkonda. Väline teenindustarkvara võib pakkuda töökorralduslikke funktsioone, kuid neid ei tohiks segi ajada mudelisse endasse ehitatud võimekusega.

Kontekst, väljund ja arutluspiirangud

Kinnitatud jada pikkus on 4096 märgendit. Esitatud dokumentatsioon ei täpsusta eraldi maksimaalset väljundmärgendite arvu. Praktikas piiravad lõpetamise pikkust mudeli kogu kontekstiaken ja järeldusserveri seaded.

DeepSeek-LLM 67B suudab koostada arutluslaadseid selgitusi, lahendada mõningaid matemaatikaülesandeid ja aidata koodi kirjutamisel. Mudeli kirje ei kinnita eraldiseisvat arutlusrežiimi ega teenusepakkuja määratletud arutlusvõimekuse skoori. Seetõttu on arutluskvaliteedi hindamine pigem hindamisotsus kui avaldatud võimekustase.

Sama eristus kehtib programmeerimise puhul. Mudel oli mõeldud programmeerimiseks ja selle programmeerimistulemusi avaldati, kuid seda ei tohiks kirjeldada spetsiaalsele koodile keskendunud arhitektuuri, algupärase tarkvara käivitamise või garanteeritud programmi korrektsusega mudelina. Genereeritud koodi tuleb testida, turvalisuse seisukohast üle vaadata ja ühilduvust kontrollida.

Juurutamine ja hinnakujundus

DeepSeek-LLM 67B levitatakse allalaaditavate mudelikaaludena DeepSeeki ametliku hoidla ja mudelite majutamise lehtede kaudu. Dokumenteeritud juurutusteekond kasutab selliseid kohaliku järeldamise tööriistu nagu Transformers või vLLM. Täpsed tööparameetrid sõltuvad arvulise täpsuse seadistusest, kvantimisest, serveri konfiguratsioonist, pakisuurusest ja soovitud vastusekiirusest.

67 miljardi parameetriga mudel vajab palju mälu. Täistäpsuses või bfloat16-vormingus käitamine nõuab märksa rohkem GPU-mälu kui kvanditud juurutus. Kvantimine võib vähendada riistvaranõudeid, kuid sellega kaasnevad kompromissid kvaliteedi, läbilaskevõime, toetatud toimingute ja rakendamise keerukuse osas. Esitatud uurimus ei anna üht kindlat riistvaranõuet, mis kehtiks iga juurutuskonfiguratsiooni korral.

DeepSeek-LLM 67B puhul ei ole kinnitatud ametlikku sisend- ega väljundmärgendipõhist hinda. Seda ei ole siin dokumenteeritud praeguse esimese osapoole majutatava API-mudelina. Rahalise kulu määravad selle asemel riistvara, elekter, majutusteenuse pakkuja, salvestusruum, arendustöö ja kasutusmäär. Allalaaditavad kaalud võivad püsivate või privaatsust nõudvate töökoormuste puhul olla majanduslikult atraktiivsed, kuid isemajutamine ei ole harva kasutatavate rakenduste korral automaatselt odavam, sest ka jõudeolekus riistvara ja hooldus põhjustavad kulusid.

Peamised tugevused ja piirangud

Tugevused

• Avatud kaaludega juurdepääs: arendajad saavad avaldatud kontrollpunktid alla laadida ja neid uurida ning nende ümber juurutuse üles ehitada.
• Kakskeelne fookus: inglise ja hiina keel on treeningdisaini keskmes, mistõttu sobib mudel kakskeelseteks katseteks.
• Väljalaskeaja kohta suur mudelimaht: 67B suurus toetab üldise keelekasutuse, matemaatika, programmeerimise ja juhiste järgimise uurimist.
• Kaks lähtekohta juurutamiseks: baas- ja vestluskontrollpunktid toetavad erinevaid töövooge.
• GQA-arhitektuur: Grouped-Query Attention on mõeldud võtme-väärtuse vahemälu koormuse vähendamiseks võrreldes tavapärase täieliku mitme pea tähelepanuga.
• Paindlikkus teadustöös: kohalik käitamine toetab reprodutseeritavat testimist, kohandatud häälestamist ja keskkondi, kus eelistatakse allalaaditavat kontrollpunkti.

Piirangud

• Lühike kontekstiaken: 4096 märgendit piirab pikkade dokumentide analüüsi, pikki vestlusi ja ulatuslikku koodikonteksti kasutavaid ülesandeid.
• Riistvarakoormus: 67B mudelit on märksa nõudlikum käitada kui väiksemaid avatud kaaludega mudeleid, eriti ilma kvantimiseta.
• Pärandstaatus: DeepSeeki hilisemad mudelipered on selle ületanud näiteks arutlusvõime, konteksti pikkuse, multimodaalse töö ja tootmiskeskkondadele suunatud funktsioonide poolest.
• Ainult tekst: mudel ei suuda algupäraselt töödelda ega luua pilte, heli või videot.
• Kinnitatud algupäraste tööriistade puudumine: esitatud kirje ei kinnita sisseehitatud veebisirvimist, funktsioonikutsungit, koodi käivitamist ega struktureeritud väljundi tuge.
• Keelmudelite tavapärased riskid: ametlikus materjalis nimetatakse piirangutena hallutsinatsioone, treeningandmetest pärit kallutatust ja korduvat genereerimist.
• Praeguse ametliku mudelihinna puudumine: kasutajad peavad dokumenteeritud teenusepakkuja API-hinna asemel arvutama ise majutamise või kolmanda osapoole taristu kulud.

Millal valida DeepSeek-LLM 67B?

Vali DeepSeek-LLM 67B siis, kui peamine vajadus on avatult allalaaditav kakskeelne keelemudel kohalikuks uurimistööks, hindamiseks, kohandamiseks või kontrollitud inglise- ja hiinakeelse teksti genereerimiseks. See võib olla sobiv ka juhul, kui meeskond soovib algset väljalaset korrata, mudelipõlvkondi võrrelda või katsetada suure kontrollpunktiga ilma praegusest majutatud API-st sõltumata.

Vestluskontrollpunkt on isemajutatava vestlusassistendi praktilisem lähtekoht. Baaskontrollpunkt sobib paremini lõpetamiskatseteks, peenhäälestuse uurimiseks ja arendajatele, kes soovivad juhiste järgimise käitumist ise kujundada. Mõlemal juhul peab juurutusmeeskond arvestama suure mälunõudlusega ning testima tegelikku keele-, matemaatika- ja programmeerimiskvaliteeti tüüpiliste viipade abil.

Teist tüüpi mudel on sobivam siis, kui rakendus vajab pikki dokumente, väikese latentsusega järeldamist tagasihoidlikul riistvaral, algupärast pildi- või helimõistmist, tööriistade kutsumist, koodi käivitamist, garanteeritud struktureeritud vastuseid või hallatud API-t prognoositava päringupõhise hinnaga. Uuemad mudelid on eelistatavad ka tipptasemel arutlusvõime ja tootmiskasutuse puhul, kui tänapäevane võrdlustulemuste tase ja ökosüsteemi tugi on olulisemad kui juurdepääs vanemale avatud kaaludega kontrollpunktile.

Kokkuvõte

DeepSeek-LLM 67B on endiselt kasulik avatud kaaludega võrdlusmudel, mitte tänapäevane kõikehõlmav platvorm. Selle peamised tugevused on 67 miljardi parameetri suurus, inglise ja hiina keelele keskenduv treening, baas- ja vestlusvariandid ning sobivus kohalikuks uurimistööks. 4096 märgendiga kontekstiaken, suured riistvaranõuded, ainult tekstil põhinev ülesehitus, kinnitatud algupäraste tööriistade puudumine ja pärandstaatus muudavad selle spetsialiseeritud valikuks. Õige isemajutatava või eksperimentaalse töövoo puhul võivad need kompromissid olla vastuvõetavad; tänapäevaste multimodaalsete, pika kontekstiga või hallatud tootmisrakenduste jaoks sobib üldjuhul paremini uuem lahendus.