Mis on DeepSeek-VL-1.3B-Base?
DeepSeek-VL-1.3B-Base on DeepSeeki pakutav avatud kaaludega visiooni-keelemudel. Visiooni-keelemudel ühendab pilditöötluskomponendi keelemudeliga, et tõlgendada visuaalset sisu ja vastata tekstina. Sel juhul kasutab mudel koos DeepSeek-LLM-1.3B-Base'i keelekomponendiga SigLIP-L-i visioonikodeerijat.
Kontrollpunkt on DeepSeeki esimese põlvkonna DeepSeek-VL-i mudeliperekonna baasversioon, mitte vestluseks häälestatud variant. Sellel erinevusel on praktikas tähtsust: baasmudel on eelkõige alus otseseks järeldamiseks, järgnevateks katsetusteks ja kohandamiseks, samas kui vestlusele suunatud kontrollpunkt on üldjuhul parem lähtekoht vestlusrakenduste ja juhiste järgimise töövoogude jaoks.
DeepSeek avaldas mudeli 2024. aasta märtsis koos suuremate 7B variantide ning vastavate baas- ja vestluskonfiguratsioonidega. Esitatud uuringus kirjeldatakse DeepSeek-VL-1.3B-Base'i saadaoleva avatud kaaludega kontrollpunkti ja esimese põlvkonna pärandmudelina, mitte praeguse majutatud ja kasutuspõhise hinnastusega API-mudelina.
Arhitektuur, sisendid ja kontekst
Mudel võtab sisendiks teksti ja pildid ning genereerib selle multimodaalse konteksti põhjal teksti. Ametlik mudeliteave täpsustab, et pildi sisendmõõt on 384×384. See muudab kontrollpunkti sobivaks ettevalmistatud pildi, ekraanipildi, diagrammi, dokumendilehe või visuaalse küsimuse mõistmiseks, kuid tähendab ka seda, et pildi detailsus ja paigutuse keerukus võivad tulemuse kvaliteeti mõjutada.
Visioonikomponendina kasutatakse SigLIP-L-i ja keelekomponendina DeepSeek-LLM-1.3B-Base'i. Tähis „1.3B” viitab keelemudeli komponendile; Hugging Face'i mudeliteave kirjeldab kogu kontrollpunkti suuruseks ligikaudu 2 miljardit parameetrit. Avaldatud Safetensorsi kontrollpunkti suurus on ligikaudu 3,95 GB.
Ametlik DeepSeek-VL-i hoidla märgib välja antud mudeliperekonna järjestuse pikkuseks 4096 tokenit. Konfiguratsioonifail sisaldab keelemudeli jaoks suuremat positsioonilist seadet, kuid seda ei tohiks käsitleda praktilise täieliku konteksti piirina. Juurutamisel tuleks järgida ametliku protsessori ja hoidla järeldamisjuhiseid ning kasutada dokumenteeritud järjestuse pikkuse viitena 4096 tokenit.
Esitatud uuringus ei määratleta mudelipõhist maksimaalset väljundtokenite arvu. Seetõttu sõltub väljundi pikkus järeldamise teostusest ja genereerimisseadetest, mitte siin märgitavast kontrollitud maksimumist.
Mida see teha suudab?
DeepSeek-VL-1.3B-Base on loodud pildipõhiseks tekstigenereerimiseks. See suudab pilti analüüsida ja kasutada kaasnevat viipa kirjelduse koostamiseks, küsimusele vastamiseks või visuaalse teabe tõlgendamiseks. Mudeli materjalides nimetatud kasutusjuhtumid hõlmavad järgmist:
- Piltide pealkirjastamine ja üldine pildikirjeldus
- Visuaalsetele küsimustele vastamine
- Lihtsamate dokumentide ja veebilehtede mõistmine
- Loogikadiagrammide tõlgendamine
- Valemite tuvastamine
- Teaduskirjanduse ja teaduslike piltide mõistmine
- Multimodaalsete rakenduste kohalik prototüüpimine
- Kompaktseid visiooni-keelesüsteeme hõlmavad teadus-, kohandamis- ja peenhäälestuskatsetused
Näiteks võib kasutaja esitada diagrammi küsimusega kahe komponendi vahelise seose kohta, saata dokumendipildi ja paluda selle sisu kirjeldada või esitada valemi pildi ning paluda selle tekstilist tõlgendust. Need on pildi mõistmise ülesanded: väljund on tekst, mitte uus genereeritud pilt ega muu meediafail.
Toetatud modaalsused ja tööfunktsioonid
Kontrollitud sisendmodaalsused on tekst ja pildid. Mudel genereerib ainult teksti. See ei genereeri algupäraselt pilte, heli ega videot ning esitatud uuringus ei dokumenteerita heli- ega videosisendi tuge.
| Võimekus | Kontrollitud olek |
|---|---|
| Tekstisisend | Toetatud |
| Pildisisend | Toetatud, dokumenteeritud pildisisendiga 384×384 |
| Tekstiväljund | Toetatud |
| Pildi-, heli- või videoväljund | Algse mudeliväljundina ei toetata |
| Konteksti või järjestuse pikkus | Ametlikus DeepSeek-VL-i hoidlas on märgitud 4096 tokenit |
| Veebiotsing | Esimese osapoole veebiotsingu tööriista pole dokumenteeritud |
| Tööriista- või funktsioonikutse | Välja antud kontrollpunkti osana pole dokumenteeritud tuge |
| Struktureeritud JSON-väljund | Struktureeritud väljundi liidest pole dokumenteeritud |
| Majutatud pakktöötluse API | Esimese osapoole pakktöötluse API-t pole dokumenteeritud |
Need piirangud ei takista arendajal kirjutamast ümbritsevat rakenduskoodi, mis mudelit kutsub, selle väljundit valideerib või ühendab selle väliste tööriistadega. Need tähendavad, et selline käitumine ei ole selle välja antud kontrollpunkti dokumenteeritud algupärane funktsioon.
Juurutamine ja hinnastamine
DeepSeek-VL-1.3B-Base'i levitatakse avatud kaaludega kontrollpunktina DeepSeeki ametliku Hugging Face'i organisatsiooni kaudu. Ametlik hoidla sisaldab järeldamisjuhiseid, milles kasutatakse PyTorchi, Transformersi ja DeepSeeki kohandatud visiooni-keeleprotsessorit. Kuna kasutajad saavad kaalud ise alla laadida ja käivitada, määravad juurutamise kulud valitud riistvara, mälukonfiguratsioon, järeldamistarkvara ja majutuslahendus.
Selle täpse kontrollpunkti jaoks ei ole DeepSeek avaldanud ametlikku sisend- ega väljundtokeni hinda. Esitatud uuringus ei esitata seda praeguse esimese osapoole majutatud API-mudelina, millel oleks kasutuspõhine hinnakiri. Mis tahes pilve-GPU või kolmanda osapoole lõpp-punkti hind oleks taristu- või teenusepakkuja tasu, mitte DeepSeeki kontrollpunkti enda kontrollitud hind.
Mudel on saadaval DeepSeeki mudelilitsentsi alusel, lähtudes selle litsentsi tingimustest. Esitatud mudeliteabes märgitakse hoidla kood MIT-litsentsiga koodiks, kuid kasutusõiguste hindamisel tuleks mudeli kaale ja ülejäänud koodi käsitleda eraldi.
Tugevused ja kompromissid
DeepSeek-VL-1.3B-Base'i peamine praktiline tugevus on suuremate multimodaalsete mudelitega võrreldes suhteliselt kompaktne juurutusprofiil. Ligikaudu 2 miljardi parameetriga kontrollpunkt ja umbes 3,95 GB suurune Safetensorsi fail teevad sellest mõistliku kandidaadi kohalikeks katsetusteks ja ressursiteadlikeks visiooni-keelerakendusteks. Mudel pakub ka avatud kaaludega alust, mida saab uurida, kohandada ja integreerida enda hallatavasse järeldamisvirna, ilma et oleks vaja kasutada varalist majutatud lõpp-punkti.
Väiksem suurus toob kaasa vastavad kompromissid. See on DeepSeek-VL-i 7B variantidest märkimisväärselt väiksem, mistõttu ei tohiks seda valida eeldusel, et see saavutab keerukates visuaalse arutluse ülesannetes parima täpsuse. Esitatud uuringus ei ole võrdlustulemusi, mis kinnitaksid konkreetset jõudluse paremusjärjestust, seega tuleks võrdlusi käsitleda võimekuse ja juurutamise kompromissidena, mitte kvantifitseeritud võrdlustulemustena.
Oluline piirang on ka baaskonfiguratsioon. Võrreldes vestluseks või juhiste järgimiseks häälestatud mudeliga võib see olla vestlustooni, juhiste järgimise ja range vastusevormingu puhul vähem usaldusväärne. Rakendused, mis vajavad etteaimatavat assistendi käitumist, võivad vajada täiendavat juhistamist, järeltöötlust, peenhäälestust või teistsugust mudelit.
Toimetuslikult võib mudelit sobiva kohaliku riistvara olemasolu korral iseloomustada suhteliselt kiire ja odavana, kuid need on juurutamisest sõltuvad hinnangud, mitte teenusepakkuja avaldatud garantiid. Esitatud hindamisandmetes on kiirusele antud hinne 7 punkti 10-st ja kulule 9 punkti 10-st; need on toimetuslikud hinded, mitte DeepSeeki ametlikud näitajad. Tegelik latentsus ja kulu sõltuvad riistvarast, kvantimisest, pakktöötlusest, pildi eeltöötlusest ja järeldamisraamistikust.
Arutlus, kodeerimine ja tööriistade kasutamine
DeepSeek-VL-1.3B-Base suudab visuaalset teavet tõlgendada ja pildi kohta küsimustele vastata, sealhulgas loogikadiagrammide ja valemite puhul. See võimaldab praktilisi multimodaalse arutluse ülesandeid, kuid olemasolev uuring ei paku standardiseeritud arutlusvõimekuse võrdlustesti ega kinnitatud väidet, et mudel oleks võrreldav suuremate arutlusele keskenduvate mudelitega. Selle kompaktne arhitektuur ja baasmudeli staatus muudavad selle sobivamaks otseseks pildipõhiseks analüüsiks kui väga usaldusväärse mitmeetapilise arutluse eeldamiseks nõudlikes rakendustes.
Mudelit saab kasutada töövoogudes, mis hõlmavad koodiga seotud pilte, diagramme või tehnilisi dokumente, kuid uuring ei kinnita, et tegemist oleks spetsiaalse kodeerimismudeliga. Seda ei tohiks käsitleda täieliku tarkvaraarenduse assistendina pelgalt seetõttu, et see suudab visuaalse sisendi põhjal teksti genereerida. Samuti ei ole tööriistade kasutamine, funktsioonikutsed, veebiotsing ega agenditoimingud kontrollpunkti dokumenteeritud algupärased võimekused.
Millal valida DeepSeek-VL-1.3B-Base?
Vali see mudel siis, kui vajad avatud kaaludega pildi mõistmise kontrollpunkti, mida saab käivitada kohapeal või enda hallatavas taristus, ning kui kompaktne juurutus on maksimaalsest multimodaalsest täpsusest olulisem. See on mõistlik kandidaat järgmisteks kasutusjuhtudeks:
- Visiooni-keelemudelite uurimine
- Kohalik piltide pealkirjastamine ja visuaalsetele küsimustele vastamine
- Ekraanipilte, dokumente või diagramme analüüsivate prototüüprakenduste loomine
- Peenhäälestuse või mudeli kohandamise katsetused
- Juurutused, kus majutatud API tokenipõhise tasu vältimine on kasulik
Suurem DeepSeek-VL-i variant võib olla sobivam, kui ülesanne nõuab suuremat visiooni-keele võimekust ja olemasolev riistvara suudab suuremat kontrollpunkti käitada. Vestluseks häälestatud variant sobib paremini siis, kui vestluslik suhtlus ja juhiste järgimine on kesksed nõuded. Praegune majutatud multimodaalteenus võib olla eelistatavam juhul, kui projekt vajab hallatud taristut, dokumenteeritud tööriistade integreerimist, struktureeritud väljundeid, voogedastust või etteaimatavat API-toimimist — neid funktsioone ei ole selle kontrollpunkti puhul dokumenteeritud.
Kokkuvõte
DeepSeek-VL-1.3B-Base'i tuleks eelkõige mõista kompaktse avatud kaaludega alusmudelina visuaalse teabe mõistmiseks, mitte valmis vestlustootena või majutatud API-na. See ühendab teksti ja 384×384 pildisisendi tekstigenereerimisega, toetab kasulikke ülesandeid, nagu piltide pealkirjastamine, visuaalsetele küsimustele vastamine, dokumentide analüüs ja diagrammide tõlgendamine, ning seda saab juurutada ametliku avatud lähtekoodiga järeldamisvoo kaudu. Peamised kompromissid on esimese osapoole tokenipõhise hinnastuse ja hallatud API puudumine, 4096-tokenise järjestuse pikkuse piirangud, dokumenteeritud algupäraste tööriistade ja struktureeritud väljundite puudumine ning väikese baasmudeli eeldatavalt madalam võimekuse lagi võrreldes suuremate või vestluseks häälestatud alternatiividega.