Mis on Kimi-VL-A3B-Instruct?
Kimi-VL-A3B-Instruct on Moonshot AI juhiste järgi kohandatud avatud kaaludega nägemis-keelemudel. Praktilises mõttes võtab see vastu teksti koos visuaalse sisendiga ning tagastab teksti, mis neid sisendeid kirjeldab, analüüsib, võrdleb või nende põhjal järeldusi teeb. Tüüpiliste ülesannete hulka kuuluvad pildi kohta küsimustele vastamine, skannitud lehelt teksti eraldamine, mitme pildi võrdlemine, video uurimine või tarkvaraliidese ekraanipildi tõlgendamine.
Mudel on mõeldud multimodaalseks mõistmiseks, mitte meedia loomiseks. See ei genereeri algupäraselt pilte, videot, heli, kõnet ega muusikat. See eristus on oluline, sest Moonshot AI laiemasse Kimi ökosüsteemi kuuluvad loovaks genereerimiseks mõeldud funktsioonidega tooted ja pluginad, kuid neid võimalusi ei tohiks omistada sellele allalaaditavale mudeliversioonile.
Esitatud tehnilise aruande teabe kohaselt avaldati Kimi-VL-A3B-Instruct 10. aprillil 2025. Kaalud on Moonshot AI projekti ja selle Hugging Face'i mudelihoidla kaudu saadaval MIT-litsentsi alusel, mis lubab neid selle litsentsi tingimustel kohapeal juurutada ja muuta.
Arhitektuur ja 128K kontekstiaken
Mudel koosneb kolmest põhikomponendist: MoonViT nägemis-enkooderist, MLP-projektorist ja ekspertide segu (mixture-of-experts) keeledekoodrist. Nägemis-enkooder kasutab algset eraldusvõimet säilitavat töötlust, mille eesmärk on säilitada eri suuruse ja kuvasuhtega piltides kasulikud detailid, selle asemel et käsitleda iga pilti ühesuuruse sisendina.
Selle keelekomponendil on kokku ligikaudu 16 miljardit parameetrit, kuid iga järeldusetapi ajal aktiveeritakse ligikaudu 3 miljardit keelemudeli parameetrit. Ekspertide segu mudel sisaldab mitut spetsialiseerunud parameetrirühma, kuid suunab iga märgise ainult läbi võrgu ühe osa. See võib vähendada ühe päringu jaoks vajalikku arvutust võrreldes samaväärse tiheda mudeli kõigi parameetrite kasutamisega. See ei tähenda, et allalaadimiseks oleks vaja ainult 3 miljardit parameetrit või et iga juurutus töötaks sama kiirusega; endiselt on olulised mälukasutus, visuaalsete märgiste töötlemine, kvantimine, pakktöötlus ja riistvara.
Dokumenteeritud konteksti pikkus on 128K märgist. Suur kontekst võimaldab ühendada pika teksti visuaalse materjaliga, analüüsida mahukaid dokumente, võrrelda mitut pilti või toetada pikkade videote töövooge, kui kasutatav serverikonfiguratsioon ja riistvara suudavad vajaliku kontekstiga toime tulla. Esitatud uurimus ei määra eraldi maksimaalset väljundmärgiste arvu, seega ei tohiks eeldada kindlat maksimumi.
Toetatud sisendid ja väljundid
| Võimekus | Olek | Praktiline tähendus |
|---|---|---|
| Tekstisisend | Toetatud | Kasuta multimodaalsetes viipades kirjalikke juhiseid või küsimusi. |
| Pildisisend | Toetatud | Analüüsi üht pilti või võrdle mitut pilti. |
| Videosisend | Toetatud | Teosta video tajumise ja mõistmise ülesandeid. |
| Helisisend | Ei ole kindlaks tehtud | Esitatud mudeliteave ei tuvasta algupärast heli mõistmise võimekust. |
| Tekstiväljund | Toetatud | Tagasta selgitusi, vastuseid, eraldatud teksti ja muud genereeritud teksti. |
| Pildi-, video- või heliväljund | Algupärase mudeliväljundina ei toetata | See mudeliversioon on mõistmiseks ja teksti genereerimiseks mõeldud mudel. |
Mudel sobib visuaalsetele küsimustele vastamiseks, pildi-teksti-põhiseks järeldamiseks, mitme pildi võrdlemiseks, OCR-iks, dokumentide mõistmiseks, video tajumiseks ja ekraanipiltide tõlgendamiseks. Samuti võib see toimida visuaalse tajukomponendina arvuti kasutamise või operatsioonisüsteemi agendi süsteemides. Taju ei ole siiski sama mis autonoomne juhtimine: brauseritoimingud, klaviatuuri ja hiire kasutamine, tööriistakutsed, turvakontrollid ning rakenduse oleku haldamine tuleb tagada ümbritseva tarkvaraga.
Kimi-VL-i perekonna kontekstis
Kimi-VL-A3B-Instruct on mõeldud üldiseks multimodaalseks tajuks ja juhiste järgimiseks. Projekti dokumentatsioon soovitab seda OCR-i, pikkade videote ja dokumentide mõistmise, video tajumise ning operatsioonisüsteemi agendiga seotud kasutusjuhtude jaoks. Esitatud Kimi-VL-i teabe põhjal on see praktiline valik siis, kui rakendus vajab üldotstarbelist visuaalset mudelit, mida saab kohapeal juurutada.
Moonshot AI nimetab eraldi perekonnavariandina ka mudelit Kimi-VL-A3B-Thinking-2506, mis on mõeldud nõudlikumaks ja pikemaks multimodaalseks järeldamiseks. See võrdlus ei tähenda, et Instruct-mudel ei sobiks järeldamiseks; pigem viitab see sellele, et Thinking-variant on sobivam siis, kui peamine nõue on pikem läbimõeldud järeldamine. Praegust mudelit on täpsem kirjeldada üldise multimodaalse taju- ja juhistemudelina.
Järeldamine, kodeerimine ja tööriistade kasutamine
Kimi-VL-A3B-Instruct suudab arutleda piltide, videote, dokumentide ja ekraanipiltide sisu üle, sealhulgas visuaalsete tõendite ja kirjalike juhiste vaheliste seoste üle. Mudeli dokumentatsioon toetab kasutamist visuaalsetele küsimustele vastamisel, OCR-is, pika konteksti analüüsis ja agentidele suunatud tajus. Esitatud uurimus ei sisalda standardiseeritud järeldamisvõimekuse võrdlustesti ega garanteeritud järeldamisrežiimi, mistõttu tuleks selle järeldamisvõimet hinnata rakenduse konkreetsete visuaalsete ülesannete põhjal.
See suudab genereerida teksti ning võib aidata tõlgendada ekraanipiltidel või dokumentides kuvatud koodi, kuid seda ei esitleta eelkõige kodeerimismudelina. Uurimus annab sellele mõõduka toimetusliku hinnangu kodeerimises, mitte teenusepakkuja avaldatud kodeerimistulemuse. Seda hinnangut ei tohiks käsitleda võrdlustesti tulemuse ega tarkvaraarenduse suutlikkuse garantiina.
Tööriistade kasutamine ei ole selle mudeliversiooni puhul olemusliku võimekusena kindlaks tehtud. Arendaja võib ühendada mudeli tekstivastused OCR-konveierite, brauserite, arvutikasutuse kontrollerite või muude tööriistadega, kuid mudel ise ei paku garanteeritud funktsioonikutseid, brauseri käitamist ega tegevusväljundeid. Samuti ei ole kindlaks tehtud struktureeritud JSON-i või JSON-skeemile vastavust. Usaldusväärset masinloetavat väljundit vajavad rakendused peaksid lisama mudeli vastuse ümber valideerimise ja veahalduse.
Juurutamine ja peenhäälestus
Ametlik projekti dokumentatsioon käsitleb juurutamist Transformersi, vLLM-i ja SGLangi abil. Kui vLLM-i või SGLangi sarnane järeldusmootor seadistatakse pakkuma OpenAI-ga ühilduvat lõpp-punkti, saavad rakendused selle lõpp-punkti kaudu teenindatava mudeliga suhelda. See ühilduvus kuulub teeninduskihile; seda ei tohiks segi ajada Moonshoti hostitud API-ga, mis oleks mõeldud täpselt sellele mudelile.
Transformersi näited nõuavad kohandatud mudelikoodi kasutamist valiku trust_remote_code kaudu. Seetõttu peaksid käitajad enne kaugvaramust pärit koodi tootmises lubamist selle koodi ja juurutuskeskkonna üle vaatama. vLLM-i konfiguratsioonid võivad pakkuda vestluse lõpetamisega ühilduvat teenindust ning lubada käitajatel määrata konteksti pikkuse ja piltidega seotud piirangud, kuid sobivad väärtused sõltuvad olemasolevast riistvarast ja valitud teeninduskonfiguratsioonist.
Peenhäälestust dokumenteeritakse kogukonna tööriistade, sealhulgas LLaMA-Factory kaudu. Projekti teabes kirjeldatakse LoRA-peenhäälestust ühel GPU-l ligikaudu 50 GB videomäluga ning mitme GPU-ga täielikku või LoRA-peenhäälestust DeepSpeed ZeRO-2 abil. Need on juurutamise ja treenimise juhised, mitte universaalne riistvaragarantii; mälunõuded võivad muutuda sõltuvalt jada pikkusest, pildi eraldusvõimest, pakisuurusest, täpsusest ja mudeliversiooni seadistustest.
Hind ja käituskulud
Esitatud uurimuse põhjal ei ole Kimi-VL-A3B-Instructi jaoks kehtestatud ametlikku Moonshoti hostitud märgipõhist API-hinda. Mudel on avatud kaaludega ja selle saab MIT-litsentsi alusel alla laadida iseseisvaks hostimiseks, mistõttu mudeli otsene litsentsikulu ei ole sama mis korduv hostitud mudeli tellimustasu.
Iseseisev hostimine toob siiski kaasa käituskulud. Kasutajal võib vaja minna sobiva mahuga GPU-mälu, salvestusruumi, elektrit, pilve-GPU renti, inseneritööd ja järeldusserverit. Ekspertide segu arhitektuur võib pakkuda arvutuslikult soodsat kompromissi, sest iga sammu ajal aktiveeritakse ligikaudu 3 miljardit keeleparameetrit, kuid tegelikku hinda mõjutavad mudeli kogusuurus, multimodaalne eeltöötlus, pikad kontekstid, videosisendid ja pakktöötlus. Esitatud teabe põhjal ei saa arvutada usaldusväärset universaalset ühe päringu maksumust.
Peamised tugevused ja piirangud
Tugevused
- Lai visuaalne ulatus: See saab hakkama piltide, mitme pildi, videote, dokumentide, OCR-i ja ekraanipiltide mõistmise ülesannetega.
- Pikk kontekst: Dokumenteeritud 128K märgise pikkune kontekstiaken on kasulik pikkade dokumentide ja mahukate multimodaalsete viipade puhul.
- Tõhus arhitektuur: Iga järeldusetapi ajal aktiveeritakse ligikaudu 3 miljardit keeleparameetrit ligikaudu 16 miljardi parameetriga ekspertide segu mudelist.
- Iseseisev hostimine: Avatud kaalud, MIT-litsents ning dokumenteeritud Transformersi, vLLM-i ja SGLangi kasutusvõimalused annavad arendajatele juurutamise üle kontrolli.
- Peenhäälestusvõimalused: Projekt dokumenteerib LoRA- ja mitme GPU-ga peenhäälestuse võimalusi olemasolevate tööriistade abil.
Piirangud
- Algupärane meediageneratsioon puudub: See toodab teksti ega genereeri pilte, videot, heli, kõnet ega muusikat.
- Hostitud hinnakiri puudub: Kasutajad ei tohiks eeldada, et see mudeliversioon on saadaval Moonshot AI tavapärases tasuliste API-de kataloogis.
- Juurutamise eest vastutab käitaja: Iseseisva hostimise korral vastutab käitaja riistvara valiku, teeninduse, skaleerimise, seire, pakktöötluse ja turvalisuse eest.
- Struktureeritud väljund ei ole garanteeritud: Funktsioonikutsed, JSON-skeemi järgiv väljund ja tegevuste käivitamine ei ole kindlaks tehtud olemuslike funktsioonidena.
- Järeldamise kompromiss: Instruct-variant on mõeldud üldiseks tajuks; variant Kimi-VL-A3B-Thinking-2506 võib sobida paremini nõudlikuks pikaks multimodaalseks järeldamiseks.
Millal valida Kimi-VL-A3B-Instruct?
Vali Kimi-VL-A3B-Instruct siis, kui vajad iseseisvalt hostitavat mudelit, mis suudab uurida pilte, videoid, skaneeringuid, dokumente või ekraanipilte ning tagastada tekstipõhist analüüsi. See sobib eriti hästi privaatsetele OCR-teenustele, visuaalsete dokumentide töövoogudele, piltide ja videote kohta küsimustele vastamisele, ekraanipiltide analüüsile, uurimistööriistadele ning suuremate arvutikasutuse süsteemide tajumoodulitele.
Selle avatud kaaludega kättesaadavus on väärtuslik ka siis, kui projekt vajab täielikult hallatud API asemel kontrolli juurutamise, andmekäitluse või mudeli kohandamise üle. Pikk kontekstiaken on kasulik rakendustes, mis ühendavad mahuka kirjaliku materjali visuaalsete tõenditega, kuid kogu konteksti kasutamise riistvarakulu tuleks enne testida, mitte eeldada.
Kaalu mõnda muud võimalust siis, kui rakendus vajab piltide või videote genereerimist, kõne- või helitöötlust, garanteeritud JSON-skeemile vastavaid vastuseid, sisseehitatud tööriistade käitamist või hallatud kommertslikku lõpp-punkti, mille märgipõhine hinnakiri on avaldatud. Sama perekonna kõrgema taseme läbimõeldud multimodaalse järeldamise jaoks osutab esitatud uurimus sobivama alternatiivina mudelile Kimi-VL-A3B-Thinking-2506. Tavapärase visuaalse mõistmise puhul, kus on olulised kohapealne töö ja kulude kontroll, pakub Kimi-VL-A3B-Instruct selgemat tasakaalu laia sisenditoe ja suhteliselt väikese aktiveeritud keelemudeli arvutusmahu vahel.