Mis on Kimi-VL-A3B-Thinking?
Kimi-VL-A3B-Thinking on Moonshot AI avatud kaaludega multimodaalne arutlusmudel, mis avaldati 10. aprillil 2025. See kuulub Kimi-VL-i mudeliperre ning seda levitatakse allalaaditavate mudelikaaludena, mitte eraldi hinnastatud hostitud API-tootena, nagu esitatud uurimuses kirjeldatakse. „Multimodaalne” tähendab, et mudel suudab töödelda rohkem kui üht tüüpi sisendit: see võtab vastu teksti ja visuaalset teavet, sealhulgas pilte ja dokumenteeritud video mõistmise töökoormusi, ning tagastab tekstivastuse.
Mudel on mõeldud pigem keerukate visuaalsete arutlusülesannete kui lihtsa kirjeldamise jaoks. Näiteks saab seda kasutada diagrammi uurimiseks ja selle suundumuste selgitamiseks, dokumendipildilt teksti lugemiseks, fotol kujutatud matemaatikaülesande lahendamiseks, mitme pildi võrdlemiseks või pika visuaalse ja tekstilise materjali kohta küsimustele vastamiseks. Moonshot AI treenis seda pika mõttekäigu juhendatud peenhäälestuse ja tugevdusõppe abil, mistõttu sobib see kontrollpunkt ülesannetele, mille vastus sõltub mitmest arutlussammust.
Arhitektuur ja 128K kontekstiaken
Kimi-VL-A3B-Thinking kasutab ekspertide segu ehk Mixture-of-Expertsi (MoE) arhitektuuri. MoE-mudelis sisaldab kogu võrk palju parameetreid, kuid iga märgi puhul aktiveeritakse neist ainult valitud osad. Kontrollpunktis on ligikaudu 16 miljardit parameetrit kokku ja ligikaudu 3 miljardit aktiveeritavat keelemudeli parameetrit. Väiksem aktiveeritav osa võib parandada arvutuslikku tõhusust võrreldes olukorraga, kus iga märgi puhul käsitletakse kõiki parameetreid aktiivsetena, kuid juurutamisel tuleb siiski arvestada kogu mudeli ja selle visioonikomponentidega.
Mudel ühendab MoE-keelemudeli, Moonshot AI loomuliku eraldusvõimega MoonViT-visioonikodeerija ning MLP-projektori, mis ühendab visuaalsed tunnused keelemudeliga. Avaldatud konteksti pikkus on 131 072 märki, mida kirjeldatakse tavaliselt 128K märgi suuruse kontekstiaknana. See jätab ruumi pikkadele dokumentidele, ulatuslikele vestlustele ja mitmele visuaalsele sisendile, kuigi tegelik maht ja kiirus sõltuvad teenindusvirnast, pildi- või videotöötlusest, saadaolevast GPU-mälust ning genereeritava vastuse pikkusest.
Toetatud sisendid ja väljundid
| Võimekus | Toe staatus | Praktiline tähendus |
|---|---|---|
| Tekstisisend | Jah | Viibad, küsimused, juhised ja pikk tekstiline kontekst |
| Pildisisend | Jah | Visuaalne küsimustele vastamine, OCR, dokumendipildid, diagrammid ja mitme pildi võrdlemine |
| Videosisend | Dokumenteeritud | Video mõistmine ja analüüs, sõltuvalt valitud järeldusmeetodist |
| Tekstiväljund | Jah | Vastused, selgitused, eraldatud tekst ja arutlusele suunatud vastused |
| Pildi-, video-, heli- või kõneväljund | Ei | Kontrollpunkti ei ole dokumenteeritud meedia- ega kõnegeneraatorina |
| Loomulik arvutitoimingute tugi | Ei | Agendi- või arvutikasutuse käitumiseks on vaja välist raamistikku |
Oluline on eristada visuaalset sisendit visuaalsest väljundist. Kimi-VL-A3B-Thinking suudab tõlgendada pilte ja videoid, kuid selle loomulik väljund on tekst. Seda ei tohiks valida juhul, kui vajate piltide või videote genereerimist, kõnesünteesi või muud otsest mittetekstilist väljundit.
Arutlusvõime ja hindamistulemused
Mudeli peamine tugevus on multimodaalne arutlus. Moonshot AI kavandas selle matemaatiliseks arutluseks, OCR-iks, piltide ja videote mõistmiseks, visuaalsetele küsimustele vastamiseks, pika konteksti mõistmiseks ning visuaalseteks ülesanneteks, mida saab kasutada agendiuuringutes. Loomuliku eraldusvõimega visioonikodeerija eesmärk on säilitada kõrge eraldusvõimega sisendites kasulikud detailid, mis on oluline väikese teksti, diagrammide, tabelite ja dokumentide puhul.
Algne tehniline aruanne esitab tulemused 61,7 MMMU-s, 36,8 MathVisionis ja 71,3 MathVistas. Need on tehnilises aruandes avaldamise ajal esitatud võrdlustulemused, mitte iga juurutuse või viiba puhul kehtivad garantiid. Neid ei tohiks segi ajada universaalse „arutlusskooriga”. Mudeli arutluskvaliteet võib erineda sõltuvalt pildi eraldusvõimest, viiba koostamisest, dekodeerimisseadetest, kvantimisest ja kasutatavast järeldusraamistikust.
Programmeerimise puhul toetab esitatud uurimus piiratud tõlgendust: mudel suudab genereerida teksti ja võib olla kasulik koodiga seotud multimodaalsete ülesannete puhul, kuid seda ei esitata spetsialiseerunud programmeerimismudelina. Selle peamine väärtus seisneb visuaalse või dokumendikonteksti tõlgendamises ja tulemuse selgitamises, mitte spetsiaalse tarkvaraarenduse töövoo asendamises.
Juurutamine, litsents ja tööriistad
Kaalud on Hugging Face'is saadaval MIT-litsentsi alusel. Esimese osapoole Kimi-VL-i hoidlas on dokumenteeritud järeldusmeetodid, mis kasutavad Transformersi, vLLM-i ja SGLangi, samuti kvantiseeritud mudelite tööriistu. Need võimalused annavad tehnilistele kasutajatele paindlikkuse käitada kontrollpunkti kohapeal või oma taristus, kuid juurutamine ei ole kerge lihtsalt seetõttu, et iga märgi puhul aktiveeritakse ainult ligikaudu 3 miljardit keelemudeli parameetrit. Mäluvajadust mõjutavad ka kogu ligikaudu 16 miljardi parameetriga mudel, visioonikodeerija, konteksti pikkus ja visuaalne eeltöötlus.
Kimi-VL-A3B-Thinkinguga ei kaasne esitatud uurimuse põhjal dokumenteeritud esimese osapoole veebiotsingu tööriista, ametlikku hostitud teenuse märgipõhist hinnastust, pakett-API-t, struktureeritud väljundi garantiid ega loomulikku funktsioonikutsete liidest. Seetõttu vajavad tööriistade kasutamine ja agendi käitumine välist teeninduskihti või orkestreerimisraamistikku. Mudel võib anda arvutikasutuse süsteemile visuaalset arutlusvõimet, kuid see ei tagasta ise loomulikke operatsioonisüsteemi toiminguid ega paku hostitud arvutikontrolli API-t.
Moonshot AI dokumentatsioon soovitab mõtlemist nõudvate töökoormuste puhul temperatuuri 0,8. See on pakkuja soovitus, mitte garantii, et see annab iga ülesande puhul parimad tulemused. Kasutajad peaksid dekodeerimisseadeid oma vajaduste põhjal katsetama, eriti täpse teksti eraldamisel või matemaatiliste vastuste hindamisel.
Hinnastamine ja praegune positsioon
Esitatud uurimuses ei ole selle täpselt allalaaditava kontrollpunkti ametlikku hostitud sisendi- ega väljundihinda dokumenteeritud. Seetõttu on mudeli otsene kulu peamiselt taristuküsimus: kasutajad peavad arvestama GPU-riistvara või rendi, salvestusruumi, teenindustarkvara, energiakulu ja käigushoiu kuludega. Avatud MIT-litsents võib olla katsetamisel ja ise hostimisel atraktiivne, kuid see ei muuda suuremahulist juurutamist tasuta tegevuseks.
Algne kontrollpunkt on endiselt allalaaditav ja kasutatav, kuid see ei ole enam selle mudelisarja uusim mudel. Moonshot AI nimetab Kimi-VL-A3B-Thinking-2506 täiustatud järglaseks, millel on parem multimodaalne arutlus, üldine visuaalne mõistmine, videotöötlusvõimekus, kõrge eraldusvõimega sisendi käsitlemine ja tõhusam mõtlemismärkide kasutus. Uute projektide puhul tuleks tavaliselt esmalt hinnata 2506 väljalaset, samal ajal kui algne mudel jääb asjakohaseks juhul, kui oluline on reprodutseeritavus, kontrollpunktide ühilduvus või varasema väljalaskega võrdlemine.
Peamised tugevused ja piirangud
- Pikk multimodaalne kontekst: 128K märgi suurune aken sobib pika teksti ja visuaalsete tõendite ühendamiseks, kuigi tegelik läbilaskevõime sõltub riistvarast ja eeltöötlusest.
- Arutlusele suunatud visioon: Mudel on mõeldud matemaatiliseks visuaalseks arutluseks, OCR-iks, dokumendianalüüsiks, visuaalsetele küsimustele vastamiseks ja video mõistmiseks, mitte ainult pealdiste loomiseks.
- Avatud juurutamine: Allalaaditavad MIT-litsentsiga kaalud ja tugi levinud järeldusökosüsteemides võimaldavad kohapealset või kontrollitud juurutamist.
- Parameetritõhusus järeldamisel: MoE-kujundus aktiveerib iga märgi puhul ligikaudu 3 miljardit keelemudeli parameetrit, samal ajal kui kogu mudel sisaldab ligikaudu 16 miljardit parameetrit.
- Ressursivajadus: Kogu mudel ja visioonikomponendid vajavad endiselt märkimisväärselt GPU-mälu ja inseneritööd, eriti pika konteksti või video puhul.
- Loomuliku meediageneratsiooni puudumine: See analüüsib visuaalseid sisendeid, kuid ei genereeri pilte, videoid, heli ega kõnet.
- Dokumenteeritud hostitud teenuse garantiide puudumine: Selle kontrollpunkti kohta ei ole esitatud ametlikku hinda, väljundmärkide maksimumlimiiti, teadmiste lõppkuupäeva, JSON-režiimi garantiid, pakett-API-t ega esimese osapoole veebiotsingut.
- Vaja on väliseid tööriistu: Brauseriühenduse, funktsioonide käivitamise, arvutikontrolli ja agendi orkestreerimise peab tagama muu tarkvara.
Millal valida Kimi-VL-A3B-Thinking?
Valige Kimi-VL-A3B-Thinking siis, kui vajate kohapealseteks uuringuteks või ise hostitud multimodaalseks arutluseks avatud kaaludega mudelit ning hindate kontrolli kaalude, juurutuskeskkonna ja andmevoo üle. See on mõistlik valik OCR-katseteks, pildirohkete dokumentide analüüsiks, matemaatilisteks visuaalseteks küsimusteks, mitme pildi võrdlemiseks ja uurimisprototüüpideks, mis ühendavad visuaalse arutluse välise agendiraamistikuga.
See sobib vähem juhul, kui vajate lihtsat hallatud API-t avaldatud märgipõhise hinnastuse, garanteeritud struktureeritud JSON-i, integreeritud veebiotsingu, loomuliku funktsioonikutse või otsese meediageneratsiooniga. Samuti ei sobi see hästi väheste ressurssidega keskkonda, mis ei suuda pakkuda ligikaudu 16 miljardi parameetriga multimodaalse kontrollpunkti jaoks vajalikku mälu ja läbilaskevõimet. Uue juurutuse puhul tuleks esmalt katsetada 2506 järglast, sest Moonshot AI kirjeldab seda täiustatud versioonina; algne mudel jääb sobivamaks juhul, kui vajate täpselt varasemat kontrollpunkti.
Kokkuvõte
Kimi-VL-A3B-Thinkingut tuleks mõista eelkõige ise hostitava tekstiväljundiga visiooni-keele arutlusmudelina, mitte üldotstarbelise hostitud assistendina. Selle määrav kombinatsioon on 128K kontekstiaken, loomuliku eraldusvõimega visuaaltöötlus, MoE-tõhusus ning tugi pildi- ja videopõhistele arutlusülesannetele. Avatud MIT-litsentsiga kaalud muudavad selle kasulikuks kontrollitud katsetes, kuid kasutajad peavad ise tagama taristu ja kõik vajalikud tööriistad. Dokumenteeritud hostitud hinnastuse, struktureeritud väljundi garantiide, loomulike toimingute ja meediageneratsiooni puudumine seab selged piirid sellele, millisesse tootmisvirna see mudel sobib.