Mis on Kimi-Linear-48B-A3B-Base?
Kimi-Linear-48B-A3B-Base on Moonshot AI avatud kaaludega teksti genereerimise mudel. Sõna „Base” näitab, et tegu on eeltreenitud baasmudeliga, mitte juhiste järgi häälestatud assistendiga. Praktikas saavad arendajad seda kasutada lähtekohana jätkuvale eeltreeningule, juhendatud peenhäälestusele, hindamisele ja kohandatud järeldusprotsessidele.
Mudel sisaldab ligikaudu 48 miljardit parameetrit, kuid kasutab ekspertide segu (mixture-of-experts, MoE) arhitektuuri, milles iga märgi puhul aktiveeritakse ligikaudu 3 miljardit parameetrit. See võib vähendada ühe märgi töötlemiseks vajalikku arvutusmahtu võrreldes sama kogusuurusega tiheda mudeliga. See ei tähenda siiski, et mudel vajaks mälu ainult 3 miljardi parameetri jaoks: kasutuselevõtul tuleb arvestada kogu kontrollpunkti, marsruutimise komponentide, käituskeskkonna lisakulu ja valitud arvulise täpsusega.
Moonshot AI avaldas mudeli koos Kimi Linearit käsitleva tehnilise aruandega 30. oktoobril 2025. Hugging Face'i mudelikaardi kohaselt on kaalud MIT-litsentsiga ning Hugging Face on nende peamine levitamiskoht.
Miks hübriidse tähelepanuarhitektuuri ülesehitus on oluline?
Kimi-Linear-48B-A3B-Base ühendab Kimi Delta Attentioni ehk KDA ja globaalse mitme peaga latentse tähelepanu (Multi-Head Latent Attention, MLA). KDA eesmärk on säilitada jada töötlemise ajal kompaktne, korduvusele sarnane olek, samal ajal kui globaalsed MLA-kihid võimaldavad konteksti piires perioodiliselt ulatuslikku teabevahetust. Dokumenteeritud arhitektuuris on KDA-kihtide ja globaalsete MLA-kihtide suhe väidetavalt kolm ühele.
Selle ülesehituse eesmärk on lahendada pika kontekstiga keelemudelite levinud probleem: võtme-väärtuse vahemälu (KV-cache) võib sisendi kasvades muutuda väga suureks. Võtme-väärtuse vahemälu salvestab genereerimise ajal varasematele märkidele tähelepanu pööramiseks vajalikku teavet. Moonshot AI andmetel võib Kimi Linear vähendada KV-vahemälu vajadust kuni 75% ja saavutada pika konteksti korral kuni kuus korda kiirema dekodeerimise. Need on teenusepakkuja esitatud arhitektuuri- ja võrdlustesti väited, mitte garanteeritud tulemused. Tegelik mälukasutus ja kiirus sõltuvad konteksti pikkusest, riistvarast, kvantimisest, kernelitest, pakisuurusest ja järeldusmootorist.
Praktiliselt tähendab see, et mudel on eriti huvitav töökoormuste puhul, mis hõlmavad väga pikki dokumente, suuri koodihoidlaid, pikki agentide tööjälgi või muid sisendeid, mille korral tavapärane täielikul tähelepanul põhinev järeldusprotsess muutub kulukaks. Arhitektuur ei kõrvalda vajadust võimeka riistvara järele, eriti täieliku täpsusega kontrollpunkti kasutamisel.
Kontekstiaken ja väljundipiirangud
Dokumenteeritud konteksti pikkus on 1 048 576 märki, mida kirjeldatakse tavaliselt 1 miljoni märgi suuruse kontekstiaknana. See on mudeli toetatud maksimaalne konteksti pikkus, mitte lubadus, et iga kasutuselevõtt suudab sellise suurusega konteksti tõhusalt töödelda. Teenindustarkvara, vaba mälu, pakktöötlus, viiba struktuur ja valitud täpsus võivad tegelikke praktilisi piire vähendada.
Selle konkreetse kontrollpunkti autoriteetses dokumentatsioonis ei ole määratud maksimaalset väljundimärkide arvu. Seetõttu tuleks sisendi ja väljundi kogulimiiti kontrollida konkreetse Transformersi, vLLM-i või SGLangi kasutuselevõtu konfiguratsioonist, mitte eeldada seda pealkirjas esitatud kontekstiarvu põhjal. Mudelikaardil ega tehnilises aruandes ei ole märgitud autoriteetset teadmiste lõppkuupäeva.
Võimekus ja toetatud modaalsused
Tegu on tekstisisendi ja tekstiväljundiga keelemudeliga. See võtab vastu teksti ja genereerib teksti. Dokumentatsiooni kohaselt ei ole see nägemis-, heli-, video-, pildi genereerimise, kõne-, manustamis- ega muusikamudel. Samuti ei paku see esimese osapoole veebotsingu tööriista ega loomulikku väliste toimingute süsteemi.
- Pika kontekstiga teksti genereerimine: sobib suurte dokumentide, koodihoidlate, uurimismaterjalide kogumike ja pikkade tekstiajalugude töötlemiseks.
- Jätkuv eeltreening: baaskontrollpunkti saab kasutada lähtekohana täiendavale valdkonna- või keeleõppele.
- Peenhäälestus: arendajad saavad mudelit kohandada spetsialiseeritud genereerimise või juhiste järgimise jaoks.
- Koodi genereerimine: üldise tekstimudelina suudab see koodi genereerida ja teisendada, kuid kaasasolevas uurimuses ei määratleta eraldi koodikirjutamise spetsialiseerumist ega võrdlustesti tulemust.
- Arutlemine: see suudab teksti genereerimise kaudu arutleda, kuid seda ei ole dokumenteeritud spetsiaalse arutlusmudelina, millel oleks eraldi arutlusrežiim või garanteeritud mõttekäigu genereerimise käitumine.
- Tööriistade kasutamine: loomulikku tööriista- ega funktsioonikutsete tuge ei ole täpsustatud. Rakendused saavad ühendada mudeli väliste tööriistadega, kuid seda ei tohiks segi ajada sisseehitatud tööriistade käivitamisega.
Kuna kontrollpunkt ei ole juhiste järgi häälestatud, võib see anda vähem ettearvatavaid assistendilaadseid vastuseid kui juhiste järgi häälestatud sõsarmudel. Arendajad, kes vajavad vahetut vestluslikku käitumist, võivad vajada täiendavat juhendatud treeningut, sobivat viibavormingut või mõnda muud mudelivarianti.
Kasutuselevõtu ja riistvara kaalutlused
Moonshot AI pakub kontrollpunkti Hugging Face'i kaudu Safetensorsi vormingus. Dokumenteeritud Transformersi töövoog kasutab usaldusväärset kaugkoodi ning soovitab Python 3.10 või uuemat, PyTorch 2.6 või uuemat ja paketti fla-core. Mudeli dokumentatsioon kirjeldab ka kasutuselevõttu vLLM-i ja SGLangi abil, sealhulgas OpenAI-ga ühilduvaid kohalikke HTTP-lõpp-punkte.
Kontrollpunkti kirjeldatakse 48 miljardi parameetriga BF16/F32 mudelina. Praktikas tähendab see üldjuhul mitme GPU kasutamist või kvanditud kasutuselevõttu, mitte tavapärase tarbijasülearvuti kasutamist. Kvantimine võib vähendada mälunõudeid, kuid kaasasolev uurimus ei kinnita konkreetse kvanditud väljalaske, kvaliteeditaseme ega minimaalse riistvarakonfiguratsiooni olemasolu. Ligikaudu 3 miljardi aktiivse parameetri kasutamine võib vähendada ühe märgi töötlemiseks vajalikku arvutusmahtu, kuid ei kaota vajadust kogu mudeli struktuuri salvestada või sellele juurde pääseda.
Kohalik teenindus võib olla kasulik, kui organisatsioon vajab kontrolli andmekäitluse üle, kohandatud peenhäälestust või lõimimist oma taristuga. Samuti tähendab see, et GPU-võimsuse, tarkvaraühilduvuse, seire, uuenduste ja töökindluse eest vastutab kasutuselevõtja.
Hind ja API kättesaadavus
Kimi-Linear-48B-A3B-Base'i ametlikku majutatud API hinnastust ei ole määratud. Kontrollpunkt on avatud kaaludena allalaaditav, seega ei ole mudeli otsene hind sisend- ega väljundmärgi tasu. Selle käitamisega kaasnevad siiski taristukulud GPU-de, salvestusruumi, elektri, arenduse ja teenindustoimingute eest.
See eristus on oluline, sest mudel ei ole sama mis majutatud Kimi tarbijatoote või kaubandusliku Kimi API-lõpp-punkti kasutamine. Kaasasolevas uurimuses ei tuvastata selle konkreetse baaskontrollpunkti jaoks esimese osapoole majutatud API-pakkumist, pakktöötlus-API-t, garanteeritud struktureeritud väljundi režiimi ega teenusepakkuja hallatavat teenust. Kohalikud kasutuselevõtud võivad ühilduvate teenindussüsteemide kaudu pakkuda voogedastatavaid vastuseid, kuid käitumine sõltub valitud serverist ja konfiguratsioonist.
Peamised tugevused ja kompromissid
Kõige selgem tugevus on selle sobivus väga pikkade tekstisisendite jaoks. Miljoni märgi pikkune kontekst mahutab ühe päringu sisse ebatavaliselt suure hulga lähtematerjali ning hübriidse tähelepanuarhitektuuri eesmärk on muuta pika konteksti dekodeerimine vähem nõudlikuks kui tavapärase täielikul tähelepanul põhineva lähenemise korral. Avatud kaaludega väljalase annab tehnilistele meeskondadele ka rohkem kontrolli kui suletud majutatud mudel: kaale saab uurida, kohandada, hinnata ja privaatses keskkonnas kasutusele võtta.
Peamine kompromiss on kasutuselevõtu keerukus. 48 miljardi parameetriga kontrollpunkt on vaatamata hõredale aktiveerimisele endiselt mahukas mudel. Spetsiaalse tähelepanu toe, usaldusväärse kaugkoodi, ajakohaste raamistikversioonide ja ühilduvate kernelite haldamine kuulub kasutuselevõtu koormuse hulka. Mudeli pika konteksti võimekus võib olla lühikeste viipade puhul ka tarbetu, sest väiksemat juhiste järgi häälestatud mudelit võib olla lihtsam ja odavam käitada.
Moonshot AI esitatud väiteid vahemälu ja dekodeerimise paranduste kohta tuleks käsitleda väidetena, mida tuleb kavandatud keskkonnas kontrollida. Need ei tõenda, et iga töökoormus oleks kuus korda kiirem või et mälukasutus väheneks alati 75%.
Millal valida Kimi-Linear-48B-A3B-Base?
See mudel on mõistlik valik, kui peamine nõue on allalaaditav baasmudel, mis suudab töödelda väga pikki tekstikontekste. See on eriti asjakohane järgmistes olukordades:
- Tõhusate tähelepanu- ja ekspertide segu arhitektuuride uurimine.
- Suurte tehniliste, õiguslike, teaduslike või organisatsiooniliste dokumendikogumite töötlemine.
- Suurte koodihoidlate või pikkade tarkvaraarenduse ajalugude analüüs.
- Spetsialiseeritud korpusel jätkuva eeltreeningu tegemine.
- Pika kontekstiga mudeli peenhäälestus kohandatud teksti genereerimise ülesande jaoks.
- Privaatne või kohalik järeldusprotsess, kui majutatud teenuse kasutamine ei sobi.
Teine võimalus võib olla sobivam, kui prioriteediks on kohene assistendilaadne suhtlus, sisseehitatud tööriistad, multimodaalne sisend, majutatud teenuse hinnastus või väiksemad riistvaranõuded. Vestlusliku käitumise võrdluseks on loomulikum valik Kimi Lineari vastav juhiste järgi häälestatud kontrollpunkt, samas kui lühikese konteksti, väikese kulu või väikese latentsuse puhul võib eelistada väiksemat tihedat või spetsialiseeritud mudelit. Need alternatiivid võivad loobuda mõnest baasmudeli pika konteksti või kohandamise eelisest, kuid vähendada seadistamise vaeva ja parandada kasutusvalmidust kohe pärast paigaldamist.
Piirangud, mida enne kasutuselevõttu kontrollida
Kimi-Linear-48B-A3B-Base ei ole juhiste järgi häälestatud vestlusrobot, mistõttu ei pruugi tavaline viipamine anda usaldusväärset assistendikäitumist. Dokumenteeritud loomulikku nägemis-, heli-, video-, pildi genereerimise ega veebotsingu võimekust sellel ei ole. Selle konkreetse kontrollpunkti kohta ei ole määratud struktureeritud väljundi garantiisid, maksimaalset genereerimispiiri, teadmiste lõppkuupäeva, majutatud teenuse hinnastust, kasutuselt kõrvaldamise ajakava ega sulgemise ajakava.
Arendajad peaksid kavandatud kaubanduslikus või teaduslikus kasutuskeskkonnas kontrollima ka litsentsi ja mudelikaardi nõudeid, testima valitud järeldusmootorit esinduslike kontekstipikkustega ning mõõtma kvaliteeti pärast kvantimist või peenhäälestust. Mudeli pealkirjas esitatud kontekstiaken on väärtuslik ainult siis, kui kasutuselevõtt suudab seda toetada vastuvõetava mälu-, latentsus- ja kulutaseme juures.
Kokkuvõte
Kimi-Linear-48B-A3B-Base'i tuleks eelkõige käsitleda pika konteksti jaoks mõeldud uurimis- ja kasutuselevõtu baasmudelina, mitte valmis vestlusroboti või tavapärase majutatud API-tootena. Selle 48 miljardit koguparameetrit, ligikaudu 3 miljardit aktiivset parameetrit märgi kohta, hübriidne lineaarne/globaalne tähelepanu ja 1 miljoni märgi pikkune kontekstiaken muudavad selle eriliseks valikuks meeskondadele, kes on valmis haldama mahukat kohalikku taristut. Avatud kaaludega MIT-litsentsiga väljalase toetab kohandamist, kuid kasutajad, kes otsivad kasutusvalmis vestlust, loomulikke tööriistu, multimodaalset sisendit või lihtsat kasutuspõhist hinnastust, peaksid kaaluma teistsugust mudelitüüpi.