Mis on MiMo-V2.6-Flash-RL?
MiMo-V2.6-Flash-RL on Xiaomi MiMo avatud kaaludega reinforcement learning’u kontrollpunkt, mis on mõeldud pika konteksti põhjendamiseks, programmeerimiseks, üldisteks agenditöödeks, visuaalseteks ülesanneteks ja küberturbe rakendusteks. See kuulub MiMo-V2.6 mudeliperre ja on positsioneeritud tõhusust ning võimekust tasakaalustava valikuna: mudelil on väga suur parameetrite koguarv, kuid selle hõre ekspertide segu ehk MoE-arhitektuur aktiveerib iga märgi puhul ainult väiksema osa parameetritest.
Praktikas on selle lahenduse eesmärk pakkuda suure mudeli võimekust, ilma et iga järeldusetapi ajal tuleks kasutada kõiki parameetreid. See ei muuda kontrollpunkti siiski väikese ressursivajadusega mudeliks. Kokku 309 miljardi parameetriga vajab see isemajutatud kasutuseks endiselt märkimisväärset riistvara ja hoolikalt seadistatud teenindust.
Ametlik mudelihoidla asub Hugging Face’is: XiaomiMiMo/MiMo-V2.6-Flash-RL. Kontrollpunkt on avaldatud MIT-litsentsi alusel, mistõttu sobib see kasutajatele, kes soovivad kaale litsentsitingimuste piires uurida, kohandada või juurutada. Xiaomi majutatud tooted ja API-d on sellest avatud kaaludega väljalaskest eraldi, seega ei tohiks nende saadavust ega hindu kontrollpunktile automaatselt üle kanda.
Koht MiMo mudelivalikus
MiMo-V2.6-Flash-RL kuulub Xiaomi MiMo praegusesse MiMo-V2.6 mudeliperre. Tähis „RL” viitab reinforcement learning’u kontrollpunktile, mitte üldotstarbelisele baasmudelile. Xiaomi kirjeldab treeningumeetodit, mis ühendab suuremahulise asünkroonse poliitikaoptimeerimise, mitmekesised agendikeskkonnad, rühmapõhise hindamise, eneseparanduse ning mitme prefiksi ja mitme õpetajaga on-policy-destilleerimise.
Treeningu fookus on mudeli positsioneerimise seisukohast oluline. Mudel on mõeldud töötama programmeerimise, üldiste arvutikasutuse- või agenditööde, visuaalsete ülesannete ja küberturbe valdkonnas, mitte piirduma tavaliste küsimuste ja vastustega. Seetõttu tuleks seda käsitleda põhjendus- ja agendimudelina, mis suudab töödelda ka multimodaalseid sisendeid, mitte lihtsalt tavapärase tekstivestlusrobotina.
Arhitektuur, kontekst ja väljundipiirangud
Mudelil on kokku 309 miljardit parameetrit, millest aktiveeritakse ligikaudu 15 miljardit. Aktiveeritud parameetrite arv kirjeldab ligikaudset osa, mida hõreda MoE-marsruutimise kaudu ühe märgi puhul kasutatakse; seda ei tohiks tõlgendada kogu kontrollpunkti salvestamiseks vajaliku mälumahuna.
Avaldatud konteksti pikkus on 1 000 000 märki. See on väga suur tööaken selliste ülesannete jaoks nagu ulatuslike koodibaaside uurimine, pikkade tehniliste dokumentide läbivaatamine, mahukate vestluste töötlemine või oleku säilitamine keeruka agenditöövoo jooksul. Pikk kontekstilimiit ei taga, et iga viibaosa saab võrdse tähelepanu, ning tegelik kasutatav limiit võib sõltuda ka teenindusmootorist, sisendivormingust, riistvarast ja juurutuse seadistusest.
Mudeliga kaasas olev teave märgib maksimaalseks väljundiks 131 072 märki. See on teeninduspiirang, mitte lubadus, et iga vastus on nii pikk või et pikad genereeringud on kasulikud. Enamiku interaktiivsete ülesannete puhul on lühemaid väljundeid kiirem ja odavam töödelda.
Xiaomi mudelikaart kirjeldab ka viiekihilist mitme märgi ennustamisel põhinevat spekulatiivset dekoodrit, mille eesmärk on parandada järeldamise tõhusust. Avaldatud arhitektuuris on lisaks välja toodud 681 miljoni parameetriga visioonikodeerija ja helikodeerijad kogumahuga 435 miljonit parameetrit.
Multimodaalne sisend, kuid peamiselt tekstiväljund
MiMo-V2.6-Flash-RL toetab teksti, piltide, video ja heli mõistmist. See võimaldab juurutuses kombineerida tavapäraseid juhiseid visuaalsete või heliliste tõenditega, näiteks paluda mudelil pilti uurida, video üle arutleda, helisisendit analüüsida või siduda need sisendid koodi ja tööriistakutsetega.
Oluline on eristada sisendit ja väljundit. Kontrollpunkti loomulik väljund on peamiselt tekst. Esitatud spetsifikatsioonid tuvastavad tekstigeneerimise, kuid ei näita loomulikku pildi-, video-, heli-, muusika- ega kõnegeneerimist. Seetõttu ei tohiks seda valida meediageneratsiooni mudeli otseseks asenduseks.
- Tekstisisend: toetatud.
- Pildisisend: toetatud visuaalseks mõistmiseks.
- Videosisend: toetatud video mõistmiseks.
- Helisisend: toetatud heli mõistmiseks.
- Tekstiväljund: toetatud.
- Pildi-, video-, heli-, muusika- ja kõneväljund: selle kontrollpunkti puhul toetatuna märkimata.
Põhjendamine, programmeerimine ja agendivõimekus
Mudeli peamine tugevus on mõeldud kasutuseks ülesannetes, mis nõuavad ühe lühikese vastuse asemel mitut põhjendamisetappi. Reinforcement learning’u treening hõlmas programmeerimist, üldisi agendikeskkondi, visuaalseid ülesandeid ja küberturvet. Mudel suudab genereerida ka tekstipõhiseid tööriistakutseid, mis võimaldab rakendusel ühendada selle väliste funktsioonide või agenditaristuga.
Programmeerimise puhul hõlmavad tõenäolised kasutusjuhud hoidlate analüüsi, silumist, koodi genereerimist, terminalipõhiseid ülesandeid ja pikaajalisi tarkvaraarenduse töövooge. Xiaomi teatab tulemustest 67,9 DeepSWE v1.1 testis ja 61,2 MiMo Code Benchis. Need on teenusepakkuja esitatud võrdlustulemused, mitte sõltumatud garantiid, ning jõudlus võib erineda sõltuvalt viibast, tööriistadest, hindamisraamistikust ja taristust.
Tööriistakasutuse ja arvutipõhiste agentide puhul teatab Xiaomi tulemustest 73,6 Toolathlon-Verifiedis, 87,6 Terminal Bench 2.1-s ja 80,8 OSWorld-Verifiedis. Mudelikaart teatab lisaks tulemustest 95,1 CyberGymis, 77,2 MiMo Cyber Benchis ja 71,5 MiMo VisualCodingis. Need tulemused näitavad valdkondi, millele Xiaomi keskendub, kuid neid tuleks käsitleda konkreetsete hindamisseadetega seotud väidetena, mitte universaalsete edetabelikohtadena.
Tööriistade tugi ei tähenda, et mudelil oleks iseseisvalt juurdepääs brauserile, shell’ile, failisüsteemile või privaatteenustele. Rakendus peab need tööriistad ise pakkuma, määratlema nende liidesed, jõustama õigused ja valideerima mudeli soovitud toimingud. Turvatundlikes juurutustes tuleks tööriistakutsed üle vaadata ja liivakastis käivitada.
Juurutusvõimalused
Kontrollpunkti saab juurutada Transformersiga, vLLM-i, SGLangi, Docker Model Runneri ja ühilduvate järelduskeskkondade kaudu. Transformersiga laadimine eeldab hoidla kohandatud mudelikoodi usaldamist. vLLM-i ja SGLangi juurutusteed sisaldavad MiMo-le kohandatud põhjendus- ja tööriistakutsete parsereid, mistõttu võib tugi sõltuda piisavalt uue versiooni kasutamisest ja Xiaomi mudelipõhiste juhiste järgimisest.
Isemajutus on peamine praktiline erinevus tavapärase majutatud mudeliga võrreldes. Kokku 309 miljardi parameetri olemasolu tekitab suuri mälu- ja võrguvajadusi, isegi kui iga märgi puhul aktiveeritakse ligikaudu 15 miljardit parameetrit. Mudelikaardil loetletakse tensoritüüpidena F32, BF16, F8_E4M3 ja U8. Kolmandate osapoolte kvantiseeritud versioonid võivad vähendada ressursivajadust, kuid neid tuleks hinnata Xiaomi algsest kontrollpunktist eraldi, sest kvantiseerimine võib mõjutada kvaliteeti, ühilduvust ja toetatud funktsioone.
Järeldamise kiirus sõltub GPU-de arvust, mälu läbilaskevõimest, kvantiseerimisest, pakktöötlusest, konteksti pikkusest ja teenindusmootorist. Hõre arhitektuur ja spekulatiivne dekooder on mõeldud tõhususe parandamiseks, kuid seda ei tohiks segi ajada väikese mudeli teenindamisega. Väiksem mudel võib väikese latentsuse ja väikese mälukasutusega rakendustes siiski parem valik olla.
Hind ja saadavus
Avatud kaaludega MiMo-V2.6-Flash-RL kontrollpunkti jaoks ei ole esitatud ametlikku majutatud teenuse märgipõhist hinda. Seetõttu ei ole selle otsene tarkvarakulu võrreldav tavalise API-hinnaga. Ise käitamisel peavad operaatorid arvestama riistvara, majutuse, elektri, salvestusruumi, arenduse ja hoolduse kuludega.
Xiaomi sõnul on MiMo mudelid saadaval MiMoga seotud toodete ja API-de kaudu ning esitatud uuringu kohaselt on kontrollpunkt kasutatav ka selliste teenustega nagu OpenRouter. Majutatud teenuse saadavus, päringupiirangud ja hinnad võivad platvormiti erineda. Eraldi dokumenteeritud MiMo-V2.6-Flash API-mudeli hinda ei tohi ilma kinnituseta üle kanda sellele täpselt samale RL-kontrollpunktile.
Peamised tugevused ja piirangud
Selle peamine eristav omadus on väga suure kontekstiakna, multimodaalse mõistmise, põhjendamisele suunatud reinforcement learning’u, programmeerimisvõime ja avatud kaaludega juurutuse kombinatsioon. See kombinatsioon on kasulik organisatsioonidele, kes peavad säilitama pikka tehnilist konteksti ning ühendama mudeli tööriistade või privaatse taristuga.
- Pika kontekstiga töö: 1 miljoni märgi pikkune kontekst sobib erakordselt suurte dokumentide, koodibaaside ja agendiajalugude jaoks.
- Lai mõistmisvõime: sama kontrollpunkt suudab töödelda teksti-, pildi-, video- ja helisisendeid.
- Agenditöövood: tekstipõhised tööriistakutsed ning terminali-, visuaalsetele ja üldistele agenditöödele keskendunud treening toetavad tööriistapõhiseid rakendusi.
- Avatud juurutus: MIT-litsentsiga kaalusid saab juurutada mitme toetatud järelduse ökosüsteemi kaudu.
- Tõhususele suunatud arhitektuur: hõre aktiveerimine ja spekulatiivne dekodeerimine on mõeldud järeldustöö vähendamiseks võrreldes sama kogusuurusega tiheda mudeliga.
Piirangud on sama olulised. Terve kontrollpunkt nõuab palju ressursse ning aktiveeritud parameetrite arv ei kaota vajadust suurt mudelit salvestada või teenindada. Multimodaalne võimekus on mõeldud peamiselt mõistmiseks, mitte meedia genereerimiseks. Kohandatud mudelikood ja MiMo-le omased parserid võivad juurutamist keerukamaks muuta ning ühilduvus võib Transformersi, vLLM-i, SGLangi ja seotud tööriistade vahel muutuda. Lõpuks on võrdlustulemused teenusepakkuja esitatud ega kinnita jõudlust kõigis privaatsetes töövoogudes.
Millal valida MiMo-V2.6-Flash-RL?
Vali MiMo-V2.6-Flash-RL, kui vajad avatud kaaludega mudelit pika konteksti põhjendamiseks, programmeerimiseks, multimodaalseks analüüsiks või tööriistapõhisteks agentideks ning sul on taristu suure hõreda MoE-kontrollpunkti käitamiseks. See on eriti asjakohane uurimisrühmadele, isemajutatud agendisüsteemidele, küberturbe katsetustele, visuaalsele programmeerimisele ja rakendustele, mis peavad ühendama pikki dokumente piltide, video või heliga.
Väiksem mudel võib olla sobivam, kui väike mälukasutus, lihtne juurutus või püsivalt väike latentsus on olulisem kui maksimaalne põhjendusvõime ja konteksti suurus. Majutatud API võib olla eelistatav juhul, kui meeskond ei soovi hallata mitme GPU-ga teenindust. Kui vajalik väljund on teksti asemel meedia, on parem valik spetsiaalne pildi-, video-, heli- või kõnegeneerimise mudel.
Kokkuvõttes tuleks MiMo-V2.6-Flash-RL-i käsitleda suure, avatud ja multimodaalse põhjendusvõimega kontrollpunktina, mille eesmärk on toetada agente ja programmeerimist. Selle 1 miljoni märgi pikkune kontekst ja lai sisenditugi on veenvad, kuid nendega kaasnevad suured käitamisnõuded ning avatud kaaludega väljalaskele ei ole ühtset ametlikku majutatud teenuse hinda.