Mis on MiMo-V2.6-Pro-MOPD?
MiMo-V2.6-Pro-MOPD on Xiaomi MiMo avatud kaaludega mudeli kontrollpunkt. Xiaomi kirjeldab seda kui MiMo-V2.6-Pro-RL-i MOPD-täiustust, mistõttu tuleks seda käsitleda pigem MiMo-V2.6 perekonna spetsialiseeritud järeltreeningu versioonina kui täiesti eraldiseisva mudelisarjana.
Kontrollpunkt on mõeldud ülesannete jaoks, milles tuleb ühendada keerukas arutlemine, pikk kontekst ja korduv suhtlus väliste tööriistadega. Tüüpilised näited on kodeerimisagendid, uurimisabilised, dokumentide analüüs, multimodaalne uurimine ning töövood, kus tuleb kavandada tegevusi, kutsuda tööriistu, kontrollida tulemusi ja jätkata tööd paljude sammude vältel.
Selle peamine eripära on MOPD-treeningu uuendus. Mitme õpetajamudeli poliitikasisene distilleerimine (Multi-teacher On-Policy Distillation) kasutab spetsialiseeritud õpetajamudeleid ja mudeli enda poliitika põhjal loodud näiteid, et parandada käitumist olukordades, kus agent võib jääda sarnaseid tööriistakutseid kordama. Eesmärk ei ole üksnes muuta üksikuid vastuseid paremaks, vaid vähendada ka pikaajaliste tööriistapõhiste töövoogude tsüklisse jäämise tõenäosust.
Milline on selle koht Xiaomi MiMo mudelivalikus?
MiMo-V2.6-Pro-MOPD kuulub Xiaomi MiMo MiMo-V2.6 seeriasse ja järgneb esitatud mudelipõlvnemises MiMo-V2.6-Pro-RL-i kontrollpunktile. See seos on oluline, sest MOPD on Pro-kontrollpunkti agendikäitumise optimeerimine, mitte väide, et mudel tutvustaks täiesti uut üldotstarbelist arhitektuuri.
Avatud kaaludega kontrollpunkt on avaldatud Xiaomi MiMo Hugging Face'i organisatsioonis nimega XiaomiMiMo/MiMo-V2.6-Pro-MOPD. Xiaomi tegi uuendatud MOPD-kontrollpunktid kättesaadavaks ka oma platvormi kaudu, säilitades samal ajal API mudelinime mimo-v2.6-pro. Kuna hostitud API nimi ei erista seda kontrollpunkti eraldi, ei saa esitatud teabe põhjal API hinda turvaliselt seostada konkreetselt mudeliga MiMo-V2.6-Pro-MOPD.
Arhitektuur, kontekst ja modaalsused
Mudel kasutab hõredat ekspertide segu ehk MoE-arhitektuuri. Sellel on ligikaudu 1,02 triljonit parameetrit kokku, millest ühe märgi töötlemisel aktiveeritakse umbes 42 miljardit parameetrit. MoE-süsteemis töötleb iga märki vaid osa olemasolevatest ekspertvõrkudest, mis võimaldab saavutada suure mudelimahu ilma kõiki parameetreid igal sammul aktiveerimata. Mudeli märkmetes tuuakse välja ka 384 marsruuditavat eksperti ja 8 aktiveeritud eksperti märgi kohta.
Dokumenteeritud konteksti pikkus on 1 miljon märki. Kontekst on tööruum, mis sisaldab kasutaja viipa, vestluse ajalugu, hangitud materjali, tööriistade tulemusi ja muud päringu käigus edastatud sisendit. Miljoni märgi suurune kontekstiaken on eriti oluline pikkade uurimissessioonide, suurte koodibaaside, mahukate transkriptide ja agendiajaloo puhul, mida muidu tuleks ulatuslikult kokku võtta.
MiMo-V2.6-Pro-MOPD võtab sisendina vastu teksti, pilte, videot ja heli ning väljastab mudeli väljundina teksti. Esitatud spetsifikatsioonide kohaselt ei genereeri see algupäraselt pilte, heli, videot, muusikat ega kõnet. Arhitektuur sisaldab 681 miljoni parameetriga nägemis-enkoodrit, heli-enkoodreid ja viiekihilist mitme märgi spekulatiivset dekoodrit.
| Spetsifikatsioon | Toetatud üksikasjad |
|---|---|
| Mudeli tüüp | Avatud kaaludega multimodaalne hõre MoE-mudel |
| Parameetreid kokku | Ligikaudu 1,02 triljonit |
| Aktiveeritud parameetrid | Ligikaudu 42 miljardit |
| Konteksti pikkus | 1 000 000 märki |
| Sisendmodaalsused | Tekst, pildid, video ja heli |
| Väljundmodaalsus | Tekst |
| Litsents | MIT |
Esitatud uurimismaterjal ei dokumenteeri kontrollpunkti maksimaalset väljundmärkide arvu. See piirang võib sõltuda teenindusraamistikust ja juurutuse konfiguratsioonist, mistõttu ei tohiks seda tuletada kontekstiakna suurusest.
Kuidas MOPD muudab tööriistu kasutavaid agente?
Tööriistakutsete kordumine tekib siis, kui agent väljastab sama või peaaegu identse funktsioonikutse korduvalt, ilma et saavutaks sisulist edenemist. See võib raisata märke, kulutada API kvoote, tekitada korduvaid toiminguid või jätta automatiseeritud töövoo lõputult tööle. Tegemist on praktilise probleemiga agentide puhul, kes peavad vaheldumisi arutlema, tegema väliseid kutseid ja tõlgendama tulemusi.
Xiaomi sõnul tegeleb MOPD-uuendus selle käitumisega spetsialiseeritud õpetajamudelite distilleerimise ja poliitikasisese treeningu kaudu. Lihtsustatult tähendab see, et treeninguprotsess kasutab õpetaja juhiseid, võttes samal ajal arvesse ka seda, kuidas mudel oma tegevusjada ise genereerides käitub. Eesmärk on parandada otsustamist tööriistadega suhtlemise jadas, mitte üksnes suurendada tulemust üksikute viipade puhul.
MOPD-d ei tohiks käsitleda rakenduskihi turvameetmete täieliku asendusena. Arendajad peaksid endiselt tuvastama korduvaid kutseid, valideerima tööriista argumente, rakendama päringupiiranguid, seadma täitmise ajalõppe ja nõudma enne pöördumatuid toiminguid kinnitust. Treeningu uuendus parandab töökindlust, kuid ei garanteeri, et agent ei jää kunagi tsüklisse ega kasuta tööriista vääralt.
Arutlemine, kodeerimine ja tööriistade kasutamine
MiMo-V2.6-Pro-MOPD on mõeldud täiustatud arutlemise ja kodeerimise töökoormuste jaoks. Selle suur kontekstiaken võib aidata säilitada ühes tööseansis rohkem lähtefaile, spetsifikatsioone, logisid, uurimisdokumente või varasemate tööriistakutsete tulemusi. Multimodaalsed sisendid muudavad selle sobivaks ka ülesannetele, kus asjakohane teave ei ole ainult tekstiline, näiteks diagrammide, ekraanipiltide, salvestatud meedia või helimaterjali uurimiseks koos kirjalike juhistega.
Tööriistade kasutamine on mudeli positsioneerimise keskne osa. Kontrollpunkt on loodud töövoogude jaoks, kus mudel saab kutsuda väliseid funktsioone või teenuseid, kontrollida saadud andmeid ja jätkata arutlemist. Seetõttu sobib see uurimis- ja automatiseerimisagentidele paremini kui ainult lühikesteks küsimuste-vastuste vahetusteks optimeeritud tekstimudel.
Esitatud toimetuslik hinnang annab selle arutlemis- ja kodeerimisvõimekusele hindeks 9 kümnest. Need hinded on toimetuse hinnangud, mitte Xiaomi avaldatud võrdlustulemused, ning neid tuleks käsitleda võrdleva suunisena, mitte ametliku toimivusgarantiina. Uurimismaterjal ei esita MOPD-kontrollpunkti kohta konkreetset võrdlustabelit ega sõltumatult kontrollitud tulemust.
Juurutus, kiirus ja kulude kompromissid
Kontrollpunkti saab juurutada Transformersi, vLLM-i või SGLangiga ning see on välja antud MIT-litsentsi alusel. Need võimalused annavad operaatoritele paindlikkuse mudelit oma taristus käitada, kuid triljoni parameetriga hõre MoE-mudel nõuab praktilise suure jõudlusega järelduse jaoks siiski märkimisväärseid mitme GPU ressursse. Avatud kaalud ei tähenda, et mudel oleks odav või lihtsasti käitatav.
Esitatud hinnang annab kiirusele hindeks 3 kümnest. See on toimetuslik hinnang, mitte teenusepakkuja avaldatud latentsusmõõtmine. Madal kiirusehinnang peegeldab mudeli mahtu ja taristunõudeid. Ehkki iga märgi puhul aktiveeritakse MoE-st ainult osa, hõlmab ligikaudu 1,02 triljoni parameetriga mudeli teenindamine olulisi mälu-, võrgu- ja hajutatud järelduse kaalutlusi.
Usaldusväärset mudelipõhist hostitud sisendi- või väljundhinda ei ole esitatud. Xiaomi API kasutab uuendatud kontrollpunktide puhul muutmata nime mimo-v2.6-pro, mistõttu ei saa avaldatud API-hinda turvaliselt omistada ainult mudelile MiMo-V2.6-Pro-MOPD. Ise majutamise korral asenduvad otsese API-hinna küsimus riistvara-, elektri-, salvestus-, arendus- ja käitamiskuludega.
Parimad kasutusjuhud
- Pika kontekstiga uurimistöö: suurte dokumendi-, transkripti-, koodi- või tööriistatulemuste kogumite analüüsimine, hoides rohkem materjali kontekstis.
- Tarkvaraarenduse agendid: koodivaramute ülevaatamine, koodi genereerimine, logide tõlgendamine ja korduvate arendustööriistade koordineerimine.
- Multimodaalne uurimine: teksti ühendamine piltide, video või heliga, kui mudel peab tõlgendama mitut liiki tõendeid.
- Tööriistapõhine automatiseerimine: agentide loomine, kes peavad kavandama tegevusi, kutsuma väliseid funktsioone, kontrollima vastuseid ja jätkama mitmeastmeliste ülesannetega.
- Ise hostitud katsetamine: MIT-litsentsi alusel avatud kaaludega mudeli hindamine Transformersi, vLLM-i või SGLangi abil.
Millal valida MiMo-V2.6-Pro-MOPD?
Vali MiMo-V2.6-Pro-MOPD siis, kui peamine vajadus on pika konteksti, multimodaalse mõistmise, täiustatud arutlemise, kodeerimise ja korduva tööriistadega suhtlemise kombinatsioon. See on eriti atraktiivne juhul, kui agendi töövoog on piisavalt keerukas, et tööriistakutsete kordumine kujutaks endast olulist käitamisriski, ning meeskonnal on võimalik toetada hajutatud järeldust.
Väiksem mudel on tõenäoliselt parem valik väikese latentsusega vestluseks, kergkaaluliseks kohalikuks juurutuseks või suure mahuga ülesanneteks, kus lisamahtu ei vajata. Selgelt avaldatud märgipõhise hinnaga hostitud mudelit võib olla ka lihtsam eelarvestada kui seda kontrollpunkti, kui taristu on piiratud. Samuti peaksid rakendused, mis vajavad piltide, heli või video loomist, kasutama nende väljundite genereerimiseks mõeldud mudelit, sest MiMo-V2.6-Pro-MOPD on dokumenteeritud tekstiväljundiga mudelina.
Mudel ei sobi hästi siis, kui juurutamise lihtsus, minimaalne riistvara või prognoositavalt väike latentsus on olulisemad kui maksimaalne kontekst ja lai sisenditugi. MOPD-treening muudab selle pikaajaliste agentide jaoks sobivamaks, kuid tootmissüsteemid peaksid endiselt rakendama tsüklite tuvastamist ja muid täitmise juhtimise meetmeid.
Kättesaadavus ja piirangud
MiMo-V2.6-Pro-MOPD on Xiaomi MiMo Hugging Face'i organisatsioonis saadaval avatud kaaludega kontrollpunktina. Dokumenteeritud MIT-litsents lubab laialdast kasutamist vastavalt litsentsitingimustele. Juurutusjuhised hõlmavad Transformersi, vLLM-i ja SGLangi, kuid tegelik jõudlus sõltub valitud käituskeskkonnast, riistvarast, paralleelsuse konfiguratsioonist, kvantimisvalikutest ja töökoormusest.
Peamised kinnitatud piirangud on dokumenteeritud algupärase mittetekstilise väljundi puudumine, esitatud maksimaalse väljundmärkide arvu puudumine ja mudeli mahust tulenev suur taristuvajadus. Kontrollpunkti hinda ei ole esitatud uurimismaterjalides samuti kindlaks määratud. Lõpuks tegeleb MOPD-uuendus korduvate tööriistakutsetega, kuid ei kaota vajadust hoolika rakendusekujunduse, valideerimise ja seire järele.