Mis on MiMo-V2.5-Base?
MiMo-V2.5-Base on Xiaomi MiMo MiMo-V2.5 mudeliperre kuuluv avatud kaaludega baaskontrollpunkt. See on avaldatud Hugging Face’is organisatsiooni XiaomiMiMo kaudu ning välja antud MIT-litsentsi alusel. Nime osa „Base” on oluline: see kontrollpunkt on mõeldud aluseks teadustööle, jätkukoolitusele, kohandatud peenhäälestusele ja spetsialiseeritud isehostitud rakendustele.
Seda ei tohiks käsitleda eraldi avaldatud järeltreeninguga MiMo-V2.5 mudeliga samaväärsena. Järeltreeninguga mudel on suunatud otsesemalt kohe kasutusvalmis suhtlusele, samal ajal kui MiMo-V2.5-Base annab arendajatele lähtekoha enda kohandamis- ja juurutustööks. Lisatud dokumentatsiooni kohaselt toetab Base’i kontrollpunkt kuni 256 000 märgi pikkust konteksti.
Koht Xiaomi MiMo mudelivalikus
MiMo-V2.5-Base kuulub Xiaomi MiMo MiMo-V2.5 natiivsete omni-modaalsete mudelite perre. Selles kontekstis tähendab „omni-modaalne” mudelit, mis on loodud töötlema ühes süsteemis mitut tüüpi teavet, selle asemel et käsitleda teksti, pilte, videot ja heli täiesti eraldiseisvate töövoogudena.
Base’i kontrollpunkt on mudelipere teadus- ja kohandamissuunaline liige. Selle avatud kaaludega levitamine muudab selle oluliseks organisatsioonidele, kes vajavad kontrolli mudelifailide, järeldustaristu, treeninguprotseduuride või andmekäitluse üle. Seevastu hostitud assistent või järeltreeninguga kontrollpunkt võib olla mugavam, kui peamine vajadus on kohene vestluspõhine kasutus minimaalse taristutööga.
Arhitektuur ja mastaap
Xiaomi mudelidokumentatsiooni kohaselt kasutab MiMo-V2.5 arhitektuur hõredat ekspertide segu ehk MoE-disaini. Sellel on ligikaudu 310 miljardit parameetrit kokku, millest iga märgi puhul aktiveeritakse umbes 15 miljardit. MoE-mudelis kirjeldab parameetrite koguarv võrgu saadaolevat mahtu, kuid iga sisendi osa puhul kasutatakse ainult valitud ekspertkomponente. Nii saab saavutada suurema mudeli kogumahu, ilma et iga märgi puhul aktiveeritaks kõiki parameetreid.
Keelemootor kasutab libiseva aknaga tähelepanu ja globaalse tähelepanu kombinatsiooni. Libiseva aknaga tähelepanu keskendab arvutuse lähedalasuvatele märkidele, samal ajal kui globaalne tähelepanu võimaldab valitud teabel püsida kättesaadavana palju pikemas järjestuses. Xiaomi sõnul aitab see hübriidne lähenemine vähendada võtme-väärtuse vahemälu nõudeid pika konteksti töötlemisel, kuigi sellise suurusega mudeli käitamine nõuab endiselt märkimisväärset riistvara ja hajusjärelduse alaseid teadmisi.
Laiem multimodaalne süsteem sisaldab ligikaudu 729 miljoni parameetriga vision transformer’it ja ligikaudu 261 miljoni parameetriga audio transformer’it. Samuti sisaldab see mitme märgi ennustamise mooduleid, mille eesmärk on parandada järeldamise tõhusust ja toetada spekulatiivse dekodeerimise laadset kiirendust. Need on teenusepakkuja dokumentatsioonist pärinevad arhitektuurilised üksikasjad, mitte sõltumatute jõudlustestide tulemused.
Toetatud sisendid ja väljundid
MiMo-V2.5-Base toetab teksti, pildi, video ja heli mõistmist. Praktilised töökoormused võivad seetõttu hõlmata kirjalike juhiste ühendamist visuaalse materjaliga, videosisu analüüsimist või heli tõlgendamist koos tekstiga. Mudeli dokumenteeritud roll on nende sisendite mõistmine ja nende põhjal arutlemine, mitte vastavas vormingus meedia genereerimine.
Tekst on selle kontrollpunkti puhul dokumenteeritud peamine väljunditüüp. Seda ei ole kirjeldatud pildi-, video-, kõne-, muusika- ega heligeneratsiooni mudelina. Multimodaalset sisendit ei tohiks seega segi ajada multimodaalse väljundiga: video- või helifaili esitamine ei tähenda, et mudel tagastab video või sünteesitud kõne.
Kontekstiaken ja väljundipiirangud
Täpselt MiMo-V2.5-Base’i kontrollpunkti puhul on dokumenteeritud kuni 256 000 märgi suurune kontekstiaken. Märk on mudeli kasutatava teksti või muu jadastatud sisendi ühik; märkide arv ei võrdu sõnade arvuga. 256 000 märgi suurune aken on kasulik pikkade dokumentide, ulatuslike transkriptsioonide, pildi- või meediakirjelduste kogumite ning muude töökoormuste puhul, kus asjakohane teave tuleks muidu jagada paljudeks päringuteks.
256 000 märgi näitaja kirjeldab sisendkonteksti mahtu, mitte seda, et iga päring võib sisaldada nii palju toormeediat või et mudel genereerib sama mahuka vastuse. Selle täpse Base’i kirje puhul ei ole maksimaalset genereeritud väljundi piirangut kinnitatud. Arendajad peaksid kontrollima rakendatavat piirangut valitud järelduspakis ning jätma taotletud vastuse jaoks piisavalt konteksti mahtu.
Eraldi avaldatud järeltreeninguga MiMo-V2.5 kontrollpunktiga seostatakse kaasasolevas uurimismaterjalis suuremat, 1 miljoni märgi pikkust kontekstiakent. Seda erinevust ei tohiks üle kanda mudelile MiMo-V2.5-Base: Base’i dokumenteeritud näitaja on 256 000 märki.
Juurutamine, litsents ja hinnastamine
Xiaomi pakub juhiseid juurutamiseks Transformersis, vLLM-is ja SGLangis. Hugging Face’i kontrollpunkt nõuab dokumenteeritud seadistuses kaugkoodi tuge. Kuna mudelil on kokku ligikaudu 310 miljardit parameetrit ja see kasutab suurt multimodaalset arhitektuuri, on juurutamine eelkõige süsteemitehnika probleem, mitte lihtne töölauale paigaldamine. Enne tootmiskasutust tuleb hinnata riistvara mahtu, hajusjäreldust, mäluhaldust ja teeninduse jõudlust.
MIT-litsents on lubav ning Xiaomi dokumentatsiooni kohaselt võimaldab see kommertskasutuseks järeldusjuurutust, täiendavat treenimist ja peenhäälestust ilma Xiaomi täiendava loata. Kasutajad peavad siiski üle vaatama litsentsi teksti, lähteandmetega seotud kohustused, ohutusnõuded ja kõik juurutamisele kehtivad vastavusreeglid.
Esitatud uurimismaterjalis ei ole MiMo-V2.5-Base’i kohta kinnitatud teenusepakkuja pakutavat märgipõhist hinda. Seda levitatakse allalaaditava kontrollpunktina, mitte siin dokumenteeritud mõõdetava kasutusega hostitud API-tootena. See ei tähenda, et juurutamine oleks tasuta: arvutusvõimsus, salvestusruum, võrk, arendustöö, seire ja hooldus võivad olla kulukad, eriti sellise üldise parameetrite arvuga hõreda mudeli puhul.
Arutlemine, kodeerimine ja tööriistade tugi
Selle kirje jaoks esitatud toimetuslik hinnang annab arutlemisele hindeks 8 punkti 10-st ja kodeerimisele samuti 8 punkti 10-st. Need on veebisaidi subjektiivsed hinnangud, mitte Xiaomi avaldatud võrdlustestide tulemused, seega tuleks neid käsitleda üksnes üldiste positsioneerimisnäitajatena. Arhitektuur ja pikk kontekst muudavad mudeli asjakohaseks teadustöö, dokumendianalüüsi, multimodaalse arutlemise ja kohandatud agentide katsetamise jaoks, kuid tähis Base tähendab, et seda ei tohiks automaatselt eeldada käituvat juhiste järgi häälestatud assistendi kombel.
Selle täpse kontrollpunkti puhul ei ole natiivset tööriistakutsete või funktsioonikutsete liidest kinnitatud. Samuti ei ole esitatud dokumentatsiooni põhjal tuvastatud struktureeritud JSON-väljundit, puhverdamist, voogedastust ega pakk-API tuge. Arendajad võivad luua mudeli ümber orkestreerimistarkvara, kuid see erineb väitest, et mudel ise pakub tagatud teenusepakkuja tasemel tööriista- või struktureeritud väljundi režiimi.
Peamised tugevused ja kompromissid
- Avatud kaaludega juurdepääs: Allalaaditav kontrollpunkt toetab privaatset juurutust, teadustööd, kohandamist ja peenhäälestust, selle asemel et kõik päringud peaksid läbima hostitud tarbijateenuse.
- Lai sisendite valik: Teksti, pilte, videot ja heli toetatakse mõistmise sisenditena.
- Pikk kontekst: Dokumenteeritud 256 000 märgi pikkune aken sobib hästi suurte dokumentide, pikkade transkriptsioonide ja ulatusliku multimodaalse analüüsi jaoks.
- Lubav litsents: MIT-litsents sobib paljudele kommerts- ja teadustöö stsenaariumidele, arvestades kohaldatavaid kohustusi.
- Suured taristunõuded: Mudeli ligikaudu 310 miljardi parameetriga kogumaht muudab selle juurutamise märksa nõudlikumaks kui väiksemate tihedate või hostitud mudelite puhul.
- Piiratud kasutusvalmiduse garantiid: Selle Base’i kontrollpunkti hostitud hinnastust, maksimaalset väljundipikkust, natiivset tööriistakasutust ja struktureeritud väljundi tuge ei ole kinnitatud.
Peamine kompromiss seisneb kontrolli ja võimekuse laiuse ning juurutamise lihtsuse, kiiruse ja prognoositava käituskulu vahel. Väiksem mudel võib tavapäraste tekstiülesannete puhul olla kiirem ja hõlpsamini käitatav. Hostitud mudel võib olla eelistatud juhul, kui meeskond vajab stabiilset API-t, avaldatud märgipõhist hinnastust, hallatud skaleerimist või kohe kasutatavat assistendikogemust.
Parimad kasutusjuhud
MiMo-V2.5-Base sobib hästi meeskondadele, kes suudavad käitada suurte mudelite taristut ja soovivad kontrollida mudeli elutsüklit. Sobivad projektid on näiteks:
- Suurte multimodaalsete keelemudelite ja hõreda MoE-arhitektuuri uurimine.
- Jätkukoolitus või valdkonnapõhine peenhäälestus.
- Dokumentide, piltide, video ja heli privaatne analüüs.
- Pika konteksti uurimisassistendid ja meediaanalüüsi süsteemid.
- Multimodaalsete agentide prototüübid, mille puhul arendajad kontrollivad ümbritsevaid tööriistu ja orkestreerimiskihti.
- Katsed, mis nõuavad mudeli kaalusid ega soovi sõltuda kolmanda osapoole hostitud lõpp-punktist.
Millal valida MiMo-V2.5-Base?
Vali MiMo-V2.5-Base, kui avatud kaaludega juurdepääs, multimodaalne mõistmine, pikk kontekst ja kohandatavus on olulisemad kui lihtne juurutamine. See sobib eriti hästi siis, kui andmed peavad jääma privaatsesse taristusse või kui meeskond vajab võimalust mudelit peenhäälestuse või jätkukoolituse abil muuta.
Teine lahendus võib olla sobivam, kui eesmärk on väikese kulu ja latentsusega rakendus, lihtne hostitud API, garanteeritud funktsioonikutsed või kohe toimiv juhiseid järgiv assistent. Järeltreeninguga MiMo-V2.5 võib olla mõne kasutusvalmis suhtlusstsenaariumi jaoks parem valik, kuid esitatud uurimismaterjal ei kinnita, et selle juurutuskäitumine või hinnastamine oleks samasugune. Pildi-, video-, kõne- või muusikageneratsiooni jaoks on MiMo-V2.5-Base samuti vale kategooria mudel, sest selle dokumenteeritud väljund on tekst.
Piirangud, mida enne juurutamist kontrollida
MiMo-V2.5-Base on baaskontrollpunkt, mitte kasutusvalmis hostitud teenus. Enne selle kasutuselevõttu peaksid meeskonnad kontrollima oma riistvara ja teenindusraamistiku täpseid järeldusnõudeid, maksimaalset genereeritud väljundi seadistust, multimodaalse eeltöötluse käitumist ning mudeli kvaliteeti pärast kavandatud peenhäälestust. Samuti tuleks latentsust ja käitamise kogukulu testida tüüpiliste töökoormustega, mitte tugineda üksnes 15 miljardi aktiveeritud parameetri näitajale.
Esitatud dokumentatsioon ei anna selle täpse kontrollpunkti kohta kinnitatud teadmiste lõppkuupäeva. Samuti ei kinnita see teenusepakkuja hostitud hinda, garanteeritud natiivset tööriistaliidest ega dokumenteeritud struktureeritud väljundi režiimi. Need teadmata asjaolud on olulised, kui mudelit võrreldakse hallatavate API-toodetega. Isehostitud teadustöö ja kohandamise jaoks muudavad avatud kaalud, lai sisendimodaalsuste valik, MIT-litsents ja 256 000 märgi pikkune kontekstiaken MiMo-V2.5-Base’i Xiaomi MiMo praeguses mudeliperes eripäraseks valikuks.