Mis on MiMo-7B-SFT?
MiMo-7B-SFT on Xiaomi MiMo avatud kaaludega põhjuslik keelemudel. Tähis „SFT” tähendab juhendatud peenhäälestust (supervised fine-tuning): kontrollpunkti treeniti alates MiMo-7B-Base, et parandada juhiste järgimise võimet ja muuta mudel viipadega antavate ülesannete jaoks kasulikumaks. Praktikas on see mõeldud kirjalikele juhistele vastamiseks, selgituste ja koodi genereerimiseks ning arutlemist nõudvate ülesannete lahendamiseks.
Ametlik kontrollpunkt on Hugging Face'is avaldatud kujul XiaomiMiMo/MiMo-7B-SFT. See on üks etapp MiMo-7B treeningusarjas koos baasmudeli ja hilisemate tugevdusõppe kontrollpunktidega, nagu MiMo-7B-RL-Zero ja MiMo-7B-RL. Seetõttu tuleks MiMo-7B-SFT-d käsitleda pigem uurimis- ja treeningujärgse kontrollpunktina, mitte sarja lõpliku mudelina.
Kaalud on avaldatud MIT-litsentsi alusel. See muudab mudeli sobivaks kohalikuks kasutuselevõtuks, hindamiseks, muutmiseks ja edasiseks uurimistööks, arvestades litsentsi tingimusi ning sellise suurusega mudeli käitamise praktilisi nõudeid.
Selle roll MiMo-7B seerias
MiMo-7B-SFT paikneb Xiaomi arutlemisele suunatud töövoos juhendatud peenhäälestuse ehk „külmkäivituse” etapis. Baasmudel annab eeltreenitud aluse, samas kui SFT-kontrollpunkt lisab juhendatud näidete põhjal õpitud käitumise. Xiaomi laiem MiMo projekt kasutab seejärel täiendavaid treeningujärgseid etappe, et saavutada paremad arutlusvõimed.
See positsioon on oluline, kui valida seotud kontrollpunktide vahel. MiMo-7B-SFT on kasulik juhul, kui arendaja vajab juhiseid järgivat mudelit, mida saab kohapeal käitada või kasutada edasiste katsete alusena. See ei pruugi olla parim valik, kui ainus eesmärk on kasutada MiMo-7B perekonna kõige arenenumat arutlusmudelit; seotud tehnilistes materjalides kirjeldatakse MiMo-7B-RL-i tugevama tugevdusõppe mudelina.
Tehnilises aruandes kirjeldatakse MiMo projekti keskendumist matemaatikale ja programmeerimisele. Samuti märgitakse, et baasmudelit eeltreeniti ligikaudu 25 triljoni märgi põhjal ning et seerias kasutati mitme märgi ennustamise eesmärki, mille siht oli parandada järeldamise tõhusust. Need on laiema MiMo treeningukäsitluse omadused ning neid ei tohiks segi ajada eraldi kasutajale suunatud funktsioonidega, mida MiMo-7B-SFT pakub.
Võimekus ja toetatud modaalsused
MiMo-7B-SFT on ainult tekstimudel. Kontrollitud põhikasutusviis on tekstisisendile järgnev teksti genereerimine. Toetatud kasutusviisid hõlmavad järgmist:
- Kirjalike juhiste ja vestluslike viipade järgimine.
- Selgituste, mustandite ja muu teksti genereerimine.
- Matemaatiliste arutlusülesannete lahendamine.
- Arvutikoodi genereerimine ja selle üle arutlemine.
- Kohapeal käitamine ühilduva järeldamistarkvara abil.
- Alusena kasutamine edasises treeningujärgses uurimistöös.
Vaadatud ametlikud materjalid ei kinnita loomulikku pildi-, heli- ega videosisendit või -väljundit. Samuti ei kinnita need selle konkreetse kontrollpunkti puhul majutatud veebotsingut, sisseehitatud tööriista- või funktsioonikutseid, vektor-esitusi ega teenusepakkuja hallatavat struktureeritud väljundi režiimi. Juurutus võib mudeli ümber pakkuda API-liidese, kuid API ümbrisest ei tohiks järeldada, et alusmudel toetab neid funktsioone loomupäraselt.
Tehnilised andmed
| Spetsifikatsioon | Kinnitatud üksikasjad |
|---|---|
| Kanooniline mudeli ID | XiaomiMiMo/MiMo-7B-SFT |
| Pakkuja | Xiaomi MiMo |
| Mudeli tüüp | Põhjuslik teksti genereerimise mudel |
| Arhitektuur | MiMoForCausalLM |
| Ligikaudne suurus | 7B parameetrit; Hugging Face liigitab selle ligikaudu 8B parameetriga mudeliks |
| Konteksti konfiguratsioon | 32 768 märki |
| Kaalud | Safetensors-vormingus bfloat16-kontrollpunktifailid |
| Litsents | MIT |
| Põhimodaalsus | Tekstisisend ja tekstiväljund |
Repositooriumi konfiguratsioon määrab 36 peidetud kihti, 4096-mõõtmelise peidetud oleku, 32 tähelepanupead ja 32 768 maksimaalset positsioonimanust. Mudel sisaldab ka üht järgmise märgi ennustamise kihti, mis on seotud spekulatiivse dekodeerimise funktsioonidega. Need konfiguratsiooni üksikasjad kirjeldavad kontrollpunkti arhitektuuri ega taga konkreetset teeninduskiirust kõigil riistvarakonfiguratsioonidel.
32 768 märgi suurune kontekstiaken on kaasasolevates materjalides esitatud maksimaalne positsioonikonfiguratsioon. Kontekstiaken hõlmab koos nii viipa kui ka genereeritud jätku, mistõttu ei tähenda see piirang garanteeritult 32 768 märgi pikkust väljundit. Vaadatud dokumentatsioonis ei ole eraldi määratud maksimaalset väljundmärkide arvu.
Arutlemise ja programmeerimise jõudlus
MiMo-7B-SFT on mõeldud arutlemist nõudvateks ülesanneteks, eelkõige matemaatikaks ja programmeerimiseks. Tehnilises aruandes esitatakse SFT-kontrollpunkti kohta järgmised tulemused: 93,0 Pass@1 testis MATH-500, 58,7 Pass@1 testis AIME 2024, 44,3 Pass@1 testis AIME 2025, 52,3 Pass@1 testis LiveCodeBench v5 ja 45,5 Pass@1 testis LiveCodeBench v6.
Need on avaldatud uurimistulemused, mitte iga viiba või juurutuse puhul kehtivad garantiid. Hindamisprotseduurides kasutati temperatuuri 0,6 ning võrdlustestist sõltuvaid kordus- või käitamisseadeid. Tulemused võivad erineda olenevalt viipade koostamisest, dekodeerimisparameetritest, tarkvaraversioonidest, riistvarast ja hindamise teostusest. Samuti ei tohiks neid näitajaid tõlgendada tõendina, et mudel oskab iseseisvalt kasutada väliseid tööriistu või koodi käivitada.
Toimetuslikult sobib see kontrollpunkt oma suurusklassis hästi mudeliks, kui prioriteediks on kohalik arutlemise ja programmeerimise katsetamine. See hinnang on kvalitatiivne, mitte Xiaomi esitatud skoor. Arvesse tuleb võtta ka seda, et sama seeria hilisemad tugevdusõppe kontrollpunktid võivad olla sobivamad juhul, kui maksimaalne arutlusvõime on olulisem kui SFT-etapi otsene kasutamine.
Juurutus, kiirus ja hind
MiMo-7B-SFT saab Hugging Face'ist alla laadida ja laadida koos kohandatud mudelikoodiga Transformersi abil. Mudelikaardil on dokumenteeritud ka juurutamine vLLM-i ja SGLangiga, sealhulgas OpenAI-ga ühilduvad kohalikud HTTP-lõpp-punktid. See võib lihtsustada mudeli integreerimist rakendustesse, mis suhtlevad juba kohaliku teksti genereerimise serveriga.
Repositoorium on ligikaudu 15,7 GB suurune, mistõttu vajab juurutamine sobivat salvestusruumi ning valitud täpsuse ja teeninduskonfiguratsiooni jaoks piisavat GPU- või hajutatud järeldamise võimekust. Tegelik kiirus sõltub riistvarast, kvantimise või täpsuse valikust, pakisuurusest, konteksti pikkusest ja järeldusmootorist. Olemasolevad uurimismaterjalid ei esita üht kontrollitud märki sekundis näitajat.
Selle kontrollpunkti kohta ei ole kontrollitud Xiaomi hostitud märgipõhist hinda. Peamine juurdepääsumudel on allalaaditavad kaalud, seega ei ole mudeli otsene hind korduv API-tasu. Kulud tekivad kohaliku riistvara, mudeli käitamiseks kasutatava pilvearvutuse, salvestusruumi ja arendustöö tõttu. Kolmandate osapoolte hostitud lõpp-punktid võivad kehtestada oma hinnad, kuid ilma eraldi kontrollimiseta ei tohiks sellist hinnastamist Xiamomile omistada.
Millal valida MiMo-7B-SFT?
MiMo-7B-SFT on mõistlik valik, kui vajate kohapealse juhtimise ja katsetamise võimalusega vabalt allalaaditavat tekstimudelit. See on eriti asjakohane järgmiste kasutusviiside puhul:
- Juhiseid järgivad rakendused, mis peavad töötama teie kontrolli all oleval taristul.
- Matemaatika- ja programmeerimiskatsed suhteliselt kompaktse arutlusmudeliga.
- Juhendatud peenhäälestuse, tugevdusõppe või muude treeningujärgsete meetodite uurimine.
- Võrguühenduseta või ise majutatud töövood, mille puhul mõõdetava kasutusega esimese osapoole API ei ole vajalik.
- Kohalike teeninduslahenduste, näiteks Transformersi, vLLM-i ja SGLangi testimine.
Ligikaudu 7B parameetriga mudel võib olla atraktiivne juhul, kui salvestusruumi ja järeldamise nõuded on olulisemad kui palju suuremate hostitud mudelite maksimaalne võimekus. „Madalam hind” sõltub siiski taristust: vaadatud materjalides ei ole mudelile ametlikku hostitud hinda ning kohalik juurutamine nõuab endiselt võimekat riistvara või tasulist arvutusressurssi.
Piirangud ja olukorrad, kus mõni muu valik võib paremini sobida
MiMo-7B-SFT ei ole üldotstarbeline multimodaalne assistent. Valige muu mudel, kui teie rakendus vajab pildi, heli või video loomulikku mõistmist või genereerimist. Samuti ei ole seda dokumenteeritud veebiga ühendatud süsteemina, mistõttu sobib veebist pärinevast ajakohasest teabest sõltuvate ülesannete jaoks paremini mudel, millel on kontrollitud otsingu- või sirvimisintegratsioon.
Rakendused, mis vajavad garanteeritud JSON-skeeme, dokumenteeritud tööriistakutseid, funktsioonide käivitamist, vahemällu salvestamist, pakktöötluse API-sid või esimese osapoole hallatavat lõpp-punkti, peaksid kasutama mudelit ja teenust, mis neid funktsioone sõnaselgelt reklaamib. Vaadatud allikad ei kinnita nende olemasolu MiMo-7B-SFT puhul.
MiMo perekonna maksimaalse arutlusvõime saavutamiseks võib Xiaomi positsioneerimise kohaselt sobida paremini hilisem MiMo-7B-RL kontrollpunkt. MiMo-7B-SFT võib seevastu olla eelistatav siis, kui eesmärk on juhendatud kontrollpunkti uurida või muuta, säilitada kontroll kohaliku juurutuse üle või kasutada seda edasise treeningu lähtepunktina.
Kokkuvõte
MiMo-7B-SFT on MIT-litsentsiga avatud kaaludega teksti genereerimise kontrollpunkt, mis on mõeldud juhiste järgimiseks, matemaatikaks, programmeerimiseks ja arutlemise uurimiseks. Selle kontrollitud 32 768 märgi pikkune kontekstikonfiguratsioon, allalaaditavad Safetensors-kaalud ning dokumenteeritud Transformersi, vLLM-i ja SGLangi tugi muudavad selle praktiliseks kohalikes katsetes. Sama olulised on aga ka piirangud: kontrollitud esimese osapoole hostitud API-hind puudub, maksimaalset väljundi pikkust ei ole eraldi dokumenteeritud ning kinnitatud ei ole loomulikku multimodaalsust, veebotsingut, tööriistakutseid ega struktureeritud väljundit.