MiMo-Embodied-7B

Mis on MiMo-Embodied-7B?

MiMo-Embodied-7B on Xiaomi MiMo avatud kaaludega visiooni-keele mudel. Visiooni-keele mudel võtab koos tekstiga vastu visuaalset teavet ja koostab vastuse keele kujul. Selle mudeli puhul võib visuaalne teave hõlmata pilte ja videot, samal ajal kui vastus võib kirjeldada stseeni, arutleda ruumiliste suhete üle, ennustada võimalikke tegevusi või pakkuda välja ülesande täitmise samme.

Mudel on loodud spetsiaalselt kehastatud tehisintellekti jaoks – need on süsteemid, mis peavad keskkonna üle arutlema, et selles liikuda, objekte käsitseda või füüsilises maailmas otsuseid teha. Xiaomi positsioneerib seda ka autonoomse sõidu uurimiseks, sealhulgas keskkonna tajumiseks, sõiduki oleku ennustamiseks ja sõiduplaanide analüüsimiseks. Avaldatud mudelihoidlas on see määratletud pilt-tekstist-tekstiks mudelina, millel on ligikaudu 8 miljardit parameetrit ja MIT-i litsents.

Seega erineb MiMo-Embodied-7B üldisest vestlusmudelist, mida kasutatakse peamiselt kirjutamiseks või küsimustele vastamiseks. Selle keskne ülesanne on ühendada visuaalsed vaatlused võimalike tegevuste, plaanide ja füüsilise maailma tõlgendustega. Mudel võib koostada tekstilise plaani või ennustuse, kuid väline robootika-, simulatsiooni- või sõidukisüsteem peab otsustama, kas ja kuidas seda väljundit rakendada.

Milline on selle koht Xiaomi MiMo mudelivalikus?

MiMo-Embodied-7B kuulub Xiaomi MiMo avatud mudelite ja teadustöö ökosüsteemi. Seda levitatakse Xiaomi MiMo Hugging Face'i organisatsiooni kaudu ning sellega kaasneb ametlik hindamisrepositoorium, mis hõlmab kehastatud tehisintellekti, autonoomse sõidu ja üldise visuaalse mõistmise võrdlusteste.

Selle fookus on spetsialiseeritud, mitte tarbijatele suunatud. Olemasolev dokumentatsioon kirjeldab mudeli kohalikku laadimist ja ühilduvaid järelduse käituskeskkondi, nagu vLLM või SGLang, mitte ametlikku tarbijatele mõeldud vestlusrakendust ega selle konkreetse mudeli tagatud, kasutuspõhist API-teenust. Xiaomi laiem MiMo platvorm võib pakkuda eraldi arendajateenuseid, kuid neid ei tohiks segi ajada MiMo-Embodied-7B kinnitatud majutatud lõpp-punkti või hinnaplaaniga.

Sisendid, väljundid ja toetatud modaalsused

Avaldatud mudelidokumentatsiooni ja konfiguratsiooni kohaselt toetab MiMo-Embodied-7B teksti-, pildi- ja videosisendeid. See muudab mudeli sobivaks näiteks küsimusteks, mis puudutavad kaadris olevate objektide tuvastamist, roboti ja läheduses asuvate objektide vahelise suhte selgitamist, sõidustseeni tõlgendamist või videokaadrite jada analüüsimist.

Mudeli loomulik väljund on tekst. Mudel võib väljendada kirjeldusi, arutluskäike, ennustusi ja pakutud plaane loomulikus keeles või muus keelepõhises vormingus, mida ümbritsev rakendus nõuab. Seda ei ole dokumenteeritud loomuliku pildi-, video-, heli-, muusika- ega kõnegeneraatorina. Samuti ei väljasta see otseselt käivitatavaid roboti käske ega sõiduki juhtsignaale kontrollitud loomuliku tegevusväljundi liidese kaudu.

Praktikas võib rakendus anda mudelile kaamerapildi ja paluda tuvastada võimaliku haaramisviisi või esitada sõiduvideo ning paluda selgitada olulist liiklusolukorda. Eraldi juhtkiht peab vastuse siiski teisendama valideeritud koordinaatideks, trajektoorideks või käskudeks.

Peamised võimalused ja praktilised tugevused

• Ruumiline mõistmine: objektide, asukohtade, suhete ja nähtava keskkonna struktuuri üle arutlemine.
• Tegevusvõimaluste ennustamine: hindamine, milliseid tegevusi objekt või keskkonna osa võib võimaldada, näiteks kas eset saab haarata või marsruuti läbida.
• Kehastatud ülesannete planeerimine: navigeerimise, objektidega manipuleerimise või muude füüsilises keskkonnas tegutseva agendiga seotud ülesannete sammude pakkumine.
• Keskkonna tajumine: visuaalsete vaatluste tõlgendamine, mis võivad olla olulised robotitele või autonoomsetele sõidukitele.
• Sõiduki oleku ja sõidu analüüs: sõiduga seotud stseenide uurimine ning keelepõhiste tõlgenduste või plaaniväljundite koostamine.
• Video mõistmine: videopõhiste sisendite ja hindamise töövoogude töötlemine, mitte ainult ühe liikumatu pildi kasutamine.

Selle peamine tugevus on multimodaalse taju ja keelelise arutlemise ühendamine füüsilise maailma ülesannetele suunatud mudelis. See fookus võib muuta mudeli kehastatud tehisintellekti katsetes asjakohasemaks kui ainult tekstil põhineva keelemudeli, eriti siis, kui rakendus vajab pildi- või videovaatlusel põhinevat selgitust või plaani.

Konteksti pikkus ja juurutamisnõuded

Avaldatud konfiguratsioon määrab positsioonikodeeringu maksimaalseks pikkuseks 128 000 tokenit. See on mudeli dokumenteeritud kontekstikonfiguratsioon ehk tokeniseeritud sisendi ja järjestust ümbritseva teabe hulk, mida arhitektuur suudab esitada. Seda ei tohiks tõlgendada universaalse majutatud teenuse piiranguna, sest mudelit kirjeldatakse peamiselt ise hallatava juurutamise jaoks.

Ametlik hindamisseadistus kasutab kuni 32 768 äsja genereeritud tokenit. See on hindamisel või juurutamisel kasutatav genereerimisseadistus ning seda ei tohiks automaatselt käsitleda iga järeldusmootori tagatud väljundipiiranguna. Tegelikult kasutatavad piirid sõltuvad ka valitud tarkvaravirnast, olemasolevast mälust, pildi- ja videotokeneerimisest, pakkide töötlemisest ning muudest käitusaegsetest seadistustest.

Hindamisdokumentatsioon soovitab suure mälumahuga kiirendit, näiteks NVIDIA A100 80GB või H20. See soovitus viitab dokumenteeritud hindamistöövoo märkimisväärsele riistvaravajadusele. Väiksemad või kvantiseeritud juurutused võivad olla võimalikud teistsuguste jõudluse ja kvaliteedi kompromissidega, kuid esitatud uuring ei määra kindlaks konkreetset kvantiseerimismeetodit, minimaalset riistvarakonfiguratsiooni ega eeldatavat kiirust.

Arutlemine, kodeerimine ja tööriistade tugi

MiMo-Embodied-7B on mõeldud multimodaalseks arutlemiseks: see suudab ühendada visuaalsed tõendid kirjelduste, ruumiliste hinnangute, ennustuste ja pakutud plaanidega. Selles kontekstis tähendab arutlemine esitatud vaatlustest kasuliku tõlgenduse või tegevussammude jada kujundamist; see ei taga füüsilises maailmas tehtavate otsuste õigsust.

Kodeerimine ei ole mudeli peamine eesmärk. Seda võidakse kasutada koodi hõlmavas teadustöövoos, kuid olemasolev teave ei kinnita, et tegemist oleks kodeerimisele spetsialiseerunud mudeliga. Samuti ei ole selle konkreetse mudeli puhul dokumenteeritud loomulikku tööriista- ega funktsioonikutse liidest. Arendaja võib mudeli tekstiväljundi ümber ehitada välise orkestreerimiskihi, kuid see erineb kontrollitud sisseehitatud tööriistade kasutamisest.

Veebiotsingut ja juurdepääsu reaalajas teabele ei ole selle mudeli võimalustena dokumenteeritud. Mudeli väljundid põhinevad esitatud sisenditel ja mudeli õpitud käitumisel, mitte kinnitatud esimese osapoole sirvimisfunktsioonil.

Hind ja saadavus

MiMo-Embodied-7B ametlikku hostitud API hinda tokeni kohta ei leitud. Mudel on Xiaomi MiMo Hugging Face'i organisatsiooni kaudu MIT-i litsentsi alusel avatud kaaludega saadaval, mistõttu ei ole mudeli allalaadimiseks dokumenteeritud korduvat tellimishinda. Kohapeal juurutamisel tuleb kasutajatel siiski arvestada GPU-riistvara, pilvearvutuse, salvestusruumi, arenduse ja käitamisega seotud kuludega.

Avatud kaalude ja tasuta kasutamise erinevus on oluline. MIT-i litsents lubab selle tingimuste kohaselt laialdast kasutamist, kuid 8 miljardi parameetriga multimodaalse mudeli käitamine – eriti pika konteksti või videosisendite korral – võib nõuda märkimisväärset mälu ja taristut. Majutatud järeldusteenuse pakkuja võib vähendada käitamisega seotud tööd, kuid esitatud uuringu põhjal ei kinnitatud selle konkreetse mudeli ametlikku majutatud hinda ega esimese osapoole API saadavust.

Piirangud ja ohutusega seotud kaalutlused

MiMo-Embodied-7B on spetsialiseerunud visuaalsele ja füüsilise maailma üle arutlemisele, mitte üldotstarbelisele abistamisele. See võib olla vähem sobiv valik tavapärase vestlustoe, laiaulatuslike kodeerimisülesannete või viimistletud tarbijaliidest nõudvate rakenduste jaoks.

Selle väljund ei asenda ka ohutuse seisukohast sertifitseeritud juhtsüsteemi. Tekstiline soovitus rooli keeramise, navigeerimise, objektidega manipuleerimise või sõiduki oleku kohta võib olla puudulik või vale. Kõik süsteemid, mis kasutavad mudelit inimeste, sõidukite või väärtusliku varustuse läheduses, peaksid enne tegevuste käivitamist lisama tajukontrollid, deterministlikud piirangud, simulatsiooni- või taasesitustestid, vajaduse korral inimjärelevalve ning sõltumatu ohutuskihi.

Pika konteksti tugi ei kõrvalda video mõistmisega seotud probleeme. Rohkem kaadreid ja tokeneid võib suurendada arvutuskulu ning mudel võib endiselt jätta tähelepanuta olulisi üksikasju või mõista valesti liikumist, sügavust, ajastust või ebatavalisi olukordi. Esitatud uuring ei kinnita tagatud latentsust, täpsust, töökindlust ega ohutustaset.

Millal valida MiMo-Embodied-7B?

Vali MiMo-Embodied-7B siis, kui projekt vajab avatud kaaludega multimodaalset mudelit, mis suudab tõlgendada pilte või videot ning ühendada need kehastatud tehisintellekti või autonoomse sõidu alase arutlemisega. See on mõistlik kandidaat järgmiste uurimisprototüüpide jaoks:

• Roboti navigeerimise ja objektidega manipuleerimise analüüs
• Ruumiline arutlemine ja tegevusvõimaluste ennustamine
• Multimodaalse ülesannete planeerimise katsed
• Autonoomse sõidu stseenide tõlgendamine
• Videopõhine keskkonna tajumise uurimine
• Ise hallatav järeldamine, mille puhul on olulised mudeli kaalud ja juurutamise kontroll

Avatud kaaludega MIT-i litsentsi alusel levitamine võib olla eelistatav suletud majutatud mudelile, kui meeskond vajab kohalikku töötlemist, kohandatud taristut või võimalust mudelit teadustöövoos kontrollida ja integreerida. Avaldatud pikk konteksti konfiguratsioon võib olla kasulik ka märkimisväärset multimodaalset konteksti hõlmavate töökoormuste puhul, kuigi tegelik teostatavus sõltub riistvarast ja tokeniseerimise kuludest.

Teist tüüpi mudel võib olla sobivam siis, kui esmatähtsad on väikese latentsusega majutatud järeldamine, prognoositav päringupõhine hind, sisseehitatud veebiotsing, küps funktsioonikutsete tugi, üldine kodeerimine või loomulik meedia genereerimine. Kui süsteem vajab keelepõhise planeerimise asemel otseseid tegevusväljundeid, võib eelistada ka spetsiaalset robootika poliitika- või juhtimismudelit. Ohutuskriitilise sõidu või füüsilise juhtimise puhul tuleks MiMo-Embodied-7B käsitleda suurema valideeritud süsteemi ühe arutluskomponendina, mitte lõpliku otsustajana.

Tehniline kokkuvõte