Mis on MiniMax-Text-01?
MiniMax-Text-01 on MiniMaxi välja töötatud avatud kaaludega ainult tekstipõhine aluskeelemudel. See on mõeldud teksti genereerimiseks ja analüüsimiseks, mitte piltide, heli või video töötlemiseks. Mudel kuulub MiniMax-01 mudeliperre ja avaldati 15. jaanuaril 2025 koos laiema mudelipere tutvustusega.
Selle kõige olulisem praktiline eripära on keskendumine väga pikkadele sisenditele. MiniMaxi andmetel on mudeli treeningkonteksti pikkus 1 miljon tokenit ning järeldamise ajal saab seda ekstrapoleerida kuni 4 miljoni tokenini. Token on väike tekstiosa, mida keelemudel kasutab; sõltuvalt keelest ja vormindusest võib token tähistada sõna osa, tervet sõna või kirjavahemärki. Seega on 4 miljoni tokeni suurune kontekst mõeldud erakordselt suurtele dokumendikogumitele, pikkadele transkriptsioonidele, koodihoidlatele või pikalt töötavatele agenditöövoogudele.
Mudeli kaalud on allalaaditavad MiniMaxi ametliku Hugging Face'i hoidla ja GitHubi materjalide kaudu. Mudelile viidatakse ka MiniMaxi API dokumentatsioonis. See annab kasutajatele kaks üldist juurutusvõimalust: kasutada võimaluse korral majutatud teenust või käitada mudelit ise sobiva teenindusvirna abil.
Arhitektuur ja pika konteksti ülesehitus
MiniMax-Text-01-l on kokku 456 miljardit parameetrit, kuid see kasutab ekspertide segu ehk MoE-arhitektuuri. Selle asemel et aktiveerida iga tokeni puhul kõik parameetrid, suunab mudel iga tokeni valitud spetsialistkomponentidele. MiniMaxi andmetel aktiveeritakse iga tokeni puhul ligikaudu 45,9 miljardit parameetrit, kasutades 32 eksperdi seast kahe parima eksperdi marsruutimist.
Mudel sisaldab 80 kihti, peitkihi suurus on 6 144 ning sõnavara koosneb 200 064 tokenist. Selle tähelepanusüsteem ühendab Lightning Attentioni tavapärase Softmax Attentioniga. Üks Softmax Attentioni kiht paikneb iga seitsme Lightning Attentioni kihi järel.
Lihtsustatult öeldes on Lightning Attention mõeldud vähendama arvutus- ja mälukoormust, mida tavapärane tähelepanu võib väga pikkade jadade korral tekitada. Hübriidne ülesehitus püüab säilitada Softmax Attentioni kvaliteedieeliseid, muutes samal ajal pika konteksti töötlemise paremini hallatavaks. MiniMax nimetab oma pika konteksti ja hajusarvutuse lahenduse osana ka selliseid tehnikaid nagu LASP+, muutuva pikkusega ringtähelepanu ja ekspertide tensorparalleelsus.
Need arhitektuurilised üksikasjad selgitavad, miks on mudel pikkade dokumentide puhul huvitav, kuid need ei taga, et iga juurutus töötleb 4 miljonit tokenit võrdselt hästi. Tegelikud piirangud sõltuvad teenindustarkvarast, saadaolevast mälust, kvantimisest, API piirangutest ja päringu seadistusest.
Võimekus ja praktilised kasutusjuhud
MiniMax-Text-01 on mõeldud üldiseks teksti genereerimiseks, juhiste järgimiseks, arutlemiseks, programmeerimisabiks, dokumentide analüüsimiseks, pika konteksti küsimustele vastamiseks ja agentidega seotud töövoogudeks. Ainult tekstipõhine ülesehitus muudab selle sobivaks ülesannete jaoks, mille sisend ja väljund on peamiselt kirjalik keel.
- Pikkade dokumentide analüüs: suurte aruannete, eeskirjade, transkriptsioonide või tehniliste dokumentide kogumite läbivaatamine ühe töövoo raames.
- Uurimistöö tugi: teabe eraldamine, tekstiosade võrdlemine ja küsimustele vastamine suure allikakogumi põhjal.
- Programmeerimine: koodi selgitamine, rakendusettepanekute koostamine ning suurte koodi- või konfiguratsioonifailidega töötamine.
- Üldine genereerimine: tekstide koostamine, ümberkirjutamine, kokkuvõtete tegemine, tõlkimine ja mitmeastmeliste juhiste järgimine.
- Agentide alus: töövoogude toetamine, milles kasutatakse koos keelemudeliga tööriistu või funktsioone.
MiniMaxi avaldatud hindamistulemuste kohaselt on mudeli jõudlus konkurentsivõimeline üldteadmistes, juhiste järgimises, arutlemises, matemaatikas, mitmekeelses tõlkes ja pika konteksti põhises otsingus. Need on teenusepakkuja esitatud tulemused, mistõttu tuleks neid käsitleda kavandatud võimekuse näitajatena, mitte konkreetse rakenduse garantiina. Esitatud mudelikirje annab arutlemisele ja programmeerimisele toimetuse hinnanguks 8 punkti 10-st; need hinded on kataloogis kasutatavad hinnangud, mitte MiniMaxi avaldatud reitingud.
Kontekst, väljund ja toetatud modaalsused
Dokumenteeritud kontekstinäitajad on erakordselt suured, kuid neid tuleb tõlgendada ettevaatlikult. MiniMaxi andmetel on treeningkonteksti suurus 1 miljon tokenit ning järeldamise ajal saab kasutada ekstrapoleerimist kuni 4 miljoni tokenini. 4 miljoni tokeni suurus ei pruugi olla iga majutatud lõpp-punkti või isemajutatud konfiguratsiooni vaikimisi piir.
| Spetsifikatsioon | Esitatud üksikasjad |
|---|---|
| Parameetreid kokku | 456 miljardit |
| Aktiivsed parameetrid | Ligikaudu 45,9 miljardit tokeni kohta |
| Treeningkontekst | 1 miljon tokenit |
| Esitatud järeldamiskontekst | Kuni 4 miljonit tokenit |
| Väljundtokenite maksimum | Esitatud mudelispetsiifilises dokumentatsioonis otseselt kontrollimata |
| Sisendi tüüp | Tekst |
| Väljundi tüüp | Tekst |
MiniMax-Text-01 ei toeta algupäraselt pilte, heli ega videot ning ei genereeri pilte, heli, videot, muusikat ega embedinguid ega teosta otseseid masinjuhtimise toiminguid. Seotud mudel MiniMax-VL-01 on mudelipere liige, mis on mõeldud visuaal-keele ülesanneteks, kuid see on eraldi mudel ja seda ei tohiks käsitleda MiniMax-Text-01 sisendrežiimina.
Esitatud uuringud ei kinnita eraldi pärandvormingus JSON-režiimi, viipade vahemällu salvestamist, pakktöötluse API tuge ega peenhäälestuse võimalust. Rangelt struktureeritud vastuseid vajavad kasutajad peaksid kontrollima kasutatava lõpp-punkti või teenindusraamistiku täpset käitumist.
Tööriistade kasutamine ja juurutamine
MiniMaxi ametlikud materjalid sisaldavad funktsioonikutsete juhendit, seega on mudel dokumenteeritud tööriista- või funktsioonipõhiste töövoogude jaoks. Funktsioonikutsed võimaldavad rakendusel pakkuda näiteks andmebaasiotsingu, otsingu või arvutuse toiminguid ning lasta mudelil neid kontrollitud vormingus taotleda. Mudel ise ei teosta suvalisi väliseid toiminguid otse; heakskiidetud funktsioonid peab käivitama ümbritsev rakendus.
Isemajutatud kasutuseks pakub MiniMax juurutusjuhiseid Transformersi ja vLLM-i jaoks. Esitatud materjalides soovitatakse tootmisteeninduseks vLLM-i. Enne juurutamist tuleks kontrollida hoidla ajakohaseid juhiseid ja teenindusvirna ühilduvust, eriti juhul, kui plaanis on kasutada pikki kontekste, kvantimist või hajutatud järeldamist.
Kogu mudelihoidla maht on ligikaudu 915 GB. See suurus koos 456 miljardi koguparameetriga muudab isemajutuse mahukaks taristuprojektiks, kuigi MoE-marsruutimine vähendab iga tokeni puhul aktiivsete parameetrite arvu. Juurutus peab arvestama mudeli salvestusruumi, GPU-mälu, ühendusriba läbilaskevõime, käitusaegse lisakoormuse ja pikkade kontekstide täiendava mälukuluga.
Hinnastamine ja kulude kompromissid
Esitatud lansseerimishinna järgi maksab MiniMax-Text-01 0,20 dollarit 1 miljoni sisendtokeni kohta ja 1,10 dollarit 1 miljoni väljundtokeni kohta. Need hinnad pärinevad MiniMaxi 15. jaanuari 2025 lansseerimisteatest ega pruugi kajastada teenusepakkuja uusimat kommertshinnastust. API kasutajad peaksid enne tootmiskoormuse eelarvestamist kontrollima kehtivaid hindu, kvoote, piirkondlikku saadavust ja võimalikke lisatasusid.
Kataloogi toimetuse hinnangu järgi saab mudel kulude eest 9 punkti 10-st ja kiiruse eest 6 punkti 10-st. Need ei ole teenusepakkuja avaldatud hinded. Kuluhinnang põhineb loetletud tokenihindadel, kiirusehinnang aga väga suure mudeli ja pika kontekstiga töökoormuste praktilisel kompromissil. Tegelik viiteaeg sõltub viiba pikkusest, väljundi pikkusest, riistvarast, samaaegsusest ja teenuse lõpp-punktist.
MiniMax-Text-01 võib olla majanduslikult atraktiivne, kui ülesanne saab tõepoolest kasu väga suurest kontekstist või kui sisendi ja väljundi hinnad sobivad töökoormusega. Lühikeste ja latentsustundlike päringute korral on see vähem veenev, sest väiksem mudel võib pakkuda piisavat kvaliteeti kiiremini ja väiksema taristuvajadusega.
Piirangud, millega arvestada
Esimene piirang on modaalsus. Tegemist on ainult tekstipõhise mudeliga, mistõttu ei sobi see piltide, salvestiste ega video otseseks tõlgendamiseks. Teine piirang on juurutamise keerukus: mudeli suurus ja ligikaudu 915 GB suurune hoidla muudavad väheste ressurssidega isemajutuse ebapraktiliseks.
Pika konteksti lubadus nõuab samuti töökorralduslikku ettevaatust. Dokumenteeritud maksimum või ekstrapoleeritud võimekus ei tähenda, et miljoneid tokeneid sisaldav päring oleks kõigi ülesannete puhul kiire, odav või sama usaldusväärne. Pikad viibad võivad suurendada latentsust ja kulusid ning otsingu kvaliteet võib endiselt sõltuda sellest, kui selgelt on asjakohane teave sisendis struktureeritud.
Esitatud allikad ei nimeta autoriteetset teadmiste lõppkuupäeva. Seetõttu peaksid ajakohast teavet vajavad rakendused kasutama sobivat otsingu- või sirvimiskihti, mitte eeldama, et mudel teab hiljutisi sündmusi. Ka väljundtokenite täpset maksimumi ei ole esitatud uuringutes kontrollitud.
Lõpuks kirjeldatakse MiniMax-Text-01 kui kättesaadavat, kuid uuemate MiniMaxi keelemudelitega võrreldes suhteliselt pärandmudelit. See ei vähenda selle väärtust pika konteksti või avatud kaaludega kasutusjuhtude puhul, kuid tähendab, et enne uue tootmisintegratsiooni loomist peaksid kasutajad võrdlema seda praegu toetatud MiniMaxi pakkumistega.
Millal valida MiniMax-Text-01?
Vali MiniMax-Text-01 siis, kui peamine nõue on suur tekstikontekst ja töökoormus õigustab suure mudeli kasutamist. See on eriti sobiv kandidaat mahukate dokumendikogumite analüüsimiseks, pikkade transkriptsioonide töötlemiseks, suurte koodihoidlate käsitlemiseks, uurimistöö töövoogude toetamiseks või agentide loomiseks, mis vajavad funktsioonikutsete juhiseid ja ülesande hetkeolukorra ulatuslikku meelespidamist.
See võib sobida ka meeskondadele, kes soovivad allalaaditavaid kaale ja on valmis haldama nõudlikku juurutust. Avatud kaaludega lahendus võib pakkuda majutuse ja integratsiooni üle suuremat kontrolli kui ainult majutatud mudel, kuid selle kontrolliga kaasnevad suured riistvara- ja haldusnõuded.
Teine võimalus võib olla sobivam, kui ülesanne on multimodaalne, väike latentsus on olulisem kui maksimaalne kontekst või taristu on piiratud. Pildipõhise sisendi jaoks kasuta visuaal-keele mudelit, lühikeste tavapäringute jaoks väiksemat keelemudelit ning juhul, kui esmatähtsad on teenusepakkuja ajakohased tööriistad ja elutsükli tugi, uuemat või aktiivsemalt toetatud mudelit.
Üldhinnang
MiniMax-Text-01 ei paista silma üheainsa võrdlustulemuse, vaid avatud kaaludega väljalaske, 456 miljardi parameetriga MoE-arhitektuuri ja järeldamise ajal ekstrapoleerimise teel kuni 4 miljoni tokenini ulatuva teatatud kontekstivõimekuse kombinatsiooni poolest. Selle hübriidne tähelepanudisain on suunatud otseselt pikkade jadadega seotud kulu- ja mäluprobleemidele.
Pika kontekstiga tekstitöö, programmeerimise, uurimistöö ja agentide taristu puhul võivad need omadused olla olulisemad kui pelk vastusekiirus. Lühikeste päringute, multimodaalsete rakenduste või tagasihoidliku isemajutustaristu puhul on mudeli suurus ja haldusnõuded märkimisväärsed puudused. Seetõttu sõltub parim valik sellest, kas töökoormus saab selle erakordselt suurt konteksti praktiliselt kasutada ja kas juurutus suudab selle mahuga toime tulla.