Mis on Granite-4.0-H-Micro?
Granite-4.0-H-Micro on IBM-i Granite’i mudeliperekonda kuuluv 3 miljardi parameetriga instruct-keelemudel. IBM avaldas selle 2. oktoobril 2025 ning levitab avatud kaaludega mudelit oma ametliku Hugging Face’i organisatsiooni kaudu Apache 2.0 litsentsi alusel. „Instruct“ tähendab, et mudel on kohandatud järgima kasutaja juhiseid, vastama küsimustele ja osalema struktureeritud töövoogudes, mitte toimima ainult teksti ennustava baasmudelina.
Mudel on loodud praktiliseks kasutuseks olukordades, kus olulised on viiteaeg, riistvaranõuded ja kasutuskulud. Seda ei esitleta IBM-i vastusena kõige suurematele tipptasemel mudelitele. Selle asemel on Granite-4.0-H-Micro mõeldud sihipärasteks ülesanneteks, nagu kokkuvõtete koostamine, klassifitseerimine, teabe eraldamine, küsimustele vastamine, otsinguga täiendatud genereerimine (RAG), programmeerimisabi ja funktsioonikutsed.
Avatud kaaludega levitamine eristab seda ka tavapärasest majutatud vestlusroboti mudelist. Arendajad saavad ühilduvate tööriistade ja riistvara abil järelduskeskkonda ise hallata, kuigi tegelik jõudlus sõltub juurutuse konfiguratsioonist, täpsusest, kvantimisest ja saadaolevast arvutusvõimsusest.
Kuhu see IBM-i praeguses mudelivalikus sobitub?
Granite-4.0-H-Micro kuulub IBM-i Granite 4.0 perekonda ning on Granite-4.0-H-Micro-Base’iga seotud instruct-variant. Tähis „Micro“ viitab suhteliselt väikesele, 3 miljardi parameetriga mudelile. See suurus on kasulik siis, kui rakendus vajab mudelit, mis töötab väiksemate ressursinõuetega kui palju suuremad keelemudelid.
IBM-i laiem watsonx-i portfell võib pakkuda hallatud arendust, juhtimist, juurutust ja juurdepääsu mudelitele, kuid Granite-4.0-H-Microt kirjeldatakse ennast hallatava või lokaalselt hallatava kasutuse jaoks mõeldud avatud kaaludega mudelina. IBM ei avalda kaasasolevas dokumentatsioonis selle konkreetse mudeli jaoks märgipõhist majutatud API hinda. Seetõttu puudutab kuluküsimus eelkõige taristut ja käitamist, mitte IBM-i lõpp-punkti fikseeritud hinda märgi kohta.
Arhitektuur ja 128K kontekstiaken
Granite-4.0-H-Micro kasutab ainult dekooderiga tihedat hübriidarhitektuuri. See ühendab neli tähelepanukihti 36 Mamba2 kihiga. Tähelepanu mehhanismi kasutatakse laialdaselt jadas olevate märkide seostamiseks, samal ajal kui Mamba2 on olekuruumi arhitektuur, mis on mõeldud jadade tõhusaks töötlemiseks. Kombinatsiooni eesmärk on tasakaalustada pika konteksti käsitlemist ja järeldamise tõhusust, kuigi tegelikud tulemused sõltuvad tarkvarapinu ja riistvara kombinatsioonist.
Mudelil on 2048-mõõtmeline embedding’u suurus, 32 tähelepanupead, kaheksa võtme-väärtuse pead, SwiGLU-aktivatsioon, RMSNorm ning jagatud sisend- ja väljund-embedding’ud. Need on mudeli dokumentatsioonist pärinevad kontrollitud arhitektuurilised üksikasjad, mitte üldised hinnangud.
Dokumenteeritud jada pikkus on 128 000 märki. See on kompaktse mudeli kohta märkimisväärne kontekstimahutavus ning võib olla kasulik pikkade dokumentide, otsingu teel leitud tekstilõikude kogumite, koodifailide või pikkade vestluste töötlemisel. Kontekstiaken ei ole sama mis garanteeritud väljundi pikkus: IBM-i kaasasolev dokumentatsioon ei määra selle mudeli maksimaalset väljundmärkide arvu. Rakendused peaksid seetõttu kontrollima valitud järeldusraamistiku ja genereerimiskonfiguratsiooni kehtestatud piirangut.
Võimekus ja toetatud modaalsused
Granite-4.0-H-Micro võtab vastu teksti ja genereerib teksti. See ei loo algupäraselt pilte, heli, videot, embedding’u-vektoreid ega muud mittetekstilist meediat. Seetõttu tuleks seda hinnata tekstikeelemudelina, mitte multimodaalse assistendi või meediageneratsiooni süsteemina.
Mudelikaardi kohaselt toetab see inglise, saksa, hispaania, prantsuse, jaapani, portugali, araabia, tšehhi, itaalia, korea, hollandi ja hiina keelt. Mitme keele tugi ei tähenda kõigis keeltes võrdset kvaliteeti; kaasasolev uurimus ei kinnita jõudluse ühtlust, mistõttu on keelespetsiifiline testimine endiselt oluline.
Dokumenteeritud kasutusjuhtumid hõlmavad järgmist:
- Raportite, sõnumite ja otsingu teel leitud dokumentide kokkuvõtete koostamine.
- Teksti klassifitseerimine ja struktureeritud teabe eraldamine struktureerimata sisust.
- Küsimustele vastamine rakenduse andmete või otsingu teel leitud tekstilõikude põhjal.
- Teksti genereerimine mitmekeelsete assistentide ja äriliste töövoogude jaoks.
- Koodiga seotud ülesanded, sealhulgas koodi lõpetamine ja koodi vaheosa täitmine.
- RAG-süsteemid, mis edastavad mudelile genereerimise ajal asjakohast välist teksti.
- Kerged agendipõhised töövood, mis vajavad funktsiooni- või tööriistakutseid.
Tööriistakutsed ja struktureeritud töövood
Instruct-variant toetab tööriistakutseid struktureeritud funktsioonimääratluste ja tööriistakutse sõnumite kaudu. See võimaldab rakendusel teha kättesaadavaks selliseid toiminguid nagu andmebaasiotsingud, arvutused, piletite loomine või dokumentide otsimine. Mudel saab tööriista valida või seda nõuda, kuid seda ümbritsev rakendus vastutab tööriista käivitamise ja tulemuse tagastamise eest.
See võimekus muudab Granite-4.0-H-Micro sobivaks kompaktsete agentide ja töövoogude automatiseerimise jaoks, eriti juhul, kui mudel peab päringuid suunama või kasutama piiratud hulka teadaolevaid toiminguid. Tööriistakutseid ei tohi segi ajada autonoomse juurdepääsuga veebile või välissüsteemidele: mudel ei paku iseseisvalt veebiotsingut ning kõik välised toimingud peab rakendus ise juurutama.
Kaasasolev mudeliuuring ei kinnita eraldi teenusepakkujapõhise JSON-režiimi ega piiratud JSON-skeemiga väljundi funktsiooni olemasolu. Arendajad saavad siiski küsida struktureeritud teksti või tööriistakutse sõnumeid töödelda, kuid ei tohiks eeldada, et iga genereeritud vastus vastab ilma rakendusepoolse valideerimiseta täiuslikult suvalisele JSON-skeemile.
Arutlusvõime, programmeerimine, kiirus ja kulude kompromissid
Granite-4.0-H-Microt on parem käsitleda kompaktse üldotstarbelise instruct-mudelina kui spetsialiseeritud arutlusmudelina. Selle 3 miljardi parameetriga suurus võib olla eelis tavapärase klassifitseerimise, teabe eraldamise, kokkuvõtete koostamise ja lihtsamatele küsimustele vastamise puhul, kuid keerulise mitmeastmelise arutluse, ulatuslike faktiküsimuste või keeruka planeerimise korral võib see olla suurematest mudelitest ebausaldusväärsem. Kaasasolev uurimus ei esita selle konkreetse mudeli kohta standardiseeritud arutlusvõime võrdlustesti.
See toetab programmeerimisabi ja koodi vaheosa täitmist, mistõttu sobib koodisoovituste, väikeste teisenduste, dokumentatsiooni ja kergete arendustööriistade jaoks. Suuremad koodimudelid võivad olla sobivamad suurte koodihoidlate, keerukate ümbertegemiste, põhjaliku silumise või ulatuslikku kogu projekti konteksti ja tugevat arutlusvõimet nõudvate ülesannete puhul.
Toimetuse andmete järgi on selle suhteline arutlusvõime 5 punkti 10-st, programmeerimisvõime 6 punkti 10-st, kiirus 8 punkti 10-st ja kulutõhusus 9 punkti 10-st. Need on toimetuse võrdlevad hinnangud, mitte IBM-i avaldatud võrdlustesti tulemused. Need väljendavad mudeli tõenäolist positsiooni: suurematest mudelitest kiirem ja odavam käitada, kuid nõudlike ülesannete puhul väiksema võimekusega.
Kuna IBM ei avalda selle konkreetse mudeli ametlikku majutatud teenuse märgipõhist hinda, ei ole võimalik esitada kontrollitud hinda sisend- ega väljundmärgi kohta. Ise majutamisel sõltub kogukulu riistvarast, majutusest, elektrist, salvestusruumist, inseneritööst ja valitud järeldusraamistikust. Kvantimine võib vähendada mälunõudeid, kuid uurimus ei määra universaalset riistvara miinimumnõuet ega garanteeritud jõudlustaset.
Juurutusvõimalused ja piirangud
Mudel on mõeldud juurutamiseks selliste tööriistadega nagu Transformers, vLLM, SGLang, Docker ning ühilduvad lokaalse järeldamise või kvantimise süsteemid. Need tööriistad pakuvad võimalikke juurutusviise, kuid ei taga, et kõik konfiguratsioonid pakuvad samu funktsioone või jõudlust.
Lokaaalne juurutus võib aidata organisatsioonidel säilitada kontrolli andmete üle ja vältida sõltuvust konkreetsest majutatud lõpp-punktist. Samuti võib see võimaldada sihipäraste töökoormuste puhul prognoositava väikese viitega järeldamist. Kompromiss seisneb käitamisvastutuses: meeskonnad peavad valima riistvara, seadistama teeninduse, jälgima ressursikasutust, rakendama turvakontrolle ja hooldama mudelite teeninduskeskkonda.
Granite-4.0-H-Microl on mitu olulist piirangut. See on ainult tekstipõhine, ei paku sisseehitatud veebiotsingut ning kaasasolevas uurimuses ei ole dokumenteeritud maksimaalset väljundmärkide arvu. Väiksem parameetrite arv võib vähendada jõudlust keerulise arutluse, ulatuslike maailmateadmiste ja keerukate programmeerimisülesannete korral. Mitmekeelse kasutuse kvaliteet võib keeliti erineda. Nagu teisedki keelemudelid, võib see anda ebatäpseid, kallutatud või ohtlikke vastuseid, mistõttu vajavad tootmisrakendused valideerimist ja asjakohaseid kaitsemeetmeid.
Millal valida Granite-4.0-H-Micro?
Vali Granite-4.0-H-Micro siis, kui peamine nõue on avatud kaaludega tekstimudel, mida saab juurutada lokaalselt või enda taristu kontrolli all. See sobib eriti hästi järgmisteks kasutusjuhtudeks:
- Väikese viitega kokkuvõtete koostamine, klassifitseerimine ja teabe eraldamine.
- RAG-süsteemid, milles kasutatakse pikka otsingu teel leitud konteksti või pikki dokumente.
- Mitmekeelsed ettevõttesisesed assistendid, kui tekstiväljundist piisab.
- Väikesed programmeerimisassistendid ja koodi vaheosa täitmise tööriistad.
- Kerged tööriistakutseid kasutavad agendid, millel on kindlaks määratud funktsioonide kogum.
- Organisatsioonid, mis soovivad Apache 2.0 litsentsi ja paindlikku juurutust.
Suurem mudel võib olla sobivam, kui rakendus sõltub keerulisest arutlusest, täiustatud programmeerimisest, keerukast planeerimisest või püsivalt tugevast jõudlusest eri valdkondades. Majutatud mudel võib olla eelistatav siis, kui meeskond ei soovi järeldustaristut ise käitada. Pildi-, heli- või videosisendi ja -väljundi jaoks on vaja multimodaalset mudelit, sest Granite-4.0-H-Micro piirdub tekstiga.
Praktiline valik on seega kompromiss, mitte väide, et see mudel on alati teistest parem. Granite-4.0-H-Micro seab esikohale kompaktse juurutuse, kiiruse ja käitamistõhususe. See on kõige ahvatlevam siis, kui need tegurid ja nõuded andmete kontrollile kaaluvad üles suurema mudeli potentsiaalselt tugevama arutlus- või genereerimiskvaliteedi eelised.
Kokkuvõte
Granite-4.0-H-Micro on kompaktne IBM-i avatud kaaludega mudel tekstikesksetele rakendustele, mis vajavad suurt kontekstiakent ilma palju suuremat mudelit kasutusele võtmata. Selle 3 miljardi parameetriga suurus, hübriidne tähelepanu-Mamba2 arhitektuur, 128K märgiga jada pikkus, mitmekeelne tugi, programmeerimisfunktsioonid, sobivus RAG-süsteemidele ja tööriistakutsete tugi annavad sellele praktilise rolli lokaalsetes ja manustatud AI-süsteemides.
Selle tugevused on kõige olulisemad tõhusate ja kontrollitud töökoormuste puhul, mitte tipptasemel arutlusvõime saavutamisel. Potentsiaalsed kasutajad peaksid katsetama täpselt neid keeli, viipasid, tööriistu, kvantimisseadeid ja riistvara, mida nad kavatsevad kasutada, ning käsitlema avaldatud majutatud hinna või maksimaalse väljundipikkuse puudumist juurutusdetailina, mis vajab konfiguratsioonipõhist täiendavat kontrollimist.