Mis on Granite-4.0-H-Tiny?
Granite-4.0-H-Tiny on IBMi pakutav avatud kaaludega tekstipõhine juhiste järgi häälestatud keelemudel. See kuulub Granite 4.0 mudeliperre ja on mõeldud eelkõige praktilisteks ettevõtete töökoormusteks, mitte piltide, heli või video otse genereerimiseks. Mudel suudab teksti genereerida ja analüüsida, koodi koostada, tagastada struktureeritud JSON-i, töövoos teavet otsida või teisendada ning rakendusega integreerituna tööriistu kutsuda.
Mudelil on kokku 7 miljardit parameetrit, kuid IBM kirjeldab, et järeldamise ajal on aktiivsed ligikaudu 1 miljard parameetrit. Lihtsustatult sisaldab mudel suuremat õpitud parameetrite kogumit, kuid aktiveerib konkreetse sisendi jaoks sellest ainult osa. See ekspertide segu (mixture-of-experts) arhitektuur peaks looma kasuliku tasakaalu mudeli mahutavuse ja järeldamise tõhususe vahel. Ligikaudu 1 miljardi aktiivse parameetri näitu ei tohiks tõlgendada mudeli kogusuuruse ega konkreetse majutuskulu garantiina.
Granite-4.0-H-Tiny avaldati 2. oktoobril 2025. Tegemist on juhiste järgi häälestatud mudeliga, mis tähendab, et see on kohandatud järgima kasutaja ja rakenduse juhiseid, mitte toimima üksnes järgmise märgi ennustamise baasmudelina. IBM levitab seda Apache 2.0 litsentsi alusel ning ametlik mudelihoidla toetab enda taristus majutamist.
Arhitektuur ja kontekstiaken
Mudel kasutab hübriidarhitektuuri, milles on ühendatud Mamba-2 kihid, transformeri tähelepanu mehhanism ja ekspertide suunamine. IBMi dokumentatsiooni järgi on mudelil neli tähelepanukihti ja 36 Mamba-2 kihti ning 64 eksperti, millest kuus on aktiivsed. Lisaks kasutab see jagatud eksperte, grupeeritud päringutega tähelepanu (grouped-query attention), SwiGLU-aktiveerimist, RMSNorm-i ning jagatud sisend- ja väljundmanuseid.
Mamba-2 on olekuruumi arhitektuur, mis on mõeldud jadade tõhusaks töötlemiseks, samal ajal kui transformeri tähelepanumehhanism aitab mudelil käsitleda sisendi konkreetsete osade vahelisi seoseid. Nende kahe lähenemise ühendamine annab Granite-4.0-H-Tinyle tavapärasest tihedast transformerist erineva ülesehituse. Praktiline eesmärk on toetada pikki jadasid, piirates samal ajal iga päringu jaoks aktiveeritava arvutuse mahtu.
Kontrollitud konteksti pikkus on 128 000 märgendit (tokenit). See on mudeli kohta esitatud maksimaalne jada pikkus ning hõlmab nii sisendina antud materjali kui ka genereeritud jätku, arvestades teenindussüsteemi enda päringu- ja väljundipiiranguid. IBM teatab ka, et kogu Granite 4.0 mudelipere treeningnäidised ulatusid kuni 512K tokenini, kuid seda treeningu üksikasja ei tohiks segi ajada Granite-4.0-H-Tiny 128K järeldamiskontekstiga.
Esitatud mudeliteabes ei ole määratud maksimaalset väljundtokenite arvu. Konkreetne juurutus, järeldusserver või watsonx.ai konfiguratsioon võib kehtestada oma genereerimispiirangu, mistõttu tuleks kontrollida teeninduskonfiguratsiooni, mitte eeldada, et kogu kontekstiaken on väljundi jaoks kasutatav.
Võimekus ja toetatud modaalsused
Granite-4.0-H-Tiny võtab vastu teksti ja väljastab teksti. Esitatud spetsifikatsioonides ei ole kinnitatud selle loomulikku pildi-, heli-, video-, muusika- ega manusteväljundit. Seetõttu on seda parem käsitleda teksti- ja koodimudelina, mis saab ümbritsevate tööriistade kaudu osaleda multimodaalsetes süsteemides, mitte multimodaalse genereerimismudelina.
- Teksti genereerimine: toetab üldist teksti lõpetamist, ümberkirjutamist, kokkuvõtete koostamist, klassifitseerimist, andmete eraldamist ja küsimustele vastamist.
- Keeled: IBM dokumenteerib inglise, saksa, hispaania, prantsuse, jaapani, portugali, araabia, tšehhi, itaalia, korea, hollandi ja hiina keele toe.
- Programmeerimine: sobib koodi genereerimiseks ja täitelünkade täitmiseks (fill-in-the-middle), mille puhul mudel täiendab olemasoleva alguse ja lõpu vahele paigutatud koodi.
- Otsinguga täiendatud genereerimine: saab kasutada välise otsingusüsteemi edastatud dokumente küsimustele vastamiseks või allikapõhise väljundi loomiseks.
- Struktureeritud väljund: dokumenteeritud on struktureeritud JSON-i väljund, mis on kasulik andmete eraldamise töövoogudes ja rakendustele suunatud vastustes.
- Tööriistade kasutamine: toetab tööriista- või funktsioonikutsetel põhinevaid töövooge, kui rakendus määratleb saadaolevad tööriistad ja täidab soovitud toimingud.
Struktureeritud JSON-i tugi ei pruugi olla sama mis eraldi kinnitatud pärandlik „JSON-režiim“. Esitatud uuring kinnitab struktureeritud väljundit, kuid ei kinnita eraldiseisva JSON-režiimi olemasolu. Rakendused peaksid genereeritud andmeid skeemi vastu valideerima ning töötlema vigaseid või poolikuid vastuseid.
Arutlemine, programmeerimine ja tööriistade kasutamine
Granite-4.0-H-Tiny on mõeldud praktiliseks juhiste järgimiseks ja ettevõtete keeletöödeks, mitte tipptasemel arutlemiseks. Selle kirje jaoks esitatud toimetuslik arutlemisskoor on 5 punkti 10-st; see on sisemine hinnang, mitte IBMi võrdlustest ega tootja spetsifikatsioon. See näitab, et mudel võib sobida tavapäraseks analüüsiks, klassifitseerimiseks, andmete eraldamiseks ja töövoootsusteks, samas kui keerukam mitmeastmeline arutlemine võib vajada suuremat või spetsialiseeritumat mudelit.
Programmeerimine on üks mudeli kavandatud kasutusviise. See toetab koodi genereerimist ja täitelünkade täitmist, mistõttu sobib funktsioonide loomiseks, koodi selgitamiseks, koodilõikude muutmiseks ja olemasoleva faili osade täiendamiseks. Esitatud võrdlev programmeerimisskoor on 6 punkti 10-st ning ka seda tuleks käsitleda toimetusliku hinnangu, mitte avaldatud võrdlustulemuse või mõõdikuna. Turvakriitilise või tootmiskoodi puhul tuleb genereeritud väljundit endiselt testida, üle vaadata, sõltuvusi kontrollida ja turvalisuse seisukohast analüüsida.
Tööriistakutsed laiendavad mudeli võimalusi lõpliku tekstivastuse koostamisest kaugemale. Rakendus võib kirjeldada selliseid funktsioone nagu andmebaasist otsimine, dokumentide hankimine, konto kontrollimine või ärilise töövoo käivitamine. Seejärel saab Granite-4.0-H-Tiny valida tööriista ja esitada argumendid eeldatud struktuuris, samal ajal kui ümbritsev rakendus toimingu teostab. Mudel ei paku iseseisvalt sisseehitatud veebiotsinguteenust ning veebiühendust ei ole loetletud loomuliku võimekusena.
Kiiruse, kulude ja juurutamise kompromissid
Mudeli ligikaudu 1 miljardi aktiivse parameetriga ülesehitus muudab selle suuremate mudelitega võrreldes sobivaks kandidaadiks väiksema latentsuse või piiratud ressurssidega juurutusteks. Esitatud toimetuslikes hinnangutes on selle kiiruseks 9 punkti 10-st ja kulutõhususeks samuti 9 punkti 10-st. Need on võrdlevad hinnangud, mitte IBMi avaldatud jõudlusgarantiid. Tegelik latentsus ja kulu sõltuvad riistvarast, kvantimisest, pakkide töötlemisest, konteksti pikkusest, samaaegsusest, teenusepakkuja tasudest ja teenindustarkvarast.
Granite-4.0-H-Tinyt saab ise majutada IBMi Hugging Face'i hoidlast, andes organisatsioonidele suurema kontrolli juurutuskoha ja käituskonfiguratsiooni üle. See on loetletud ka IBMi watsonx.ai keskkonnas nõudmisel juurutatavana. Ise majutamine võib olla atraktiivne, kui olulised on andmete kontroll, kohandamine või taristu omamise prognoositavus, kuid sel juhul vastutab käitaja riistvara, skaleerimise, seire, uuenduste ja turvalisuse eest.
Selle mudeli kohta ei ole esitatud kontrollitud teenusepakkuja määratud tokenihinda. IBMi watsonx.ai üldisemad hinnad ja juurutusvõimalused võivad erineda piirkonna, konto, majutuskorralduse ja tootekonfiguratsiooni järgi. Hinna puudumine siin ei tähenda, et kasutamine on tasuta. Meeskonnad peaksid valitud juurutuse kohta hankima kehtiva hinnainfo ning enne tootmislahenduse kavandamist arvutama välja pikkade 128K-tokeniste päringute mõju.
Peamised tugevused
- Tõhus arhitektuur: hübriidsed Mamba-2 ja transformeri kihid koos ekspertide suunamisega peaksid vähendama aktiivset arvutust, säilitades samal ajal laia keelelise võimekuse.
- Pikk kontekst: 128K-tokenine kontekst toetab suurte dokumentide töötlemist, mitme dokumendiga RAG-i, pikki koodifaile ning pikka vestluse või töövoo olekut.
- Ettevõtetele suunatud ülesanded: mudel sobib otseselt andmete eraldamiseks, klassifitseerimiseks, kokkuvõtete koostamiseks, programmeerimisabiks, RAG-iks, struktureeritud vastusteks ja tööriistu kasutavateks rakendusteks.
- Avatud kaaludega kättesaadavus: Apache 2.0 litsents ja ise majutamise tugi pakuvad rohkem juurutuspaindlikkust kui mudel, mis on saadaval ainult suletud majutuslahenduse kaudu.
- Mitmekeelne tugi: dokumenteeritud keelte loend ulatub inglise keelest kaugemale ning hõlmab mitut Euroopa, Aasia ja Lähis-Ida keelt.
Piirangud, millega arvestada
Granite-4.0-H-Tiny ei ole üldotstarbeline multimodaalne mudel. Esitatud spetsifikatsioonide kohaselt ei genereeri ega analüüsi see loomupäraselt pilte, heli ega videot. Selliseid võimeid vajav süsteem vajaks lisamudeleid ja orkestreerimist.
Selle kompaktne ülesehitus tähendab ka võimekuse kompromissi. Mudelit ei esitleta tipptasemel arutlussüsteemina ning esitatud uuring ei sisalda võrdlustulemusi, mis tõendaksid selle suutlikkust võrreldes suuremate nüüdisaegsete mudelitega. Keerukas planeerimine, rasked matemaatilised ülesanded, nüansirohke uurimistöö või väga usaldusväärset faktisünteesi nõudvad ülesanded võivad sobida paremini suuremale mudelile, jättes Granite-4.0-H-Tiny lihtsamate alamülesannete või suure mahuga töötlemise jaoks.
Pikk kontekst on kasulik, kuid ei taga, et väga suure viiba iga detail saab võrdselt tähelepanu. Olulised on endiselt otsingu kvaliteet, viiba ülesehitus, dokumentide asjakohasus ja väljundi valideerimine. Tööriistakutsed eeldavad samuti välist rakendust, mis tööriistad määratleb, autoriseerib, käivitab ja jälgib; tööriistatoe lubamine ei muuda mudelit iseenesest autonoomseks ärisüsteemiks.
Parimad kasutusviisid
Granite-4.0-H-Tiny on tugev kandidaat töökoormusteks, mille puhul on läbilaskevõime, juurutuse kontroll ja prognoositav teksti teisendamine olulisemad kui maksimaalne arutlemissügavus. Sobivad näited on järgmised:
- Ettevõtete assistendid, mis vastavad sisemiste dokumentide põhjal RAG-i abil küsimustele.
- Dokumentide klassifitseerimine, andmete eraldamine, normaliseerimine ja kokkuvõtete koostamine.
- Struktureeritud JSON-kirjete loomine arvetest, pöördumistest, vormidest või aruannetest.
- Mitmekeelsed klienditoe või siseinfo töövood.
- Koodi lõpetamine, täitelünkade täitmine ja tavapärane programmeerimisabi.
- Tööriistapõhised töövood, mille jaoks on vaja kompaktset mudelit funktsioonide valimiseks ja argumentide vormindamiseks.
- Ise majutatavad juurutused, mille puhul on oluline andmete asukoht, juhtimine või taristu üle kontrolli omamine.
Millal valida Granite-4.0-H-Tiny?
Valige see mudel siis, kui rakendus vajab pikka tekstikonteksti, avatud kaaludega juurutust, mitmekeelset juhiste järgimist, struktureeritud vastuseid ja suhteliselt tõhusat järeldamist. See on eriti sobiv meeskondadele, kes soovivad mudelit ise käitada või juurutada selle IBMi-keskses ettevõttekeskkonnas, hoides mudeli fookuse tekstil ja koodil.
Kaaluge muud võimalust, kui loomulik pildi-, heli- või videotugi on hädavajalik, vaja on sisseehitatud veebiotsingu võimekust, töökoormus sõltub tipptasemel arutlemisest või on juurutuspaindlikkusest olulisem läbipaistva ja kontrollitud tokenihinnaga teenus. Suurem mudel võib olla eelistatav ka siis, kui keerukate arutlusülesannete vastuste kvaliteet on kiirusest ja taristu tõhususest tähtsam.
Kokkuvõte
IBM Granite-4.0-H-Tiny on kompaktne 7B suurune avatud kaaludega juhiste järgi häälestatud mudel, mille peamine eripära on hübriidarhitektuur ja ligikaudu 1 miljardi aktiivse parameetriga ülesehitus. Selle 128K kontekst, mitmekeelne tugi, programmeerimisfunktsioonid, struktureeritud JSON-i väljund, sobivus RAG-i jaoks ja tööriistakutsed muudavad selle praktiliseks ettevõtete tekstipõhistes töövoogudes. Seda tuleks hinnata tõhusa ja juurutatava tööhobusena, mitte tipptasemel arutlus- või multimodaalse mudelina. Kuna hinnad ja maksimaalsed väljundipiirangud sõltuvad juurutusest või ei ole esitatud teabes kontrollitud, peaksid tootmisotsused põhinema testidel, milles kasutatakse kavandatud riistvara, konteksti suurusi, samaaegsust ja rakenduse viipasid.