Granite-4.0-H-1B-Base

Mis on Granite-4.0-H-1B-Base?

Granite-4.0-H-1B-Base on avatud kaaludega ainult dekooderiga keelemudel, mida pakub IBMi Granite'i meeskond. See on IBMi Granite 4.0 Nano mudeliperekonna baastasemel eeltreenitud kontrollpunkt. „Base” ehk baasmudel on oluline eristus: see mudel on mõeldud pakkuma alust teksti genereerimiseks, kohandamiseks ja peenhäälestuseks, mitte toimima kohe pärast allalaadimist viimistletud üldotstarbelise vestlusassistendina.

Mudel on suunatud rakendustele, kus on olulised kohalik käitamine, väike latentsus, väiksemad mälunõuded või andmeprivaatsus. Selle asemel et saata viipasid hallatud pilveteenusele, saab organisatsioon kaalud alla laadida ja mudelit oma taristus käitada. IBM nimetab kasutusjuhtudena kokkuvõtete koostamist, klassifitseerimist, teabe eraldamist, küsimustele vastamist, otsinguga täiendatud genereerimise komponente, koodi lõpetamist ja spetsialiseeritud mudelite arendamist.

Esitatud mudeliteabe kohaselt avaldati mudel 28. oktoobril 2025 ning praegu on see avalikult saadaval avatud kaaludega mudelina.

Arhitektuur ja 128K kontekstiaken

Granite-4.0-H-1B-Base kasutab hübriidset Mamba-2 ja Transformeri arhitektuuri. Mamba-2 on järjestuste modelleerimise meetod, mis on loodud pikkade järjestuste tõhusaks töötlemiseks, samal ajal kui Transformeri komponendid võimaldavad tähelepanupõhist töötlust märkidevaheliste seoste jaoks. Konfiguratsioon sisaldab ka grupeeritud päringutähelepanu (grouped-query attention), RMSNormi, SwiGLU aktiveerimist ning jagatud sisend- ja väljundmanuseid.

H-1B konfiguratsioonil on ligikaudu 1,5 miljardit parameetrit. Parameetrite arv ei mõõda otseselt kvaliteeti, kuid aitab selgitada mudeli positsiooni: tegemist on suhteliselt kompaktse kontrollpunktiga, mille eesmärk on vähendada suuremate keelemudelitega seotud riistvara- ja latentsuskoormust.

Selle maksimaalne toetatud järjestuse pikkus on 128 000 tokenit. Token on mudeli kasutatav tekstiühik ning järjestus hõlmab nii sisendkonteksti kui ka genereeritud jätku. Suur kontekstilimiit võib olla kasulik pikkade dokumentide, koodihoidlate või hangitud materjali töötlemisel, kuid see ei taga, et iga pika kontekstiga ülesanne annaks sama usaldusväärseid tulemusi. Esitatud uuringus ei täpsustata eraldi maksimaalset väljundtokenite arvu, seega tuleb seda väärtust käsitleda teadmata väärtusena, mitte eeldada, et see võrdub kogu konteksti pikkusega.

Võimalused ja toetatud modaalsused

Granite-4.0-H-1B-Base toetab teksti sisendit ja teksti väljundit. See ei genereeri algupäraselt pilte, heli ega videot ning esitatud spetsifikatsioonides ei ole märgitud pildi-, heli- ega videosisendi tuge. Seetõttu on seda kõige õigem käsitleda ainult teksti töötleva keelemudelina, mitte multimodaalse süsteemina.

Mudel toetab tavalist teksti genereerimist ja koodi lõpetamist niinimetatud „fill-in-the-middle” meetodil, mida sageli lühendatakse FIM-iks. FIM võimaldab rakendusel anda mudelile koodi, mis asub puuduva osa ees ja järel, ning paluda genereerida nende kahe piirkonna vahele kuuluv sisu. See muudab kontrollpunkti asjakohaseks redaktoris koodi lõpetamise ja parandamise töövoogudes, kus soovitud väljundit piirab ümbritsev lähtekood.

IBMi nimetatud rakendusvaldkonnad hõlmavad kokkuvõtete koostamist, klassifitseerimist, eraldamist, küsimustele vastamist, koodi lõpetamist, otsinguga täiendatud genereerimise komponente ja ülesandespetsiifiliste mudelite arendamist. Neid tuleks mõista kavandatud kasutusjuhtudena, mitte garantiina, et baasmudel täidab kõik need ülesanded usaldusväärselt ilma ülesandespetsiifilise viipamise või kohandamiseta.

Miks on baasmudeli tähistus oluline?

Baastasemel eeltreenitud mudel õpib treeningandmetest statistilisi mustreid, kuid seda ei ole tingimata optimeeritud loomuliku keele juhiste järgimiseks ega kasuliku vestluse pidamiseks. Seetõttu võib Granite-4.0-H-1B-Base vajada hoolikalt koostatud viipasid, täiendavat peenhäälestust, juhiste järgi häälestamist või rakenduse tasemel valideerimist, enne kui seda saab kasutada usaldusväärseks dialoogiks, struktureeritud andmete eraldamiseks või tootmise automatiseerimiseks.

See piirang on eriti oluline kasutajatele, kes võrdlevad mudelit hostitud vestlusmudelite või juhiste järgi häälestatud kontrollpunktidega. Baasmudel võib olla kasulik lähtekoht spetsialiseeritud süsteemi ehitamisel, kuid ilma täiendava arenduseta ei pruugi see anda prognoositavaid vastuseid palvetele nagu „tee sellest dokumendist JSON-vormingus kokkuvõte”, „kutsu seda tööriista” või „järgi neid mitmeastmelisi juhiseid”.

Esitatud spetsifikatsioonides on tööriistade või funktsioonide kasutamine märgitud mittetoetatuks. Samuti puudub kontrollitud algupärane struktureeritud väljundi või JSON-režiimi võimekus. Rakendus võib genereeritud teksti sõeluda või lisada oma piirangud, kuid neid meetodeid ei tohiks esitleda ametliku JSON-režiimi funktsioonina.

Juurutusvõimalused ja Apache 2.0 litsents

Esitatud IBMi ja mudelirepositooriumi teabe kohaselt saab allalaaditavad kaalud laadida raamistikesse, nagu Hugging Face Transformers, ning mudelit saab serveerida süsteemidega, nagu vLLM ja SGLang. Need tööriistad võivad pakkuda praktilisi serveerimisfunktsioone, sealhulgas päringute töötlemist ja sobiva seadistuse korral tokenite voogedastust. Selles kontekstis on voogedastus juurutusvirna pakutav serveerimiskäitumine, mitte tõend selle kohta, et baasmudel on hostitud API-toode.

Kohalik juurutus võib olla väärtuslik, kui viibad või genereeritud sisu sisaldavad konfidentsiaalset lähtekoodi, sisedokumente või reguleeritud teavet. Samuti võib see vähendada sõltuvust võrguühendusest ja korduvatest inferentsitasudest. Vastutasuks peab käitaja valima riistvara, paigaldama tarkvara, jälgima jõudlust, tagama teenuse turvalisuse ja valideerima mudeli käitumist.

Mudeli kaale levitatakse Apache 2.0 litsentsi alusel. See litsents lubab üldjuhul kasutada mudelit teadus- ja ärieesmärkidel, järgides selle tingimusi, kuid organisatsioonid peaksid enne juurutamist siiski litsentsi ja kõiki kohaldatavaid teatisi üle vaatama. Litsents ei muuda mudelit hallatud teenuseks ega paku teenusetaseme lepingut, hostitud lõpp-punkti või garanteeritud jõudlust.

Hinnastamine ja API kättesaadavus

Esitatud uuringus ei ole Granite-4.0-H-1B-Base'i ametlikku hostitud API hinda täpsustatud. Peamine juurdepääsumudel on allalaaditavad kaalud, mitte teenusepakkuja reklaamitav tokenipõhine API. Seetõttu ei ole kontrollitud sisendi hinda, väljundi hinda, kuutellimuse hinda ega ametlikku maksimaalse väljundi arveldustaset, mida teatada.

„Avatud kaaludega” ei tähenda, et käitamine oleks tasuta. Kasutajatel võivad tekkida taristu-, elektri-, salvestus-, arendus- ja hoolduskulud. Majanduslik eelis seisneb selles, et inferentsi saab käitada olemasoleval või suhteliselt piiratud võimalustega privaatsel riistvaral ning püsiva koormuse korral võivad kulud olla prognoositavamad kui kasutuspõhise pilveinferentsi puhul. Kas see on tegelikult odavam, sõltub juurutuskeskkonnast ja töökoormusest.

Kiiruse, kulude, arutlusvõime ja kodeerimise kompromissid

Esitatud toimetuslikus hinnangus saab Granite-4.0-H-1B-Base kiiruse hindeks 9 punkti 10-st ja kulude hindeks 9 punkti 10-st. Need on toimetuslikud hinnangud, mitte IBMi avaldatud võrdlustulemused. Need kajastavad mudeli kompaktset suurust ja sobivust kohalikuks või piiratud ressurssidega inferentsiks, mitte garanteeritud tokenite arvu sekundis ega iga seadme kogukulu.

Sama toimetuslik hinnang annab arutlusvõime hindeks 3 punkti 10-st ja kodeerimise hindeks 5 punkti 10-st. Neid hindeid tuleks kasutada ainult üldise ostujuhisena. Mudeli kodeerimishinne ei asenda testimist konkreetse programmeerimiskeele, koodihoidla või lõpetamise töövooga ning arutlusvõime hinne ei tõesta standardiseeritud võrdlustulemust.

Praktilises mõttes seisneb mudeli peamine kompromiss võimekuse ja tõhususe vahel. Kompaktne kontrollpunkt võib olla palju kiirem ja hõlpsamini käitatav kui märksa suurem mudel, kuid see sobib halvemini olukordadesse, kus rakendus sõltub arenenud arutlusvõimest, usaldusväärsest juhiste järgimisest, keerukast agendikäitumisest või pidevalt kvaliteetsetest vastustest keerulistes valdkondades. Esitatud uuringus ei ole võrdlusi konkreetsete alternatiivsete mudelitega.

Millal valida Granite-4.0-H-1B-Base?

See mudel on mõistlik valik, kui juurutusnõuetes eelistatakse tõhusust ja kontrolli kohe kasutusvalmis assistendi käitumisele. See on eriti asjakohane järgmistes olukordades:

• Kohalik teksti genereerimine, kui andmed peaksid jääma privaatsesse taristusse.
• Serva- või piiratud ressurssidega rakendused, mille puhul suur mudel ei ole põhjendatud.
• Latentsustundlikud teenused, kus eelistatakse kompaktset mudelit.
• FIM-meetodil koodi lõpetamine redaktoris või arendustööriistas.
• Peenhäälestamine ülesandespetsiifiliseks mudeliks klassifitseerimise, eraldamise, kokkuvõtete koostamise või mõne muu kitsa töövoo jaoks.
• Võrguühenduseta või piiratud ühenduvusega juurutused.
• Projektid, kus eelistatakse Apache 2.0 litsentsiga avatud kaaludega mudelit varalisele hostitud lõpp-punktile.

See sobib halvemini siis, kui prioriteediks on kohe kasutatav vestlusassistent, arenenud arutlusvõime, tööriistade usaldusväärne kutsumine, algupärane struktureeritud väljund või avaldatud hinnastamise ja teenusegarantiidega hallatud API. Sellistel juhtudel võib juhiste järgi häälestatud või hostitud alternatiiv vähendada rakenduse arendamise mahtu, isegi kui see maksab rohkem või pakub vähem kontrolli juurutuse üle.

Peamised spetsifikatsioonid

Kokkuvõte

Granite-4.0-H-1B-Base'i tasub eelkõige käsitleda tõhusa alusena arendajatele, kes soovivad keelemudelit ise käitada ja kohandada. Selle selgeimad praktilised eelised on kompaktne suurus, 128K kontekstiaken, FIM-koodi lõpetamise tugi, kohaliku juurutuse võimalused ja Apache 2.0 litsents. Baasmudeli käitumine, algupärase tööriistade toe ja kontrollitud struktureeritud väljundi toe puudumine, teadmata maksimaalne väljundipikkus ning hostitud API hinnastamise puudumine muudavad selle halva valiku kasutajatele, kes otsivad kohe kasutusvalmis vestlus- või hallatud teenuse kogemust.