Granite-4.0-H-Small

Mis on Granite-4.0-H-Small?

Granite-4.0-H-Small on IBMi juhiste järgi kohandatud keelemudel. Mudel on saadaval avatud kaaludega väljalaskena Apache 2.0 litsentsi alusel ning selle ametlik Hugging Face'i identifikaator on ibm-granite/granite-4.0-h-small. IBM-i watsonx.ai identifikaator on ibm/granite-4-h-small.

Mudel kuulub IBM-i Granite 4.0 mudeliperre ja avaldati esitatud mudeliandmete kohaselt 2. oktoobril 2025. See on mõeldud rakendustele, mis vajavad üldotstarbelist tekstimudelit pika konteksti töötlemiseks, struktureeritud vastuste koostamiseks, koodiabis, otsingupõhistes töövoogudes või tööriistade kutsumiseks. See ei ole pildi-, heli- ega videomudel.

Praktikas on Granite-4.0-H-Small suunatud arendajatele ja organisatsioonidele, kes soovivad tõhusat mudelit kasutada IBM-i watsonx.ai kaudu või hankida selle avatud mudelina oma toetatud juurutuskeskkonda. IBM positsioneerib Granite'i mudeleid äriliseks ja ettevõtete kasutuseks, samal ajal kui mudelikaart sisaldab täpsemat teavet avatud kaaludega levitamise ja kasutamise kohta.

Arhitektuur ja koht IBM-i mudelivalikus

IBM kirjeldab Granite-4.0-H-Smalli hübriidse Mamba-2/Transformeri segu-ekspertide mudelina, millel on jagatud eksperdid. Sellel on kokku 32 miljardit parameetrit ja ligikaudu 9 miljardit aktiivset parameetrit. See eristus on oluline: parameetrite koguarv kirjeldab kogu mudelit, aktiivsete parameetrite arv aga näitab, et segu-ekspertide arhitektuuri tõttu kasutatakse iga märgi puhul ainult osa mudelist.

Selle arhitektuuri eesmärk on vähendada iga märgi töötlemiseks vajalikku arvutusmahtu võrreldes sama kogusuurusega tiheda mudeliga. See aitab selgitada, miks mudelit esitletakse suhteliselt tõhusa valikuna pika konteksti ja tootmiskoormuste jaoks. Arhitektuur üksi ei taga kindlat latentsust igas juurutuses; jõudlust mõjutavad muu hulgas riistvara, pakktöötlus, konteksti pikkus, kvantimine ja teenindustarkvara.

Granite-4.0-H-Smalli on parem käsitleda ülesandekeskse ettevõtetele mõeldud keelemudelina kui tarbijatele mõeldud vestlusrobotina. Dokumenteeritud kasutusviiside hulka kuuluvad kokkuvõtete koostamine, klassifitseerimine, teabe eraldamine, küsimustele vastamine, RAG, koodiülesanded, mitmekeelne dialoog, funktsioonide kutsumine ja koodi täiendamine keskelt.

Kontekstiaken ja sisendipiirangud

Esitatud mudeliandmete kohaselt on konteksti pikkus 131 072 märki, mis vastab 128K märgi suurusele kontekstiaknale. IBM-i dokumentatsioon kirjeldab mudelit 128K kontekstiakent toetavana ning märgib, et treeningnäidised ulatusid kuni 512K märgini ja jõudlust valideeriti kuni 128K märgini. Treeningnäidiste 512K suurust ei tohiks tõlgendada toetatud tootmisliku järeldusvõime piirina.

Suur kontekstiaken on kasulik siis, kui rakendus peab ühes päringus esitama pikki otsitud dokumente, mitut eeskirjafaili, vestluse ajalugu, lähtekoodi või suurt hulka kirjeid. See ei tähenda automaatselt, et iga pikk viip annaks sama kvaliteetse vastuse. Tulemust mõjutavad endiselt otsingu kvaliteet, dokumentide järjestus, kordused ja mudeli võime asjakohased lõigud üles leida.

Esitatud allikad ei kinnita Granite-4.0-H-Smalli eraldi maksimaalset väljundmärkide piirangut. Seetõttu peaksid rakendused määrama väljundi piirangud kasutatava teenindusliidese järgi, mitte eeldama, et kogu kontekstiaken on genereeritava teksti jaoks saadaval.

Võimekus ja toetatud modaalsused

Granite-4.0-H-Small on teksti sisendina vastu võttev ja tekstina väljundit andev mudel. See ei toeta algupäraselt piltide, heli ega video sisendit ega genereeri neid meediatüüpe. Faile saab siiski töödelda kaudselt, kui rakendus eraldab neist teksti või kasutab enne sisu mudelile saatmist eraldi dokumenditöötlusteenust.

Funktsioonide kutsumine võimaldab mudelil tagastada struktureeritud päringu rakenduse määratud toimingu jaoks, näiteks tellimuse otsimiseks, andmebaasi päringu tegemiseks või tugipileti loomiseks. Mudel ei tee neid väliseid toiminguid ise; ümbritsev rakendus peab päringu valideerima, tööriista käivitama ja tulemuse mudelile tagasi edastama.

Arutlus, kood ja jõudluse kompromissid

Granite-4.0-H-Small sobib tavapäraseks äriliseks arutluseks: mitmeastmeliste juhiste järgimiseks, otsitud teabe võrdlemiseks, väljade eraldamiseks, teksti klassifitseerimiseks ja otsustamiseks, millal kasutada etteantud funktsiooni. Esitatud toimetuslikus hinnangus sai see arutlusvõimekuse hindeks 7 punkti 10-st ja kodeerimise hindeks 7 punkti 10-st. Need on võrdlevad toimetuslikud näitajad, mitte IBM-i avaldatud võrdlustestide tulemused.

Mudel toetab koodi genereerimist ja koodi täiendamist keskelt, mistõttu sobib see koodi selgitamiseks, rutiinse koodi genereerimiseks ja teisendamiseks ning arendaja abiliseks. Seda ei tohiks automaatselt käsitleda tipptasemel kodeerimisspetsialistina. Keeruka tarkvaraarenduse, raske matemaatilise arutluse või ulatuslikku iseseisvat kontrollimist nõudvate ülesannete puhul võib sobivam olla rohkem arutlusele keskenduv või suurem mudel.

Esitatud toimetuslikud näitajad annavad kiirusele hindeks 8 punkti 10-st ja kulule 9 punkti 10-st. Need hinded kajastavad mudeli kavandatud tõhusust ja avaldatud märgihindu, mitte garanteeritud vastamisaega ega universaalset kulueelist. Pikad viibad, suur samaaegsus, riistvara valik ja väljundi pikkus võivad kogukulu ja latentsust märkimisväärselt muuta.

Hind ja juurdepääs

IBM-i watsonx.ai mitme rentnikuga riistvara puhul on esitatud hinnainfo kohaselt sisendi hinnaks $0.0000636 1000 märgi kohta ja väljundi hinnaks $0.000265 1000 märgi kohta. Need on märgipõhised kasutushinnad, mitte kuutellimuse hind. Päringu kogukulu sõltub sisend- ja väljundmärkide arvust ning IBM võib hindu muuta või rakendada tootepõhiseid tingimusi.

Avatud kaaludega väljalase pakub veel üht kasutusvõimalust, kuid ise majutamine ei ole tasuta. Taristu, salvestusruum, mudeli teenindamine, monitooring ja inseneritugi jäävad käitaja vastutusele. Watonx.ai kasutamine võib olla lihtsam meeskondadele, kes soovivad IBM-i hallatud juurdepääsu, samal ajal kui avatud juurutus võib olla atraktiivsem organisatsioonidele, kes vajavad suuremat kontrolli taristu või andmekäitluse üle.

Enne tootmiskasutusse viimist peaksid kasutajad üle kontrollima watsonx.ai praeguse mudeliidentifikaatori, piirkondliku saadavuse, konto nõuded, läbilaskevõime piirangud ja arveldustingimused. Esitatud allikad ei kinnita selle täpse mudeli universaalset tasuta paketti ega kindlat maksimaalset väljundiseadet.

Kus Granite-4.0-H-Small kõige paremini sobib

• Ettevõtete RAG: Kasutage 128K-klassi kontekstiakent, et ühendada otsitud eeskirjad, juhendid, lepingud või tugikirjed küsimusega.
• Tööriistu kasutavad agendid: Kasutage funktsioonide kutsumist töövoogudes, mis pärivad andmeid ärisüsteemidest või käivitavad kontrollitud toiminguid.
• Klienditoe automatiseerimine: Koostage vastuseid heakskiidetud teadmisteallikate põhjal, klassifitseerige päringuid ja eraldage juhtumite üksikasju.
• Dokumenditöötlus: Eraldage välju, tehke pikast tekstist kokkuvõtteid, klassifitseerige kirjeid ja vastake teisendatud dokumendisisu kohta esitatud küsimustele.
• Mitmekeelsed rakendused: IBM nimetab toetatud keelte seas inglise, saksa, hispaania, prantsuse, jaapani, portugali, araabia, tšehhi, itaalia, korea, hollandi ja hiina keelt.
• Koodiabi: Genereerige rutiinset koodi, selgitage koodilõike ja täiendage puuduvaid osi, kui mõõdukast kodeerimisvõimekusest piisab.

Millal valida Granite-4.0-H-Small?

Valige Granite-4.0-H-Small siis, kui rakendus on peamiselt tekstipõhine, saab kasu pikast kontekstist, vajab tööriistade või funktsioonide kutsumist ning peab oluliseks kasutuskulusid või teenindamise tõhusust. See on eriti mõistlik valik meeskondadele, kes juba kasutavad IBM-i watsonx.ai-d, või organisatsioonidele, kes soovivad ettevõtetele suunatud töövoogude jaoks Apache 2.0 litsentsiga avatud kaaludega mudelit.

Selle kulude ja kiiruse profiil võib muuta mudeli suuremast ja aeglasemast mudelist eelistatumaks suuremahulise teabe eraldamise, klassifitseerimise, RAG-vastuste ja tavapäraste tugisuhtluste puhul. Mudeli ligikaudu 9 miljardit aktiivset parameetrit muudavad selle arhitektuuri ka oluliselt erinevaks võrreldava parameetrite koguarvuga tihedast mudelist, kuigi juurutuse tulemusi tuleb mõõta sihtriistvaral.

Teine valik võib olla sobivam, kui rakendus vajab piltide mõistmist, heli- või videotöötlust, meedia genereerimist, algupärast veebiotsingut, erakordselt keerukat arutlust või dokumenteeritud teadmiste lõppkuupäeva. Granite-4.0-H-Small ei ole ka parim valik siis, kui meeskond vajab selgelt dokumenteeritud täpse mudeli peenhäälestuse lõpp-punkti, maksimaalset väljundipiirangut, viipade vahemällu salvestamise põhimõtteid, pakktöötluse API-t või voogedastuse käitumist; neid üksikasju ei ole esitatud allikates kinnitatud.

Piirangud, mida enne juurutamist kontrollida

Kõige olulisem piirang on modaalsus: mudel töötab ainult tekstiga. Teine piirang on dokumenteerimata operatiivsed üksikasjad. IBM ei avalda esitatud dokumentatsioonis selle mudeli teadmiste lõppkuupäeva ning täpset maksimaalset väljundimärkide arvu, algupärast voogedastuse tuge, viipade vahemällu salvestamist ja pakktöötluse API saadavust ei ole otseselt kinnitatud.

Peenhäälestus on avatud mudelite ökosüsteemi kaudu saadaval, kuid uuring ei kinnita selle täpse mudeli jaoks spetsiaalset IBM-i peenhäälestuse lõpp-punkti. Organisatsioonid peaksid oma andmetel testima ka mitmekeelse teksti kvaliteeti, eraldamise täpsust, tööriistakutsete usaldusväärsust ja pika konteksti otsingu jõudlust, mitte tuginema üksnes arhitektuurile või toimetuslikele hinnetele.

Kokkuvõttes on Granite-4.0-H-Small praktiline kandidaat kuluteadlike ja pikka konteksti vajavate ettevõtete tekstipõhiste töökoormuste jaoks. Selle peamine tugevus ei ole universaalne võimekus, vaid avatud kaaludega saadavuse, 128K-klassi kontekstiakna, tööriistatoe, mitmekeelse juhiste järgimise ja watsonx.ai madalate loetletud märgihindade kombinatsioon. Neid eeliseid tuleb kaaluda koos tekstipõhise ülesehituse ja dokumenteerimata operatiivsete näitajatega.