Mis on Granite-3.3-2B-Instruct?
Granite-3.3-2B-Instruct on IBMi Granite'i mudeliperre kuuluv 2 miljardi parameetriga tihe keelemudel. See on mudeli Granite-3.3-2B-Base juhiste järgi häälestatud versioon, mis on loodud loomulikus keeles päringute järgimiseks, mitte lihtsalt treeningteksti jätkamiseks. Praktikas saab see vastata küsimustele, teha dokumentidest kokkuvõtteid, eraldada teavet, genereerida ja muuta koodi, klassifitseerida teksti ning toetada vestlus- või otsinguga täiendatud rakendusi.
Mudel avaldati 16. aprillil 2025 ja seda levitatakse Apache 2.0 litsentsi alusel. See litsents muudab mudeli sobivaks paljudeks teadus-, äri- ja isemajutuse stsenaariumideks, arvestades litsentsi ning mudelikaardil toodud kohaldatavaid tingimusi. Oluline on ka avatud kaalude kättesaadavus: kasutajad saavad kontrollpunkti alla laadida ja seda ühilduva taristuga käitada, selle asemel et sõltuda ainult teenusepakkuja hallatavast märgipõhisest lõpp-punktist.
IBM positsioneerib Granite-3.3-2B-Instructi ettevõtetele suunatud keeletöövoogude jaoks, kus on olulised suhteliselt väikesed ressursinõuded, juurutamise kontroll ja pikk kontekstiaken. IBM loetleb mudeli ka watsonxi kaudu spetsiaalseks juurutamiseks saadaolevana. See ei tähenda, et mudelil oleks üks kindel avalik majutatud API-hind: selle kontrollpunkti täpset avalikku märgipõhist hinda ei ole kinnitatud.
Milline on selle koht IBMi Granite'i mudelivalikus?
Granite-3.3-2B-Instruct on üks IBMi väiksemaid üldotstarbelisi Granite'i keelemudeleid. Selle 2 miljardi parameetriga suurus tähendab väiksemat toorvõimekust kui suurematel mudelitel, kuid muudab selle praktilisemaks ka kohalikuks järeldamiseks, spetsialiseeritud serverites kasutamiseks ja rakendustes, kus kiirus või käituskulu on olulisem kui tipptasemel jõudlus.
Seda mudelit tuleks käsitleda eelkõige tekstikeskse avatud kaaludega komponendina, mitte täieliku multimodaalse assistendina. Seda saab integreerida IBM watsonxi või käitada väliste tööriistade, näiteks Transformersi, vLLM-i, SGLangi ja ühilduvate kvantiseeritud käituskeskkondadega. Need juurutusvõimalused võimaldavad meeskondadel valida hallatava ettevõtte taristu ja oma riistvara ning andmevoo suurema kontrolli vahel.
Põhivõimalused ja toetatud ülesanded
Granite-3.3-2B-Instruct on mõeldud teksti sisendiks ja teksti väljundiks. Läbi vaadatud spetsifikatsioonides ei ole dokumenteeritud piltide, heli ega video sisendit ning mudel ei genereeri loomupäraselt pilte, heli ega videot. Selle peamised võimalused on järgmised:
- Juhiste järgimine: otsestele päringutele vastamine, teksti teisendamine, väljade eraldamine ja mitmeastmeliste viipade järgimine.
- Arutlemine ja matemaatika: arutlemist nõudvate küsimuste ja matemaatikaülesannete lahendamine; IBM on teatanud täiustustest võrreldes varasemate Granite 3.1 ja 3.2 2B juhiste järgi häälestatud mudelitega.
- Kokkuvõtete tegemine: pikkade dokumentide, koosolekute ja muude tekstirikaste allikate lühendamine.
- Küsimustele vastamine ja RAG: esitatud dokumentide või leitud tekstilõikude põhjal küsimustele vastamine. Otsinguga täiendatud genereerimine ehk RAG annab mudelile päringu ajal välist konteksti, selle asemel et kogu teave peaks olema salvestatud mudeli parameetritesse.
- Teksti eraldamine ja klassifitseerimine: struktureerimata teksti muutmine kasulikeks väljadeks või kategooriate määramine.
- Kodeerimine: koodi genereerimine, selgitamine, parandamine ja ümbertegemine, sealhulgas koodi täiendamine keskelt ehk fill-in-the-middle.
- Funktsioonide väljakutsumine: töövoogude toetamine, milles mudel tuvastab välise funktsiooni või tööriista ning taotleb selle käivitamist. Mudelikaardil nimetatakse funktsioonide väljakutsumise ülesandeid ühe võimalusena, kuid esitatud uuringud ei kinnita selle konkreetse kontrollpunkti jaoks eraldi piiratud JSON-skeemi režiimi.
- Mitmekeelne dialoog: IBMi dokumenteeritud keelte loendi järgi inglise, saksa, hispaania, prantsuse, jaapani, portugali, araabia, tšehhi, itaalia, korea, hollandi ja hiina keele toetamine.
Granite 3.3 eraldab vahepealse arutluskäigu lõplikust vastusest siltidega <think> ja <response>. See võib olla kasulik töövoogudes, kus on vaja eristada mudeli sisemise laadiga arutluskäigu osa lõppkasutajale esitatavast vastusest. Rakendused peaksid siiski määratlema oma parsimis- ja ohutusreeglid, mitte eeldama, et iga genereeritud vastus järgib soovitud vormingut täiuslikult.
Kontekstiaken ja väljundi maksimum
Kinnitatud konteksti piirang on 131 072 tokenit. Token on mudeli kasutatav tekstiühik; see võib tähistada tervet lühikest sõna, pikema sõna osa, kirjavahemärki või muud tekstifragmenti. 131 000 tokeni suurune kontekst võimaldab mudelil töödelda märksa pikemaid dokumente või vestlusajalugu kui väikese kontekstiga mudel, mistõttu sobib see dokumentidele esitatavatele küsimustele vastamiseks, koosolekute analüüsimiseks, koodibaasil põhinevateks viipadeks ja pikkadeks RAG-sisenditeks.
IBMi watsonxi alusmudelite dokumentatsioonis on 2B mudeli maksimaalseks genereeritud väljundiks märgitud 16 384 tokenit. Konteksti- ja väljundipiirangud ei taga, et iga päring annaks maksimaalse suuruse juures kasuliku vastuse. Pikad viibad võivad suurendada mälunõudeid ja latentsust, pikad väljundid aga võivad olla korduvad või vähem usaldusväärsed. Rakendused peaksid jätma taotletud vastuse jaoks piisavalt ruumi ning vältima ebaolulise materjali lisamist üksnes seetõttu, et kontekstiaken on suur.
Jõudlus, kiirus ja kulude kompromissid
IBMi mudelikaart esitab Granite-3.3-2B-Instructi kohta järgmised hindamistulemused: AlpacaEval-2.0: 43,45; Arena-Hard: 28,86; HumanEval: 72,48; MATH-500: 58,09 ja DROP: 44,33. Need on teenusepakkuja esitatud võrdlustulemused dokumenteeritud hindamisseadistuse korral. Need aitavad mõista mudeli testitud profiili, kuid ei kujuta endast universaalseid tootmiskeskkonna tagatisi; tulemused võivad muutuda sõltuvalt viipadest, valimi seadistustest, riistvarast, ülesannete jaotusest ja hindamismetoodikast.
Mudeli suhteliselt väike parameetrite arv on selle peamine praktiline eelis. Võrreldes suuremate keelemudelitega vajab 2B kontrollpunkt üldjuhul vähem mälu ning võib sobival kohalikul või spetsiaalsel riistvaral töötades olla kiirem ja odavam. Esitatud uuringus on toimetuslikuks kiirusnäitajaks antud 8 punkti 10-st ja kulunäitajaks 9 punkti 10-st, kuid need on hinnangud, mitte IBMi avaldatud spetsifikatsioonid.
Kompromiss puudutab võimekust. Kompaktne mudel võib olla suurematest tänapäevastest mudelitest vähem usaldusväärne keerukate mitmeastmeliste arutluskäikude, nõudliku tarkvaraarenduse, laiapõhjaliste faktiküsimuste, nüansirohkete mitmekeelsete ülesannete ja autonoomsete agenditöövoogude puhul. Pikk kontekstiaken suurendab mudelile edastatava teksti hulka, kuid ei taga täiuslikku leidmist, tähelepanu ega arutlemist iga tokeni üle.
Hinnakujundus ja juurutusvõimalused
Esitatud uuringus ei ole Granite-3.3-2B-Instructi sisend- ega väljundtokeni kohta kinnitatud avalikku hinda. See on avatud kaaludega mudel, mis on saadaval IBMi Granite'i Hugging Face'i organisatsiooni kaudu, seega saavad kasutajad selle alla laadida ning arvestada oma riistvara-, majutuse-, salvestus- ja arenduskuludega. IBM dokumenteerib ka spetsiaalse juurutuse watsonxi kaudu, kus hind võib sõltuda valitud IBMi teenusest, juurutuskonfiguratsioonist, piirkonnast ja kasutustingimustest, mitte ühest universaalselt reklaamitavast mudelihinnast.
Kohalikuks kasutuseks sobivad näiteks Hugging Face Transformers, vLLM, SGLang ja muud Granite'i arhitektuuri toetavad käituskeskkonnad. Kvantiseerimine võib vähendada mälunõudeid, kuid sobiv meetod ja saavutatav kvaliteet sõltuvad käituskeskkonnast ning töökoormusest. Ise majutatud juurutus võib anda suurema kontrolli andmekäitluse üle ja muuta taristu omamise kulud prognoositavamaks, kuid samal ajal lähevad juurutavale meeskonnale üle sellised ülesanded nagu võimsuse planeerimine, seire, uuendused, juurdepääsukontroll ja töökindluse tagamine.
Parimad kasutusjuhud
See mudel sobib hästi siis, kui rakendus vajab suhteliselt soodsalt käitatavat tekstimudelit, mida saab juurutada suurema kontrolliga kui suletud majutatud teenust. Sobivad näited on järgmised:
- Ettevõtte siseassistendid, kes kasutavad ettevõtte dokumente alusmaterjalina.
- RAG-konveierid käsiraamatute, eeskirjade, tehnilise dokumentatsiooni või koosolekute protokollide jaoks.
- Pikkade dokumentide kokkuvõtete tegemine ja küsimustele vastamine.
- Teksti ulatuslik eraldamine ja klassifitseerimine.
- Koodi selgitamise, täiendamise, parandamise ja ümbertegemise tugi.
- Mitmekeelsed tekstitöövood, mis hõlmavad IBMi dokumenteeritud keeli.
- Spetsiaalsed või kohalikud juurutused, kus on oluline andmekäitlus, võrgupiiride kontroll või käituskulude juhtimine.
- Funktsioonide väljakutsumise prototüübid ja töövoogude automatiseerimine, milles mudeli ümber pakutakse väliseid tööriistu.
Piirangud ja olukorrad, kus valida mõni muu mudel
Granite-3.3-2B-Instruct ei pruugi sobida kõigi töökoormuste jaoks. Selle väike suurus võib piirata võimekust keeruka arutlemise, nõudliku kodeerimise, eriteadmiste ja suure mõjuga otsusetoe puhul. Enne mudeli kasutamist reguleeritud või oluliste tagajärgedega töövoogudes tuleks seda hinnata tüüpiliste viipadega ning rakendada asjakohaseid kaitsemeetmeid. Läbi vaadatud IBMi materjalides ei ole mudeli täpset teadmiste lõppkuupäeva avaldatud, mistõttu ei tohiks mudeli 2025. aasta väljalaskekuupäeva käsitleda treeningandmete lõppkuupäevana.
Valige suurem mudel, kui keeruka arutlemise, nõudliku koodigeneratsiooni, laiapõhjaliste teadmiste või agentliku planeerimise vastuse kvaliteet on olulisem kui kohalik kiirus ja taristu tõhusus. Valige hallatav majutatud mudel, kui meeskond ei soovi järeldamistaristut käitada või vajab teenusepakkuja hallatavat kättesaadavus- ja arvelduskihti. Valige multimodaalne mudel, kui rakendus peab tõlgendama pilte, heli või videot, sest Granite-3.3-2B-Instruct on dokumenteeritud ainult teksti sisendi ja väljundi mudelina.
Teisalt on Granite-3.3-2B-Instruct atraktiivne siis, kui väiksem avatud kaaludega mudel suudab täita kvaliteedinõudeid. See pakub kombinatsiooni Apache 2.0 litsentsist, 131 000 tokeni suurusest kontekstist, kodeerimise ja arutlemise toest, mitmekeelsest tekstitöötlusest ning kohaliku või spetsiaalse juurutuse võimalusest — kombinatsiooni, mida võib olla keeruline saada lihtsast tarbijatele mõeldud vestlusrobotist.
Kokkuvõte
Granite-3.3-2B-Instruct on praktiline kompaktne keelemudel organisatsioonidele ja arendajatele, kes väärtustavad juurutamise kontrolli, pika kontekstiga tekstitöötlust ja väiksemaid ressursinõudeid. Selle tugevused on eriti asjakohased RAG-i, kokkuvõtete tegemise, teabe eraldamise, kodeerimisabi, mitmekeelse dialoogi ja ettevõtete tekstitöövoogude puhul. Avatud kaaludega mudel ei kaota majutuskulusid ning selle väike suurus tähendab, et suuremad mudelid võivad kõige keerukamate arutlemis- ja genereerimisülesannete puhul endiselt paremad olla. Kõige paremini sobib see läbimõeldud ülesandespetsiifiliseks juurutuseks, kus kiirust, kulu ja kontrolli tasakaalustatakse 2 miljardi parameetriga mudeli kvaliteedilaega.