Mis on Granite 3.2 8B Instruct?
Granite 3.2 8B Instruct on 8 miljardi parameetriga ainult dekooderiga keelemudel, mille töötas välja IBMi Granite'i meeskond. See on loodud juhiste järgimiseks, teksti genereerimiseks ja analüüsimiseks, hangitud teabega töötamiseks ning ärirakenduste toetamiseks, kus on oluline prognoositav juurutamine ja kontroll mudeli majutamise üle.
Mudel avaldati 26. veebruaril 2025 ning seda levitatakse avatud kaaludega mudelina IBMi Hugging Face'i organisatsiooni ja IBMi juurutusplatvormide kaudu. Apache 2.0 litsents lubab seda litsentsi tingimustel kasutada ärilistel eesmärkidel, muuta ja edasi levitada. See eristab mudelit ainult majutatud mudelist: organisatsioon saab kasutada ühilduvat järeldustarkvara ja taristut, et mudelit ise käitada, selle asemel et tugineda ainult hallatud lõpp-punktile.
Granite 3.2 8B Instruct kuulub IBMi Granite'i mudeliperre. IBMi watsonxi dokumentatsioonis on mudel toetatud keskkondades endiselt saadaval, kuid mõnes kataloogis kirjeldatakse seda pärandmudelina, sest olemas on uuemad Granite'i põlvkonnad. See ei tähenda, et mudelit ei saaks kasutada, kuid uue pika elueaga projekti jaoks mudelit valivad meeskonnad peaksid enne selle standardiseerimist kontrollima IBMi praegust kataloogi ja juurutuskeskkonda.
Seadistatav arutlemine ja pika konteksti töötlemine
Mudeli kõige iseloomulikum omadus on seadistatav mõtlemine. Kasutajad saavad lubada pikemat arutlemist ülesannete puhul, mis vajavad põhjalikumat probleemilahendust, või selle välja lülitada, kui olulisemad on vastuse kiirus ja väiksem arvutusressursi kasutus. See annab praktilise juhtimisvõimaluse, selle asemel et sundida iga päringut läbima sama latentsuse ja ressursivajaduse profiili.
IBM dokumenteerib asjakohase watsonxi juurutuse jaoks 131 072 märgiühikust koosneva kontekstiakna. Kontekstiaken näitab, kui palju sisendit ja genereeritud teksti saab mudel ühe päringu jooksul arvesse võtta; täpselt kasutatav maht võib sõltuda teeninduskonfiguratsioonist ja vastuse jaoks reserveeritud märgiühikute arvust. IBM dokumenteerib selles keskkonnas ka maksimaalselt 16 384 uut genereeritavat märgiühikut.
Need piirangud muudavad mudeli sobivaks pikkade aruannete, eeskirjakogumike, koosolekute transkriptsioonide, hangitud tõendusmaterjali ja mitme dokumendi põhise küsimustele vastamise jaoks. Suur kontekstiaken ei taga väga pika sisendi iga osa täiuslikku meelespidamist ega ühtlaselt tugevat arutlemist. Seetõttu peaksid olulised ettevõtete töövood endiselt kasutama dokumentide otsingut, tükeldamist, viiteid ja hindamist, mitte eeldama, et kogu teabe ühte viipa paigutamine annab alati parima tulemuse.
Võimekused ja toetatud sisendid
Granite 3.2 8B Instructi kirjeldatakse ainult tekstiga töötava mudelina. See võtab vastu teksti ja genereerib teksti; algupäraselt ei genereeri see pilte, heli ega videot. IBMi teadaandes eristatakse ainult tekstiga töötavaid Instructi mudeleid teistest Granite 3.2 variantidest, mistõttu ei tohiks perekonna mõne teise mudeli võimekusi automaatselt sellele mudelile omistada.
- Juhiste järgimine ja vestlusliku teksti genereerimine
- Arutlemine valikuliselt seadistatava mõtlemisega
- Pikkade dokumentide kokkuvõtete koostamine ja küsimustele vastamine
- Otsinguga täiendatud genereerimine ehk RAG
- Teabe eraldamine ja teksti klassifitseerimine
- Koodiga seotud ülesanded
- Funktsioonikutsed ja tööriistapõhised töövood
- Mitmekeelne dialoog 12 dokumenteeritud keeles
Dokumenteeritud keeled on inglise, saksa, hispaania, prantsuse, jaapani, portugali, araabia, tšehhi, itaalia, korea, hollandi ja hiina keel. Jõudlus võib keele ja ülesande järgi erineda. Peenhäälestus võib laiendada mudeli kasutamist täiendavates keeltes, kuid dokumenteeritud keelte loendist väljapoole jäävaid rakendusi tuleks enne juurutamist esinduslike andmetega valideerida.
Kodeerimine ja funktsioonide kasutamine
Mudel toetab koodiga seotud ülesandeid, mille hulka võivad kuuluda koodi selgitamine, koodilõikude genereerimine, koodi teisendamine ja tarkvaraga seotud töövoogude toetamine. Seda tuleks hinnata konkreetse projekti programmeerimiskeelte, hoidlamustrite, turvanõuete ja korrektsusstandardite alusel, mitte käsitleda testimise või koodiülevaatuse asendusena.
Funktsioonikutsed võimaldavad rakendusel ühendada mudeli määratletud tööriistade või toimingutega. Näiteks saab arendaja teha mudelile kättesaadavaks otsingufunktsiooni, andmebaasipäringu, piletisüsteemi toimingu või dokumendiotsingu funktsiooni ning paluda mudelil valida sobiv funktsioon ja täita selle argumendid. Mudel ei tee välist toimingut iseseisvalt üksnes seetõttu, et genereeris tööriistakutse; ümbritsev rakendus peab päringu valideerima ja toimingu käivitama. See eristus on eriti oluline siis, kui tööriistad võivad muuta kirjeid, saata sõnumeid või pääseda ligi tundlikele andmetele.
Juurutamine, litsents ja hinnastamine
Granite 3.2 8B Instructi saab kasutada standardsete avatud mudelite tööriistadega, sealhulgas Transformersiga ühilduva järelduse tegemise ning teenindusraamistikega nagu vLLM ja SGLang. IBM loetleb selle ka watsonxi keskkondade kaudu juurutatavate mudelite hulgas. Ise majutamine annab organisatsioonile suurema kontrolli andmete asukoha, teeninduskonfiguratsiooni, kvantimise ja integratsiooni üle, samas kui hallatud juurutamine võib vähendada taristuga seotud tööd.
Apache 2.0 litsents on oluline praktiline eelis organisatsioonidele, kes vajavad lubava litsentsiga mudelit. Litsents ei kaota siiski vajadust üle vaadata IBMi mudelidokumentatsioon, kolmanda osapoole tarkvara litsentsid, turvanõuded ega hallatud IBMi juurutusega seotud tingimused.
Selle konkreetse avatud kaaludega mudeli kohta ei õnnestunud esitatud uuringu põhjal kontrollida ühtki praegust avalikku IBMi märgiühikupõhist hinda. Majutatud kasutuse hind sõltub juurutuskeskkonnast, ise majutatud kasutuse kulu aga taristust, salvestusruumist, riistvarast, käitamisest ja liiklusest. Seetõttu ei tohiks Granite 3.2 8B Instructi üldise hinnana esitada täpset sisendi- või väljundihinda. Kulusid võrdlevad meeskonnad peaksid eristama hallatud watsonxi tasusid avatud kaaludega mudeli ise käitamise kogukulust.
Peamised tugevused ja piirangud
Selle peamised tugevused on 8 miljardi parameetri, pika konteksti, seadistatava arutlemise, mitmekeelse toe, funktsioonikutsete ja Apache 2.0 litsentsi kombinatsioon. Suhteliselt kompaktne suurus võib muuta spetsiaalse või kohaliku juurutamise praktilisemaks kui palju suurema mudeli juurutamise, kuigi tegelikud riistvaranõuded sõltuvad täpsusest, kvantimisest, pakisuurusest, konteksti pikkusest ja teeninduskonfiguratsioonist.
Mudel sobib eriti hästi maandatud ettevõtete töövoogudega. Näiteks RAG-süsteemis saab rakendus otsida asjakohaseid sisemisi dokumente, lisada need tõendusmaterjalina viipa ning paluda Granite 3.2 8B Instructil need kokku võtta või küsimusele vastata. Pikk kontekst võib aidata ka koosolekute analüüsimisel, pikkadest dokumentidest struktureeritud teabe eraldamisel ja ulatuslikku toetavat teksti hõlmavates klassifitseerimisülesannetes.
Piirangud on olulised. See ei ole multimodaalne genereerimismudel ega suuda algupäraselt luua pilte, heli või videot. Samuti ei ole seda positsioneeritud praeguse tipptasemel mudelina kõige nõudlikumate üldise arutlemise, kodeerimise või laialdaste maailmateadmistega seotud ülesannete jaoks. Valikuline arutlemine võib mõne päringu puhul põhjalikkust parandada, kuid suurendada ka latentsust ja arvutusressursi kasutust. Selle väljalülitamine võib olla eelistatav lihtsa eraldamise, klassifitseerimise või suuremahulise genereerimise korral.
Selle pärandmudeli staatus mõnes watsonxi kataloogis on veel üks kaalutlus. Uuemad Granite'i mudelid võivad pakkuda konkreetse töökoormuse jaoks ajakohasemaid võimekusi või paremat jõudlust. Siin esitatud uuring ei tõesta universaalset edetabelit, mistõttu tuleks kõiki väiteid selle kohta, et uuem või suurem mudel on parem, kontrollida organisatsiooni enda viipade ja hindamisandmetega.
Millal valida Granite 3.2 8B Instruct?
See mudel on mõistlik valik siis, kui projekt vajab avatud kaaludega keelemudelit, millel on lubav litsents, tugi pikkadele tekstisisenditele, valikuline arutlemine ja ettevõtetele suunatud tekstipõhised töövood. Sobivad näited on järgmised:
- Maandatud küsimustele vastamine sisemiste dokumentide põhjal
- Aruannete, eeskirjade ja koosolekute transkriptsioonide kokkuvõtete koostamine
- Väljade eraldamine pikkadest äridokumentidest
- Mitmekeelne äridialoog dokumenteeritud keeltes
- Teksti klassifitseerimine ja suunamine suurel skaalal
- Kontrollitud ettevõtte tööriistadega ühendatud funktsioonikõnedel põhinevad assistendid
- Ise majutatud või spetsiaalne järelduse tegemine, kui juurutuse kontroll on oluline
Mõni teine valik võib olla sobivam siis, kui rakendus vajab piltide, heli või video algupärast genereerimist, tipptasemel arutlemis- või kodeerimisjõudlust, täielikult hallatud tarbijatele mõeldud juturoboti kasutuskogemust või praegust lipulaevmudelit, mille jõudlusprofiil on sõltumatult paremini kontrollitud. Lihtsate ja suuremahuliste ülesannete korral, kus määravad on kiirus ja taristukulu, võib eelistada väiksemat mudelit. Kui keerukate ülesannete arutlemise kvaliteet on kompaktse juurutamise võimalusest olulisem, võib eelistada suuremat või uuemat mudelit. IBMi kataloogis peaksid meeskonnad enne selle pärandmudelina loetletud mudeli valimist uue tootmissüsteemi jaoks võrdlema ka Granite'i praegusi põlvkondi.
Praktilised juhised hindamiseks
Enne juurutamist testige mudelit dokumentide, keelte, koodi ja tööriistade skeemidega, millega see tegelikult kokku puutub. Mõõtke eraldamise täpsust, vastuste seotust allikatega, keeldumiskäitumist, tööriistakutsete kehtivust, vastuse latentsust nii lubatud kui ka keelatud mõtlemise korral ning jõudlust konteksti pikkuse suurenemisel. RAG-i puhul hinnake, kas vastused jäävad esitatud tõendusmaterjali piiresse, mitte ainult nende ladusust.
Arvestage ka mudeli võimekuse ja rakenduse käitumise erinevusega. Granite 3.2 8B Instruct võib genereerida funktsioonikutse, kuid rakendus otsustab, kas see kutse on kehtiv ja turvaline. Mudel võib töödelda suurt konteksti, kuid tulemust mõjutavad endiselt otsing ja dokumentide korraldus. Avatud litsents võib levitamist lihtsustada, kuid mudeli käitamine jääb tootmisalaseks vastutuseks, mis hõlmab juurdepääsu kontrolli, jälgimist, uuendamist ja riistvara planeerimist.