Mis on Granite 3.3 8B Instruct?
Granite 3.3 8B Instruct on IBMi Granite'i meeskonna välja töötatud 8 miljardi parameetriga keelemudel. See on Granite 3.3 Base'i juhiste järgi häälestatud versioon, mis tähendab, et seda on kohandatud kasutaja juhiste järgimiseks ja kasulike vastuste genereerimiseks, mitte lihtsalt struktureerimata viiba põhjal teksti ennustamiseks.
Mudel on mõeldud ettevõtete tekstipõhiste töökoormuste jaoks, sealhulgas assistentidele, otsinguga täiendatud genereerimisele (RAG), programmeerimise toetamisele, kokkuvõtete tegemisele, klassifitseerimisele, teabe eraldamisele, küsimustele vastamisele ning tööriistadega integreeritud rakendustele. RAG-süsteemid otsivad organisatsiooni dokumentidest või andmebaasidest asjakohast sisu ja edastavad selle mudelile kontekstina, võimaldades vastuse siduda valitud teabeallikaga.
IBM avaldas Granite 3.3 8B Instructi 16. aprillil 2025 Apache 2.0 litsentsi alusel. Ametlik kontrollpunkt on avaldatud IBMi Hugging Face'i organisatsiooni kaudu. See avatud kaaludega levitus tähendab, et arendajad saavad mudeli alla laadida ja seda ühilduva järeldustarkvaraga käitada, selle asemel et tugineda üksnes IBMi hostitud lõpp-punktile.
Milline on selle koht IBMi kataloogis praegu?
Granite 3.3 8B Instruct kuulub IBMi Granite'i keelemudelite perekonda. Seda tuleb eristada kogu IBM watsonxist: watsonx on IBMi laiem ettevõtete tehisintellekti ja andmete portfell, samas kui Granite 3.3 8B Instruct on üks konkreetne allalaaditav mudel selles ökosüsteemis.
Oluline on eristada kättesaadavust. IBMi watsonx.ai elutsükli dokumentatsioonis on selle mudeli IBMi nõudmisel juurutamise identifikaatori kasutuselt kõrvaldamise kuupäevana märgitud 24. november 2025 ja eemaldamise kuupäevana 22. veebruar 2026. Esitatud olekuteabe põhjal tuleks käsitleda mudelit IBMi hostitud juurutuskanalist eemaldatuna alates 25. septembrist 2026. Selle avatud kaaludega kontrollpunkt on endiselt saadaval isehostitud ja ühilduvate kolmandate osapoolte juurutuste jaoks, kuid hostimise kättesaadavus, hinnakujundus, kasutajatugi ja riistvaravalikud sõltuvad valitud teenusepakkujast.
Põhivõimekused ja praktiline käitumine
Granite 3.3 8B Instruct võtab vastu teksti ja toodab teksti. Avaldatud võimekused hõlmavad mitmeid levinud ettevõtete keeletööülesandeid:
- Juhiste järgimine: See suudab täita suunatud ülesandeid, nagu ümberkirjutamine, kokkuvõtete tegemine, väljade eraldamine, teksti klassifitseerimine ja küsimustele vastamine.
- Arutlemine ja matemaatika: IBM teatab võrreldes Granite'i varasemate versioonidega täiustustest struktureeritud arutlemises, matemaatikas ja juhiste järgimises. Toetatud viipamise või serveerimise konfiguratsioonide korral saab mudel kasutada eraldi mõtlemis- ja vastusesegmente.
- Otsinguga täiendatud genereerimine: Selle pikk kontekst sobib otsitud tekstilõikude, eeskirjade, tehniliste viidete või organisatsiooni-siseste teadmiste edastamiseks vastuse genereerimise töövoogu.
- Programmeerimine: See suudab koodi genereerida, parandada, ümber struktureerida ja selgitada. Samuti toetab see keskelt täitmise genereerimist, mille puhul mudel lõpetab etteantud ees- ja järelliite vahele jääva teksti.
- Funktsioonikutsed: Ühilduvad serveerimisraamistikud saavad kasutada mudelit töövoogudes, kus see valib väliseid tööriistu, rakendusi või äriprotsesse kutsuvaid päringuid või valmistab need ette.
- Mitmekeelne tekst: Mudelikaardil on loetletud inglise, saksa, hispaania, prantsuse, jaapani, portugali, araabia, tšehhi, itaalia, korea, hollandi ja hiina keel. IBM märgib, et peenhäälestuse kaudu võivad olla toetatud ka täiendavad keeled.
Need võimekused muudavad mudeli ärilise tekstiprotsessi jaoks sobivamaks kui tarbijatele suunatud meediageneraatori. See võib aidata koostada vastust, klassifitseerida klienditoe pöördumist, eraldada struktureeritud fakte või pakkuda välja tööriistakutse, kuid ei genereeri algupäraselt pilte, heli ega videot.
Kontekstiaken ja väljundi piirangud
Dokumenteeritud kontekstiaken on 131 072 tokenit, mida kirjeldatakse tavaliselt 128K kontekstina. Token on väike tekstiüksus, mida keelemudel kasutab; kontekstiaken on ühe päringu jooksul töödeldava sisendi ja genereeritud teksti kogumaht. Sellise suurusega aken mahutab olenevalt tokeniseerimisest ja serveerimiskeskkonna konfiguratsioonist mahukaid dokumente, mitu otsitud tekstilõiku, pikki koosolekute stenogramme või suuremaid koodifaile.
IBMi dokumentatsioonis on watsonx.ai juurutuskonfiguratsiooni puhul maksimaalseks uute tokenite arvuks märgitud 16 384. See on väljundi genereerimise piirang, mitte täiendavad 16 384 tokenit lisaks kontekstiaknale igas võimalikus juurutuses. Isehostitud või kolmandate osapoolte käituskeskkonnad võivad sõltuvalt oma teostusest, mälumahust, kvantimisest ja päringu seadetest pakkuda teistsuguseid piiranguid.
Suur kontekstiaken ei taga, et väga pika viiba iga detail saab võrdselt palju tähelepanu. Tootmiskeskkonna RAG- ja dokumenditöövoogude puhul peaksid arendajad endiselt otsima asjakohaseid tekstilõike, eemaldama ebavajaliku sisu ja testima vastuseid tüüpiliste dokumentide põhjal.
Programmeerimine, keskelt täitmine ja tööriistade kasutamine
Granite 3.3 8B Instruct sisaldab spetsiaalset keskelt täitmise tuge, kasutades ees-, kesk- ja järelliite tokeneid. Programmeerimiskeskkonnas võib eesliide sisaldada puuduva lõigu ees olevat koodi ja järelliide pärast seda olevat koodi. Seejärel pakub mudel välja puuduva keskosa. See on kasulik funktsioonide lõpetamiseks, argumentide lisamiseks, dokumentatsiooni loomiseks, koodilõigu parandamiseks või koodi ümberstruktureerimiseks nii, et ümbritsev kontekst säiliks.
Mudel toetab ka koodi genereerimist, koodi selgitamist, koodi parandamist ja standardse koodikujunduse loomist. Selle 8B suurus võib olla atraktiivne meeskondadele, kes soovivad programmeerimisabi kontrollitud või kohalikus keskkonnas, ilma et peaksid käitama palju suuremat mudelit. Esitatud uuringud ei määra siiski kindlaks universaalset programmeerimiskeelte paremusjärjestust ega võrdlustulemust, mistõttu tuleks koodi kvaliteeti hinnata organisatsiooni enda hoidlates ja ülesannetes.
Funktsioonikutsed on mudeli võimekusena toetatud, kuid see ei tähenda, et mudel käivitaks toimingu iseseisvalt. Serveeringuraamistik või rakendus peab määratlema saadaolevad tööriistad, valideerima mudeli pakutud argumendid, käivitama heakskiidetud kutsed ja tegelema vigadega. Seetõttu võivad voogedastus ja funktsioonikutsed käituda erinevalt Transformersis, vLLM-is, SGLangis, llama.cpp-ga ühilduvates käituskeskkondades, Ollamas, LM Studios ja hostitud teenustes.
Modaalsused ja arutlemisprofiil
See on ainult tekstipõhine mudel. Kontrollitud sisendi ja väljundi tugi hõlmab tekstisisendit ja tekstiväljundit. See ei võta algupäraselt vastu pilte, heli ega videot ega tooda otse pilte, heli, videot, muusikat ega kõnet. Ümbritsev rakendus võib ühendada selle eraldi nägemis-, kõne- või meediasüsteemidega, kuid neid lisavõimekusi ei tohiks omistada Granite 3.3 8B Instructile endale.
IBM positsioneerib mudelit arutlemisele suunatud ülesannete, matemaatika, küsimustele vastamise ja struktureeritud ettevõtete töövoogude jaoks. Esitatud hinnang annab sellele toimetusliku arutlemisskoori 6 punkti 10-st ja programmeerimisskoori 7 punkti 10-st. Need on võrdlevad toimetuslikud hinnangud, mitte IBMi avaldatud võrdlustulemused. Praktilises mõttes tuleks mudelit käsitleda võimeka kompaktse mudelina rutiinsete ja mõõdukalt keerukate ülesannete jaoks, mitte tipptasemel süsteemina kõige raskemate üldiste arutlemisprobleemide lahendamiseks.
Hinnakujundus ja kulud
Granite 3.3 8B Instructi praegust IBMi hostitud hinda ei ole pärast selle watsonx.ai nõudmisel juurutamise eemaldamist kinnitatud. Ajaloolises IBM watsonx Developer Hubi loendis oli sisendi hinnaks 0,0002 dollarit 1000 tokeni kohta ja väljundi hinnaks 0,0002 dollarit 1000 tokeni kohta. Need näitajad on esitatud üksnes ajaloolise viitena ja neid ei tohiks käsitleda praegu saadaoleva lõpp-punkti hinnana.
Isehostitud kasutuse korral on mudel ise välja antud Apache 2.0 litsentsi alusel, kuid juurutamine ei pruugi olla tasuta. Organisatsioonidel võivad tekkida kulud GPU- või CPU-taristu, salvestusruumi, elektri, arenduse, seire, võrgu ja toe eest. Kolmandate osapoolte hostitud teenusepakkujad võivad küsida tasu tokenite, aja, päringute või spetsiaalse võimsuse alusel. 8B mudeli tegelik kulueelis sõltub läbilaskevõimest, riistvara kasutusest, kvantimisest, samaaegsusest ja vajaliku operatiivtoe mahust.
Mudeli peamine kiiruse ja hinna kompromiss tuleneb selle suhteliselt kompaktsest suurusest. Suuremate keelemudelitega võrreldes võib 8B kontrollpunkti olla lihtsam ja odavam käitada ning esitatud toimetuslik hinnang annab sellele kiiruseskooriks 8 punkti 10-st ja kuluskooriks 9 punkti 10-st. Need skoorid on toimetuslikud hinnangud, mitte teenusepakkuja spetsifikatsioonid. Suurem mudel võib olla sobivam siis, kui keeruka arutlemise kvaliteet on olulisem kui viivitus, riistvaranõuded või käituskulud.
Tugevused ja piirangud
Peamised tugevused
- Avatud kaaludega juurutamine: Apache 2.0 litsentsi alusel välja antud mudeli kontrollpunkti saab alla laadida ja juurutada organisatsiooni valitud keskkondades.
- Pikk kontekst: 131 072 tokeni suurune kontekstiaken toetab pikki dokumente, koosolekute stenogramme, koodifaile ja RAG-viipasid.
- Lai ettevõtete tekstivõimekus: Mudel ühendab juhiste järgimise, teabe eraldamise, klassifitseerimise, kokkuvõtete tegemise, programmeerimise, arutlemise ja mitmekeelse suhtluse.
- Praktilised programmeerimisfunktsioonid: Keskelt täitmise tugi on kasulik lõpetamis- ja parandamistöövoogudes, kus sisestuskohta ümbritsev olemasolev kood peab säilima.
- Kompaktne juurutusprofiil: Selle 8B parameetri suurus võib pakkuda palju suuremate mudelitega võrreldes hõlpsamini hallatavat käitusprofiili, sõltuvalt valitud käituskeskkonnast ja riistvarast.
Olulised piirangud
- Algupärane meediageneratsioon puudub: See ei ole piltide, heli, video ega kõne genereerimise mudel.
- Praegune IBMi hostitud nõudmisel juurutamise tee puudub: watsonx.ai lõpp-punkt eemaldati 22. veebruaril 2026, mistõttu ei tohiks kasutajad kavandada tööd selle eemaldatud identifikaatori põhjal.
- Tegemist ei ole tipptasemel mudeliga: Kõige nõudlikumate arutlemis-, programmeerimis- või üldotstarbeliste ülesannete puhul võib see olla vähem sobiv kui suuremad või uuemad mudelid.
- Juurutamise eest vastutab kasutaja: Isehostimine nõuab otsuseid riistvara, järeldustarkvara, turbe, skaleerimise, seire ja mudeli uuendamise kohta.
- Tööriistade käitumine võib erineda: Funktsioonikutsed, voogedastus, kvantimise tugi ja väljundvormingud sõltuvad osaliselt serveerimisraamistikust.
- Teadmiste lõppkuupäev on teadmata: Esitatud ametlikus dokumentatsioonis ei kinnitatud selle konkreetse mudeli autoriteetset teadmiste lõppkuupäeva.
Parimad kasutusjuhud
Granite 3.3 8B Instruct on tugev kandidaat siis, kui organisatsioon vajab allalaaditavat tekstikeskset mudelit kontrollitud juurutamiseks. Sobivad projektid hõlmavad organisatsiooni-siseseid assistente, dokumentide põhjal küsimustele vastamist, eeskirjade ja lepingute kokkuvõtete koostamist, pöördumiste klassifitseerimist, struktureeritud teabe eraldamist, mitmekeelseid tugiprotsesse, programmeerimisassistente, RAG-rakendusi ja tööriistadega ühendatud äriprotsesse.
See on eriti asjakohane siis, kui andmekontrolli nõuded, juurutamise paindlikkus või taristu omamise prognoositavus on olulisemad kui juurdepääs kõige võimekamale saadaolevale arutlemisele. Meeskond võiks kasutada seda pikkade sisemiste aruannete kokkuvõtmiseks, korduvatest dokumentidest väljade eraldamiseks, küsimustele vastamiseks kureeritud teadmistebaasi põhjal või koodi lõpetamise abistamiseks privaatses arenduskeskkonnas.
Millal valida see mudel?
Vali Granite 3.3 8B Instruct siis, kui soovid Apache'i litsentsiga avatud kaaludega mudelit, millel on suur kontekstiaken, praktiline programmeerimistugi, mitmekeelsed tekstivõimekused ja suhteliselt hõlpsasti hallatav juurutus. See on mõistlik valik meeskondadele, kes suudavad ise järeldustaristut käitada või valida ühilduva hostitud teenusepakkuja ega vaja algupärast meediatöötlust.
Kaalu teist võimalust siis, kui vajad aktiivselt töötavat IBMi hostitud lõpp-punkti, tarbijatele valmis vestluskogemust, piltide või heli algupärast mõistmist, otsest veebisirvimist või tipptasemel arutlemist. Keerukate mitmeastmeliste analüüside puhul võib eelistada suuremat mudelit, samas kui pildi-, kõne- või videoülesannete jaoks sobib paremini spetsiaalne multimodaalne mudel. Kuna Granite 3.3 8B Instructi IBMi hostitud tee on lõpetatud, peaksid tarnija hallatavat kättesaadavust vajavad meeskonnad esmalt kontrollima, kas kolmanda osapoole teenusepakkuja pakub kontrollpunkti nõutud teenusetaseme, piirkonna, privaatsuse ja vastavustingimustega.
Kokkuvõte
Granite 3.3 8B Instruct on kompaktne, avatud kaaludega IBMi keelemudel, mis keskendub ettevõtete tekstiprotsessidele, mitte multimodaalsele genereerimisele. Apache 2.0 litsentsi, 131 072 tokeni suuruse kontekstiakna, keskelt täitmisega programmeerimise, mitmekeelse toe, arutlemisfunktsioonide ja tööriistadele suunatud töövoogude kombinatsioon annab sellele praktilise rolli isehostitud assistentides ja RAG-süsteemides. Peamine kompromiss on selge: seda võib olla suurematest mudelitest lihtsam ja odavam juurutada, kuid see ei paku tipptasemel võimekust, algupärast meediaväljundit ega praegu aktiivset IBM watsonx.ai nõudmisel juurutamise lõpp-punkti.