Granite 4.1 30B

Mis on Granite 4.1 30B?

Granite 4.1 30B on IBMi Granite 4.1 mudeliperekonda kuuluv juhiste järgi häälestatud keelemudel. Mudelil on ligikaudu 30 miljardit parameetrit, mis annab sellele sama perekonna väiksemate mudelitega võrreldes märksa suurema võimekuse, kuid muudab selle ka käitamise ressursimahukamaks. Juhiste järgi häälestatud mudel on treenitud kasutaja juhistele vastama, mitte lihtsalt teksti jätkama. Seetõttu sobib see mudel assistentidele, küsimustele vastamiseks, kokkuvõtete tegemiseks, andmete eraldamiseks, programmeerimiseks ja äriprotsesside töövoogudeks.

Mudelit levitatakse Hugging Face'is IBMi Granite'i organisatsiooni kaudu identifikaatoriga ibm-granite/granite-4.1-30b. Selle kaalud on saadaval Apache 2.0 litsentsi alusel, mistõttu võivad organisatsioonid kontrollpunkti alla laadida ja seda enda hallatavas taristus käitada, järgides litsentsi tingimusi ning valitud teeninduskeskkonna nõudeid.

Granite 4.1 30B ei ole iseseisvalt tarbijatele mõeldud vestlusrobotitoode. See on mudeli kontrollpunkt, mida saab rakendusse integreerida, järeldusserveri kaudu juurutada või kasutada IBMi ja kolmandate osapoolte ühilduvates keskkondades. Seda erinevust on oluline hinnata hinna, kättesaadavuse, turvalisuse ja käitamisnõuete seisukohast.

Granite'i perekonnas

Granite 4.1 30B on mõeldud suhteliselt suure üldotstarbelise juhiste järgi häälestatud mudelina ettevõtete keelerakenduste jaoks. Selle kasutusala on laiem kui kitsalt spetsialiseeritud programmeerimis- või vektormudelitel: see toetab dialoogi, dokumentidega töötamist, koodiülesandeid, mitmekeelset teksti genereerimist, otsinguga täiendatud genereerimist, struktureeritud andmete eraldamist ja tööriistu kasutavaid agente.

30 miljardi parameetri suurus paigutab selle väiksemate ja ressursitõhusamate kontrollpunktide ning suuremate või spetsialiseeritumate mudelivalikute vahele. IBMi Granite'i perekonda kuuluvad ka väiksemad, näiteks 3B ja 8B mudelid. Need võivad olla praktilisemad juhul, kui esmatähtsad on mälukasutus, vastuse latentsus või läbilaskevõime. Granite 4.1 30B on sobivam valik siis, kui rakendus suudab õigustada suuremaid arvutusnõudeid suurema kontrollpunkti pakutava lisavõimekuse nimel.

IBMi perekonna dokumentatsioon käsitleb pika konteksti treenimist, mis ulatub 512K märgini. Konkreetse Granite 4.1 30B mudelikaardil on aga jada pikkuseks märgitud 131 072 märki. Seetõttu tuleks selle kontrollpunkti kontrollitud piiranguna käsitleda 131 072 märki, välja arvatud juhul, kui valitud käituskeskkond ja uuem kontrollpunkt dokumenteerivad sõnaselgelt midagi muud.

Arhitektuur ja kontrollitud tehnilised andmed

Granite 4.1 30B kasutab tihedat ainult dekoodriga Transformeri arhitektuuri. Avaldatud mudeliinfo kohaselt kasutab see rühmitatud päringutähelepanu, pöörlevaid positsioonimanuseid, SwiGLU-aktivatsiooni, RMSNormi ning jagatud sisend- ja väljundmanuseid. Samuti on märgitud 64 kihti, 32 tähelepanupead, 8 võtme-väärtuse pead ja 4096-mõõtmeline manustamisruum.

Jada pikkus tähistab kontrollpunkti ja teeninduskonfiguratsiooni toetatud kogu kontekstimahtu, mitte tingimata ühes vastuses genereeritavate märkide arvu. Esitatud uuringus ei ole eraldi maksimaalset väljundmärkide arvu täpsustatud, seega peaksid juurutused lähtuma valitud käituskeskkonnast ja konfiguratsioonist, mitte eeldama kindlat väärtust.

Võimekus ja toetatud sisendid

Granite 4.1 30B on teksti sisendiga ja teksti väljundiga mudel. See võtab vastu tekstipäringuid ja genereerib teksti. Esitatud tehnilised andmed ei kinnita pildi-, heli- ega videosisendi toetamist ning mudel ei genereeri loomupäraselt pilte, heli, videot, kõnet, muusikat ega manuseid. Seetõttu ei tohiks seda valida mitmeliigiliste dokumentide mõistmiseks ega meedia loomuliku genereerimise jaoks.

Juhiste järgi häälestatud kontrollpunkt on mõeldud üldiseks juhiste järgimiseks, kokkuvõtete tegemiseks, klassifitseerimiseks, andmete eraldamiseks, küsimustele vastamiseks, mitmekeelseks dialoogiks, otsinguga täiendatud genereerimiseks, koodi genereerimiseks, teksti täiendamiseks keskelt ning funktsioonikutsete töövoogudeks. RAG-süsteemis saab rakendus esmalt asjakohased dokumendid leida ja paigutada nende teksti mudeli konteksti. Seejärel saab Granite 4.1 30B vastata küsimustele või esitatud materjali kokku võtta, kuid otsingukiht, dokumendihoidla ja viiteloogika tuleb rakenduse ümber eraldi realiseerida.

IBM kirjeldab hindamisi, mis hõlmavad üldist arutlusvõimet, matemaatikat, programmeerimist, turvalisust, mitmekeelseid ülesandeid ja tööriistade kasutamist. Need on teenusepakkuja esitatud hindamisvaldkonnad, mitte garantii, et mudel toimib ühtviisi hästi igas keeles, iga päringu või tootmistöökoormuse korral. IBM hoiatab ka, et mitmekeelse kasutuse kvaliteet võib keeliti erineda ning ilma rakenduse tasandi testimise ja kaitsemeetmeteta võivad väljundid olla ebatäpsed, kallutatud või ebaturvalised.

Arutlusvõime, programmeerimine ja tööriistade kasutamine

Mudel sobib koodi genereerimiseks ja täiendamiseks, sealhulgas teksti keskelt täiendamise kasutusjuhtudeks. See võib aidata funktsioone koostada, koodi selgitada, koodilõike teisendada ja toetada programmeerimisassistente, kuid genereeritud kood vajab endiselt testimist, ülevaatust ja turvakontrolle. Esitatud uuringus ei tuvastata eraldi varjatud arutlusrežiimi ega teenusepakkuja määratud arutluseelarvet. Seetõttu tuleks selle arutlusvõimet mõista üldise keelemudeli probleemilahendusena, mitte dokumenteeritud spetsiaalse arutlustootena.

Granite 4.1 30B toetab funktsioonikutseid ja tööriistakeskseid töövooge. Praktikas võib mudel genereerida struktureeritud päringu, mis kirjeldab funktsiooni ja selle argumente. Seejärel valideerib rakendus päringu, käivitab välise funktsiooni ja saadab tulemuse vajaduse korral mudelile tagasi. Mudel ise ei sirvi iseseisvalt veebi, ei käivita väliseid toiminguid ega pääse ligi ajakohasele teabele. Veebiotsing, andmebaasid, ärisüsteemid ja muud tööriistad vajavad rakenduse käituskeskkonda.

IBM kirjeldab struktureeritud JSON-väljundi tuge. See on kasulik andmete eraldamise töövoogudes, klassifitseerimistulemustes, töövoo olekutes ja masinloetavates assistendivastustes. Struktureeritud väljund ei kaota vajadust skeemi valideerimise järele: rakendused peaksid endiselt arvestama vigaste, puudulike või tähenduslikult ebaõigete vastustega.

Kontekstiaken ja pika konteksti piirang

Täpse allalaaditava mudelikaardi kohaselt on jada pikkus 131 072 märki, mis vastab suurele kontekstiaknale dokumentide, vestlusajaloo ja otsitud materjali jaoks. Märk on mudeli kasutatav tekstiühik ega vasta täpselt sõnale. Praktiline lähtematerjali maht sõltub keelest, märgistamisest, päringu vormingust, leitud dokumentide struktuurist ja vastuse jaoks jäetud ruumist.

IBMi Granite 4.1 projekti dokumentatsioon kirjeldab pika konteksti treeninguetappi, mis viib perekonna kuni 512K märgini. See väide käib laiema perekonna dokumentatsiooni kohta, samal ajal kui siin käsitletud konkreetse 30B mudeli kaardil on märgitud 131 072 märki. Enne kontrollitud mudelikaardi väärtusest pikemate kontekstide kasutamist peaksid rakendused valideerima valitud kontrollpunkti, märgendaja, teenindusraamistiku ja mälukonfiguratsiooni.

Juurutamine ja hinnastamine

Esitatud uuringus ei ole allalaaditava kontrollpunkti jaoks avalikult dokumenteeritud eraldi märgipõhist hinda. Kuna tegemist on avatud kaaludega mudeliga, võib organisatsioon selle alla laadida ja enda taristus teenindada. Sellest tulenev kulu sõltub riistvarast, mälust, kvantimisest, kasutusastmest, elektrist, salvestusruumist, arendusest ja käitamisest.

Mudelit saab laadida Transformersi teegi abil ja teenindada ühilduvate käituskeskkondade, näiteks vLLM-i või SGLangi kaudu. Esitatud uuringus nimetatakse ka Dockeril põhinevaid ja muid kohaliku järelduse võimalusi. Need valikud mõjutavad läbilaskevõimet, latentsust, pakktöötlust, riistvaraühilduvust ja juurutamise lihtsust. Majutatud lõpp-punkt võib vähendada käitamisvajadust, kuid tuua kaasa teenusepakkuja kasutuspõhised tasud, kättesaadavuspiirangud või konfiguratsioonierinevused; uuringus ei esitata universaalset majutatud teenuse hinda, mida saaks rakendada igale juurutusele.

30 miljardi parameetri suurus loob märgatava kompromissi võimekuse ja kulu vahel. Kvantimine võib vähendada mälunõudeid, kuid mõju kvaliteedile ja kiirusele sõltub kvantimismeetodist ning töökoormusest. Suuremad kontekstipäringud suurendavad samuti ressursinõudeid. Meeskonnad peaksid oma päringuid ja samaaegsustaset ise testima, mitte tuletama tootmiskulu ainult parameetrite arvust.

Tugevused ja piirangud

Tugevused

• Avatud kaalud võimaldavad ise majutamist, kohandamist ja juurutamist keskkondades, kus organisatsioonid vajavad suuremat kontrolli andmete ja taristu üle.
• Apache 2.0 litsents on paljude äriliste ja sisemiste kasutusjuhtude jaoks paindlik, arvestades litsentsi tingimusi.
• Avaldatud 131 072 märgi pikkune jada toetab mahukaid dokumente ja vestluskontekste.
• Ettevõtetele suunatud võimaluste hulka kuuluvad RAG-töövood, struktureeritud JSON-vastused, programmeerimine, mitmekeelne juhiste järgimine ja funktsioonikutsed.
• Transformers, vLLM, SGLang, Dockeril põhinevad käituskeskkonnad ja ühilduvad kohalikud tööriistad pakuvad mitut juurutusviisi.

Piirangud

• 30B suurus nõuab rohkem mälu ja arvutusressursse kui väiksemad Granite'i variandid, mis võib suurendada teeninduskulu ja vähendada saavutatavat läbilaskevõimet.
• Mudel on ainult tekstipõhine ega mõista loomupäraselt pilte, heli või videot ega genereeri meediat.
• Esitatud teabes ei ole kontrollpunkti kohta täpsustatud IBMi eraldi märgipõhist hinda ega maksimaalset väljundmärkide arvu.
• Mudelikaardil esitatud 131 072 märgi piirangut ei tohiks automaatselt asendada perekonna laiema 512K pika konteksti kirjeldusega.
• Tööriistakutsed ei anna sisseehitatud veebiühendust ega välist käivitust; need funktsioonid peab tagama ja turvama hostrakendus.
• Mitmekeelse kasutuse kvaliteeti, faktilist täpsust, turvalisust, latentsust ja väljundi järjepidevust tuleb konkreetsete sihtkeelte ja töökoormuste puhul testida.

Millal valida Granite 4.1 30B?

Vali Granite 4.1 30B, kui vajad allalaaditavat üldotstarbelist juhiste järgi häälestatud mudelit ettevõtteassistendi, dokumentidele küsimuste esitamise, pika kontekstiga RAG-i, mitmekeelsete äriprotsesside, programmeerimise toe, struktureeritud andmete eraldamise või tööriistakutseid kasutava agendi jaoks. See on eriti asjakohane siis, kui ise majutamine, Apache 2.0 litsents ja kontroll teeninduskeskkonna üle on olulisemad kui lihtsa tarbijatele mõeldud vestlusroboti kasutamine.

See võib olla mõistlik kesktee meeskondadele, kes vajavad rohkem võimekust kui väike kohalik mudel pakub, kuid ei soovi täielikult sõltuda suletud majutatud mudelist. Avatud kaalud võimaldavad mudelit peenhäälestada ja kohandada, kuid arvesse tuleb võtta ka treeningutaristu kulu ja keerukust.

Vali väiksem Granite'i kontrollpunkt, kui väiksem mälukasutus, kiirem vastamine või suurem läbilaskevõime on olulisem kui 30B mudeli lisavõimekus. Vali mitmeliigiline mudel, kui rakendus peab töötlema pilte, heli või videot. Vali majutatud mudel või hallatud teenus, kui meeskond ei soovi järeldustaristut ise käitada. Kõigil juhtudel võrdle tegelikku töökoormust: päringu pikkus, samaaegsus, keeled, programmeerimisülesanded, tööriistakutsete usaldusväärsus ja turvanõuded võivad muuta seda, milline valik on kõige sobivam.

Kokkuvõte

Granite 4.1 30B-d tuleks kõige paremini mõista avatud kaaludega ettevõtetele mõeldud keelemudeli kontrollpunktina, mitte täieliku lõppkasutajarakendusena. Selle peamised eelised on Apache 2.0 litsents, ise majutamise võimalused, lai tekstipõhine võimekus, pikk avaldatud kontekst, programmeerimise tugi, struktureeritud väljund ja funktsioonikutsed. Peamised kompromissid on 30B mudeli ressursinõudlikkus, loomuliku meediatoe puudumine, täpsustamata eraldiseisev märgipõhine hind ning vajadus ise luua või seadistada ümbritsevad otsingu-, tööriista-, turva- ja juurutussüsteemid.