Mis on Granite-3.1-8B-Instruct?
Granite-3.1-8B-Instruct on IBMi juhiste järgi häälestatud versioon ligikaudu 8,1 miljardi parameetriga tihedast ainult dekooderiga transformerist. Praktilises mõttes on see teksti genereerimise mudel, mida on kohandatud kasutaja juhiste järgimiseks, küsimustele vastamiseks, materjali kokkuvõtmiseks, teabe eraldamiseks, koodiga seotud sisu loomiseks ning tööriista- või funktsioonikutsete töövoogudes osalemiseks.
IBM avaldas mudeli 18. detsembril 2024 lubava Apache 2.0 litsentsi alusel. Selle ametlik Hugging Face'i identifikaator on ibm-granite/granite-3.1-8b-instruct. Kuna kaalud on allalaadimiseks saadaval, saavad organisatsioonid mudelit käitada enda hallatavas taristus, selle asemel et sõltuda üksnes teenusepakkuja hallatavast päringupõhisest lõpp-punktist.
Mudel kuulub IBMi Granite 3.1 perekonda ja seda häälestati mudelist Granite-3.1-8B-Base. Granite 3.1 repositoorium on vahepeal arhiveeritud ning IBMi mudelimaterjalides osutatakse uuema järglasena mudelile Granite-3.3-8B-Instruct. Granite-3.1-8B-Instruct on endiselt asjakohane siis, kui Apache 2.0 litsents, reprodutseeritavad kaalud, olemasolevad juurutustööriistad või väljakujunenud 128K kontekäitumine on olulisemad kui uusima Granite'i põlvkonna kasutamine.
Kontekstiaken ja arhitektuur
Kinnitatud konteksti pikkus on 131 072 tokenit, mida kirjeldatakse tavaliselt kui 128K tokenit. Kontekstiaken on tekstihulk, mida mudel saab ühe päringu käigus arvesse võtta, sealhulgas viip ja esitatud dokumendid. See mahutavus on kasulik pikkade aruannete, koosolekute transkriptsioonide, eeskirjade kogumike, tehnilise dokumentatsiooni ja otsingupõhiste töövoogude puhul, kus konteksti tuleb lisada palju lähtematerjali.
Mudel kasutab 40 transformerikihti, 32 tähelepanupead ja 8 võtme-väärtuse pead. Dokumenteeritud arhitektuur hõlmab grupeeritud päringu tähelepanu mehhanismi, pöörlevaid positsioonimanuseid, SwiGLU aktiveerimist, RMSNormi ning jagatud sisend- ja väljundmanuseid. Need rakenduslikud üksikasjad on eelkõige olulised riistvara või järeldustarkvara valijatele; tavakasutajad märkavad peamiselt mudeli pikka sisendimahtu ja tekstikeskset käitumist.
Uuringus määratletakse maksimaalseks konteksti pikkuseks 128K, kuid kinnitatud maksimaalset väljundtokenite piirmäära ei esitata. Seetõttu sõltub väljundi pikkus teenindusraamistikust, saadaolevast mälust ja mudeli kontekstiaknas allesjäänud ruumist. Juurutajad peaksid kontrollima valitud käituskeskkonna konfiguratsiooni, mitte eeldama universaalset väljundipiirangut.
Mida mudel suudab teha
Granite-3.1-8B-Instruct on mõeldud juhiste järgimiseks ja ettevõtetele suunatud keeletöödeks. Selle dokumenteeritud kasutusviisid hõlmavad järgmist:
- Vestlusabilised ja küsimustele vastamine
- Pikkade dokumentide või transkriptsioonide kokkuvõtete koostamine
- Dokumentidest teabe eraldamine ja dokumentide klassifitseerimine
- Otsinguga täiendatud genereerimine ehk RAG
- Mitmekeelne dialoog ja teksti teisendamine
- Koodiga seotud genereerimine ja analüüs
- Funktsioonikutsed ja tööriistapõhised töövood
RAG-süsteemis leiab eraldi otsingukomponent asjakohased tekstilõigud ja edastab need mudelile. Seejärel saab Granite-3.1-8B-Instruct vastata küsimustele esitatud konteksti põhjal. Seetõttu sobib see sisemiste teadmiste abiliste, dokumentidele küsimuste esitamise süsteemide, vastavusuuringute ja tugivahendite jaoks, kui organisatsioon soovib hoida dokumendid ja järeldamise enda keskkonnas.
IBM dokumenteerib toe 12 keelele: inglise, saksa, hispaania, prantsuse, jaapani, portugali, araabia, tšehhi, itaalia, korea, hollandi ja hiina keel. Jõudlus ei pruugi nendes keeltes olla võrdne; IBMi sõnul on inglise keel kõige ulatuslikumalt juhiste järgi häälestatud. Seetõttu tuleks mitmekeelset tuge kontrollida konkreetse juurutuse keele-, terminoloogia- ja vormistusnõuete alusel.
Tööriistade kasutamine, kodeerimine ja arutlusvõime profiil
Mudel toetab funktsioonikutsete töövooge. Funktsioonikutsed võimaldavad rakendusel kirjeldada saadaolevaid toiminguid, näiteks andmebaasist otsimist või pileti loomist, ning lasta mudelil koostada struktureeritud päringu, mille rakendus täidab. Mudel ei teosta neid väliseid toiminguid iseseisvalt; ümbritsev tarkvara peab need valideerima ja käivitama.
Granite-3.1-8B-Instructi saab kasutada koodiga seotud ülesannete puhul, sealhulgas koodi genereerimiseks, teisendamiseks ja selgitamiseks ning tehnilisest materjalist struktureeritud teabe eraldamiseks. Esitatud uuring ei kinnita konkreetset programmeerimiskeelte paremusjärjestust ega võrdlustulemust, mistõttu tuleks kodeerimiskvaliteeti testida tüüpiliste repositooriumide ja viipadega.
Seda ei esitleta spetsiaalse tipptasemel arutlusmudelina. Ligikaudu 8,1 miljardi parameetriga mudel sobib praktiliselt rakendustele, kus maksimaalsest arutlusvõimest olulisemad on juurutamise tõhusus ja taristu kontrollitavus. Andmebaasi arutlus- ja kodeerimisskoorid on toimetuslikud hindamisväljad, mitte IBMi avaldatud spetsifikatsioonid, ning neid ei tohiks käsitleda võrdlustulemustena.
Toetatud modaalsused ja olulised piirangud
Granite-3.1-8B-Instruct on tekstimudel. See võtab vastu tekstisisendit ja väljastab teksti. Esitatud mudeliteabes ei ole märgitud loomulikku pildi-, heli- ega videosisendit ega pildi-, heli-, video-, muusika- või muud mittetekstilist väljundit. Seetõttu ei saa see ilma eraldi süsteemideta otse pilti analüüsida, salvestist kuulata ega meediat genereerida; sellised süsteemid peavad need modaalsused esmalt tekstiks teisendama või meediaväljundit töötlema.
Selle muud piirangud tulenevad mudeli vanusest ja juurutusmudelist. Uuemad Granite'i põlvkonnad võivad mõnes tänapäevases ülesandes paremini toimida, kuid esitatud uuring ei sisalda otsest võrdluskatset. Mudel võib samuti anda ebatäpseid, kallutatud või ohtlikke vastuseid, mistõttu peaksid tootmisrakendused kasutama hindamist, sisendi- ja väljundikontrolle ning asjakohast inim- või automaatset ülevaatust.
Avatud kaalud annavad kontrolli, kuid kannavad vastutuse üle juurutajale. Riistvara valik, kvantimine, järeldamise teenindamine, skaleerimine, seire, turvalisus, uuendused ja töökindlus ei ole IBMi poolt automaatselt hallatud, kui mudelit majutatakse ise. Ka funktsioonikutsete väljund tuleb enne välise toimingu tegemist rakenduse poolel valideerida.
Juurutamine ja häälestamine
Mudelit saab laadida Hugging Face Transformersi teegi abil ning teenindada ühilduvate järeldussüsteemidega, nagu vLLM või SGLang. Need valikud võimaldavad meeskonnal valida lihtsa kohaliku katsetuse ja paremini skaleeruva teenindusarhitektuuri vahel. Tegelik läbilaskevõime ja mälunõuded sõltuvad riistvarast, täpsusest, kvantimisest, teenindustarkvarast, pakktöötlusest, jada pikkusest ja samaaegsete päringute arvust; esitatud uuring ei määra universaalset riistvaranõuet.
IBM kirjeldab häälestamist ühe kavandatud kasutusviisina. Häälestamise abil saab mudelit kohandada erijuhiste, ettevõttesisese terminoloogia, täiendavate keelte või kitsa töövooga. See ei kõrvalda hindamise vajadust: ka häälestatud mudel võib anda valesid või ohtlikke vastuseid ning häälestusandmed tuleb hoolikalt valida ja nende kasutamist juhtida.
Apache 2.0 litsents on oluline juurutamise eelis organisatsioonidele, kes peavad mudelit litsentsitingimuste piires kontrollima, reprodutseerima või äriliselt kasutama. Meeskonnad peaksid enne levitamist või tootmiskasutust siiski üle vaatama mudelikaardi, kõik kohaldatavad kolmandate osapoolte komponendid ning enda õigus- ja turvanõuded.
Hinnastamine ja kulud
Esitatud uuringus ei ole Granite-3.1-8B-Instructi jaoks universaalset ametlikku tokenipõhist hinda. Mudel on avatud kaaludega, seega määravad ise hostimise kulud arvutustaristu, salvestusruum, kvantimine, teenindustarkvara, liiklus ja käitamisnõuded, mitte IBMi mudeli ühe lõpp-punkti hind.
See võib muuta mudeli atraktiivseks prognoositava koormusega sisemiste töövoogude või juurutuste puhul, mis nõuavad andmete ja järeldamise üle kontrolli. See ei tähenda automaatselt, et iga juurutus on odav. Väikese koormusega katsetus võib töötada tagasihoidlikul taristul, samas kui suure läbilaskevõimega teenus võib vajada mitut kiirendit, liiasust, seiret ja tehnilist tuge. Majutatud teenused võivad pakkuda lihtsamat skaleerimist, kuid nende hinnad ja kättesaadavus sõltuvad konkreetsest teenusepakkujast ja platvormist ning neid ei ole siin kindlaks määratud.
Millal valida Granite-3.1-8B-Instruct
Valige Granite-3.1-8B-Instruct, kui vajate avatud kaaludega tekstimudelit, millel on suur kontekstiaken ja lubav litsents. See on mõistlik kandidaat järgmisteks kasutusviisideks:
- Privaatsed ettevõttesisesed abilised, mis töötlevad organisatsiooni dokumente
- Pika kontekstiga kokkuvõtete koostamine ja dokumentidele küsimuste esitamine
- RAG-süsteemid, kus otsingu- ja järeldamisvirnu hallatakse ise
- Struktureeritud teabe eraldamine, klassifitseerimine ja mitmekeelsed tekstitöövood
- Funktsioonikutsetega rakendused, mis vajavad juhiste järgi häälestatud mudelit
- Meeskonnad, kes eelistavad täielikult hallatavale API-le juurutamise üle suuremat kontrolli
Selle 8B suurusjärk võib võrreldes palju suuremate mudelitega pakkuda praktilist tasakaalu võimekuse, latentsuse ja taristukulude vahel, kuigi esitatud uuring ei sisalda universaalseid kiiruse- ega kuluvõrdlusi. See võib olla suuremast majutatud mudelist eelistatavam siis, kui andmete asukoht, reprodutseeritavus, litsentsipaindlikkus või prognoositav ise hostimine on olulisem kui maksimaalne arutluskvaliteet.
Mõni muu valik võib olla sobivam, kui rakendus vajab loomulikku pildi-, heli- või videomõistmist, meedia genereerimist, täielikult hallatud teenusepakkuja lõpp-punkti garanteeritud skaleerimisega või tipptasemel arutlusvõimet. Uute IBMi Granite'i juurutuste puhul on Granite-3.3-8B-Instruct dokumenteeritud uuem järglane ning seda tuleks hinnata koos käesoleva mudeliga. Granite-3.1-8B-Instruct on kõige veenvam siis, kui otsustavaks teguriks on selle konkreetsed kaalud, Apache 2.0 litsents, pika konteksti tugi või ühilduvus olemasoleva juurutusega.