Mis on Granite-3.1-8B-Base?
Granite-3.1-8B-Base on IBM-i Granite 3.1 mudeliperre kuuluv eeltreenitud autoregressiivne keelemudel. Sellel on ligikaudu 8,1 miljardit parameetrit ning see kasutab ainult dekooderiga tihedat Transformeri arhitektuuri. Praktikas ennustab ja genereerib see teksti, kuid tegemist on baasmudeliga, mitte valmis vestlusassistendiga.
See erinevus on oluline. Baasmudel on edasise arenduse alus: meeskond saab seda domeenispetsiifiliste näidete põhjal peenhäälestada, kohandada parameetrisäästlike meetoditega või luua rakenduse, mis annab mudelile ülesandepõhised juhised ja turvameetmed. See ei ole sama mis juhiste järgi peenhäälestatud mudel, mis on optimeeritud tavakasutaja päringutele kohe vastama.
IBM teeb mudeli allalaaditava kontrollpunktina kättesaadavaks Apache 2.0 litsentsi alusel. IBM loetleb ka granite-3-1-8b-base häälestamiseks ning spetsiaalseks tellitavaks juurutuseks watsonx.ai keskkonnas. Allalaaditav mudel ja IBMi hallatav juurutus on seega sama mudelipere kasutamiseks kaks eri võimalust: ise hallatav taristu pakub rohkem kontrolli, samas kui watsonx.ai pakub IBMi hallatavat ettevõtetele mõeldud juurutusviisi.
Kontrollitud tehnilised andmed lühidalt
| Tehniline näitaja | Üksikasjad |
|---|---|
| Teenusepakkuja | IBM |
| Mudelipere | Granite 3.1 |
| Mudeli tüüp | Eeltreenitud, ainult dekooderiga tihe Transformeri keelemudel |
| Ligikaudne suurus | 8,1 miljardit parameetrit |
| Kontekstiaken | 131 072 tokenit, mida kirjeldatakse sageli kui 128K |
| Väljalaskekuupäev | 18. detsember 2024 |
| Litsents | Apache 2.0 |
| Dokumenteeritud keeled | inglise, saksa, hispaania, prantsuse, jaapani, portugali, araabia, tšehhi, itaalia, korea, hollandi ja hiina keel |
| Põhivorming | Tekstisisend ja tekstiväljund |
| Maksimaalne väljundtokenite arv | Esitatud IBMi uurimismaterjalides täpsustamata |
| Avalik tokenipõhine hind | Selle täpse allalaaditava mudeli kohta avaldatud ei ole |
131 072 tokeni näitaja tähistab sisendi ja väljundi kombineeritud kontekstilimiiti. See ei tähenda, et iga päring võib anda 131 072 väljundtokenit. Esitatud dokumentatsioonis ei määratleta eraldi maksimaalse väljundi seadistust, seega peaksid rakendused käsitlema dokumenteeritud kontekstipikkust kogu päringu eelarvena, mitte väljundi lubatud mahuna.
Pikk kontekst ja keeleline tugi
Mudeli kõige selgem tehniline eripära on pikk kontekst. 131 072 tokeni suurune aken võimaldab töödelda märksa suuremaid dokumente või tekstilõikude kogumeid kui lühikese kontekstiga mudel, sõltuvalt juurutuskeskkonnas saadaolevast mälust ja jõudlusest. Sobivad kasutusnäited on pikkade aruannete analüüsimine, väljade eraldamine mahukatest lepingutest, suurte tehniliste dokumentide kokkuvõtete koostamine või küsimustele vastamine ulatusliku tekstikogu põhjal.
IBM dokumenteerib toe 12 keelele: inglise, saksa, hispaania, prantsuse, jaapani, portugali, araabia, tšehhi, itaalia, korea, hollandi ja hiina keel. IBM märgib ka, et Granite 3.1 mudeleid saab peenhäälestada täiendavate keelte jaoks. See kirjeldab võimalikku kohandamisviisi, mitte võrdse kasutusvalmiduse garantiid kõigis keeltes.
Pikk kontekst on kasulik ainult siis, kui rakendus suudab asjakohast teksti tõhusalt edastada ning juurutus saab hakkama sellega kaasnevate arvutus- ja mälunõuetega. Paljude väikeste päringute puhul ei muuda 128K suurune aken mudelit automaatselt täpsemaks ega odavamaks. Eelis ilmneb siis, kui töökoormus nõuab päriselt pikkade dokumentide, mitme kirje või ulatusliku vestlusajaloo töötlemist.
Milleks mudel on mõeldud?
Granite-3.1-8B-Base on mõeldud tekstist tekstiks töökoormusteks ja mudeli kohandamiseks. IBM nimetab kasutusvaldkondadena kokkuvõtete koostamist, teksti klassifitseerimist, teabe eraldamist ja küsimustele vastamist. Baasmudeli ülesehitus sobib ka meeskondadele, kes soovivad üldotstarbelise muutmata assistendi asemel luua domeenispetsiifilise variandi.
- Pikkade dokumentide kokkuvõtete koostamine: aruannete, juhendite ja muude mahukate tekstisisendite lühendamine.
- Teabe eraldamine: struktureerimata teksti teisendamine väljadeks, nagu üksused, kuupäevad, klassifikatsioonid või ärilised atribuudid.
- Teksti klassifitseerimine: dokumentide, tugipäringute, kirjete või domeenispetsiifilise sisu kategoriseerimine pärast sobivat kohandamist.
- Küsimustele vastamine: etteantud teksti põhjal küsimustele vastamine, eriti juhul, kui asjakohane lähtematerjal on pikk.
- Domeenispetsiifiline peenhäälestus: mudeli kohandamine organisatsiooni sõnavara, vormingute ja näidetega.
- Ise hallatav järeldamine: allalaaditava kontrollpunkti käitamine juurutava organisatsiooni valitud ja hallatavas taristus.
Need on rakendusmustrid, mitte mudelisse sisseehitatud toote töövood. Baaskontrollpunkt ei paku iseenesest dokumendiandmebaasi, otsingusüsteemi, veeb otsingut, äriprotsessi ega garanteeritud struktureeritud vastuse vormingut. Need funktsioonid tuleb lisada rakendusse või ümbritsevasse juurutusplatvormi.
Peenhäälestus ja juurutusvõimalused
IBM kirjeldab Granite-3.1-8B-Base'i mudelina, mis sobib häälestamiseks. Esitatud uurimismaterjalides viidatakse muu hulgas LoRA-le ning mõnes watsonx.ai keskkonnas täielikule peenhäälestusele või QLoRA-le. LoRA ehk Low-Rank Adaptation muudab kogu algse mudeli ümberõppimise asemel suhteliselt väikest hulka täiendavaid parameetreid. See võib vähendada mudeli kohandamiseks vajalikke ressursse, kuigi tegelik kulu ja toetatud töövoog sõltuvad valitud keskkonnast.
Hallatud kasutuse jaoks loetleb IBM mudeli spetsiaalseks tellitavaks juurutuseks watsonx.ai keskkonnas. Ise hallatava kasutuse korral viitab mudelikaart allalaaditavale Hugging Face'i kontrollpunktile, mida saab kasutada standardsete Transformersi tööriistadega. Need võimalused on suunatud erinevatele operatiivsetele prioriteetidele. Hallatud juurutus võib lihtsustada ligipääsu ja sobituda ettevõtte juhtimisprotsessidega; ise majutatud juurutus võib anda suurema kontrolli taristu, andmekäitluse ja mudelite teenindamise üle, kuid seadistamise, seire, skaleerimise ja turvalisuse eest vastutamine jääb juurutava meeskonna kanda.
Apache 2.0 litsents on oluline osa mudeli positsioneerimisest. See annab organisatsioonidele paindliku litsentsimisvõimaluse kontrollpunkti kasutamiseks ja kohandamiseks, arvestades litsentsi tingimusi ning eraldi kohustusi, mis võivad kehtida ümbritsevale tarkvarale, andmetele või teenusele.
Modaalsused, tööriistad ja arutlusvõime
Granite-3.1-8B-Base'i kirjeldatakse tekstipõhise mudelina. See võtab vastu teksti ja väljastab teksti. Esitatud uurimismaterjalides ei tuvastata loomulikku võimekust töödelda pilte, heli, videot, kõnet ega muusikat ega luua manuseid, esitades vektorrepresentatsioone või muud multimodaalset väljundit.
Samuti ei ole dokumenteeritud sisseehitatud veebiotsingut, funktsioonikutseid, tööriistade orkestreerimist ega toimingute täitmist. Arendaja võib paigutada mudeli rakendusse, mis hangib dokumente, kutsub väliseid tööriistu või valideerib loodud andmeid, kuid need võimalused kuuluvad rakenduskihile, mitte baaskontrollpunktile endale. Uurimismaterjalid ei kinnita ka loomulikku JSON-režiimi ega sunnitud struktureeritud väljundi funktsiooni.
Kuna tegemist on baasmudeliga, ei tohiks seda käsitleda arutlemisele spetsialiseerunud või turvalisuse järgi kohandatud assistendina. See võib luua teksti, mis toetab küsimustele vastamist, analüüsi ja muid arutluslaadseid ülesandeid, kuid esitatud dokumentatsioon ei tõenda spetsiaalset arutlusrežiimi, arutluse eelarvet ega garanteeritud samm-sammulise mõttekäigu käitumist. IBM hoiatab, et Granite'i baasmudelid ei ole turvalisuse seisukohast kohandatud samal viisil nagu juhiste järgi peenhäälestatud mudelid. Tootmissüsteemidesse tuleks lisada hindamine, filtreerimine, seire ja domeenispetsiifiline valideerimine.
Peamised tugevused ja piirangud
Granite-3.1-8B-Base'i tugevaim külg on kontrollitud kohandatavus. Ligikaudu 8,1 miljardi parameetri, pika konteksti, mitmekeelse toe, paindliku litsentsi, häälestamisvõimaluste ja ise hallatava kättesaadavuse kombinatsioon annab organisatsioonidele praktilise aluse spetsialiseeritud tekstisüsteemide loomiseks. See võib sobida paremini kui suletud ja vestlusele keskenduv teenus juhul, kui meeskond peab mudelit kohandama, juurutust kontrollima või selle olemasolevasse ettevõttekeskkonda integreerima.
Sama olulised on mudeli piirangud. See ei ole juhiste järgi peenhäälestatud, seega ei tohiks arendaja oodata valmisassistendile omast viimistletud juhiste järgimise käitumist. Kontrollitud loomulikku tööriistakasutust, veebipõhist alustamist, multimodaalset töötlemist, struktureeritud väljundi jõustamist ega rakendustaseme turvakihti mudelil ei ole. Samuti puudub täpse allalaaditava mudeli jaoks universaalne avalik tokenipõhine hind ning hallatava watsonx.ai kasutuse hind sõltub kohaldatavast teenusest ja juurutuse konfiguratsioonist.
8,1 miljardi parameetri suurus võib olla atraktiivne organisatsioonidele, kes tasakaalustavad võimekust, taristunõudeid ja kasutuskulusid, kuid esitatud uurimismaterjalid ei anna riistvaranõudeid ega võrdlustestide tulemusi. Seetõttu tuleks kõiki väiteid läbilaskevõime, latentsuse või kogu teeninduskulu kohta kontrollida kavandatud riistvara ja töökoormusega, mitte tuletada neid üksnes parameetrite arvust.
Millal seda mudelit valida?
Vali Granite-3.1-8B-Base siis, kui peamine vajadus on kohandatav tekstimudel, mitte kohe kasutatav vestlusrobot. See sobib eriti juhul, kui soovid:
- peenhäälestada mudelit sisemise domeeni või spetsiaalse dokumendivormingu jaoks;
- töödelda ühe päringu raames pikki dokumente või mitut tekstiallikat;
- juurutada Apache 2.0 litsentsi alusel avatud kaaludega mudeli;
- toetada mitut dokumenteeritud Euroopa, Aasia või Lähis-Ida keelt;
- käitada järeldamist ise või kasutada IBMi spetsiaalset watsonx.ai juurutusviisi; või
- luua ise otsingu, tööriistakutsete, valideerimise ja turvalisuse kihid.
Mõni muu võimalus võib olla sobivam juhul, kui prioriteediks on juhiste otsene järgimine, usaldusväärne vestluskäitumine, loomulik tööriistakutsete tugi, veebiallikatele toetuvad vastused, pildi- või helitöötlus või teenusepakkuja hallatav assistendikogemus. Juhiste järgi peenhäälestatud järeltulija või muu vestlusele suunatud mudel nõuab selliste stsenaariumide puhul üldjuhul vähem rakendusepõhist tööd. Väiksem mudel võib olla eelistatav väga suure mahuga ja väikese latentsusega ülesannete puhul, samas kui suurem spetsialiseeritud mudel võib olla parem siis, kui keeruline arutlemine või genereerimise kvaliteet on juurutuse tõhususest olulisem. Neid kompromisse tuleks hinnata ülesandespetsiifiliste testidega; esitatud uurimismaterjalid ei sisalda võrdluskatsete tulemusi.
Hind ja kättesaadavus
IBM ei avalda esitatud uurimismaterjalides allalaaditava Granite-3.1-8B-Base'i kontrollpunkti jaoks universaalset avalikku tokenipõhist hinda. Avatud kaaludega mudeli saab Apache 2.0 litsentsi alusel hankida IBMi ametlikust mudelihoidlast, kuid ise hallatava kasutusega kaasnevad endiselt taristu-, teenindus-, hooldus- ja seirekulud.
IBM loetleb mudeli tellitavaks spetsiaalseks juurutuseks ja häälestamiseks watsonx.ai keskkonnas. Selle hallatava võimaluse hind sõltub IBMi teenuse konfiguratsioonist ja juurutustingimustest, mitte ühest kogu mudelipere hõlmavast hinnast. Huvitatud kasutajad peaksid praeguse kättesaadavuse, toetatud häälestusmeetodid, piirkonna ja kommertshinnad üle kontrollima otse asjakohases watsonx.ai keskkonnas.
Kokkuvõttes on Granite-3.1-8B-Base kõige mõistlikumalt käsitletav pika konteksti ja avatud kaaludega lähtepunktina spetsialiseeritud tekstirakendustele. Selle väärtus ei seisne niivõrd valmis vestluselamuses, kuivõrd võimaluses anda arendajatele ja ettevõtete meeskondadele mudel, mida saab häälestada ja juurutada ning mille ümber saab luua oma otsingu-, tööriista-, juhtimis- ja turvamehhanismid.