IBM Granite-3.0-8B-Base on IBM-i Granite 3.0 mudeliperre kuuluv 8 miljardi parameetriga ainult dekooderil põhinev keelemudel. See avaldati 21. oktoobril 2024 ning on mõeldud baasmudelina: üldine eeltreenitud mudel, mida arendajad saavad kohandada konkreetsete ülesannete, tegevusalade, keelte või andmekogumite jaoks.
Kõige olulisem on mõista selle mudeli rolli. Granite-3.0-8B-Base ei ole eelkõige valmis vestlusrobot ega ole kohe kasutamiseks juhiste järgimisele häälestatud, et tagada usaldusväärne vestluskäitumine. Selle väärtus seisneb selles, et see pakub lähtekohta meeskondadele, kes soovivad luua spetsialiseeritud tekstigeneratsioonisüsteemi mudeli peenhäälestamise, domeenikohanduse või muude meetodite abil.
Mis on Granite-3.0-8B-Base?
Granite-3.0-8B-Base on eeltreenitud tekstimudel, millel on ligikaudu 8 miljardit parameetrit. Praktilises mõttes on see õppinud suuremahulisest tekstist statistilisi mustreid ja suudab teksti genereerida, kuid seda ei ole optimeeritud eelkõige loomulikus keeles antud juhiste järgimiseks nii, nagu juhiste järgi häälestatud assistenti.
IBM-i kirjelduse kohaselt treeniti Granite 3.0 baasmudelit 10 triljoni märgendi põhjal ning seejärel täiendavalt 2 triljoni valitud andmetega. Need on teenusepakkuja esitatud treeninguandmed, mitte sõltumatute võrdlustestide tulemused. Mudel on IBM-i Hugging Face'i organisatsiooni kaudu saadaval Apache 2.0 avatud kaaludega mudelina ning seda saab ka IBM watsonx.ai-s nõudmisel juurutada.
watsonxi API kanooniline identifikaator on ibm/granite-3-8b-base. Avatud kaaludega hoidlas kasutatakse identifikaatorit ibm-granite/granite-3.0-8b-base. Need identifikaatorid viitavad sama mudelipere kirjele erinevates levituskontekstides.
Koht IBM-i mudelivalikus
Granite-3.0-8B-Base kuulub IBM-i Granite 3.0 mudeliperre, mille IBM töötas välja ärikesksete tehisintellekti töökoormuste jaoks. Selles mudeliperes täidab see baasmudeli rolli. See on mõeldud kohandamiseks, mitte täielikult valmis assistendina kasutamiseks.
Seetõttu erineb see majutatud vestlustootest või mudelist, mis on valitud peamiselt otseseks juhiste järgimiseks. Granite-3.0-8B-Base'i valiv meeskond arvestab üldjuhul suurema arendustööga, saades vastu rohkem kontrolli kohandamise, juurutamise ja ülesannete spetsialiseerimise üle. IBM-i watsonx.ai pakub hallatud juurutusviisi, samas kui avatud kaaludega väljalase sobib organisatsioonidele, kes soovivad mudelit kasutada oma tööriistade või taristu abil.
Põhispetsifikatsioonid ja piirangud
| Spetsifikatsioon | Kontrollitud teave |
|---|---|
| Teenusepakkuja | IBM |
| Väljalaskekuupäev | 21. oktoober 2024 |
| Mudeli suurus | 8 miljardit parameetrit |
| Arhitektuur | Ainult dekooderil põhinev keelemudel |
| Konteksti piirang | 4096 märgendit sisendi ja väljundi peale kokku |
| Peamine väljund | Tekst |
| Avatud kaalude litsents | Apache 2.0 |
| Toetatud keeled | inglise, saksa, hispaania, prantsuse, jaapani, portugali, araabia, tšehhi, itaalia, korea, hollandi ja lihtsustatud hiina keel |
| Eraldi väljundi maksimaalne piirang | Esitatud uuringus täpsustamata |
4096 märgendi näitaja on sisendi ja väljundi peale kokku kehtiv piirang, mitte 4096 märgendi suurune sisendipiirang koos eraldi 4096 märgendi suuruse vastusepiiranguga. Pikad viibad jätavad genereeritava vastuse jaoks vähem märke. Esitatud uuringus ei ole eraldi väljundi maksimaalset seadistust tuvastatud, seega peaksid rakendused käsitlema asjakohase piiranguna kogupiirangut.
Mida see teha suudab
Mudel on mõeldud tekstigeneratsiooni töövoogude jaoks, näiteks teksti kokkuvõtete koostamiseks, teabe eraldamiseks, klassifitseerimiseks, küsimustele vastamiseks ja domeenikohanduseks. Näiteks võib ettevõte kohandada selle sisemiste dokumentide klassifitseerimiseks, äritekstist väljade eraldamiseks, aruannete kokkuvõtete koostamiseks või spetsialiseeritud korpuse põhjal küsimustele vastamiseks pärast sobiva treeningu või rakenduse tasandi juhtelementide lisamist.
Kuna tegemist on baasmudeliga, sõltub nende töövoogude kvaliteet suurel määral sellest, kuidas mudelit viibatakse, peenhäälestatakse, hinnatakse ja süsteemiga integreeritakse. Seda ei tohiks pidada automaatselt usaldusväärseks äriassistendiks ainult seetõttu, et see suudab ladusat teksti genereerida. Spetsialiseeritud juurutused vajavad endiselt faktitäpsuse, vormingu, turvalisuse ja sihtvaldkonnas toimivuse kontrollimist.
Granite-3.0-8B-Base toetab tekstisisendit ja tekstiväljundit. Esitatud spetsifikatsioonides ei ole märgitud loomulikku pildi-, heli- ega videosisendit ning mudel ei väljasta pilte, heli, videot, kõnet, muusikat, manuseid ega muud mittetekstilist väljundit. Samuti puudub kontrollitud sisseehitatud veeb otsing või loomulik tööriistade ja funktsioonide kutsumise tugi.
Kohandamine ja arendus
Kohandamine on mudeli peamine eesmärk. Peenhäälestamisega saab eeltreenitud mudelit sihtvaldkonnast pärit näidete abil konkreetse ülesande või stiili jaoks kohandada. Domeenikohandus võib muuta mudeli sobivamaks ka spetsialiseeritud terminoloogia ja dokumendimustrite töötlemiseks.
Organisatsioonid võivad eelistada avatud kaaludega levitust, kui nad vajavad suuremat kontrolli mudeli juurutamise või integreerimise üle. watsonx.ai kasutavad meeskonnad saavad selle asemel kasutada IBM-i hallatud taristut ja mudelite teenindamise keskkonda. Sobiv valik sõltub käitamisnõuetest, taristueelistustest, juhtimisvajadustest ja olemasolevast tehnilisest toest.
Kuna mudel ei ole juhiste järgimiseks häälestatud, võib vestluskäitumist vajav juurutus eeldada täiendavat häälestamist, hoolikalt kujundatud viipasid või rakendusekihti, mis haldab vestluse olekut ja väljundi valideerimist. Uuringus ei ole struktureeritud väljundi ega JSON-režiimi tuge kinnitatud, seega peaksid masinloetavaid vastuseid vajavad rakendused rakendama ja testima oma vormingu juhtelemente, mitte eeldama spetsiaalse JSON-režiimi olemasolu.
Hind ja juurdepääs
Esitatud watsonxi arendajateave loetleb sisendi hinnaks 0,0006 dollarit 1000 märgendi kohta ja väljundi hinnaks 0,0006 dollarit 1000 märgendi kohta. Need on mudeli watsonxi juurdepääsuteega seotud märgendipõhised hinnad. Tegelik saadavus, arvelduse tingimused, juurutuse konfiguratsioon ja kontonõuded võivad IBM-i teenuse ja piirkonna järgi erineda.
Mudel on Hugging Face'is saadaval ka Apache 2.0 litsentsiga avatud kaaludega väljalaskena. Avatud kaalud ei tähenda, et iga juurutus oleks tasuta: kasutajad võivad endiselt maksta arvutusvõimsuse, salvestusruumi, majutuse, arenduse, seire ja muu taristu eest. Avatud kaaludega lahendus võib siiski pakkuda rohkem juurutuspaindlikkust kui täielikult majutatud lõpp-punkt.
Võimekuse, kiiruse ja hinna kompromissid
Esitatud uuringus antud toimetuslikud võrdlushinded hindavad Granite-3.0-8B-Base'i arutlusvõime skooriks 4, programmeerimise skooriks 5, kiiruse skooriks 7 ja hinna skooriks 8. Need on toimetuslikud hinnangud, mitte IBM-i avaldatud võrdlustestide tulemused, ning neid tuleks kasutada üksnes üldiste otsustusjuhistena.
Kavandatud kompromiss on selge: 8 miljardi parameetriga baasmudel võib olla suhteliselt tõhus kohandamise alus, kuid see ei ole mõeldud pakkuma suuremate või spetsialiseeritumate tänapäevaste mudelitega võrreldavat laiapõhjalist arutlusvõimet, programmeerimisabi, multimodaalset sisendit ega tööriistade kasutamist. Loomuliku tööriistatoe puudumise tõttu peab otsingu, andmebaasidele juurdepääsu, funktsioonide täitmise ja väliste toimingute võimaldama ümbritsev rakendus.
Lühike, 4096 märgendile piiratud sisendi ja väljundi ühine kontekstiaken on veel üks praktiline piirang. Mudel võib sobida lühemate dokumentide, fokuseeritud viipade ja ülesandepõhise töötlemise jaoks, kuid pikkade aruannete, suurte otsitud tekstilõikude või pikkade vestlustega töökoormused võivad eeldada tükeldamist, kokkuvõtete koostamist, läbimõeldud otsingulahendust või pikema kontekstiaknaga mudelit.
Parimad kasutusjuhud
- Peenhäälestamine: eeltreenitud mudeli kohandamine spetsialiseeritud klassifitseerimis-, eraldamis-, kokkuvõtete koostamise või genereerimisülesande jaoks.
- Domeenikohandus: töö tööstusharu terminoloogia, organisatsioonisisese keele või mitmekeelse tekstiga.
- Kontrollitud tekstitorud: rakenduste loomine, kus ümbritsev tarkvara valideerib ja suunab mudeli väljundit.
- Privaatne või paindlik juurutus: avatud kaaludega väljalaske kasutamine, kui juurutuse kontroll on oluline.
- Kuluteadlik järeldamine: tekstikoormuste töötlemine, mille puhul väiksemast mudelist piisab ning rakendus ei vaja täiustatud arutlusvõimet ega multimodaalseid funktsioone.
Millal see mudel valida
Valige Granite-3.0-8B-Base siis, kui teie prioriteet on kohandatav tekstialus, mitte kohe võimekas vestlusassistent. See on mõistlik valik, kui teil on treeningandmed, hindamisprotsess ja piisav tehniline võimekus baasmudeli ümber ülesandespetsiifilise käitumise loomiseks.
See võib sobida ka organisatsioonidele, kes hindavad IBM-i ettevõtetele mõeldud mudeliökosüsteemi, kuid soovivad avatud kaaludega lahendust, watsonxi juurutusvõimalust või mõlemat. Apache 2.0 levitus võib olla eriti oluline siis, kui meeskond peab mudelit uurima või haldama otsesemalt, kui suletud majutatud mudel seda võimaldab, võttes arvesse organisatsiooni enda õiguslikku, turbe- ja käitamiskontrolli.
Millal võib parem olla mõni teine lahendus
Kohe kasutamiseks valmis juhiste järgi häälestatud mudel on tõenäoliselt parem valik siis, kui kasutajad vajavad usaldusväärset vestlusinteraktsiooni vähese või olematu täiendava treeninguga. Suurem või rohkem arutlusele keskenduv mudel võib olla sobivam keerukaks mitmeetapiliseks analüüsiks, raskemate programmeerimisülesannete jaoks või probleemide puhul, mis ületavad 8 miljardi parameetriga baasmudelilt eeldatava võimekuse.
Valige multimodaalne mudel siis, kui rakendus peab mõistma pilte, heli või videot. Valige loomuliku tööriistakutsete toega mudel või platvorm siis, kui süsteem peab käivitama funktsioone, otsima veebist, pärima teenuseid või tegema väliseid toiminguid. Pikkade dokumentide või pikkade vestluste korral võib suurema kontekstiaknaga mudel vähendada vajaliku eeltöötluse mahtu.
Kokkuvõte
Granite-3.0-8B-Base'i tuleks mõista kui kohandatavat IBM-i baasmudelit, mitte valmis üldotstarbelist vestlusrobotit. Selle tugevused on avatud kaaludega saadavus, Apache 2.0 litsents, tekstikeskne ülesehitus, mitmekeelne tugi ning sobivus peenhäälestamiseks ja domeenipõhisteks töövoogudeks. Piirangute hulka kuuluvad 4096 märgendile piiratud sisendi ja väljundi ühine kontekstiaken, kinnitatud loomuliku multimodaalse või tööriistavõimekuse puudumine ning täiendav arendustöö, mida nõuab asjaolu, et mudel ei ole juhiste järgi häälestatud.
Meeskondadele, kes on valmis mudelit kohandama ja hindama, pakub see suhteliselt kuluteadlikku alust spetsialiseeritud tekstirakenduste jaoks. Kasutajatele, kes soovivad kohe head vestluskvaliteeti, multimodaalset suhtlust, sisseehitatud tööriistu või täiustatud arutlusvõimet ilma põhjaliku kohandamiseta, sobib tõenäoliselt paremini mõni teist tüüpi mudel.