granite-8b-japanese

Mis on granite-8b-japanese?

granite-8b-japanese on IBM Researchi alusmudel, millel on ligikaudu 8 miljardit parameetrit. See on juhiste järgi häälestatud ainult dekooderiga transformer-mudel, mis tähendab, et see genereerib teksti juhise või viiba põhjal, mitte ei toimi ainult klassifitseerimisele või tõlkimisele mõeldud süsteemina. IBM kavandas selle spetsiaalselt jaapani ja inglise keele töötlemiseks, keskendudes jaapanikeelse teksti esitamisele ja ettevõtete keeletöötlusülesannetele.

Mudeli dokumenteeritud kasutusalad hõlmavad jaapani- ja ingliskeelse teksti genereerimist, kokkuvõtete koostamist, klassifitseerimist, teabe eraldamist, küsimustele vastamist ning jaapani ja inglise keele vahelist tõlkimist. Seega on seda kõige täpsem käsitleda kompaktse kakskeelse keelemudelina, mille eripäraks on jaapani keel, mitte laia valiku tänapäevaste tarbijafunktsioonidega üldotstarbelise assistendina.

IBM avaldas versiooni 1.0 29. veebruaril 2024. Hilisemates IBM-i elutsükli dokumentides märgiti see watsonx.ai versioonis 2.1.2 aegunuks, eemaldati watsonx.ai-st versioonis 2.2.0 ning märgiti IBM Software Hubi versioonis 5.2.0 kasutuselt kõrvaldatuks. IBM nimetab alternatiivse alusmudelina granite-3-8b-instructi.

Koht IBM-i kataloogis

granite-8b-japanese kuulub IBM-i Granite'i alusmudelite perekonda ja loodi kasutamiseks IBM-i ettevõtetele mõeldud tehisintellekti ökosüsteemis. Algselt oli see IBM-i alusmudelite valikus jaapani keelele keskenduv mudel, mis täiendas laiema keele- või ülesannete toega mudeleid.

See olukord on muutunud, sest mudel ei ole enam uute watsonx.ai või IBM Software Hubi juurutuste jaoks praegune valik. See võib endiselt olla oluline olemasoleva süsteemi dokumenteerimisel, varasema hindamise kordamisel või pärandrakenduse uurimisel, kuid uus projekt ei tohiks eeldada, et mudelit saab endiselt valida või juurutada. Kättesaadavust tuleb kontrollida konkreetse IBM-i tooteversiooni ja juurutuskeskkonna põhjal.

Esitatud IBM-i dokumentatsioonis nimetatud lähim toetatud suund on granite-3-8b-instruct. Seda mudelit mainitakse soovitatava alternatiivina, kuid kättesaadav uurimismaterjal ei paku täielikku kõrvutist spetsifikatsiooni ega garanteeri pärast migreerimist identseid väljundeid. Seetõttu tuleks asendusmudeli hindamisel testida jaapani keele kvaliteeti, vormingut, latentsust, viipade ühilduvust ja rakenduse täpsust, mitte käsitleda järglast automaatselt asendusena.

Tehnilised andmed

4096 tokeni piirang tähistab kogu kontekstiakent, mitte tingimata 4096 tokeni suurust sisendilimiiti. Viip, hangitud dokumendid, vestluse ajalugu ja genereeritud vastus peavad mahtuma ühisesse limiiti. Praktikas jätab pikk viip vastuse jaoks vähem ruumi. Suuri dokumente töötlevad rakendused peaksid enne mudelile saatmist dokumendid tükeldama, kokku võtma või neist väiksemad lõigud välja otsima.

Esitatud dokumentatsioon ei määra eraldi maksimaalset väljundtokenite arvu. Usaldusväärne kavandamisel arvestatav piir on kogu 4096-tokenine kontekstiaken. Samuti ei ole selle täpse mudeli kohta dokumenteeritud teadmiste lõppkuupäeva.

Keele- ja treeningulahendus

IBM kirjeldab mudelit kui jaapani-inglise keele tokeniseerijaga mudelit, mis on treenitud levinud jaapani tähemärkide ja märgijadade tõhusaks esitamiseks. Tokeniseerimine on jaapani keele rakendustes oluline, sest lause esitamiseks kasutatavate tokenite arv ja piirid mõjutavad nii konteksti kasutust kui ka genereerimise tõhusust. Jaapani teksti arvestav tokeniseerija võib muuta mudeli fikseeritud konteksti eelarve jaapanikeelsete viipade puhul praktilisemaks kui tokeniseerija, mis töötleb seda keelt vähem tõhusalt.

IBM-i andmetel treeniti mudelit ligikaudu 1,0 triljoni ingliskeelse, 0,5 triljoni jaapanikeelse ja 0,1 triljoni kooditokeniga. Mudel treeniti Megatronil põhineva hajustreeningu abil, kasutades tensori- ja konveierparalleelsust. Arhitektuur sisaldab Group-Query Attention'it, Rotary Position Embeddings'i, SwiGLU aktiveerimisi ja Root Mean Square Layer Normalization'it. Need on IBM-i mudelidokumentatsioonist pärit rakendusdetailid; neid ei tohiks tõlgendada konkreetse vastusekvaliteedi või latentsuse garantiina igas juurutuses.

Juhiste järgi häälestatud versioon lähtestati eeltreenitud Granite Base 8 Billion Japanese mudelist. Juhiste järgi häälestamine muudab mudeli ülesandekirjeldustele vahetumalt reageerivaks, mis on kasulik näiteks päringute „võta see jaapanikeelne lõik kokku” või „eralda nimega üksused” korral, kuid see ei muuda mudelit kontrollitud tööriistu kasutavaks agendiks ega üldiseks tarkvaraarendusmudeliks.

Võimekus ja praktilised kasutusalad

granite-8b-japanese sobib kõige paremini tekstitöötluseks, kus jaapani keele käitumine on laia funktsioonivalikuga võrreldes olulisem. Sobivad ülesanded on järgmised:

• Jaapani- või ingliskeelse teksti genereerimine juhise põhjal.
• Jaapanikeelsete äri-, tehniliste või haldusmaterjalide kokkuvõtete koostamine.
• Dokumentide, sõnumite või tugipäringute klassifitseerimine.
• Väljade, üksuste või muu struktureeritud teabe eraldamine tekstist.
• Esitatud sisu kohta küsimustele vastamine.
• Jaapani ja inglise keele vaheline tõlkimine.
• Pärandettevõtte töövoogude toetamine, mida on selle konkreetse mudeliga valideeritud.

Näiteks võiks organisatsioon kasutada mudelit jaapanikeelsete kliendipäringute klassifitseerimiseks, jaapanikeelsetelt vormidelt väljade eraldamiseks või sisemise aruande lühema versiooni koostamiseks. Kuna kontekstiaken on piiratud, peaksid dokumenditöötlussüsteemid saatma mudelile tervete suurte failide asemel ainult asjakohased osad.

IBM teatas hindamistest jaapanikeelsetel ja mitmekeelsetel andmekogumitel, sealhulgas JCommonsenseQA, JNLI, MARC-ja, JSQuAD, JAQKET, XLSum-ja, XWinograd-ja ja mitmekeelsel algkoolitaseme matemaatikal. Esitatud null-laskmise tulemused hõlmasid JCommonsenseQA täpsust 0.7078, JSQuAD-i F1-skoori 59.3862 ja JAQKET v2 F1-skoori 60.3066. Need on mudelidokumentatsioonis esitatud teenusepakkuja hindamistulemused, mitte konkreetse rakenduse, viibavormingu või juurutuskonfiguratsiooni garantiid.

Modaalsused, arutlemine, kodeerimine ja tööriistad

granite-8b-japanese on dokumenteeritud tekstimudelina. Esitatud mudeliteave ei kinnita pildi-, heli- ega videosisendi tuge ega otsest pildi-, heli-, video-, kõne- või muusikaväljundit. Seda ei tohiks valida multimodaalseks dokumendimõistmiseks ega meedia genereerimiseks.

Mudel suudab järgida juhiseid ja täita arutlemist meenutavaid keeleülesandeid, näiteks vastata küsimustele, klassifitseerida teksti või eraldada teavet. Uurimismaterjalides ei ole siiski nimetatud spetsiaalset arutlusrežiimi, pikendatud mõtlemise funktsiooni ega spetsiaalset arutlemise treeningut. Täpsem on kirjeldada seda juhiste järgi häälestatud keelemudelina, mitte arutlusmudelina.

IBM ütleb sõnaselgelt, et granite-8b-japanese'i ei ole kavandatud, testitud ega toetatud koodiga seotud kasutusjuhtudeks. Mõne kooditokeni sisaldumine eeltreeninguandmetes ei muuda seda tootepõhist juhist. Kodeerimisabilised, koodi genereerimine, koodi käivitamine ja tarkvaraarenduse töövood peaksid seetõttu kasutama mudelit, mille puhul on sellised ülesanded konkreetselt dokumenteeritud.

Esitatud spetsifikatsioonid ei kinnita selle mudeli loomulikku tööriistakutset, funktsioonikutseid, veebotsingut, koodi käivitamist ega agenditoiminguid. Rakendus võib potentsiaalselt paigutada mudeli teksti suuremasse tarkvaratöövoogu, kuid see erineb teenusepakkuja dokumenteeritud tööriistakasutuse võimekusest ning seda ei tohiks eeldada ilma vastavat IBM-i liidest testimata.

Hind ja juurdepääs

Esitatud uurimismaterjalides ei ole mudelipõhist sisendi- ega väljundihinda. Kuna IBM tegi mudeli kättesaadavaks IBM-i toodete ja pakkumiste kaudu, sõltusid selle ajalooline juurdepääs ja ärilised tingimused asjakohasest IBM-i keskkonnast, mitte kättesaadavates allikates dokumenteeritud eraldiseisvast avalikust hinnast. Tulevased kasutajad ei tohiks järeldada praegust tokenipõhist hinda mudeli parameetrite arvu ega üldise watsonx.ai hinnastuse põhjal.

Veelgi olulisem on see, et mudeli praegust kättesaadavust piirab selle elutsükli olek. IBM-i dokumentatsiooni järgi eemaldati see watsonx.ai-st ja kõrvaldati IBM Software Hubis kasutuselt. Olemasoleva juurutusega meeskonnal võib olla juurdepääs säilitatud või vanema keskkonna kaudu, kuid uued kasutajad peaksid enne selle põhjal planeerimist IBM-ilt otse kinnitama mudeli identifikaatorid, tooteversioonid, piirkonnad ja juurutusõigused.

Peamised tugevused ja piirangud

Tugevused

• Jaapani keele spetsialiseeritus: Mudel loodi jaapani-inglise keele tokeniseerijaga ning suunati jaapanikeelsetele kasutusjuhtudele.
• Kasulik ülesannete valik: See toetab genereerimist, kokkuvõtete koostamist, klassifitseerimist, eraldamist, küsimustele vastamist ning jaapani ja inglise keele vahelist tõlkimist.
• Mõõdukas mudelisuurus: Ligikaudu 8 miljardi parameetriga on see väiksem kui paljud suured üldotstarbelised mudelid, kuigi uurimismaterjalid ei paku juurutusepõhist kiirusgarantiid.
• Dokumenteeritud ettevõttekontekst: Selle mudelikaart, treeningukirjeldus, hindamisandmed ja elutsükli olek on IBM-i dokumentatsioonis kirjeldatud.

Piirangud

• Kasutuselt kõrvaldatud olek: See ei ole tavapäraste uute juurutuste jaoks enam IBM-i praegune mudel.
• Lühike kontekst: 4096-tokenine koguaken piirab pikkade dokumentide, pikemate vestluste ja suurte otsingukontekstide töötlemist.
• Toetamata kodeerimissuunitlus: IBM välistab koodiga seotud kasutusjuhud.
• Ainult tekst: Kinnitatud multimodaalse sisendi ega meedia genereerimise võimekust ei ole.
• Dokumenteeritud praegune hind puudub: Esitatud uurimismaterjalid ei määra eraldiseisvat avalikku hinda.
• Migreerimisrisk: Soovitatud alternatiivile üleminek võib nõuda viipade, kvaliteedi ja regressioonide testimist.

Millal seda mudelit valida?

Vali granite-8b-japanese ainult siis, kui olemasolev IBM-i pärandjuurutus sellest juba sõltub, kui ajalooliste tulemuste kordamine on oluline või kui organisatsioonil on kontrollitud ja toetatud keskkond, kus mudel on olemas. Selle keskendumine jaapani keelele ja dokumenteeritud ülesannete valik võivad muuta selle sobivaks olemasoleva klassifitseerija, eraldaja, kokkuvõtete koostamise toru või kakskeelse töövoo hooldamiseks.

Uue projekti puhul on üldjuhul sobivam mõni teine praegune IBM-i mudel, eelkõige alternatiiv, millele IBM oma elutsükli dokumentatsioonis viitab. Praegune valik on eelistatav, kui projekt vajab toetatud juurutust, jätkuvat hooldust, dokumenteeritud hinnastamisvõimalust, paremat jaapani keele kvaliteeti, pikemat konteksti, kodeerimise tuge või lõimumist platvormi praeguste funktsioonidega. Meeskonnad peaksid enne migreerimist asendusmudelit tüüpiliste jaapanikeelsete sisenditega võrdlema.

Suurema üldotstarbelise mudeliga võrreldes võib granite-8b-japanese tunduda atraktiivne juhul, kui piisab väiksemast jaapani keelele keskenduvast mudelist, kuid esitatud uurimismaterjalid ei paku usaldusväärseid juurutustaseme latentsuse või kulude mõõtmisi. Mudeli suuruse põhjal üksi ei saa järeldada, et see on konkreetses IBM-i konfiguratsioonis kiirem või odavam. Praktiline kompromiss on seega selge: säilita see ühilduvuse ja valideeritud pärandkäitumise tõttu, kuid ära vali seda uue töö jaoks üksnes seepärast, et sellel on 8 miljardit parameetrit.

Kokkuvõte

granite-8b-japanese oli IBM-i spetsialiseeritud mudel jaapani- ja ingliskeelse teksti töötlemiseks, mille kogu kontekstiaken oli 4096 tokenit ning mille dokumenteeritud võimekus hõlmas genereerimist, kokkuvõtete koostamist, klassifitseerimist, eraldamist, küsimustele vastamist ja tõlkimist. Selle arhitektuur ja treeningulahendus on IBM-i jaapanikeelse Granite'i töö mõistmiseks endiselt olulised, kuid tänapäeval on otsustav selle tootestaatus. IBM on mudeli aegunuks tunnistanud, eemaldanud ja kasutuselt kõrvaldanud ning soovitab alternatiivina granite-3-8b-instructi. Seetõttu tuleks seda käsitleda pärandmudelina, mitte praeguse valikuna uute tootmissüsteemide jaoks.