Mis oli Granite 20B Multilingual
Granite 20B Multilingual oli IBM Researchi välja töötatud 20 miljardi parameetriga ainult dekooderiga transformer-mudel. Ainult dekooderiga mudel genereerib teksti ühe märgi kaupa, mistõttu sobib see teksti lõpetamiseks ja genereerimiseks, küsimustele vastamiseks, kokkuvõtete koostamiseks ning muudeks keeletöötlusülesanneteks. IBM tuvastas mudeli keskkonnas watsonx.ai kui granite-20b-multilingual.
Mudel oli loodud spetsiaalselt viie keele jaoks: inglise, saksa, hispaania, prantsuse ja portugali keel. Selle eesmärk oli ettevõtete keeletöötlus, eriti olukordades, kus rakendusel oli määratletud lähtematerjal või kontrollitud valdkond. See positsioneerimine on oluline: mudelit ei esitletud üldotstarbelise tarbijatele mõeldud vestlusrobotina, programmeerimisele spetsialiseerunud mudelina ega pildi-, heli- või videotöötluseks mõeldud mudelina.
IBM avaldas algse mudeli 15. märtsil 2024. Versioon 1.1.0 järgnes 18. aprillil 2024. IBM kirjeldas hilisemat versiooni kui mudelit, millesse oli integreeritud ulatuslik sihipärane joondamine, mille eesmärk oli parandada vastuste kvaliteeti, mitme vooruga vestlusi, turvalisust, kallutatuse vähendamist ning esitatud sisul põhinevaid vastuseid.
Peamised ülesanded ja kasutusjuhud
Granite 20B Multilingual oli mõeldud tekstiülesanneteks, mille puhul rakendus peab mõistma või genereerima sisu ühes toetatud keeltest. IBM nimetas kavandatud kasutusviisidena suletud domeeniga küsimustele vastamist, otsinguga täiendatud genereerimist (RAG), kokkuvõtete koostamist, andmete eraldamist, klassifitseerimist ja teksti genereerimist.
- Suletud domeeniga küsimustele vastamine: küsimustele vastamine määratletud teadmistebaasi, näiteks ettevõttesisese dokumentatsiooni või eeskirjade kogumi põhjal.
- Otsinguga täiendatud genereerimine: otsitud dokumentide ühendamine viibaga, et genereeritud vastused põhineksid esitatud teabel.
- Kokkuvõtete koostamine: aruannete, kirjavahetuse või muu teksti lühendamine, säilitades samal ajal olulise teabe.
- Teabe eraldamine: struktureeritud faktide, olemite või väljade tuvastamine struktureerimata mitmekeelses tekstis.
- Klassifitseerimine: dokumentide, sõnumite või kirjete määramine teadaolevatesse kategooriatesse.
- Mitmekeelne genereerimine ja tõlkega seotud töövood: teksti loomine või teisendamine inglise, saksa, hispaania, prantsuse ja portugali keeles.
Need kasutusjuhud eeldavad mudelilt ärisisu järjepidevat töötlemist mitmes keeles. Need ei pruugi nõuda võimalikult laialdasi üldteadmisi ega täiustatud agendivõimekust. Praktikas sõltuks RAG-rakenduse toimivus siiski otsingusüsteemi ja lähtedokumentide kvaliteedist; mudel ise ei taga, et vastus on faktiliselt õige või ajakohane.
Tehnilised näitajad ja piirangud
| Näitaja | Kontrollitud teave |
|---|---|
| Pakkuja | IBM Research |
| Mudeli suurus | 20 miljardit parameetrit |
| Arhitektuur | Ainult dekooderiga transformer |
| Toetatud keeled | inglise, saksa, hispaania, prantsuse ja portugali keel |
| Kontekstiaken | 8192 tokenit, sealhulgas sisend ja väljund |
| Avaldamiskuupäev | 15. märts 2024 |
| watsonx.ai standardolek | Standardpakkumisest eemaldatud 16. aprillil 2025 |
Dokumenteeritud kontekstiaken on kokku 8192 tokenit. See on viiba ja genereeritud vastuse ühine maht, mitte 8192-tokeniline sisendipiirang koos eraldi 8192-tokenilise väljundipiiranguga. Seetõttu võib pikki lähtedokumente olla vaja enne mudelile saatmist lühendada, osadeks jagada või otsingu abil töödelda.
IBM kirjeldas arhitektuuri, milles kasutatakse mitme päringuga tähelepanu (multi-query attention), StarCoderi tokeniseerijat, Flash Attention 2-te ja õpitud absoluutseid positsioonimanuseid. Mudelikaardi kohaselt treeniti mudelit enam kui 2,6 triljoni tokeniga, millest ligikaudu 500 miljardit olid keelespetsiifilised tokenid. Need on pakkuja või mudelikaardi andmed, mitte sõltumatud toimivusgarantiid.
8 192-tokenilisest kogu kontekstist eraldi maksimaalset väljundtokenite arvu ei ole kontrollitud kujul esitatud. Samuti ei anna uuringud selle konkreetse mudeli kohta kontrollitud teadmiste lõppkuupäeva. Seetõttu vajaksid värskeid fakte nõudvad rakendused välist, ajakohast andmeallikat ja sobivat maandamisvoogu.
Tugevused ja piirangud
Granite 20B Multilinguali selgeim tugevus oli keskendumine viiele olulisele Euroopa keelele mudelis, mis oli mõeldud ettevõtete tekstitöötluseks. Mitmekeelne mudel võib vähendada vajadust kasutada selliste ülesannete nagu klassifitseerimine, kokkuvõtete koostamine ja dokumentidest küsimustele vastamine jaoks eraldi keelespetsiifilisi süsteeme. Selle 20 miljardi parameetriga suurus paigutas mudeli oma ajajärgul väikestest keelemudelitest suurema võimekusega mudelite hulka, kuigi parameetrite arv üksi ei tõenda paremaid tulemusi iga ülesande puhul.
Selle peamine piirang oli spetsialiseeritus. IBM märkis sõnaselgelt, et mudel ei olnud loodud, testitud ega toetatud koodiga seotud kasutusjuhtudeks. Seetõttu ei tohiks koodi genereerimist, koodi lõpetamist ega tarkvaraarenduse abistamist pidada toetatud võimekusteks, isegi kui treeningkorpuse mõnes osas võis olla koodiga seotud andmeid.
Mudel oli samuti ainult tekstipõhine. Kontrollitud modaalsusteabe järgi olid nii selle sisend kui ka väljund tekst ning mudelil puudus pildi-, heli-, video-, kõne-, muusika- või embedding-väljund. Esitatud uuringud ei kinnita tööriistade kasutamist, funktsioonikutseid, voogedastust, peenhäälestust, vahemällu salvestamist, pakktöötluse API-sid, struktureeritud JSON-režiimi ega spetsiaalset arutlusrežiimi. Neid omadusi tuleks käsitleda teadmata, mitte eeldada nende olemasolu üksnes seetõttu, et mudel oli kättesaadav ettevõtteplatvormi kaudu.
Toimetuslikust vaatenurgast muudavad mudeli vanus ja kasutuselt kõrvaldatud olek selle uute tootmisrakenduste jaoks vähem atraktiivseks kui praegu toetatud mudeli. Saidi sisemise skaala järgi on selle toimetuslikuks arutlusvõimekuse hindeks 4, kodeerimisvõimekuse hindeks 2, kiiruse hindeks 3 ja kuluhindeks 4. Need on võrdlevad toimetuslikud hinnangud, mitte IBMi avaldatud võrdlustestide tulemused ega ametlikud võimekusehinnangud.
Hind ja kättesaadavus
Granite 20B Multilingual oli varem IBM watsonx.ai kaudu saadaval spetsiaalseks ja nõudepõhiseks juurutamiseks. IBM teatas selle kasutuselt kõrvaldamisest 15. jaanuaril 2025 ning eemaldas mudeli watsonx.ai standardpakkumisest 16. aprillil 2025. Elutsükli muudatusest teatades soovitas IBM alternatiivina mudelit Granite 3 8B Instruct.
Praegust tokenipõhist hinda ei ole kontrollitud. IBMi praeguses watsonx.ai hinnateabes on granite-20b-multilingual märgitud kasutuspõhise inferentsi jaoks kättesaamatuks. Seetõttu ei ole standardse hallatava kataloogi jaoks usaldusväärset praegust sisendi- ega väljundihinda, mida tsiteerida. Varasemal kohandatud või spetsiaalsel juurutusel võisid olla teistsugused juurdepääsutingimused, kuid esitatud uuringud ei kinnita, et selline juurdepääs on endiselt saadaval, ega esita selle hinda.
Ka eemaldamiskuupäev tähendab, et kättesaadavust ei tohiks segi ajada mudeli algse avaldamise ega IBM Granite'i mudelite laiema kättesaadavusega. Mudelikaart või arhiveeritud juurutusviide võib Granite 20B Multilinguali endiselt dokumenteerida, ilma et see näitaks, et mudelit saab praeguses hallatavas kataloogis uue juurutusena kasutusele võtta.
Millal seda mudelit valida
Uue projekti puhul eeldaks Granite 20B Multilinguali valimine üldjuhul konkreetset põhjust olemasoleva juurutuse säilitamiseks või varasemate tulemuste taasesitamiseks. Mudel võib olla endiselt asjakohane, kui organisatsioonil on alles hoitud mudeliartefakt, väljakujunenud hindamiskogum või pärandina säilitatav mitmekeelne töövoog, mis peab jääma järjepidevaks. Selle toetatud keelte valik ja ettevõtetele suunatud ülesandeprofiil on selliste süsteemide mõistmisel kasulikud omadused.
Uue hallatava watsonx.ai juurutuse jaoks on sobivam praegu toetatud mudel. IBMi dokumenteeritud migratsioonisoovitus oli Granite 3 8B Instruct. Uuem toetatud mudel võib pakkuda paremat operatiivset lahendust, isegi kui selle keelevalikut, väljundikäitumist või toimivust tuleb sihtkasutuse jaoks eraldi hinnata.
Võrreldes väiksema praeguse mudeliga võib Granite 20B Multilingual nõuda rohkem arvutusressursse, pakkumata samal ajal praeguse toe eelist. Võrreldes kodeerimisele keskendunud mudeliga on see vale valik koodi lõpetamiseks või tarkvaraarenduseks. Võrreldes multimodaalse mudeliga ei suuda see kontrollitud näitajate kohaselt otse töödelda pilte, heli ega videot. Võrreldes mudeliga, mille kontekstiaken on oluliselt suurem, on selle 8192-tokeniline kogupiirang väga pikkade dokumentide puhul piirav.
Praktiline otsus peaks seega põhinema ühilduvusel, mitte üksnes mudeli parameetrite arvul: kontrollige viie keele vajadust, testige kavandatud tekstiülesandeid, uurige, kas pärandjuurutus on endiselt lubatud, ning võrrelge hooldus- ja migratsioonikulusid praegu toetatud alternatiiviga.
Kokkuvõte
Granite 20B Multilingual oli IBMi keskendunud 20 miljardi parameetriga mudel ettevõtete mitmekeelseks tekstitööks inglise, saksa, hispaania, prantsuse ja portugali keeles. See toetas kasulikke keeletöötlusülesandeid, nagu RAG, küsimustele vastamine, kokkuvõtete koostamine, andmete eraldamine ja klassifitseerimine, kuid ei olnud sõnaselgelt kodeerimismudel ning selle kogu kontekstiaken oli 8192 tokenit. Kuna IBM kõrvaldas selle 2025. aasta aprillis watsonx.ai standardpakkumisest ja praegust kasutuspõhist hinda ei ole avaldatud, on see nüüd peamiselt pärandmudeli viide või migratsiooni kaalutlus, mitte tavapärane valik uue juurutuse jaoks.