Mis oli IBM Granite 13B Chat V2
Granite 13B Chat V2 oli 13 miljardi parameetriga ainult dekooderiga transformer-keelemudel, mille töötas välja IBM Research. Praktilises mõttes genereeris see viiba põhjal teksti ning oli kohandatud vestlusvahetustega tõhusamaks toimetulekuks kui baasmudel. Mudel lähtus mudelist Granite 13B Base V2 ning kohandati ettevõtetele suunatud dialoogi- ja tekstitöötlusülesannete jaoks.
Mudel oli mõeldud peamiselt ingliskeelseteks rakendusteks. IBM positsioneeris selle virtuaalagentide vestluste, ettevõtete küsimustele vastamise, otsinguga täiendatud genereerimise (RAG), kokkuvõtete loomise, andmete eraldamise, klassifitseerimise ja üldise teksti genereerimise jaoks. RAG tähendab seda, et mudelile antakse asjakohaseid hangitud äridokumente või tekstilõike, et vastus põhineks konkreetsel teadmisteallikal ega tugineks ainult mudeli treenimisel omandatud parameetritele.
Kuigi mudel sobis tekstipõhisteks äriprotsessideks, ei olnud see üldotstarbeline assistent, millel oleksid pildi-, heli- või videotöötlusvõimalused. IBM märkis ka, et Granite 13B mudelid ei olnud mõeldud, testitud ega toetatud programmeerimisega seotud kasutusjuhtudeks.
Tehnilised andmed ja kontekstiaken
Dokumenteeritud mudeliversioon 2.1.0 avaldati 15. veebruaril 2024. Aluseks oleva Granite 13B V2 mudeli treenimisel kasutati väidetavalt rohkem kui 2,5 triljonit tokenit. Need arvud kirjeldavad mudeliperekonda ja treeningu lähteandmeid; neid ei tohiks tõlgendada konkreetse ärilise andmestiku jõudluse garantiina.
| Tehnilised andmed | Dokumenteeritud üksikasjad |
|---|---|
| Teenusepakkuja | IBM Research |
| Mudeliperekond | Granite 13B V2 |
| Parameetrid | 13 miljardit |
| Arhitektuur | Ainult dekooderiga transformer |
| Peamine keel | Inglise keel |
| Kontekstiaken | 8192 tokenit, mis hõlmavad sisendit ja väljundit kokku |
| Mudeliversioon | 2.1.0, avaldatud 15. veebruaril 2024 |
| Väljundi tüüp | Tekst |
| Praegune olek | Kasutusest eemaldatud; toetatud juurdepääs lõppes 19. jaanuaril 2025 |
8192 tokeni piirang kehtib viiba ja genereeritud vastuse kogumahule. Seetõttu jätab pikk dokument, ulatuslik vestlus või suur hulk hangitud tekstilõike vastuse enda jaoks vähem ruumi. Esitatud dokumentatsioon ei määra eraldi väljundi maksimaalset tokenite arvu, seega ei tohiks eeldada muud sõltumatut väljundipiiri peale kombineeritud konteksti piirangu.
Peamised võimalused ja praktilised ülesanded
Granite 13B Chat V2 oli kõige kasulikum ülesannetes, mis hõlmasid äriteksti mõistmist ja loomist. Toetatud kasutusjuhtude hulka kuulusid:
- Ettevõttevestlus: kasutajatele vastamine virtuaalagendi või ettevõttesisese assistendi töövoos.
- Küsimustele vastamine: küsimustele vastamine kindlas ärivaldkonnas, eriti siis, kui asjakohane materjal oli otsingu kaudu kättesaadavaks tehtud.
- Otsinguga täiendatud genereerimine: hangitud dokumentide või tekstilõikude põhjal otsese vastuse või vestlusliku vastuse koostamine.
- Kokkuvõtete loomine: aruannete, vestluste või muu teksti lühendamine kokkuvõtteks.
- Andmete eraldamine: soovitud faktide, väljade või olemite tuvastamine struktureerimata tekstis.
- Klassifitseerimine: teksti määramine kategooriatesse suunamise, esmase töötlemise või analüüsi jaoks.
- Üldine teksti genereerimine: tavapäraste ingliskeelsete vastuste ja ärialase proosateksti loomine.
Näiteks võis organisatsioon kasutada mudelit piiratud sisemise teadmistebaasi põhjal küsimustele vastamiseks, kliendisuhtluse kokkuvõtmiseks, saabuva päringu klassifitseerimiseks või dokumendist struktureeritud faktide eraldamiseks. Need töövood vastasid mudeli dokumenteeritud otstarbele paremini kui vaba vormiga tarbijavestlus või tarkvaraarendus.
Tugevused ja kompromissid
Mudeli olulisim tugevus oli spetsialiseerumine ettevõtete tekstipõhisele suhtlusele. Võrreldes häälestamata baasmudeliga sobis see märksa paremini teadmistele tuginevaks ärialaseks küsimustele vastamiseks ja dialoogiks. Selle 13 miljardi parameetri suurus paigutas mudeli ka kategooriasse, mida võis kaaluda kontrollitud töökoormuste puhul, kus suurem ja kallim mudel polnud vajalik, kuigi esitatud uuring ei anna riistvaranõudeid ega mõõdetud latentsusnäitajaid.
Peamine kompromiss oli ulatus. Granite 13B Chat V2 keskendus inglise keelele, töötas ainult tekstiga ning selle sisendi ja väljundi kombineeritud konteksti maht oli 8192 tokenit. Dokumenteeritud loomulikku pildi-, heli- ega videoliidest sellel ei olnud ning IBM ei toetanud seda programmeerimisülesannete jaoks. Suhteliselt väike kontekstiaken võis muuta mudeli ebamugavamaks väga pikkade dokumentide, ulatusliku vestlusajaloo või selliste otsingutöövoogude korral, kus korraga tuleb edastada palju lähtetekste.
Seotud mudeliandmete toimetuslikud võrdlushinded annavad arutlusvõimele 4 punkti 10-st, programmeerimisele 2 punkti 10-st, kiirusele 6 punkti 10-st ja maksumusele 7 punkti 10-st. Need on subjektiivsed toimetuslikud hinnangud, mitte IBM-i võrdlustestide tulemused. Need viitavad mudelile, mis oli mõeldud praktilisteks ja selgelt piiritletud tekstitöövoogudeks, mitte arenenud arutlemiseks, tarkvaraarenduseks või laiaulatuslikuks multimodaalseks abistamiseks.
Sisend, väljund, arutlusvõime ja tööriistade tugi
Esitatud uuringus kirjeldatud kontrollitud liides võtab vastu teksti ja väljastab teksti. Kontrollitud tuge pildi-, heli- või videosisendile ja -väljundile ei ole. Uuring ei kinnita selle konkreetse mudeli puhul ka tööriistade loomulikku kutsumist, funktsioonikutsunguid, voogedastust, peenhäälestust, vahemällu salvestamist, pakktöötlust ega spetsiaalset JSON-režiimi. Neid võimalusi ei tohiks eeldada üksnes seetõttu, et need võivad olla olemas mujal IBM watsonxis või uuemates mudelites.
Granite 13B Chat V2 suutis anda vastuseid arutlust nõudvatele ärilistele ülesannetele, näiteks hangitud faktide võrdlemisele või klassifitseerimisjuhise järgimisele, kuid olemasolev materjal ei tõesta spetsiaalse arutlusrežiimi olemasolu ega esita võrdlustestide tulemusi. Seetõttu tuleks seda hinnata üldise vestlusliku keelemudelina, millel on ettevõtetele suunatud tekstivõimalused, mitte spetsiaalse arutlusmudelina.
Sama eristus kehtib struktureeritud andmete eraldamise kohta. Mudel oli dokumenteeritult mõeldud andmete eraldamiseks ja klassifitseerimiseks, seega võis viip paluda kindlat vormingut, kuid esitatud uuring ei kinnita teenusepakkuja tasemel struktureeritud väljundi ega JSON-režiimi garantiid. Rakendused, mis nõuavad rangelt masinloetavat väljundit, vajaksid oma valideerimist ja veakäsitlust.
Ajalooline hinnastamine
Seotud watsonx.ai hinnakirje näitab ajalooliseks hinnaks 0,0006 dollarit 1000 sisendtokeni ja 0,0006 dollarit 1000 väljundtokeni kohta. Need hinnad on ajaloolised, mitte praegu kasutatav ostuvõimalus, sest mudel on kasutusest eemaldatud. Neid ei tohiks kasutada uue tootmisjuurutuse maksumuse hindamiseks ilma IBM-i praegust mudeli- ja teenusekataloogi kontrollimata.
Nende ajalooliste hindade korral oleks tokenikasutust sisendi ja genereeritud vastuse puhul arvestatud eraldi. 10 000 sisendtokenit sisaldav päring oleks sisendi eest maksnud ligikaudu 0,006 dollarit, samas kui 10 000 genereeritud tokenit oleks väljundi eest maksnud ligikaudu 0,006 dollarit, arvestamata muid teenuse- või taristutasusid. See arvutus illustreerib ainult esitatud hinda ega näita praegust saadavust ega watsonxi kogukulu.
Saadavus ja elutsükkel
IBM märkis mudeli granite-13b-chat-v2 aegunuks 4. novembril 2024. IBM-i dokumentatsiooni kohaselt võeti toetatud juurdepääs tagasi ja see lõppes 19. jaanuaril 2025. Seetõttu ei tohiks seda mudelit viidatud IBM-i teenuste kaudu uue tootmisintegratsiooni jaoks valida.
IBM nimetas watsonx Assistanti elutsüklidokumentatsioonis soovituslikuks järglaseks mudeli Granite 3 8B Instruct. See viide aitab mõista migratsiooni suunda, kuid ei tähenda, et järglasel oleksid samad omadused, kontekstipiirangud, hinnad või ühilduvus. Olemasolevad rakendused peaksid enne mudeli vahetamist testima viipasid, vastusevorminguid, otsinguparameetreid ja töökindlust.
Millal seda mudelit valida
Praeguse juurutuse puhul ei ole Granite 13B Chat V2 üldjuhul mõistlik valik, sest selle toetatud juurdepääs on lõppenud. Mudel võib siiski olla asjakohane IBM-i varasemate Granite'i väljalasete uurimisel, ajaloolise hindamise kordamisel, arhiveeritud dokumentatsiooni säilitamisel või vana rakenduse ühilduvuse hindamisel, kui selle käitumist tuleb mõista.
Kättesaadavuse ajal sobis see hästi kitsalt määratletud ingliskeelse ettevõtte töövooga, mis vajas:
- Kontrollitud dokumendikogumil põhinevaid vestluslikke vastuseid.
- Äritekstide kokkuvõtteid, klassifitseerimist või faktide eraldamist.
- Ainult tekstiga töötavat mudelit, mitte pildi-, heli- või videotöötlust.
- Mõõdukat konteksti, mis mahtus 8192 sisendi ja väljundi peale kokku arvestatud tokeni piiresse.
- Mudelit, mida ei kasutatud tarkvaraarenduseks ega programmeerimisabiks.
Uue töö jaoks sobib paremini praegu toetatud järglane või mõni muu kaasaegne mudel, eriti juhul, kui rakendus vajab suuremat kontekstiakent, mitmekeelset toimimist, multimodaalset sisendit, kontrollitud tööriistakutsungit, rangelt struktureeritud väljundit, programmeerimise tuge või aktiivset hooldustsüklit. Meeskonnad peaksid praeguseid võimalusi võrdlema ka mõõdetud latentsuse, tokenihinna, juurutamisvõimaluste, haldusnõuete ja migratsioonitöö põhjal, mitte eeldama, et uuem mudel käitub vanaga identselt.
Kokkuvõte
IBM Granite 13B Chat V2 oli ettevõtete tekstülesannetele keskendunud ingliskeelne vestlusmudel, mis sobis eelkõige RAG-i, küsimustele vastamise, kokkuvõtete loomise, andmete eraldamise ja klassifitseerimise jaoks. Selle dokumenteeritud 13 miljardi parameetriga arhitektuur ja 8192 tokeni suurune sisendi ning väljundi kombineeritud kontekstiaken määrasid mudeli ulatuse selgelt, samas kui kontrollitud multimodaalsete, programmeerimis- ja täiustatud liidesefunktsioonide puudumine piiras selle kasutusala. Kuna IBM võttis mudeli 19. jaanuaril 2025 kasutusest, on selle peamine väärtus tänapäeval ajalooline või seotud ühilduvusega; uute juurutuste puhul tuleks kasutada praegu toetatud alternatiivi ja kontrollida selle sobivust algse töökoormuse suhtes.