Granite-7B-Lab

Mis on Granite-7B-Lab?

Granite-7B-Lab on IBM-i Granite’i mudeliperekonda kuuluv 7 miljardi parameetriga keelemudel. See on ainult teksti töötlev mudel, mis on mõeldud kirjalike viipade sisendiks võtmisele ja kirjalike vastuste genereerimisele. Selle peamised kasutusvaldkonnad on praktilised keeletöötlusülesanded, näiteks kokkuvõtete koostamine, teabe eraldamine, klassifitseerimine ja kirjalike juhiste järgimine.

Nimetus „Lab” viitab mudeli joondamisprotsessile, mitte eraldi sisend- või väljundmodaalsusele. IBM Researchi Large-scale Alignment for chatBots ehk LAB kasutab sünteetilisi juhiste andmeid ja õpetajamudelit, et joondada baasmudel kasuliku ülesannete täitmise käitumisega. Granite-7B-Labi puhul oli teatatud õpetajamudel Mixtral-8x7B-Instruct-v0.1, aluseks olnud baasmudel aga ibm-granite/granite-7b-base.

Mudel on välja antud Apache 2.0 litsentsi alusel instructlab/granite-7b-lab hoidlas. See eristab seda mudelist, mis on saadaval ainult majutatud vestlusroboti või hallatava API kaudu: kasutajad saavad mudeli kontrollpunkti litsentsi ning enda tehnilistele ja riistvaralistele piirangutele vastavalt alla laadida, ise majutada ning katsetamiseks ja juurutamiseks kasutada.

Praegune staatus ja koht IBM-i mudelivalikus

Granite-7B-Lab ei ole enam IBM watsonx.ai praegune hallatav mudel. IBM-i elutsükli dokumentatsioonis on aegumise kuupäevana märgitud 7. oktoober 2024 ja kasutuselt kõrvaldamise kuupäevana 7. jaanuar 2025. IBM nimetas watsonx.ai kasutajate jaoks migratsiooni sihtmudeliks granite-3-8b-instruct.

See staatus annab mudeli vaatlemiseks kaks erinevat lähtekohta. Watsonx.ai alusmudelina on see kasutuselt kõrvaldatud valik ning seda ei tohiks valida uue hallatava juurutuse jaoks, mis sõltub IBM-i jätkuvalt majutatud kättesaadavusest. Avatud kaaludega kontrollpunktina on see siiski endiselt asjakohane teadlastele, arendajatele ja organisatsioonidele, kes soovivad LAB-lähenemist hinnata või mudelit oma taristus käitada.

Seetõttu tuleks mudelit käsitleda pigem vanema ja kompaktse Granite’i perekonna kontrollpunktina, mitte kõigi IBM watsonx-i praeguste võimaluste esindajana. Selle avatud kaaludega kättesaadavus võib olla kasulik korratavate katsete ja kontrollitud juurutuste jaoks, kuid hallatava teenuse kättesaadavus, piirkondlik ligipääs, mudelikataloogid ja migratsioonitugi ei ole enam samad mis ajal, kui mudelit watsonx.ai-s pakuti.

Kontrollitud tehnilised andmed lühidalt

8192 tokeni kontekstiarv tähistab sisendi ja väljundi peale kokku kehtivat piirangut, mitte võimalust kasutada 8192 sisendtokenit ja lisaks veel 8192 väljundtokenit. Dokumenteeritud genereeritava vastuse maksimum on 4096 tokenit. Praktikas jääb pikka lähtematerjali sisaldava viiba korral vastuse jaoks kombineeritud kontekstiaknas vähem ruumi.

Mida mudel teha suudab

Granite-7B-Lab on mõeldud tavapärasteks teksti genereerimise ja juhiste järgimise töövoogudeks. Sobivate ülesannete hulka kuuluvad pika teksti lühikeseks kokkuvõtteks muutmine, nimetatud väljade eraldamine tekstist, teksti kategooriatesse määramine ning selgelt sõnastatud juhiseid järgivate vastuste koostamine.

Näiteks võib ise majutatud rakendus anda mudelile kliendi sõnumi ja paluda tuvastada probleemi tüübi, võtta päringu kokku või eraldada viitenumbri. Mudelit saab kasutada ka esimeste mustandite koostamiseks, esitatud teabe ümberkorraldamiseks või sünteetiliste juhiste peenhäälestuse ja LAB-iga joondatud kontrollpunktidega seotud katsete toetamiseks.

Selle 7 miljardi parameetriga suurus on juurutuse kavandamisel oluline. Mudel on väiksem kui paljud tänapäevased tipptasemel keelemudelid, mistõttu võib see olla piiratud ressurssidega kohaliku või privaatse juurutuse jaoks praktilisem valik. Samas ei määra esitatud uuring konkreetseid riistvaranõudeid, kvantimise konfiguratsiooni, läbilaskevõimet, latentsusgarantiid ega võrdlustesti tulemust. Need tegurid sõltuvad operaatori valitud käituskeskkonnast, riistvarast, mudelivormingust ja teeninduskonfiguratsioonist.

Modaalsused, tööriistad ja struktureeritud väljund

Granite-7B-Lab on ainult teksti töötlev mudel. Sellel ei ole kontrollitud pildi-, heli- ega videosisendit ning see ei genereeri otse pilte, heli, videot, muusikat ega kõnet. Töövoog võib tekstimudeli ümber hõlmata muid töötlemiskomponente, kuid see ei muuda Granite-7-Labi ennast multimodaalseks.

Esitatud mudeliandmed ei kinnita natiivset tööriistade kutsumist, funktsioonikutsumist, voogedastust ega pakett-API tuge. Mudelit ei tohiks valida eeldusel, et see suudab iseseisvalt veebis sirvida, väliseid teenuseid kutsuda või toiminguid täita. Samuti ei ole siin dokumenteeritud, et mudel pakuks natiivseid struktureeritud väljundi või JSON-režiimi garantiisid. Rakendus võib viibaga küsida kindlas vormingus tekstiväljundit, kuid viibajuhised ei ole sama mis pakkuja jõustatud skeemi valideerimine.

Esitatud mudeliandmetes on peenhäälestus märgitud toetatuks, kuid uuringus ei täpsustata konkreetset peenhäälestusmeetodit, treeninguretsepti, taristunõudeid ega saavutatavat kvaliteeditaset. Kasutajad peaksid käsitlema Apache 2.0 kontrollpunkti oma töö aluspõhjana, mitte valmis kohandamisteenuse garantiina.

Arutlusvõime, programmeerimine, kiirus ja kulude kompromissid

Granite-7B-Labi ei esitleta spetsiaalse arutlusvõimega mudelina. See suudab järgida juhiseid ja teksti töödelda, kuid esitatud allikad ei paku kontrollitud täiustatud arutlusvõime võrdlustesti ega garantiid usaldusväärseks mitmeastmeliseks probleemilahenduseks. See sobib paremini piiritletud keeletöötlusülesanneteks kui rakendustesse, kus keeruline arutluskäik peab olema järjepidevalt korrektne.

Ka programmeerimisvõime kohta on olemasolevad tõendid piiratud. Mudel võib viiba peale genereerida koodi meenutavat teksti, kuid esitatud andmetes ei ole võrdlustesti ega pakkuja väidet, mis kinnitaks selle sobivust spetsiaalseks programmeerimismudeliks. Arendajad peaksid testima konkreetseid programmeerimiskeeli, hoidla konteksti ja oma rakenduse jaoks vajalikku vigade parandamise töövoogu.

Esitatud uuringus antud toimetuslik hinnang annab arutlusvõimele 5 punkti 10-st, programmeerimisele 4 punkti 10-st, kiirusele 7 punkti 10-st ja kulule 8 punkti 10-st. Need on toimetuslikud hinnangud, mitte IBM-i avaldatud tehnilised näitajad ega võrdlustestide tulemused. Need väljendavad praktilist kompromissi: kompaktne avatud kaaludega mudel võib olla atraktiivne juhul, kui kohalik kontroll, väiksemad taristunõuded või katsetamine on olulisemad kui tipptasemel arutlus- ja programmeerimiskvaliteet.

Esitatud uuringus ei ole Granite-7B-Labi jaoks märgitud praegu kehtivat pakkuja hallatava teenuse hinda. Kuna mudel eemaldati watsonx.ai-st, ei tohiks kasutajad eeldada, et vana hallatava teenuse hind on endiselt saadaval. Ise majutamisel ei ole siin mudelile juurdepääsu hinda märgitud, kuid sellega kaasnevad siiski taristu-, salvestus-, elektri-, haldus- ning võimalikud litsentsi- või tugikulud. Need kulud sõltuvad juurutusest ja olemasoleva teabe põhjal ei saa neid taandada kontrollitud tokenipõhiseks hinnaks.

Peamised tugevused ja piirangud

Tugevused

• Avatud kaaludega kättesaadavus: Apache 2.0 kontrollpunkti saab kasutada ise majutatud hindamise ja juurutuse alusena.
• Kompaktne mudelisuurus: Seitse miljardit parameetrit võib olla piiratud ressurssidega keskkondades hallatavam kui palju suuremad mudelid, kuigi tegelikud nõuded sõltuvad rakendusest.
• Praktiline keskendumine tekstiülesannetele: Kokkuvõtete koostamine, teabe eraldamine, klassifitseerimine ja juhiste järgimine on selgelt kooskõlas mudeli dokumenteeritud otstarbega.
• Dokumenteeritud joondamismeetod: Mudel on konkreetne näide IBM-i LAB-metoodikast, milles kasutatakse sünteetilisi juhiste andmeid ja õpetajamudelit.
• Võimalus privaatseks juurutuseks: Kontrollpunkti käitamine organisatsiooni enda taristus võib olla kasulik juhul, kui juurutuse üle kontrolli omamine on olulisem kui ligipääs ajakohasele majutatud mudelikataloogile.

Piirangud

• Hallatava teenuse kasutuselt kõrvaldamine: Mudel eemaldati watsonx.ai-st 7. jaanuaril 2025, mistõttu ei sobi eeldada selle kasutamist uues IBM-i hallatavas tootmisintegratsioonis.
• Peamiselt ingliskeelne: Mudelikaart kirjeldab seda peamiselt ingliskeelsena, seega ei tohiks mitmekeelseid tulemusi eeldada ilma testimiseta.
• Ainult tekst: Kontrollitud pildi-, heli- ega videovõimalused puuduvad.
• Natiivsed tööriistad pole kontrollitud: Esitatud uuring ei kinnita veebotsingut, funktsioonikutsumist, toimingute täitmist ega muid tööriistade kasutamise võimalusi.
• Ohutusjoondus ja RLHF puuduvad: Mudelikaart hoiatab, et mudelit ei ole ohutuse tagamiseks joondatud ega inimeste tagasiside põhjal tugevdusõppega treenitud. Seetõttu on oluline täiendav testimine, filtreerimine ja rakenduse tasandi kaitsemeetmed.
• Piiratud kontekst: Kombineeritud 8192-tokenine kontekst ja 4096-tokenine väljundipiirang piiravad lähtematerjali ja vastuseteksti hulka, mida ühe päringuga töödelda saab.
• Faktiline usaldusväärsus pole kontrollitud: Mudel võib genereerida ebaõigeid või toetamata väiteid ning ükski esitatud allikas ei kinnita tagatud faktilist täpsust.

Millal valida Granite-7B-Lab?

Vali Granite-7B-Lab juhul, kui peamine vajadus on avatud kaaludega, peamiselt ingliskeelne tekstimudel ise majutatud katseteks või piiritletud keeletöötlusülesanneteks. See on eriti asjakohane meeskondadele, kes uurivad LAB-joondamismeetodit, loovad 7 miljardi parameetriga kontrollpunkti ümber prototüüpe või vajavad suuremat kontrolli selle üle, kus mudeli järeldusi tehakse.

See võib olla mõistlik valik ka siis, kui väiksema mudeli töökorralduslikud omadused on eelistatavad suurema mudeli kõrgemale kvaliteedilaele. Klassifitseerimise, teabe eraldamise, kokkuvõtete koostamise ja lihtsa juhiste järgimise puhul võib kompaktne mudel pakkuda palju suurema üldotstarbelise süsteemiga võrreldes paremat kiiruse ja ressursikasutuse kompromissi. Seda hinnangut tuleks kontrollida esinduslike andmetega, mitte teha üksnes parameetrite arvu põhjal.

Teine lahendus on sobivam siis, kui projekt vajab aktiivselt toetatud IBM-i hallatavat lõpp-punkti, watsonx.ai praegust kättesaadavust, tugevamat arutlusvõimet, usaldusväärset programmeerimisjõudlust, multimodaalset sisendit, natiivseid tööriistu, tagatud struktureeritud väljundit või dokumenteeritud ohutusjoondamise protsessi. Endiste watsonx.ai kasutajate jaoks oli IBM-i dokumenteeritud migratsiooni sihtmudel granite-3-8b-instruct. Mis tahes asendusmudeli puhul peaksid meeskonnad eraldi kontrollima selle praegust kättesaadavust, litsentsi, konteksti piiranguid, hinda, kvaliteeti ja juurutustuge, mitte käsitlema migratsiooni sihtmudelit automaatselt kõigi omaduste poolest samaväärse asendusena.

Juhised juurutamiseks ja hindamiseks

Enne kontrollpunkti tootmises kasutamist hinda seda täpselt nende viipade, keelte, dokumenditüüpide ja veataluvuse nõuetega, mida kavandatav rakendus kasutab. Kontrolli kokkuvõtteid puuduva teabe suhtes, eraldatud välju vormingu ja täpsuse osas, klassifikatsioone erandjuhtumite korral ning genereeritud teksti toetamata väidete suhtes. Kuna mudelil puuduvad mudelikaardis kirjeldatud ohutusjoondus ja RLHF, lisa rakenduse tasandi sisukontrollid ning kasuta inimeste ülevaatust juhul, kui ebatäpse või ohtliku vastuse tagajärjed võivad olla tõsised.

Kavanda päringud dokumenteeritud konteksti piiranguid arvestades. Hoia sisend piisavalt lühikesena, et soovitud vastusele jääks ruumi, ning jaga pikemad dokumendid vajaduse korral väiksemateks osadeks. Kui töövoog nõuab usaldusväärset JSON-i, valideeri genereeritud tekst rakenduse koodis, mitte ära eelda, et JSON-i nõudev viip loob pakkuja jõustatud skeemi.

Lõpuks erista kontrollpunkti IBM-i laiemast watsonx-i portfellist. Granite-7B-Lab on konkreetse elutsüklilooga avatud kaaludega keelemudel; see ei asenda täielikult watsonx-i haldust, hallatavat järelduste tegemist, otsinguga täiendatud genereerimist, agente ega muid platvormiteenuseid. Selle väärtus seisneb mudelis endas: see on kompaktne, Apache 2.0 litsentsiga ja LAB-iga joondatud tekstikontrollpunkt, mis on ise hallatavalt kasutatav ka pärast IBM-i majutatud kataloogist eemaldamist.