Granite-SWASH-3B-a600M

Mis on Granite-SWASH-3B-a600M?

Granite-SWASH-3B-a600M on IBM-i Granite'i meeskonna välja töötatud avatud kaaludega ainult dekooderil põhinev keelemudel. See on ingliskeelne baasmudel, mis tähendab, et see on mõeldud eelkõige teadustööks, jätkuõppeks, katsetamiseks ja järgnevaks kohandamiseks, mitte valmis vestlusassistendiks.

Mudel kasutab hõredat ekspertide segu arhitektuuri. Kuigi selles on kokku ligikaudu 3,02 miljardit parameetrit, on ühe märgi töötlemisel aktiivsed umbes 598 miljonit parameetrit, nagu mudeli kohta esitatud teave näitab. Praktilises mõttes on mudelil rohkem õpitud parameetreid kui sarnase ühe märgi arvutusmahuga tavapärasel tihedal mudelil, kuid hõre marsruutimine piirab seda, kui suurt osa parameetritest korraga kasutatakse.

IBM kirjeldab Granite-SWASH-3B-a600M-i kui oma arhitektuuri varajast uurimust või väikesemahulist eelversiooni. Seda levitatakse allalaaditavate Apache 2.0 litsentsiga kaaludena ning viidatud kataloogis ei ole seda märgitud ühegi järeldusteenuse pakkuja kasutuses olevaks.

Arhitektuur ja tõhusus

Granite-SWASH-3B-a600M-i peamine eripära on hõreda ekspertide marsruutimise ja spetsialiseeritud tähelepanumehhanismide kombinatsioon. Mudelil on 48 eksperti ning iga märk suunatakse nelja parima eksperdi juurde. Arhitektuuri kuuluvad ka jagatud eksperdid. Selle lahenduse eesmärk on pakkuda suuremat parameetrimahtu, ilma et iga ekspert peaks töötlema kõiki märke.

Selle tähelepanusüsteem ühendab täieliku tähelepanuga kihid libiseva aknaga tähelepanukihtidega. Mudelis on kaheksa täieliku tähelepanuga kihti ja 20 libiseva aknaga kihti. Libiseva aknaga kihid kasutavad 128 märgi pikkust akent, mistõttu keskenduvad need kogu jada võrdlemise asemel piiratud hiljutisele piirkonnale. Mudel kasutab ka õpitavaid tähelepanusüvendeid (attention sinks) – tehnikat, mille eesmärk on säilitada pikemate jadade töötlemisel kasulik tähelepanu käitumine.

Muud kirjeldatud arhitektuurikomponendid on grupeeritud päringutega tähelepanu, pöörlevad positsioonilised esitused, SwiGLU-aktivatsioon ja RMSNorm. Need on rakenduse üksikasjad, mitte kasutajale nähtavad funktsioonid, kuid aitavad selgitada mudeli keskendumist tõhusale järeldamisele ja kompaktsete keelemudelite katsetamisele.

IBM-i mudeliteave soovitab kasutada Flash Attention 3 või 4 ning pakub alternatiivina eager-režiimi. Selles märgitakse, et skaleeritud punktkorrutisega tähelepanu ehk SDPA ei ole toetatud. See on oluline kohaliku järeldamise seadistamisel: ühilduvus soovitatud tähelepanuimplementatsiooniga võib mõjutada jõudlust ja seda, kas mudel konkreetses tarkvarakeskkonnas edukalt töötab.

Tehnilised andmed ülevaatlikult

8192 märgi pikkune positsioonipiir on esitatud maksimaalne konteksti- või positsioonipikkus. Eraldi maksimaalset väljundmärkide arvu ei ole määratud. Seetõttu ei tohiks eeldada, et mudelil on dokumenteeritud väljundimaht, mis ületab üldist positsioonipiiri ja valitud järeldusseadistuse piiranguid.

Mida mudel suudab ja mida mitte

Granite-SWASH-3B-a600M võtab vastu teksti ja genereerib teksti. Esitatud kataloogiandmete kohaselt ei paku see pildi-, heli-, video-, muusika-, manustamis-, kõne- ega muud mittetekstilist väljundit. Dokumenteeritud konfiguratsioon ei toeta ka multimodaalset sisendit, seega on mudel mõeldud ainult keelega seotud töövoogudeks.

Mudel ei ole juhiste järgi häälestatud ega ohutuse tagamiseks joondatud. See erinevus on oluline. Baasmudel võib olla kasulik keelemudelite uurimisel, mudeli kohandamisel spetsiaalsele korpusele või kohandatud genereerimiskonveieri loomisel, kuid sellelt ei tasu oodata valmis vestlusassistendi käitumist. Ilma täiendava treeningu või rakenduse tasandi kontrollita ei pruugi see mitmeastmelisi juhiseid usaldusväärselt järgida, säilitada abistavat vestlusstiili, ohtlikest päringutest keelduda ega vastuseid järjepidevalt vormindada.

Esitatud spetsifikatsioonide kohaselt ei toetata sisseehitatud tööriistade kasutamist ega funktsioonikutseid. Samuti ei toetata veebiotsingut. Struktureeritud väljundit ja JSON-režiimi ei ole toetatud võimalustena loetletud. Neid funktsioone vajavad arendajad peaksid rakendama oma viibastamise, parsimise, orkestreerimise või peenhäälestuse kihi ega tohiks eeldada, et genereeritud vormingud alati valideeruvad.

Arutlus-, programmeerimis- ja jõudlusprofiil

Arutlus- ega programmeerimisoskuse kohta ei ole esitatud võrdlustulemusi. Kataloogi toimetuslikud hinded annavad arutlusoskusele 3 punkti 5-st ja programmeerimisoskusele samuti 3 punkti 5-st, kuid need on võrdlusele suunatud toimetuslikud hinnangud, mitte IBM-i avaldatud võrdlustulemused. Need viitavad üldise arutlemise ja programmeerimise puhul keskmisele ootusele, mitte tõendatud spetsialistitasemel jõudlusele.

Toimetuse kiirusehinnang on 4 punkti 5-st ja kuluhinnang 5 punkti 5-st. Ka neid hindeid tuleks käsitleda mudeli praktilise positsioneerimise hinnangutena, mitte garanteeritud mõõtmistulemustena. Kiirusehinnang kajastab suhteliselt väikest aktiivsete parameetrite arvu ja tõhususele suunatud arhitektuuri. Kuluhinnang kajastab allalaaditavate kaalude kättesaadavust ning esitatud teabes puuduvaid majutatud märgipõhiseid tasusid; mudeli käitamiseks on siiski vaja sobivat riistvara, tarkvara, salvestusruumi ja arendustööd.

Hõre aktiveerimine võib muuta mudeli atraktiivseks olukordades, kus järeldamise tõhusus on oluline, kuid see ei kõrvalda kõiki juurutuskulusid. Kogu parameetrikomplekt mõjutab endiselt mälu- ja käitusnõudeid ning tegelik kiirus sõltub järeldusraamistikust, riistvarast, tähelepanuimplementatsioonist, kvantimise valikutest, pakisuurusest ja jada pikkusest. Konkreetset riistvaranõuet ega märki sekundis tulemust ei ole esitatud, mistõttu tuleks need üksikasjad parameetrite arvust tuletamise asemel testimisega kindlaks teha.

Hinnastamine ja juurutamine

Esitatud uuringu kohaselt ei ole Granite-SWASH-3B-a600M-il ametlikku majutatud API hinnastamist. Viidatud kataloogis pakutakse seda allalaaditavate Apache 2.0 litsentsiga kaaludena, mitte mõõdetava IBM-i järelduslõpp-punktina. See muudab selle majandusmudeli kommerts-API-st erinevaks: dokumenteeritud sisend- ega väljundhinda märgi kohta ei ole, kuid käitaja peab tasuma mudeli käitamiseks vajaliku taristu ja hoolduse eest.

Kättesaadava teabe põhjal on peamine praktiline võimalus kohalik juurutamine. Kasutajad peaksid järgima mudelikaardi rakendusjuhiseid, eelkõige soovitust kasutada Flash Attention 3 või 4 või kaasasolevat eager-režiimi alternatiivi. Kuna SDPA-d kirjeldatakse mittetoetatuna, võib tavaline järeldusseadistus vajada kohandamist, enne kui mudel hakkab õigesti tööle.

Apache 2.0 litsents võib olla teadustööks ja kohandamiseks kasulik, arvestades litsentsitingimusi ja kohaldatavaid kohustusi. Esitatud uuring ei sisalda eraldi peenhäälestuse garantiid ega dokumenteeritud peenhäälestusteenust, mistõttu tuleks kohandamisplaanid valideerida mudelihoidla ja valitud treeningupinu põhjal.

Parimad kasutusjuhud

• Arhitektuuriuuringud: Hõredate ekspertide, libiseva aknaga tähelepanu ja õpitavate tähelepanusüvendite kombinatsioon muudab mudeli asjakohaseks tõhusate keelemudelite disaini katsetes.
• Kohaliku järeldamise katsed: Allalaaditavad kaalud ja ligikaudu 598 miljonit aktiivset parameetrit võivad sobida kasutajatele, kes uurivad ressursitõhusat järeldamist, eeldusel et nende riistvara ja tarkvarapinu vastavad mudeli nõuetele.
• Jätkuõpe: Baasmudelina võib see olla lähtepunkt keelekäitumise kohandamisel spetsiaalsele korpusele või valdkonnale.
• Kohandatud allavoolurakendused: Arendajad saavad luua oma genereerimis- või kohandamiskonveieri, kui neil on vaja kontrollida viipasid, treeningut, dekodeerimist ja ohutuspoliitikaid.
• Õppe- ja hindamisprojektid: Suhteliselt kompaktne aktiivne arvutusmaht ja selgelt dokumenteeritud arhitektuurifunktsioonid muudavad selle kasulikuks objektiks ekspertide segu ja tähelepanustrateegiate uurimisel.

Piirangud ja riskid

Kõige olulisem piirang on see, et Granite-SWASH-3B-a600M on baasmudeli eelversioon, mitte tootmiskõlblik assistent. Selle kohta ei ole dokumenteeritud juhiste järgi häälestamist ega ohutuse tagamiseks joondamist ning puuduvad sisseehitatud tööriistade kasutamine, veebiotsing ja struktureeritud väljundi tugi. Rakendused, mis vajavad usaldusväärset ülesannete täitmist, prognoositavat JSON-väljundit, funktsioonikutseid või vestlusohutust, vajavad märkimisväärset lisaarendust ning neile võib paremini sobida juhiste järgi häälestatud majutatud mudel või muu spetsialiseeritud lahendus.

Ka 8192 märgi pikkune positsioonipiirang seab piiranguid pikkade dokumentidega töötamisele. Mudel ei pruugi sobida rakendustesse, mis vajavad väga suuri kontekstiaknaid, välja arvatud juhul, kui sisend jaotatakse väiksemateks osadeks ning neid töödeldakse välise otsingu- või kokkuvõttesüsteemi kaudu. Maksimaalset väljundmärkide arvu ei ole dokumenteeritud, mistõttu tuleb väljundi kavandamisel arvestada üldist kontekstipiiri ja valitud käituskeskkonna käitumist.

Esitatud teabes ei ole teadmiste lõppkuupäeva. Mudeli treeninguandmete segu kirjeldatakse üldiselt avatud lähtekoodiga ja varaliste andmete kombinatsioonina, kuid esitatud uuring ei anna üksikasjalikku lõppkuupäeva ega piisavalt teavet ajakohase faktiteadmise hindamiseks. Kasutajad peaksid olulised faktid sõltumatult üle kontrollima, mitte käsitlema mudelit ajakohase teabe allikana.

Millal valida Granite-SWASH-3B-a600M?

Vali Granite-SWASH-3B-a600M siis, kui prioriteet on katsetada avatud kaaludega ingliskeelset baasmudelit, mille arhitektuur keskendub hõredale aktiveerimisele ja tõhusale tähelepanule. See sobib eriti teadlastele ja inseneridele, kes soovivad mudelit kohapeal käitada või muuta, uurida ekspertide segu käitumist, jätkata eeltreenimist või ehitada töötlemata keelemudeli ümber kohandatud süsteemi.

Vali mõni muu lahendus siis, kui prioriteet on kohene tootmiskasutus, juhiste usaldusväärne järgimine, kindel ohutuskäitumine, multimodaalne töötlemine, tööriistakutsed, veebiühendus, garanteeritud struktureeritud väljund või dokumenteeritud majutatud API. Tihe või juhiste järgi häälestatud mudel võib olla tavapärastes vestlus- ja rakenduse töövoogudes hõlpsamini juurutatav, isegi kui sellel on vähem koguparameetreid või teistsugune kuluprofiil. Samuti võib pikkade dokumentide jaoks sobida paremini mudel, mille dokumenteeritud kontekstiaken on suurem.

Kokkuvõttes tuleks Granite-SWASH-3B-a600M-i käsitleda pigem eksperimentaalse avatud kaaludega alusmudeli kui kohe kasutatava vestlusrobotina. Selle atraktiivsus tuleneb 3 miljardi parameetriga arhitektuuri ja ligikaudu 598 miljoni aktiivse parameetri tasakaalust ning ebatavalisest tähelepanudisainist. Selle piirangud on ostu- või juurutusotsuse juures sama olulised: puudub majutatud hind, dokumenteeritud maksimaalne väljundiseadistus, sisseehitatud juhiste- või tööriistakiht ning esitatud uuring ei anna tõendeid selle kohta, et mudel oleks mõeldud ohutuskriitilisteks või tootmiskeskkonna assistenditöödeks.