Granite-SWASH-2B

Mis on Granite-SWASH-2B?

Granite-SWASH-2B on IBMi Granite'i meeskonna loodud väike avatud kaaludega keelemudel. See on ainult dekooderiga tihe mudel, mis tähendab, et töötleb teksti ja genereerib teksti ühe märgi kaupa, mitte ei võta vastu ega loo pilte, heli või videot. Mudel on mõeldud üldiseks tekstiloomeks, katsetamiseks ja uurimistööks, mitte IBMi lipulaevaks tootmiskasutuses.

IBM kirjeldab seda kui eksperimentaalset väikesemahulist eelversiooni Granite'i tulevase töö jaoks. Mudelil on 2 144 463 840 parameetrit ning seda levitatakse BF16-vormingus Apache 2.0 litsentsi alusel IBMi Granite'i ametliku Hugging Face'i organisatsiooni kaudu. Kuna kaalud on iseseisvaks majutamiseks saadaval, saavad arendajad mudelit kohapeal käivitada või juurutada oma ühilduvas järelduskeskkonnas. Esitatud uurimismaterjalides ei ole Granite-SWASH-2B jaoks eraldi IBMi majutatud API hinda märgitud.

Granite'i mudelivaliku kontekstis

Granite-SWASH-2B kuulub IBMi Granite'i eksperimentaalsesse kollektsiooni, mitte küpse üldotstarbelise lipulaevamudeli hulka. Selle peamine eripära on arhitektuuriline: mudel uurib, kas tähelepanuga seotud mälukulusid saab vähendada, kasutades enamikus kihtides lokaalset tähelepanu ja säilitades samal ajal aeg-ajalt toimuva täieliku tähelepanu.

See positsioneerimine on mudeli hindamisel oluline. Mudeli peamine eristaja ei ole suur kontekstiaken, multimodaalne sisend, tööriistade kasutamine ega majutatud teenuste ökosüsteem. Selle asemel on see suunatud kasutajatele, kes soovivad Apache'i litsentsiga tekstimudelit ja tunnevad huvi selle vastu, kuidas tähelepanu ülesehitus mõjutab kohapealse järelduse kiirust ning mälukasutust.

Kuidas SWASH-arhitektuur töötab?

SWASH on lühend väljendist Sliding Window Attention + Sinks Hybrid ehk libiseva akna tähelepanu ja tähelepanusüvendite hübriid. Tavapärases täieliku tähelepanuga kihis saab iga uus märk pöörata tähelepanu kogu saadaolevale jadale. See võib suurendada arvutuskoormust ja genereerimisel kasutatava võtme-väärtuse vahemälu suurust. Granite-SWASH-2B muudab seda mustrit, kombineerides kahte tüüpi kihte.

• Seitse täieliku tähelepanuga kihti: Need annavad mudelile perioodiliselt juurdepääsu kogu saadaolevale kontekstile.
• Seitseteist libiseva aknaga kihti: Need kasutavad 128 märgi suurust tähelepanuakent, piirates enamiku tähelepanutoiminguid lähedalasuvate märkidega.
• Õpitavad tähelepanusüvendid: Peapõhised süvendiväärtused aitavad säilitada hübriidse tähelepanumehhanismi jaoks vajalikku käitumist ning skaleerivad tähelepanuväljundeid log-sum-exp-il põhineva arvutuse abil.

Praktikas ei pea enamik kihte kogu ajalugu samal viisil töötlema. Täieliku tähelepanuga kihid pakuvad laiemat juurdepääsu kontekstile, samas kui lokaalsed kihid võivad vähendada aktiivse tähelepanu ja võtme-väärtuse vahemälu oleku hulka. Seega on tegu mälutõhususe eksperimendiga, mitte väitega, et kõiki ülesandeid saab lahendada ainult 128 märgi suuruse kogukonteksti abil.

Mudel kasutab ka grupeeritud päringu tähelepanu, pöörlevaid positsioonimanuseid, SwiGLU-aktivatsioone, RMSNormi, jagatud sisend- ja väljundmanuseid ning 100 352 märgist koosnevat sõnavara. Need üksikasjad on olulised kasutajatele, kes tegelevad mudeli konfiguratsiooni või järeldusmootoritega, kuid need ei muuda mudeli põhilist kasutajarolli: Granite-SWASH-2B on tekstisisendi ja tekstiväljundiga keelemudel.

Tehnilised andmed ja piirangud

Dokumenteeritud 8 192 positsiooni konfiguratsioon on asjakohane kogu jada piirang. Uurimismaterjalides ei ole eraldi maksimaalset väljundmärkide arvu määratud, mistõttu ei tohiks eeldada, et mudel toetab kindlat lõpetuse pikkust, mis ületab teie valitud käituskeskkonna võimalusi ja järelejäänud kontekstimahtu.

Võimekus ja hindamistulemused

Granite-SWASH-2B võtab vastu tekstisisendi ja genereerib tekstiväljundi. Sobivate ülesannete hulka kuuluvad teksti lõpetamine, mustandite koostamine, lihtsam tekstiloome, kontrollitud katsed ning SWASH-arhitektuuri toetavate järeldussüsteemide testimine. See ei ole algupäraselt multimodaalne ega genereeri pilte, heli, videot, muusikat, manuseid ega kõnet.

Mudeli kaart esitab WikiText-2 sõnade perplexity väärtuseks 15,29, MMLU viie näitega täpsuseks 0,5519 ning GSM8K ahelmõtlemise täpse vaste täpsuseks 0,4223. Need on teenusepakkuja esitatud tulemused mudeli dokumentatsioonist, mitte iga viiba või juurutuse puhul kehtivad garantiid. Tulemused viitavad kasutatavale üldisele keeleoskusele ja teatavale põhitasemel matemaatilise arutlemise võimele, kuid mudelit ei esitleta spetsialiseeritud arutlusmudelina.

Praktilisel hindamisel on seda mudelit parem käsitleda kompaktse baasmudelina kui viimistletud assistendina. Esitatud uurimismaterjalides ei ole tuvastatud juhiste järgi häälestamist, ohutuse joondamist, spetsiaalset kodeerimisele keskenduvat kohandust ega kontrollitud struktureeritud väljundi režiimi. Kodeerimine on üldise tekstiloome ülesandena võimalik, kuid ilma ülesandepõhise valideerimiseta ei tohiks seda pidada mudeli peamiseks tugevuseks.

Juurutamise ja järelduse kaalutlused

Granite-SWASH-2B saab laadida Hugging Face Transformersiga ning seda saab teenindada ühilduvate järeldussüsteemide, näiteks vLLM-i või SGLangi kaudu. Mudeli dokumentatsiooni kohaselt peab Transformersi versioon olema uuem kui 5.8.0. Enne juurutamist peaksid kasutajad kontrollima praegust mudelikaarti ja käituskeskkonna dokumentatsiooni, sest tähelepanuimplementatsiooni tugi on oluline.

Standardne skaleeritud punktkorrutise tähelepanu, mida nimetatakse tavaliselt SDPA-ks, ei ole selle mudeli puhul toetatud, sest see ei suuda väljendada SWASH-i kasutatavat tähelepanusüvendite mehhanismi. Dokumentatsioonis soovitatakse kasutada Flash Attention 3 või 4; silumiseks või protsessoripõhiseks kasutuseks on varuvariandina saadaval eager-tähelepanu. Taustsüsteem, mis ei rakenda mudeli tähelepanukäitumist õigesti, võib mudeli laadimisel tõrke anda või tekitada ebatäpseid tulemusi.

Võrreldes täieliku tähelepanu rakendamisega ühtlaselt kõigis kihtides võib arhitektuur genereerimise ajal mälukasutust vähendada, eriti siis, kui võtme-väärtuse vahemälu muutuks muidu oluliseks piiranguks. Täpne kiiruse ja mälukasutuse võit sõltub siiski riistvarast, kvantimisest, pakisuurusest, jadapikkusest ja käituskeskkonna rakendusest. Uurimismaterjalides ei esitata universaalset märki sekundis näitajat ega riistvarapõhist mälunõuet.

Hind ja saadavus

Granite-SWASH-2B puhul ei ole tuvastatud IBMi majutatud järelduse hinda. Mudel on Apache 2.0 litsentsi alusel avatud kaaludena saadaval, mistõttu ei ole enda allalaaditud ja käivitatud kaalude jaoks teatatud sisend- ega väljundmärgi tariifi. Ise majutamisega kaasnevad siiski riistvara-, salvestus-, elektri- ja taristukulud ning need kulud erinevad juurutusviisiti märkimisväärselt.

Avatud litsents võib olla kasulik meeskondadele, kes peavad mudelit kontrollima, kohandama või käitama ilma majutatud API-st sõltumata. See ei kaota vajadust valida ühilduv käituskeskkond, hallata mudelifailid, seadistada riistvara ja hinnata genereeritud sisu.

Peamised tugevused ja piirangud

Tugevused:

• Suhteliselt väike 2,14 miljardi parameetriga maht võrreldes suuremate keelemudelitega.
• Apache 2.0 litsents, mis toetab ise majutatud katsetamist ja juurutamist litsentsitingimuste piires.
• Hübriidne tähelepanuarhitektuur, mis on spetsiaalselt loodud järelduse ajal mälunõudluse vähendamiseks.
• Perioodilised täieliku tähelepanuga kihid, mis säilitavad laiema juurdepääsu kontekstile, selle asemel et piirata iga kihi lokaalse aknaga.
• Ühilduvus dokumenteeritud avatud järeldustööriistadega, sealhulgas Transformersi, vLLM-i ja SGLangiga, kui vajalik arhitektuuritugi on olemas.

Piirangud:

• Mudel on eksperimentaalne eelversioon, mitte küps tootmiskasutuseks mõeldud lipulaev.
• Suurim dokumenteeritud positsioonikonfiguratsioon on 8 192 ning eraldi maksimaalset väljundmärkide arvu ei ole esitatud.
• See on ainult tekstimudel ning sellel puudub algupärane pildi-, heli-, video-, kõne- või manuseväljund.
• Standardset SDPA-d ei toetata tähelepanusüvendite rakenduse tõttu.
• Esitatud dokumentatsiooni kohaselt ei ole mudel läbinud ohutuse joondamist.
• Mudel võib genereerida kallutatud, väärat, ebaturvalist või muul viisil probleemset sisu ning IBM märgib võimalikke mälus säilitamise ja sõnasõnalise kopeerimise riske.
• Esitatud uurimismaterjalides ei ole tuvastatud kontrollitud loomulikku tööriistade kasutamist, funktsioonikutseid, voogedastust, peenhäälestust, vahemällu salvestamist, pakktöötluse API-t ega JSON-režiimi võimekust.

Millal valida Granite-SWASH-2B?

Vali Granite-SWASH-2B siis, kui peamine nõue on kompaktne avatud kaaludega ingliskeelne tekstimudel, mida saab käitada enda kontrolli all, ning kui huvi mälutõhusa tähelepanu katsetamise vastu on oluline. See sobib kohaliku teksti lõpetamise, libiseva aknaga tähelepanu uurimise, lihtsamate keelerakenduste ja järelduskatsete jaoks, kui Apache'i litsentsiga mudel on eelistatum suletud majutatud teenusele.

Mudel võib sobida ka arendajatele, kes soovivad uurida, kuidas perioodiline täielik tähelepanu ja lokaalne tähelepanu väikeses keelemudelis koos toimivad. Selle suhteliselt tagasihoidlik suurus võib muuta katsetamise palju ligipääsetavamaks kui suurema mudeliga töötamise, kuigi tegelikud riistvaranõuded sõltuvad käituskeskkonnast ja täpsuskonfiguratsioonist.

Teine valik on sobivam, kui vajate tootmises põhjalikult testitud assistenti, tugevaid ohutuskontrolle, kontrollitud funktsioonikutseid, suurt või laiendatud kontekstiakent, multimodaalset genereerimist, prognoositava märgipõhise hinnastusega majutatud API-t või spetsialiseeritud tipptasemel arutlus- ja kodeerimisvõimekust. Samuti tasub valida teine mudel, kui teie taristu ei toeta Flash Attention 3 või 4 või kui käituskeskkond ei rakenda Granite SWASH-i veel õigesti.

Kokkuvõte

Granite-SWASH-2B-d tasub käsitleda IBMi teadustööle suunatud eelversioonina, millel on praktiline juurutusaspekt. Selle määrav omadus ei ole lai valik assistendivõimekusi, vaid SWASH-i tähelepanuarhitektuur: 17 lokaalset libiseva aknaga kihti, seitse täieliku tähelepanuga kihti ja õpitavad tähelepanusüvendid, mille eesmärk on vähendada järelduse ajal mälukoormust. Kohaliku tekstiloome ja arhitektuuri uurimise jaoks muudab see mudeli eripäraseks. Ohutustundlike, multimodaalsete, tööriistu kasutavate või väga nõudlike tootmiskoormuste korral nõuavad selle eksperimentaalne staatus ja piiratud dokumenteeritud võimekus küpsema alternatiivi kaalumist.