Cerebras-GPT-111M

Mis on Cerebras-GPT-111M?

Cerebras-GPT-111M on Cerebras Systemsi väike avatud kaaludega põhjuslik keelemudel. See genereerib teksti, ennustades jadas järgmist token’it, mistõttu sobib see keelemudelite käitumise uurimiseks, eeltreenitud mudeli kohandamiseks ja kontrollitud tekstigeneratsiooni katseteks. Mudel avaldati 28. märtsil 2023 Cerebras-GPT-i seitsmemudelilise perekonna osana.

Tähis „111M” viitab ligikaudu 111 miljonile parameetrile. Parameetrid on treenimise käigus õpitud arvulised väärtused, mis talletavad omandatud mustreid. 111 miljoni parameetriga mudel on tänapäevaste suurte keelemudelitega võrreldes väike, kuid selle suhteliselt kompaktne suurus võib muuta katsetamise ligipääsetavamaks kui mitme miljardi parameetriga kontrollpunktidega töötamise.

See on eeltreenitud mudel, mitte valmis vestlusassistent. Seda ei ole juhiste järgi häälestatud ega inimeste tagasisidel põhineva tugevdusõppe abil joondatud. Seetõttu ei pruugi selline viip nagu „Selgita fotosünteesi lihtsas keeles” anda usaldusväärset ja otsest vastust, mida tänapäevaselt vestlusmudelilt oodatakse. Seda kontrollpunkti on parem käsitleda keelemudeli alusena, mida saab kasutada lihtsaks genereerimiseks või konkreetse ülesande jaoks kohandada.

Pakkuja ja koht Cerebras-GPT-i perekonnas

Cerebras Systems avaldas Cerebras-GPT-i, et tutvustada avatud ja arvutuslikult tõhusat GPT-3-laadsete keelemudelite perekonda. Esitatud uuringu kohaselt on Cerebras-GPT-111M selle perekonna väikseim liige, paiknedes perekonna kergemas otsas.

Selle roll erineb Cerebrase praegusest järeldustaristust ja mudelite teenindamise pakkumistest. Praegune Cerebase ökosüsteem keskendub väga kiirele majutatud järeldusele, kodeerimistöövoogudele ja muutuva mudelikataloogi teenindamisele. Cerebras-GPT-111M on seevastu konkreetne avatud uurimiskontrollpunkt, mis on saadaval selle mudelihoidla kaudu. Ei tohiks automaatselt eeldada, et sellel on samasugune majutus, päringupiirangud, ühilduvus või operatiivsed funktsioonid nagu Cerebras Cloudi kaudu praegu kättesaadavatel mudelitel.

Esitatud mudeliteabe kohaselt on mudel saadaval Apache 2.0 litsentsi alusel. See lubav litsents võib olla kasulik uurimis- ja tarkvaraprojektides, kuid järgida tuleb litsentsitingimusi ning mudelit tuleb kavandatud kasutuse jaoks hinnata.

Kontrollitud tehnilised andmed

Dokumenteeritud konteksti piirang on 2048 token’it. See hõlmab mudelile esitatud teksti ja päringu käigus genereeritud teksti, mitte piiramatut vestlusmälu. Pikemate dokumentidega töötavad rakendused peavad sisu tükeldama, kokku võtma või muul viisil eeltöötlema.

Selle täpse kontrollpunkti jaoks ei tuvastatud eraldi maksimaalset väljundtoken’ite piirangut. Dokumenteeritud jada pikkust ei tohiks tõlgendada lubadusena, et iga päring saab kasutada 2048 sisendtoken’it ja lisaks 2048 vastloodud token’it. Praktilised sisendi- ja genereerimispiirangud sõltuvad mudeli käitamiseks kasutatavast teostusest ja järeldustööriistadest.

Treenimine, modaalsused ja võimekus

Esitatud uuringu kohaselt eeltreeniti Cerebras-GPT-111M-i andmestikul The Pile, kasutades ligikaudu 20 treenimistoken’it parameetri kohta. Selle arhitektuur kasutab õpitud positsioonikodeeringuid, baidipaarikodeeringut ja täielikku tähelepanu. Need omadused teevad sellest tavapärase autoregressiivse tekstimudeli, mida saab ühilduvate masinõppetööriistade abil laadida ja kohandada.

Selle toetatud modaalsus on tekst. Mudel võtab vastu teksti ja genereerib teksti; kontrollitud pildi-, heli- ega videosisendit või -väljundit ei ole. See ei paku natiivset pildigeneratsiooni, kõnetöötlust, nägemistöötlust ega multimodaalset mõistmist.

Kontrollpunkti puhul ei ole kontrollitud sisseehitatud veebotsingut, funktsioonikutseid, tööriistade kasutamist, struktureeritud väljundi režiimi, vahemällu salvestamist, pakett-API-t ega pakkujaspetsiifilist voogedastusfunktsiooni. Need on rakenduse või teenindamise funktsioonid, mida ei tohiks järeldada üksnes mudeli teksti genereerimise võime põhjal. Arendaja võib lisada ümbritseva tarkvara või kasutada kolmanda osapoole teenindustaristut, kuid see oleks eraldiseisev Cerebras-GPT-111M-i dokumenteeritud natiivsetest võimetest.

Esitatud mudeliteabe kohaselt on peenhäälestus toetatud kasutusviis. Kuna mudel on suhteliselt väike ja avatud kaaludega, võib see olla praktiline lähtekoht ülesandespetsiifilisteks katseteks. Peenhäälestus eeldab siiski sobivaid treeningandmeid, ühilduvat tarkvara, hindamist ja valitud meetodi jaoks piisavat arvutusvõimsust. Uuringus ei täpsustata konkreetset peenhäälestuse API-t, riistvaranõudeid ega garanteeritud treeningtulemust.

Sobivus arutlemiseks ja kodeerimiseks

Cerebras-GPT-111M ei ole tänapäevases tähenduses arutlusmudel. Sellel ei ole dokumenteeritud sihipärase arutlemise režiimi, mõttekäigu juhtimist ega spetsiaalset arutlemistreeningut. Selle väike suurus ja üksnes eeltreenitud olek muudavad selle sobimatuks nõudlikuks mitmeastmeliseks arutlemiseks, usaldusväärseks faktianalüüsiks või turvatundlikeks otsusteks ilma põhjaliku täiendava arenduse ja testimiseta.

Laias tähenduses on kodeerimine võimalik, sest mudel võib genereerida koodi sisaldavat teksti, kuid esitatud hindamise järgi on selle kodeerimisvõimekus madal. Sellelt ei tohiks oodata sama taset mis juhiste järgi häälestatud kodeerimisassistendilt, eriti hoidlate tasandi ülesannetes, silumisel, tööriistade kasutamisel või üksikasjalike programmeerimisnõuete järgimisel. Peenhäälestatud versioon võib kitsal kodeerimisandmestikul paremini toimida, kuid see oleks uus hindamisküsimus, mitte baas-kontrollpunkti kontrollitud omadus.

Mudeli kiiruse ja kulude profiili tuleks mõista suhtelise hinnanguna, mitte majutatud teenuse hinna väitena. Väikese kontrollpunkti käitamiseks on üldjuhul vaja vähem ressursse kui palju suuremate mudelite puhul, mistõttu võib see olla atraktiivne kohalikeks või väikese kuluga katseteks. Selle täpse mudeli ametlikku Cerebrase tokenipõhist järeldushinda ei tuvastatud. Esitatud uuring ei kinnita ka selle jaoks praegu töötavat Cerebrase majutatud lõpp-punkti.

Peamised tugevused ja piirangud

Tugevused

• Väike ressursijälg: 111 miljonit parameetrit muudab selle suurte mudelitega võrreldes kergeteks katseteks paremini ligipääsetavaks.
• Avatud kättesaadavus: Mudel on Apache 2.0 litsentsi alusel avaldatud avatud kaaludega mudel.
• Kasulik uurimise lähtekoht: Selle GPT-3-laadne ülesehitus ja dokumenteeritud treenimiskorraldus pakuvad selget lähtekohta keelemudelite uurimiseks.
• Peenhäälestuse potentsiaal: Kontrollpunkti saab ühilduvate kolmanda osapoole tööriistade abil kitsaste ülesannete jaoks kohandada.
• Lihtne modaalsusprofiil: Ainult teksti kasutav sisend ja väljund võivad lihtsates genereerimistorudes vähendada keerukust.

Piirangud

• Juhiste järgi häälestamata: See ei ole loodud kasutajajuhiste usaldusväärseks järgimiseks ega viimistletud assistendina toimimiseks.
• Piiratud kontekst: 2048 token’it on pikkade dokumentide, suurte viipade ja pikemate vestluste jaoks vähe.
• Ingliskeelne treening: See ei ole sobiv vaikimisi valik mitmekeelsete rakenduste jaoks.
• Nõrk arenenud arutlusvõime: Selle väike suurus ja treenimisviis ei toeta keeruka arutlemise usaldusväärset sooritust.
• Kontrollitud natiivsed tööriistad puuduvad: Selle täpse kontrollpunkti puhul ei ole dokumenteeritud veebotsingut, funktsioonikutseid, struktureeritud väljundit ega sarnaseid funktsioone.
• Majutatud kättesaadavus on ebaselge: Ametlikku tokenipõhist hinda ega pakkujaspetsiifilist tootmise lõpp-punkti ei tuvastatud.
• Ohutuse ja kvaliteedi tagamiseks on vaja täiendavat tööd: Eeltreenitud baasmudel võib genereerida asjakohatut, kallutatud või muul viisil sobimatut teksti ning vajab enne kasutuselevõttu hindamist.

Parimad kasutusviisid

Cerebras-GPT-111M sobib kõige paremini siis, kui eesmärk on väikese põhjusliku keelemudeli mõistmine, muutmine või hindamine. Mõistlikud kasutusviisid on järgmised:

• GPT-laadse mudeli järelduse põhialuste õpetamine või õppimine.
• Tokeniseerimise, viipade ja tekstigeneratsiooni torude testimine.
• Väikesemahuliste kohalike katsete tegemine, kui suure mudeli kasutamine oleks ebapraktiline.
• Kitsa andmestiku abil peenhäälestamine uurimiseks või prototüüpimiseks.
• Eeltreenitud kontrollpunkti käitumise võrdlemine selle käitumisega pärast ülesandespetsiifilist kohandamist.
• Skaleerimise ja treenimiskujunduse uurimine Cerebras-GPT-i perekonnas.

Näiteks võiks arendaja kasutada seda lühikeste ingliskeelsete tekstilõikude jätkamise katsetamiseks, seejärel peenhäälestada mudelit kontrollitud tekstikorpusel ja mõõta, kas kohandatud mudel vastab sellele korpusele paremini. Selline katse sobib kontrollpunkti eesmärgiga paremini kui paluda sellel toimida üldise klienditoeagendina.

Millal seda mudelit valida?

Vali Cerebras-GPT-111M siis, kui avatus, kompaktne suurus ja katsetamine on tähtsamad kui assistendi kvaliteet. See on mõistlik kandidaat kohalikuks uurimise lähtekohaks, õppeprojektiks või peenhäälestusuuringuks, kus arendaja soovib otsest juurdepääsu mudeli kaaludele ega vaja sisseehitatud tööriistaökosüsteemi.

Vali mõni muu lahendus siis, kui rakendus vajab usaldusväärset juhiste järgimist, pika konteksti töötlemist, mitmekeelset tuge, tugevat kodeerimisabi, ajakohast teavet, struktureeritud tööriistakutseid või tootmiskvaliteediga majutatud teenuseid. Kasutajatele suunatud vestluse ja äriliste töövoogude jaoks sobib üldjuhul paremini tänapäevane juhiste järgi häälestatud mudel. Tarkvaraarenduseks on sobivam suurem või spetsialiseeritud kodeerimismudel. Kui oluline on prognoositav hinnastamine, skaleerimine, seire ja operatiivne tugi, tasub eelistada dokumenteeritud API-funktsioonidega pakkuja majutatud mudelit.

Suuremate mudelitega võrreldes vahetab Cerebras-GPT-111M võimekuse väiksema ja potentsiaalselt odavama katsetamisjälje vastu. See kompromiss võib olla õppimise ja kohandamise jaoks väärtuslik, kuid väiksemaid ressursinõudeid ei tohiks pidada märgiks kõrgest üldotstarbelisest kvaliteedist.

Hinnastamine ja kättesaadavus

Cerebras-GPT-111M-i ametlikku majutatud tokenipõhist hinda ei tuvastatud. Uuring kirjeldab seda saadaoleva avatud kaaludega mudelina ja viitab selle Hugging Face’i hoidlale, kuid ei kinnita selle täpse kontrollpunkti jaoks praegust Cerebrase majutatud järeldusplaani. Seetõttu ei ole võimalik esitada kontrollitud mudelipõhist sisendihinda, väljundihinda, tellimuse hinda ega maksimaalse väljundi lubatud mahtu.

Käitamise kulud sõltuvad sellest, kus ja kuidas mudel juurutatakse, sealhulgas valitud riistvarast, pilveteenuse pakkujast, järeldusraamistikust ja kasutusmahust. Need kulud on mudeli Apache 2.0 litsentsistaatusest eraldiseisvad ning neid tuleks hinnata kavandatud juurutuse põhjal, mitte tuletada Cerebrase praegustest üldise platvormi plaanidest.

Üldhinnang

Cerebras-GPT-111M on kompaktne uurimiskontrollpunkt, mitte tänapäevane universaalne AI-assistent. Selle peamine väärtus seisneb otseses katsetamises: mudel on väike, avatud kaaludega, tehniliselt dokumenteeritud ning sobib põhjusliku tekstigeneratsiooni või peenhäälestuse uurimiseks. Selle tootmiskasutust piiravad aga olulised puudused: piiratud kontekst, ingliskeelne eeltreenimine, juhiste järgi häälestuse puudumine, kontrollitud natiivsete tööriistade puudumine ning selle täpse mudeli kinnitatud majutatud hinna või lõpp-punkti puudumine.

Lugejatele, kes soovivad õppida, kuidas GPT-laadne mudel töötab, või ehitada kitsalt suunatud peenhäälestuskatset, on see endiselt praktiline uurimisobjekt. Lugejatele, kes otsivad usaldusväärset vestlust, kodeerimist, arutlemist, veebipääsu või ettevõttekasutuse funktsioone, sobib üldjuhul paremini uuem juhiste järgi häälestatud või majutatud mudel.