Jamba-v0.1

Mis on Jamba-v0.1?

Jamba-v0.1 on AI21 Labsi avatud kaaludega põhjuslik keelemudel. „Avatud kaaludega” tähendab, et treenitud mudeli parameetrid on allalaadimiseks avaldatud, mitte saadaval ainult teenusepakkuja hallatava liidese kaudu. Seetõttu saavad kasutajad ja organisatsioonid kontrollpunktiga katsetada, selle juurutamist kohandada ning seda Apache 2.0 litsentsi tingimustel ühilduvas taristus käitada.

Mudel avaldati 28. märtsil 2024. Tegemist on algse Jamba põhikontrollpunktiga, mitte hilisema Jamba-Instructi mudeliga ega Jamba 1.5, Jamba 1.6, Jamba 2 või Jamba Reasoningu tootesarja mudeliga. See eristus on oluline: Jamba-v0.1 on loodud üldiseks teksti jätkamiseks ja genereerimiseks, samas kui juhiste järgi peenhäälestatud mudelit on tavaliselt lihtsam kasutada otseküsimustele vastamiseks, vormindatud vastuste koostamiseks ja vestlusülesannete lahendamiseks.

AI21 rõhutab Jamba-v0.1 puhul pika konteksti töötlemist ja tõhusust. Mudeli avaldatud ülesehitus ühendab mitu närvivõrkude lähenemist, selle asemel et tugineda täielikult standardsetele Transformeri plokkidele.

Kuidas hübriidarhitektuur töötab

Traditsioonilised suured keelemudelid kasutavad sageli Transformeri kihte. Transformerid suudavad tõhusalt seostada sõnu ja ideid kogu sisendviiba ulatuses, kuid nende tähelepanumehhanism võib konteksti kasvades muutuda mälu- ja arvutusmahukaks. Jamba-v0.1 põimib Transformeri kihid Mamba struktureeritud olekuruumi kihtidega. Mamba on loodud esindama teavet pikkades jadades tõhususomadustega, mis erinevad täielikul tähelepanul põhinevate lahenduste omadest.

Praktilises mõttes püüab hübriidne lähenemine säilitada osa Transformeri tähelepanu paindlikkusest, vähendades samal ajal väga pika teksti töötlemise kulu. Mudel kasutab ka ekspertide segu ehk MoE-arhitektuuri. Selle asemel et aktiveerida iga märgi jaoks kõik parameetrid, suunab MoE-mudel iga märgi valitud ekspertkomponentide kaudu. Jamba-v0.1-l on kokku 52 miljardit parameetrit, kuid selle arhitektuur on mõeldud aktiveerima üksikute märkide puhul väiksema osa võrgust.

Need arhitektuurilised üksikasjad on teenusepakkuja esitatud omadused, mitte garantii, et iga töökoormus on kõigist konkureerivatest mudelitest kiirem või odavam. Tegelik jõudlus sõltub järeldamise teostusest, riistvarast, kvantimisest, viiba pikkusest, genereeritava teksti pikkusest ning sellest, kas optimeeritud Mamba kernelid on saadaval.

Peamised tehnilised andmed

256 000 tokeni näitaja kirjeldab mudeli kontekstimahtu: sisendviip ja genereeritud jätk peavad kokku mahtuma teostuse toetatud kontekstipiirangu sisse. Seda ei tohiks tõlgendada garanteeritud 256 000 tokeni pikkuse väljundina. Esitatud uuringus ei täpsustata eraldi maksimaalset väljundtokenite arvu.

Võimekus ja toetatud modaalsused

Jamba-v0.1 genereerib teksti autoregressiivselt, mis tähendab, et jätku loomiseks ennustab see korduvalt järgmist tokenit. Sobivate ülesannete hulka kuuluvad teksti mustandite koostamine, lõikude jätkamine, viipa lisatud teabe kokkuvõtmine ja pika kontekstiga genereerimise katsetamine. Kuna kaalud on allalaaditavad, saab mudelit kasutada ka teadustöö või privaatse järeldamise alusena, mitte ainult majutatud rakenduse kaudu.

Mudel töötab ainult tekstiga. See ei võta algupäraselt vastu pilte, heli ega videot ega genereeri pilte, heli ega videot. Esitatud uuringus ei ole dokumenteeritud teenusepakkuja pakutavat algupärast veebotsingu võimekust, funktsioonide või tööriistade kutsumist, toimingute täitmist ega struktureeritud väljundi režiimi. Arendajad võivad nende funktsioonide pakkumiseks luua ümbritseva tarkvara, kuid see oleks rakendustaseme taristu, mitte Jamba-v0.1 olemuslik võimekus.

Samuti ei ole Jamba-v0.1 dokumenteeritud spetsiaalselt arutlus- või programmeerimismudelina. See suudab üldise keelemudelina genereerida koodi tekstina, kuid uuringus ei esitata spetsiaalset programmeerimise võrdlustesti ega teenusepakkuja väidet, et mudel on tarkvaraarenduseks optimeeritud. Sama ettevaatus kehtib arutlusvõime kohta: mudel võib koostada samm-sammulist teksti, kuid seda ei tohiks käsitada spetsiaalse arutlusmudelina.

Juurutamine ja riistvaraga seotud kaalutlused

AI21 mudelikaart soovitab kasutada Transformers 4.40.0 või uuemat versiooni ning nõuab, et mudeli teostus laaditaks koos kaugmudeli koodiga. Praktilise jõudluse tagamiseks soovitatakse optimeeritud Mamba kerneleid ja CUDA-toega riistvara. Ilma asjakohaste optimeeritud kerneliteta võib läbilaskevõime märgatavalt väheneda ja latentsus suureneda.

Mudelikaardi andmetel mahub avaldatud konfiguratsioon kavandatud teostuskonfiguratsiooni korral ühele 80 GB GPU-le. Seda ei tohiks käsitada universaalse garantiina iga seadistuse puhul. Pikad viibad, suuremad paketid, suurem täpsus, vahemäluvajadus ja erinev järeldamistarkvara võivad mälunõudeid muuta. Muude juurutuskonfiguratsioonide korral võivad vajalikuks osutuda kvantimine, mudeli paralleeltöötlus või järeldamisteenuse pakkuja kasutamine.

Kaalude allalaadimine ei muuda Jamba-v0.1 väikese ressursivajadusega kohalikuks mudeliks. Selle 52 miljardi parameetriga suurus ja pika konteksti võimekus võivad nõuda märkimisväärselt GPU-mälu ning inseneritööd. Juurutamist kavandavad organisatsioonid peaksid lisaks loetlemata tokenipõhisele API-hinnale arvestama riistvara hankimise või rentimise, salvestusruumi, energiakulu, järeldamise optimeerimise, seire ja mudeliteenuse integratsiooniga.

Põhikontrollpunkti olulised piirangud

Kõige olulisem piirang on see, et Jamba-v0.1 on baasmudel. Seda ei esitletud juhiste järgi peenhäälestatud vestlusabilisena. Baasmudel treenitakse peamiselt teksti jätkamiseks, mistõttu ei pruugi see mitmeosalisi juhiseid järjepidevalt järgida, soovitud väljundvormingut säilitada, ebaturvalistest päringutest prognoositavalt keelduda või säilitada vestlusmudelilt oodatavat käitumist.

Interaktiivsete abisüsteemide, klienditoe töövoogude või rakenduste puhul, mis vajavad usaldusväärseid struktureeritud vastuseid, võib sobivam olla hilisem juhiste järgi peenhäälestatud mudel või teenusepakkuja hallatav alternatiiv. Jamba-v0.1 võib siiski olla kasulik siis, kui teeninduskeskkonna juhtimise, avatud kaalude uurimise või arhitektuuriga katsetamise võimalus on valmislahenduslikust käitumisest olulisem.

Esitatud materjalides ei ole mudelil dokumenteeritud ka algupärast multimodaalset sisendit, veebisirvimist, funktsioonide kutsumist, struktureeritud JSON-režiimi ega majutatud tokenipõhist hinda. Pikk kontekst ei anna automaatselt ajakohaseid teadmisi: mudelikaardil on teadmiste lõppkuupäevana märgitud 5. märts 2024 ning siin ei kirjeldata sisseehitatud veebiotsingu funktsiooni.

Kiiruse, hinna ja võimekuse kompromissid

Jamba-v0.1 hübriidne Transformer-Mamba- ja ekspertide segul põhinev arhitektuur on mõeldud pikkade jadade tõhusamaks töötlemiseks. AI21 avaldatud positsioneerimine rõhutab väiksemat mälukasutust ja suuremat läbilaskevõimet võrreldes ainult Transformeritel põhinevate tavapäraste lahendustega. Need on arhitektuuri- ja teenusepakkuja väited, mis ei asenda mudeli testimist kavandatud riistvara ja töökoormusega.

Toimetuslikust vaatenurgast on mudel kõige atraktiivsem uurimis- ja ise majutamise võimalusena olukorras, kus oluline on pikk kontekst ja juurutuse üle kontrolli omamine. Võimalik hinnaeelis tuleneb allalaaditavate kaalude kasutamisest ning sobivates konfiguratsioonides ainult osa kõigi parameetrite aktiveerimisest. 52 miljardi parameetriga kontrollpunkti käitamine võib siiski olla kulukas, eriti suure täpsuse või suurte pakettide korral. Kasutuspõhise hinnastusega API-mudel võib olla juhukasutajatele lihtsam ja odavam, samas kui väiksem kohalik mudel võib piiratud riistvararessursside puhul olla praktilisem.

Esitatud võrdlevates hinnangutes on selle kiirust hinnatud suureks ja hinda soodsaks, kuid need hinnangud on toimetuslikud prognoosid, mitte AI21 avaldatud võrdlustestide tulemused. Neid tuleks kasutada üksnes suunava abimaterjalina.

Millal valida Jamba-v0.1?

Jamba-v0.1 on mõistlik valik, kui olulised on järgmised eesmärgid:

• Pika kontekstiga katsetamine: soovite testida genereerimist väga suurte tekstisisendite põhjal, mille deklareeritud kontekstimaht on kuni 256 000 tokenit.
• Avatud kaaludega teadustöö: soovite juurdepääsu allalaaditavatele mudelikaaludele, mitte ainult teenusepakkuja majutatud lõpp-punktile.
• Privaatne või isehallatav juurutus: teie organisatsioon vajab suuremat kontrolli selle üle, kus järeldamine toimub ja kuidas teenindustaristu on konfigureeritud.
• Arhitektuuriga katsetamine: uurite või hindate mudelit, mis ühendab Transformeri, Mamba ja ekspertide segu komponendid.
• Teksti genereerimine: teie rakendus vajab tekstiväljundit ega sõltu piltidest, helist, videost, veebisirvimisest ega algupärastest tööriistavõimalustest.

See sobib halvemini siis, kui vajate viimistletud vestlusabilist, garanteeritud juhiste järgimist, sisseehitatud veebiotsingut, algupärast funktsioonide kutsumist, hallatavat API-t või kasutamist tagasihoidliku jõudlusega riistvaral. Hilisem juhiste järgi peenhäälestatud Jamba väljalase võib vestluspõhise töö jaoks paremini sobida, väiksem mudel aga odavaks kohalikuks järeldamiseks. Kui vajate ajakohast teavet, tasub kaaluda mudelit või rakendust, millel on otsingu või veebipõhise teabeotsingu integratsioon.

Milline on selle koht AI21 mudelivalikus?

Jamba-v0.1 on AI21 Labsi avatud Jamba-perekonna ajaloos oluline, kuid see ei ole enam teenusepakkuja uusim mudel. Esitatud kataloogis on mainitud hilisemad Jamba 1.5, Jamba 1.6, Jamba 2 ja Jamba Reasoningu väljalasked. Need nimetused näitavad, et Jamba-v0.1 tuleks käsitada varasema, pärandina säiliva avatud kaaludega uurimis- ja juurutusvõimalusena, mitte AI21 praeguse lipulaeva kontrollpunktina.

See ei tähenda, et mudel oleks kasutuskõlbmatu. Selle 256 000 tokeni kontekstimäärang, Apache 2.0 litsents ja allalaaditavad kaalud on endiselt olulised teadlastele ja meeskondadele, kes soovivad just seda väljalaset kasutada. Enne tootmiskeskkonda juurutamise otsust peaksid kasutajad seda siiski võrdlema uuemate, juhiste järgi peenhäälestatud, majutatud või arutlusele suunatud võimalustega.

Kokkuvõte

Jamba-v0.1 on avatud kaaludega ainult tekstil põhinev baastaseme keelemudel, mis on loodud pika kontekstiga genereerimiseks ja katsetamiseks. Selle määravad omadused on hübriidne Transformer-Mamba-arhitektuur, ekspertide segu komponendid, 52 miljardi parameetriga suurus, 256 000 tokeni kontekstiaken ja Apache 2.0 litsents. Sama olulised on ka kompromissid: tegemist on suure juurutamist vajava mudeliga, selle väljundipiirangut ei ole esitatud allikates eraldi dokumenteeritud, loetletud majutatud API-hind puudub ning mudelil puuduvad juhiste järgi peenhäälestus ja tänapäevaselt vestlusmudelilt oodatavad integreeritud tööriistad.

Allalaaditavat pika kontekstiga kontrollpunkti otsivatele teadlastele ja taristumeeskondadele on Jamba-v0.1 endiselt asjakohane valik. Kasutajatele, kes otsivad kohe kasutatavat abilist, multimodaalset süsteemi, programmeerimisagenti või ajakohast hallatavat API-t, sobib tõenäoliselt paremini teist tüüpi mudel.