Mis on AI21 Jamba Reasoning 3B?
AI21 Jamba Reasoning 3B on AI21 Labsi avatud kaaludega keelemudel. See on loodud tekstipõhiseks arutlemiseks, juhiste järgimiseks, programmeerimise abistamiseks, teabe eraldamiseks ja pika kontekstiga dokumentidega töötamiseks. Ligikaudu 3 miljardi parameetriga kuulub see väiksemasse mudeliklassi kui paljud pilvepõhised üldotstarbelised arutlusmudelid, mistõttu on selle kohapealne kasutuselevõtt praktilisem, kui olulised on riistvara, privaatsus või kasutuskulud.
Mudelit levitatakse Hugging Face'i ja kohaliku järelduse ökosüsteemide kaudu Apache 2.0 litsentsi alusel. Kanooniline kontrollpunkti identifikaator on ai21labs/AI21-Jamba-Reasoning-3B. Kasutajad saavad kaalud alla laadida ja kasutada neid ühilduva tarkvara kaudu, selle asemel et käsitleda mudelit tavapärase AI21 majutatud tellimuse või tokenipõhise lõpp-punktina.
AI21 Labsi praeguses tootekataloogis esindab Jamba Reasoning 3B ettevõtte Jamba mudeliperekonna avatud kaaludega ja kohapeal kasutusele võetavat suunda. See on eraldiseisev Wordtune'ist, AI21 tarbijatele mõeldud kirjutamistootest, ning seda ei tohiks hinnata tarbijatele mõeldud vestlusrobotina ega Wordtune'i funktsioonina.
Hübriidarhitektuur ja kontekstiaken
Jamba Reasoning 3B kasutab hübriidset Transformer-Mamba arhitektuuri. Selle dokumenteeritud 28-kihiline ülesehitus sisaldab 26 Mamba kihti ja kahte tähelepanukihti. Lihtsustatult võimaldab Mamba-laadne jadatöötlus käsitleda pikki jadasid väiksema tähelepanu vahemälu koormusega kui arhitektuur, mis kasutab kogu ulatuses tavapärast tähelepanu mehhanismi. Tähelepanukihid aitavad seejuures luua seoseid, mille puhul on otsene tokenite võrdlemine kasulik.
Dokumenteeritud kontekstiaken on 256 000 tokenit. Kontekstiaken tähistab tekstihulka, mida mudel saab ühe päringu puhul arvesse võtta, sealhulgas sisendit ja genereeritud vastust. Seetõttu sobib mudel suurte aruannete, dokumendikogumite ja pikkade transkriptsioonide töötlemiseks ning otsinguga täiendatud genereerimise töövoogudeks, kus valitud lähtematerjal esitatakse koos küsimusega.
AI21 kirjeldab ka kuni 1 miljoni tokeni kasutamist sobivate töökoormuste korral. See laiendatud konteksti näitaja on teenusepakkuja väide toetatud kasutustingimuste kohta, mitte garantii, et iga käituskeskkond, kvantimine, seade või rakendus annab sama tulemuse. Täpset maksimaalset väljundtokenite piirangut kaasasolevas dokumentatsioonis ei ole kindlaks tehtud.
Arutlemine, programmeerimine ja struktureeritud ülesanded
Mudelit on täiendavalt treenitud arutlemiseks, juhiste järgimiseks, tööriistade kasutamiseks, koodi genereerimiseks, matemaatiliste ülesannete lahendamiseks, struktureeritud väljundi loomiseks ja teabe eraldamiseks. AI21 andmetel kasutati juhendatud peenhäälestust, otsest eelistuste optimeerimist, kontrollitavatel tasudel põhinevat tugevõpet ja muid seotud järelhäälestusmeetodeid.
Need treeningueesmärgid muudavad mudeli sobivaks näiteks mitmeastmelise küsimuse lahtivõtmiseks, pika dokumendi väljade eraldamiseks, kirjete klassifitseerimiseks, koodilõikude genereerimiseks või tegevuste pakkumiseks kergele agendikontrollerile. Esitatud uuringud ei kinnita siiski eraldi teenusepakkuja hallatava tööriista-API olemasolu just selle kontrollpunkti jaoks. Tööriistade kasutamist on parem käsitleda võimalusena, mida saab rakendada viipade ja ühilduvate järelduskeskkondade abil.
Mudelikaardi andmetel saavutas mudel MMLU-Pro testis tulemuse 61%, Humanity's Last Exam testis 6,0% ja IFBench testis 52%. Need on teenusepakkuja avaldatud võrdlustulemused ning ei pruugi ennustada jõudlust konkreetses rakenduses. Neid ei tohiks käsitleda sõltumatute garantiidena, eriti kuna kohalikud seaded, kvantimine, viibad ja hindamismeetodid võivad tulemusi märgatavalt mõjutada.
Kasutuselevõtt, kiirus ja kasutuskulu
AI21 andmetel toetab mudel Transformersi, vLLM-i, SGLangi, llama.cpp-ga ühilduvaid kvantitud versioone, LM Studiot ja seotud kohalikke tööriistu. See annab arendajatele mitu kasutuselevõtu võimalust alates Pythonil põhinevast uurimistöövoost kuni töölauale mõeldud kohaliku liidese või rakenduse teeninduskeskkonnani.
Ühes avaldatud testis teatas AI21 umbes 40 tokeni suurusest läbilaskevõimest sekundis M3-kiibiga MacBook Pro puhul, kui konteksti pikkus oli 32 000 tokenit. See näitaja pärineb ühest teenusepakkuja mõõtmisest ega ole universaalne kiiruse spetsifikatsioon. Jõudlus sõltub riistvarast, kvantimisest, käituskeskkonnast, konteksti pikkusest, valimi seadistusest ning sellest, kas mudelit teenindatakse ühele kasutajale või mitmele samaaegsele päringule.
Esitatud uuringute põhjal ei ole Jamba Reasoning 3B jaoks kehtestatud ametlikku AI21 majutatud API hinnakirja. Mudelil on avatud kaalud ja seda saab ise majutada, mistõttu erineb mudeli otsene hind selle käitamise kogukulust. Kasutuselevõtt võib siiski nõuda sobivat mälu, salvestusruumi, elektrit, pilvearvutusressursse, arendusaega ja pidevat hooldust. Väikese töökoormuse korral võib majutatud mudel olla lihtsam; korduvate privaatsete töökoormuste puhul võib kohalik järeldus pakkuda suuremat kontrolli ja väiksemat piirkulu.
Toetatud sisendid ja väljundid
Jamba Reasoning 3B on ainult tekstimudel. See võtab vastu tekstipõhiseid viipasid ja väljastab teksti, sealhulgas arutluskäike, selgitusi, eraldatud andmeid, koodi ja muud genereeritud keelt. See ei genereeri algupäraselt pilte, heli ega videot ning esitatud uuringutes ei ole tuvastatud piltide, heli või video natiivset sisendit.
Seetõttu tuleks mudel ühendada eraldi dokumentide teisendamise, kõne-, nägemis- või meediasüsteemidega, kui rakendus vajab neid modaalsusi. Näiteks pildi mõistmise töövoog vajaks enne tekstilise kirjelduse edastamist Jamba Reasoning 3B-le piltidega töötavat mudelit. Samuti vajaks hääleassistent eraldi kõnetuvastuse ja kõnesünteesi komponente.
Mudelit on treenitud struktureeritud väljundi loomiseks, kuid selle kontrollpunkti puhul ei ole eraldi JSON-režiimi ega formaalse JSON-skeemi garantii olemasolu kinnitatud. Masinaga valideeritavat JSON-vormingut vajavad arendajad peaksid kasutama rakendusepoolset parsimist ja valideerimist, korduskatsete loogikat ning selgeid viipasid, mitte eeldama, et iga vastus vastab skeemile.
Parimad kasutusjuhud
- Privaatne dokumendianalüüs: Organisatsioonid saavad tundlikku materjali töödelda enda hallatavas keskkonnas, selle asemel et saata kogu dokument kolmanda osapoole majutatud teenusele.
- Pika kontekstiga otsinguga täiendatud genereerimine: Suur kontekstiaken mahutab märkimisväärse hulga otsinguga leitud materjali, kui valitud käituskeskkond ja riistvara suudavad seda tõhusalt töödelda.
- Teabe eraldamine ja klassifitseerimine: Mudeli järelhäälestuse eesmärgid sobivad väljade eraldamiseks, kirjete märgendamiseks ja struktureerimata teksti rakenduse andmeteks muutmiseks.
- Kohapealne programmeerimisabi: See võib aidata koodi genereerida ja tehnilisi selgitusi koostada, kui eelistatud on kompaktne ja kohapeal töötav mudel.
- Võrguühenduseta või servtöötlusele suunatud assistendid: Suhteliselt väike parameetrite arv on mõeldud muutma kohaliku ja seadmetes toimuva järelduse teostatavamaks kui palju suurema mudeli kasutamine.
- Kerged agendikontrollerid: Rakenduse hallatava tööriistakihiga ühendatuna võib mudel juhiseid analüüsida ja aidata tegevusi valida.
Piirangud ja kompromissid
Peamine kompromiss seisneb võimekuse ja kasutuselevõtu kontrolli vahel. 3 miljardi parameetriga mudelit võib olla palju suuremast arutlusmudelist lihtsam ja odavam käitada, kuid see võib keerukate, mitmetähenduslike või laiaulatuslike ülesannete puhul olla vähem usaldusväärne. Võrdlustulemused on kasulikud lähtepunktid, kuid need ei tõenda, et mudel saavutab igas valdkonnas suuremate süsteemidega sama taseme.
Pikk kontekst ei tähenda ka automaatselt, et mudel mõistab täiuslikult iga sisestatud tokenit. Väga pikad viibad võivad suurendada mälu- ja latentsusnõudeid ning rakenduste kavandajad peavad endiselt valima asjakohase tõendusmaterjali, haldama konteksti kvaliteeti ja testima otsingu käitumist.
Jamba Reasoning 3B-d ei esitleta üldiselt kättesaadava AI21 majutatud API-mudelina, millel oleks tokenipõhine hinnastus. Arendajad, kes vajavad hallatavat lõpp-punkti, teenusepakkuja hallatavat skaleerimist, formaalset JSON-skeemi jõustamist või sisseehitatud veebiotsingut, võivad eelistada majutatud alternatiivi. Mudelil puudub ka natiivne multimodaalne genereerimine ning seda ei tohiks valida universaalse pildi-, heli- või videoassistendina.
Millal valida Jamba Reasoning 3B?
Vali see mudel siis, kui kaalude kohalik omamine, privaatne töötlemine, pikad sisendid ja prognoositav kontroll järelduskeskkonna üle on olulisemad kui täielikult hallatava teenuse kasutamine. See sobib eriti hästi juhul, kui rakendus suudab arvestada tööga, mida nõuavad käituskeskkonna valimine, mudeli kvantimine, väljundite valideerimine ja jõudluse häälestamine konkreetse riistvara jaoks.
Mudel sobib halvemini siis, kui esmatähtis on võimalikult lai üldine arutlusvõimekus, garanteeritud struktureeritud vastused, natiivne meedia mõistmine või genereerimine, hallatav veebiuuring või kohe kasutatav majutatud API. Sellistes olukordades võib suurem hallatav mudel või spetsiaalselt loodud multimodaalne teenus vähendada arendustööd ja pakkuda tugevamaid garantiisid.
Litsents ja saadavus
AI21 Jamba Reasoning 3B on saadaval avatud kaaludega allalaaditava mudelina Apache 2.0 litsentsi alusel. Ametlik Hugging Face'i hoidla on ai21labs/AI21-Jamba-Reasoning-3B. Kohalike tööriistade jaoks võivad saadaval olla kogukonna loodud kvantitud versioonid, kuid neid tuleks eristada AI21 kanoonilisest kontrollpunktist, sest kvantimine ja pakendamine võivad mõjutada mälukasutust, kiirust ja väljundi kvaliteeti.
Üldjoontes tuleks seda mudelit käsitleda kompaktse arutluskomponendina arendajatele, kes soovivad pika kontekstiga tekstipõhiseid töökoormusi enda kontrolli all käitada. Selle kõige selgemad praktilised eelised on dokumenteeritud 256 000 tokeni suurune kontekst, kohaliku kasutuselevõtu võimalused ja lubav litsents. Samal ajal piiravad selle rolli hallatavates ja multimodaalsetes rakendustes ainult tekstipõhine ülesehitus, kinnitamata formaalse skeemitoe olemasolu ning ametliku majutatud hinna puudumine.