AI21-Jamba-Mini-1.5

Mis on AI21 Jamba Mini 1.5?

AI21-Jamba-Mini-1.5 on juhiste järgi häälestatud avatud kaaludega keelemudel, mida pakub AI21 Labs. Juhiste järgi häälestamine tähendab, et mudel on treenitud järgima loomulikus keeles antud juhiseid, mistõttu sobib see näiteks küsimustele vastamiseks, dokumentide kokkuvõtmiseks, teabe eraldamiseks, struktureeritud teksti loomiseks ja rakenduste töövoogude toetamiseks.

Mudel ei ole tavakasutajatele mõeldud vestlusrobot ega multimodaalne pildi- ja tekstipõhine assistent. Selle algupärane liides võtab vastu teksti ja väljastab teksti. Avatud kaaludega väljalase on mõeldud arendajatele ja organisatsioonidele, kes soovivad mudelit ühilduva taristu kaudu käitada, uurida selle käitumist või juurutada seda kontrollitud privaatses keskkonnas.

Jamba Mini 1.5 kuulub AI21 Jamba 1.5 mudeliperre. AI21 kirjeldab seda hübriidse Transformer-Mamba mudelina, mille arhitektuur kasutab ekspertide segu. Praktilises mõttes ühendab see suurtes keelemudelites tavapäraselt kasutatavad tähelepanumehhanismid Mamba-kihtidega, mis on loodud järjestuste tõhusaks töötlemiseks. Ekspertide segu arhitektuur tähendab, et kuigi mudel sisaldab kokku ligikaudu 52 miljardit parameetrit, on ühe märgi töötlemisel aktiivsed ainult umbes 12 miljardit parameetrit.

Nende arhitektuuriliste lahenduste eesmärk on muuta pika konteksti põhjal järelduste tegemine paremini hallatavaks kui olukorras, kus iga märgi puhul kasutatakse kõiki parameetreid. See ei muuda mudelit väikeseks: juurutamine nõuab endiselt märkimisväärset riistvara, eriti kogu konteksti mahutavuse kasutamisel.

Peamised näitajad ja konteksti maht

256 000 märgi suurune kontekstiaken on mudeli kõige olulisem praktiline näitaja. Kontekstiaken näitab, kui palju teksti saab mudel ühe päringu puhul arvesse võtta, sealhulgas viipa, antud dokumente, otsitud tekstilõike, vestluse ajalugu ja genereeritud vastust. 256 000 märgi suurune aken mahutab suuri lähtematerjalide kogumeid, kuid tegelik kasutatav maht sõltub rakendusest, viiba ülesehitusest, juurutuse konfiguratsioonist ja vastuse jaoks reserveeritud ruumist.

AI21 teatas pika konteksti jõudlusest ja kuni 2,5 korda kiiremast järelduste tegemisest võrreldes sarnaste mudelitega valitud pika konteksti testides. See on pakkuja esitatud väide, mis on seotud konkreetsete hindamistega, mitte garantii iga töökoormuse jaoks. Tegelik jõudlus sõltub riistvarast, kvantimisest, konteksti pikkusest, pakisuurusest, tarkvaraversioonidest ja teeninduse konfiguratsioonist.

Mida Jamba Mini 1.5 teha suudab?

Jamba Mini 1.5 toetab standardseid keelemudeli ülesandeid ning mitut funktsiooni, mis on kasulikud ettevõtete rakendustes:

• Pikkade dokumentide töötlemine: See suudab teha suurte dokumentide ja otsitud tekstilõikude kogumite põhjal kokkuvõtteid, analüüse ja klassifikatsioone ning vastata nende kohta esitatud küsimustele.
• Otsinguga täiendatud genereerimine: Rakendused saavad käitamise ajal edastada asjakohast välist teksti, et mudel saaks vastata privaatse teadmistebaasi või dokumendikogumi põhjal.
• Allikapõhine genereerimine: Mudelit saab kasutada töövoogudes, kus vastused peavad jääma antud lähtematerjalidega seotuks, kuigi allikapõhisuse kvaliteet sõltub endiselt otsingust ja viiba ülesehitusest.
• Struktureeritud JSON-väljund: See toetab JSON-kujuliste vastuste genereerimist teabe eraldamiseks, klassifitseerimiseks, suunamiseks ja rakendustega integreerimiseks.
• Funktsioonikutsed: See toetab töövooge, kus mudel valib väliseid tööriistu kasutavaid kutseid või valmistab need ette. Neid tööriistu käitab ja argumente valideerib endiselt ümbritsev rakendus.
• Mitmekeelne teksti genereerimine: AI21 teatas inglise, prantsuse, saksa, hollandi, hispaania, portugali, itaalia, araabia ja heebrea keele toest.
• Juhiste järgimine: See suudab käsitleda vestluslikke viipasid, teisendusi, küsimustele vastamist ja muid tekstipõhiseid ülesandeid.

JSON-väljundit ja funktsioonikutseid ei tohiks tõlgendada iseseisva tegutsemisena. Jamba Mini 1.5 ei sirvi iseseisvalt veebi ega käivita antud uurimismaterjali põhjal koodi. Arendaja peab tööriistad ise pakkuma, mudeli loodud argumente valideerima, vigu käsitlema ja õigusi jõustama.

Juurutamine ja juurdepääs avatud kaaludele

AI21-Jamba-Mini-1.5 on avatud kaaludega mudelina saadaval AI21 Hugging Face'i organisatsiooni kaudu. Mudeli dokumentatsioon kirjeldab juurutamist Transformersi või vLLM-i ühilduvate versioonidega, samuti mitme GPU kasutamist järelduste tegemisel, ExpertsInt8-kvantimist, Mamba tuumasid ja FlashAttentionil põhinevaid konfiguratsioone.

Avatud kaalud võivad olla kasulikud siis, kui andmete kontrolli nõuded, juurutuse kohandamine või taristust sõltumatus on olulisemad majutatud API mugavusest. Organisatsioon võib saada mudelit käitada oma keskkonnas, sealhulgas privaatses või kohapealses juurutuses, sõltuvalt olemasolevast riistvarast, tarkvara ühilduvusest ja litsentsinõuetest.

Avatud kaalude ja kohe kasutusvalmis väikese kuluga teenuse vahel on oluline erinevus. Mudeli ligikaudu 52 miljardit parameetrit muudavad selle mahukaks juurutuseks ka siis, kui iga märgi puhul on aktiivsed ainult umbes 12 miljardit parameetrit. AI21 dokumentatsioon kirjeldab konfiguratsioone, kus kasutatakse mitut 80 GB GPU-d. Kvantimine võib vähendada mälunõudeid, kuid ei kõrvalda vajadust kavandada GPU-mälu, salvestusruumi, latentsust, samaaegsust, seiret ja hooldust.

Mudelit levitatakse Jamba Open Model License'i alusel. Enne kaalude lisamist kommertstoodesse või muudetud juurutuse edasilevitamist peaksid organisatsioonid tutvuma selle litsentsi edasilevitamise, omistamise ja muude tingimustega.

Arutlus, programmeerimine ja tööriistade tugi

Jamba Mini 1.5 on üldotstarbeline keelemudel, mitte spetsiaalne laiendatud arutlusvõimega mudel. See suudab teavet analüüsida, järgida mitmeastmelisi juhiseid ja koostada selgitusi, kuid kättesaadav uurimismaterjal ei kinnita spetsiaalset arutlusrežiimi ega pakkuja määratletud arutluspingutuse juhtimist. Selle võrdlev arutlusskoor on toimetuslik hinnang, mitte AI21 spetsifikatsioon.

Mudel suudab keeletöötlusülesandena koodi genereerida ja teisendada ning võib olla kasulik koodiga seotud selgitustes või struktureeritud arendustöövoogudes. Uurimismaterjal ei kinnita siiski spetsiaalset programmeerimise fookust, programmeerimise võrdlustesti tulemust, sisseehitatud koodi käivitamist ega interaktiivset programmeerimisagendi keskkonda. Arendajad peaksid käsitlema genereeritud koodi ebausaldusväärse väljundina, mis vajab testimist ja ülevaatamist.

Funktsioonikutsed on toetatud, mistõttu sobib mudel rakendustele, mis ühendavad keele mõistmise ärisüsteemide, otsinguteenuste, andmebaaside või muude tööriistadega. Mudel ise neid tööriistu ei paku. Tootmiskeskkonna integratsioon peaks valideerima funktsiooninimed ja argumendid, piirama lubatud toiminguid, käsitlema vigast JSON-i ning takistama mudelil volitamata muudatuste tegemist.

Modaalsused ja teadaolevad piirangud

Jamba Mini 1.5 on tekstipõhine mudel. See võtab vastu teksti ja väljastab teksti. Mudel ei võta algupäraselt vastu pilte, heli ega videot ega genereeri pilte, heli, videot ega muusikat. Seetõttu sobib see halvasti visuaalsetele küsimustele vastamiseks, kõnerakendusteks, meedialoomiseks või töövoogudeks, mis nõuavad tekstiväliste failide otsest analüüsi.

Kontrollitud kontekstipiirang on 256 000 märki. Kättesaadav uurimismaterjal ei kinnita eraldi maksimaalset väljundmärkide arvu, seega ei tohiks eeldada mingit kindlat maksimaalset väljundi suurust. Praktikas piiravad saadaolevat vastuseruumi teeninduse teostus ning kontekstiakna see osa, mille hõivavad juhised, vestluse ajalugu ja sisenddokumendid.

Mudeli kirjelduses on teadmiste lõppkuupäevaks märgitud 5. märts 2024. Seetõttu ei tohiks mudelit käsitleda päevakajaliste sündmuste või värskete faktide allikana, välja arvatud juhul, kui rakendus edastab ajakohast teavet otsingu või muu kontrollitud andmeallika kaudu. Allikapõhine genereerimine saab pakkuda ajakohast või privaatset teavet ainult siis, kui rakendus edastab sobiva välise konteksti.

Hinnakujundus ja kulud

Selle täpse avatud kaaludega mudeli kohta ei ole kontrollitud kehtivat universaalset sisend- ega väljundmärgi hinda. Ise majutatava väljalaske puhul on see ootuspärane: peamine kulu on taristu, mitte üks pakkujaülene korduv märgipõhine hind.

Ise majutamise kulud võivad hõlmata GPU renti või omamist, salvestusruumi, elektrit, võrgundust, orkestreerimist, arendust, seiret, uuendusi ja samaaegsete päringute teenindamiseks vajalikku mahtu. Kvantimine ja tõhus teenindus võivad päringu hinda vähendada, samas kui väga pikad viibad ja suur samaaegsus võivad seda suurendada. Kui majutatud partneri juurutus on saadaval, võivad sellel olla eraldi hinnad ja saadavustingimused, mida tuleks kontrollida iseseisvalt, mitte tuletada avatud kaaludega väljalaskest.

Selle lehe toimetuslikud kulu- ja kiirushinded on võrdlevad hinnangud. Need ei ole müüja avaldatud garantiid ega tohiks asendada testimist kavandatud viipade, konteksti pikkuste, riistvara ja liiklusmustriga.

Peamised tugevused ja kompromissid

Jamba Mini 1.5 kõige selgem tugevus on väga suure kontekstiakna, avatud kaalude kättesaadavuse, struktureeritud genereerimise ja ettevõtetele suunatud juurutusvõimaluste kombinatsioon. Need omadused muudavad selle dokumentiderohkete ja privaatsete töövoogude jaoks sobivamaks kui juhuslikuks tarbijatele mõeldud vestluseks.

• Pika konteksti töötlemine: 256 000 märgi suurune aken on kasulik suurte aruannete, eeskirjakogumike, tehnilise dokumentatsiooni ja otsingutorustike puhul.
• Juurutuse kontroll: Avatud kaalud võimaldavad privaatset, ise hallatavat või kohapealset juurutust, kui ainult majutatud mudel ei sobi.
• Rakendustega integreerimine: JSON-väljund ja funktsioonikutsed aitavad ühendada mudelit tarkvarasüsteemidega.
• Arhitektuuri tõhusus: Hübriidse Transformer-Mamba ja ekspertide segu arhitektuuri eesmärk on parandada pika konteksti tõhusust ja vähendada aktiivset arvutust ühe märgi kohta.
• Keelte tugi: AI21 teatas üheksa keele toest, mis võib aidata mitmekeelsetes ettevõtete tekstipõhistes töövoogudes.

Peamine kompromiss on käitamise keerukus. See ei ole kompaktne mudel, mille puhul võiks eeldada mugavat töötamist tagasihoidlikul riistvaral. Täismudel on endiselt suur ning pika konteksti töökoormused võivad olla nõudlikud ka kvantimise kasutamisel. Väiksem tihe mudel võib olla lihtsam ja odavam juurutada, kui dokumendid on lühikesed, samaaegsus suur või latentsus on konteksti mahust olulisem.

Millal see mudel valida?

Vali AI21-Jamba-Mini-1.5, kui olulised on järgmised asjaolud:

• Vajad ebatavaliselt pikkade dokumentide või suurte otsingu teel hangitud kontekstiakende töötlemist.
• Soovid avatud kaalusid privaatseks, ise hallatavaks või kohapealseks juurutuseks.
• Sinu rakendus vajab struktureeritud JSON-vastuseid või funktsioonikutsedel põhinevaid töövooge.
• Sinu kasutusjuht on peamiselt tekstipõhine ning hõlmab dokumentide analüüsi, kokkuvõtete koostamist, ettevõtteotsingut või allikapõhistele küsimustele vastamist.
• Suudad pakkuda suure mudeli käitamiseks vajalikku GPU-taristut ja arendustööd.

Mõni muu valik võib olla sobivam, kui projekt vajab pildi-, heli- või videosisendit, sisseehitatud veebiotsingut, koodi käivitamist, hallatud tarbijatele mõeldud vestluskogemust või uuemat mudelit, mille ökosüsteemi tugi on tugevam. Väiksem mudel võib olla eelistatum kulutundlikes, väikese latentsusega või piiratud ressurssidega juurutustes. Uue projekti puhul tuleks esmalt hinnata ka Jamba uuemat väljalaset, sest AI21 nimetab Jamba Mini 1.5 pärandmudeliks ja loetleb uuemaid versioone, sealhulgas AI21-Jamba-Mini-1.7.

Praegune olek

AI21-Jamba-Mini-1.5 on endiselt asjakohane reprodutseeritavuse, uurimistöö, privaatse juurutuse ja hilisemate Jamba mudelitega võrdlemise seisukohalt. Mudelihoidla ja avatud kaalude levitamine pakuvad praktilist alust organisatsioonidele, kes vajavad just seda väljalaset. Siiski ei ole see enam vaikimisi valik AI21 praeguse mudelisuuna hindamiseks.

Uue juurutuse puhul peaksid meeskonnad võrdlema seda mudelit praeguse järglasega, kasutades oma dokumente ja sihtotstarbelisi töökoormusi. Võrdluses tuleks mõõta vastuste kvaliteeti, pika konteksti otsingut, JSON-i usaldusväärsust, funktsioonikutsumise täpsust, latentsust, GPU-mälu, läbilaskevõimet ja käitamise kogukulu. Jamba Mini 1.5 on kõige parem mõtestada võimeka pika kontekstiga avatud kaaludega väljalaskena, mis pakub olulist juurutuse kontrolli, kuid on samal ajal pärandmudel, mille taristunõudeid ja modaalsuspiiranguid tuleb hoolikalt arvesse võtta.