Mis on AI21 Jamba Mini 1.7?
AI21 Jamba Mini 1.7 on AI21 Labsi pakutav üldotstarbeline tekstikeelemudel. See kuulub Jamba 1.7 mudeliperesse ja on Hugging Face'i kaudu saadaval avatud kaaludega mudelina. „Avatud kaaludega” tähendab, et treenitud mudelifailid saab vastava litsentsi alusel alla laadida ja kasutaja hallatavas keskkonnas käivitada, võttes arvesse mudeli riistvara- ja litsentsinõudeid.
Mudelil on 52 miljardit parameetrit ning see kasutab hübriidarhitektuuri, mis ühendab Transformeri tähelepanumehhanismi Mamba olekuruumi kihtidega. Lihtsustatult aitavad Transformeri komponendid mudelil järjestuse eri osade vahelist teavet seostada, samal ajal kui Mamba kihid on mõeldud pikkade järjestuste tõhusamaks töötlemiseks. Jamba Mini 1.7 kasutab ka ekspertide segu arhitektuuri, mille puhul saab sisendist sõltuvalt aktiveerida valikuliselt mudeli eri osi, selle asemel et kasutada igal operatsioonil kõiki parameetreid.
AI21 suunab mudeli pika kontekstiga ettevõtete töökoormustele, sealhulgas otsinguga täiendatud genereerimisele (RAG), allikapõhisele küsimustele vastamisele, dokumentide töötlemisele ja privaatses keskkonnas juurutamisele. See ei ole tarbijatele mõeldud vestlusrobotitoode ning seda ei tohiks segi ajada AI21 Labsi kirjutamisele keskendunud tarbijateenuse Wordtune'iga.
Jamba mudelipere kontekstis
Jamba Mini 1.7 on Jamba 1.7 perekonna Mini-mudel. Selle puhul on rõhk pika konteksti võimekusel, paindlikul juurutamisel ja kasutuskulul, mitte tipptasemel arutlusvõimel. Esitatud uuringus nimetatakse võrdluseks eelkäijat Jamba Mini 1.6: AI21 andmetel parandab versioon 1.7 varasema versiooniga võrreldes allikapõhisust ja juhiste järgimist.
Hugging Face'i hoidmega tavaliselt seotud mudeli identifikaator on ai21labs/AI21-Jamba-Mini-1.7. AI21 juurutamisnäidetes võidakse kasutada alternatiivset identifikaatorit AI21-Jamba-1.7-Mini. Need nimed viitavad sama mudelipere liikmele, kuid integratsiooni seadistamisel tuleks kontrollida hoidlat või juurutamise dokumentatsiooni.
Peamised tehnilised näitajad
| Tehniline näitaja | Kontrollitud teave |
|---|---|
| Pakkuja | AI21 Labs |
| Väljalaskekuupäev | 3. juuli 2025 |
| Mudelipere | Jamba 1.7 |
| Parameetrid | 52 miljardit |
| Arhitektuur | Transformeri ja Mamba hübriidne arhitektuur koos ekspertide segu lahendusega |
| Kontekstiaken | 256 000 tokenit |
| Teadmiste lõppkuupäev | 22. august 2024 |
| Sisend | Tekst |
| Väljund | Tekst |
| Litsents | Jamba Open Model License |
| Maksimaalne väljundtokenite arv | Esitatud uuringus kontrollimata |
256 000 tokeni suurune kontekstiaken on mudeli kõige olulisem praktiline näitaja. See võimaldab ühte ülesandesse kaasata suure hulga lähtematerjali, näiteks pika aruande, mitu seotud dokumenti või mahuka otsingutulemuse. Kontekstilimiit ei ole sama mis vastuse maksimaalne pikkus: esitatud uuringus ei ole eraldi maksimaalset väljundtokenite arvu kinnitatud.
Miks hübriidarhitektuur on oluline?
Traditsioonilised Transformeri mudelid kasutavad tähelepanumehhanisme, et võrrelda tokeneid omavahel. See on keele mõistmisel tõhus, kuid väga pikkade järjestuste töötlemine võib nõuda palju mälu ja arvutusvõimsust. Jamba Mini 1.7 ühendab Transformeri kihid Mamba olekuruumi kihtidega. Selle lähenemise eesmärk on säilitada tähelepanul põhineva arutlemise eelised, muutes samal ajal pikkade järjestuste töötlemise praktilisemaks.
Arhitektuur ei taga, et iga pikk dokument mõistetakse täiuslikult. Oluline teave võib endiselt tähelepanuta jääda, leitud tõendid võivad olla vastuolulised ja mudel võib jätkuvalt esitada toetamata väiteid. Eelis seisneb selles, et mudel suudab kasutada palju suuremat töökonteksti kui tüüpiline lühikese kontekstiga mudel. See on eriti kasulik siis, kui rakendus peab hoidma ühes kontekstis lähtelõike, juhiseid, vestlusajalugu ja vahepealset materjali.
Võimekus ja teatatud täiustused
Jamba Mini 1.7 toetab teksti genereerimist, juhiste järgimist, allikapõhist küsimustele vastamist, struktureeritud teksti genereerimist ja tööriistade kasutamist. Uuringus on märgitud ka voogedastuse ja peenhäälestuse tugi. Mudelikaardi järgi toetab mudel inglise, hispaania, prantsuse, portugali, itaalia, hollandi, saksa, araabia ja heebrea keelt.
AI21 teatab, et võrreldes Jamba Mini 1.6-ga on paranenud allikapõhisus ja juhiste järgimine. Esitatud uuringus on FACTS-i skoor tõusnud 0,727-lt 0,790-ni ning IFEvali skoor 0,68-lt 0,76-ni. Need on pakkuja esitatud võrdlustulemused ning neid tuleks käsitleda tõendina kirjeldatud versioonidevahelise võrdluse kohta, mitte iga rakenduse või andmestiku jõudluse garantiina.
Selle profiili jaoks koostatud toimetuslik hinnang annab mudelile arutlusvõime skooriks 5 punkti 10-st, kodeerimisskooriks 5 punkti 10-st, kiirusskooriks 7 punkti 10-st ja kuluskooriks 8 punkti 10-st. Need on võrdlevad toimetuslikud hinnangud, mitte AI21 avaldatud reitingud. Need viitavad mudelile, mis on üldkeele-, dokumendi- ja struktureeritud teksti ülesannetes piisavalt võimekas, kuid ei ole esimene valik siis, kui peamine nõue on parim saadaolev matemaatiline arutlus, täiustatud tarkvaraarendus või agentne planeerimine.
Modaalsused, tööriistad ja struktureeritud väljund
Jamba Mini 1.7 töötab ainult tekstiga. See võtab vastu tekstisisendi ja genereerib tekstiväljundi; esitatud mudeliandmete kohaselt ei toetata pildi-, heli- ega videosisendit ega -väljundit. Seetõttu ei saa mudel otse pilti analüüsida, helisalvestist transkribeerida ega pilti või videot genereerida.
Mudeli puhul on märgitud tööriistade kasutamise ja struktureeritud väljundi tugi. Tööriistade kasutamine tähendab, et rakendus saab mudelile kättesaadavaks teha väliseid funktsioone, näiteks dokumendiotsingu, andmebaasipäringu, kalkulaatori või ettevõtte sisemise süsteemi. Mudel ei soorita neid toiminguid iseseisvalt; ümbritsev rakendus peab valitud funktsiooni käivitama ja tulemuse tagastama. Struktureeritud väljund võib aidata rakendustel küsida prognoositava vorminguga teksti, kuid eraldi pakkuja JSON-režiimi ei ole esitatud uuringus kinnitatud.
Voogedastus on toetatud, võimaldades integratsioonil kuvada genereeritud teksti järk-järgult, selle asemel et oodata kogu vastuse valmimist. Toetatud on ka peenhäälestus, kuigi esitatud materjal ei täpsusta toetatud treeningvormingut, andmestiku minimaalset suurust ega peenhäälestuse hinda.
Juurutamise ja taristu nõuded
Mudel on Hugging Face'is juurdepääsupiiranguga ning seda levitatakse Jamba Open Model License'i alusel. Enne mudeli allalaadimist või ärilist juurutamist tuleks seetõttu tutvuda juurdepääsutingimuste ja litsentsitingimustega.
AI21 mudelimärkmete kohaselt vajab BF16-vormingus juurutamine vähemalt kahte 80 GB GPU-d. Dokumentatsioon soovitab kasutada vLLM-i versiooni 0.5.4 või uuemat. See on oluline taristunõue: kuigi mudel võib pärast ulatuslikku juurutamist olla järeldamisel kulutõhus, ei ole see kerge mudel ühe tagasihoidliku GPU või tavalise sülearvuti jaoks.
Ise majutamine annab organisatsioonile suurema kontrolli andmete asukoha, võrguühenduste, logimise ja süsteemiintegratsiooni üle. Samuti tähendab see, et operaatori vastutusele jäävad GPU-de mahu tagamine, mudeli teenindamine, skaleerimine, seire, turvauuendused ja litsentsinõuete järgimine. Majutatud juurdepääs võib olla lihtsam, kuid selle konkreetse mudeli praegust majutatud API kättesaadavust ei ole esitatud uuringus kinnitatud.
Hinnakujundus ja kulud
Esitatud hinnastamisandmete kohaselt maksab mudel AI21 majutatud järeldusteenuse kaudu pakkumisel 0,20 dollarit miljoni sisendtokeni ja 0,40 dollarit miljoni väljundtokeni kohta. Neid näite tuleks käsitleda ajalooliste või tingimuslike majutatud järeldusteenuse andmetena, mitte kinnitatud praeguse avaliku API hinnana. Uuringus märgitakse konkreetselt, et majutatud API kättesaadavus ei ole praegu kontrollitud.
Allalaaditud kaalude ise majutamisel neid tokenipõhiseid hindu ei rakendata. Tegelik kulu sõltub GPU-de soetamisest või rentimisest, kasutusastmest, salvestusest, võrgust, arendustööst ja käitamise üldkuludest. Suhteliselt hea toimetuslik kuluskoor 8 punkti 10-st peegeldab mudeli teatatud tokenihinna positsiooni ja pika konteksti väärtust, mitte garanteeritud kogukulu.
Parimad kasutusjuhud
- Pikkade dokumentide analüüs: suurte aruannete, poliitikadokumentide kogumike, tehnilise dokumentatsiooni või seotud dokumendikogumite läbivaatamine ühes töökontekstis.
- Ettevõtte RAG: ettevõtte otsitud teadmiste ühendamine kasutaja küsimusega ning vastuse koostamine esitatud tõenditele tuginedes.
- Allikapõhine küsimustele vastamine: kontrollitud lähtematerjali puudutavatele küsimustele vastamine, kui rakendus suudab esitada asjakohased lõigud ning nõuda viiteid või struktureeritud vastuseid.
- Privaatne juurutamine: keelemudeli käitamine enda hallatavas või piiratud keskkonnas, kui tundliku teksti saatmine avalikku lõpp-punkti ei ole soovitav.
- Struktureeritud teksti genereerimine: ühtse vorminguga klassifikatsioonide, eraldatud väljade, kokkuvõtete või töövookirjete loomine.
- Mitmekeelsed tekstitöövood: mudelikaardil loetletud keelte töötlemine, kontrollides samal ajal kvaliteeti konkreetse valdkonna ja keelepaari puhul.
Piirangud ja olukorrad, kus mõni muu valik võib olla parem
Jamba Mini 1.7 sobib halvemini rakendustesse, mis vajavad loomulikku multimodaalset sisendit, piltide genereerimist, heli töötlemist, video mõistmist või kõneväljundit. Nende vajaduste korral sobib paremini multimodaalne mudel. Samuti ei ole see ilmselge valik kergeks kohalikuks juurutamiseks, sest dokumenteeritud BF16-nõue on vähemalt kaks 80 GB GPU-d.
Nõudliku matemaatilise arutluse, keerukate kodeerimisagentide või ülesannete puhul, kus maksimaalne arutluskvaliteet on kulust ja läbilaskevõimest olulisem, võib sobivam olla tipptasemel arutlusmudel. Väga väikeste töökoormuste korral võib väiksem keelemudel pakkuda lühemat latentsust ja lihtsamat taristut, isegi kui selle kontekstiaken on lühem. Kui töökoormuses domineerivad seevastu väga pikad dokumendid ja privaatne juurutamine, võib Jamba Mini 1.7 olla atraktiivsem kui võimekam, kuid lühema konteksti või suletud lähtekoodiga majutatud mudel.
Mudeli teadmiste lõppkuupäev on 22. august 2024 ning veebotsing ei ole selle mudeli puhul loomupärase võimekusena märgitud. Värsket teavet vajavad rakendused peavad ajakohased andmed hankima otsingu või mõne muu välise tööriista kaudu. Mudel saab rakendusse integreerituna tööriistu kasutada, kuid tööriistade käivitamine, õigused ja andmete ajakohasus jäävad rakenduse vastutusele.
Millal valida AI21 Jamba Mini 1.7?
Vali AI21 Jamba Mini 1.7 siis, kui töökoormusele sobib tekstipõhine mudel, millel on 256 000 tokeni suurune kontekst, avatud kaaludega levitamine, struktureeritud genereerimine ja võimalus privaatseks juurutamiseks. See on eriti sobiv organisatsioonidele, kes peavad hoidma suurt hulka lähtematerjali kontekstis ning soovivad rohkem kontrolli, kui puhtalt majutatud mudel võimaldab.
Vali mõni muu lahendus siis, kui peamine vajadus on multimodaalne töötlemine, väga tugev tipptaseme arutlus, vähese ressursikuluga kohalik järeldamine, kontrollitud reaalajas veebijuurdepääs või selgelt dokumenteeritud ja praegu toimiv majutatud API. Enne tootmiskasutusele üleminekut kontrolli asjakohaseid keelekvaliteedi, otsingu, latentsuse, litsentsitingimuste, GPU-kulude ja kavandatud teenindusviisi kättesaadavuse näitajaid.