AI21-Jamba-Large-1.6

AI21 Jamba Large 1.6 on AI21 loodud suur keelemudel, mis on mõeldud eelkõige ettevõtete tekstipõhisteks töökoormusteks, mitte tarbijatele suunatud vestluseks või multimeediumisisu loomiseks. Selle kõige olulisem praktiline eripära on väga suure kontekstiakna, avatud kaaludega juurutamise võimaluste ning maandatud ja struktureeritud rakenduste funktsioonide kombinatsioon.

Mudel on mõeldud sellisteks ülesanneteks nagu otsinguga täiendatud genereerimine (RAG), dokumentide analüüs, allikatega seotud küsimustele vastamine, teabe eraldamine, klassifitseerimine ja privaatsete keelemudelite juurutamine. Tegemist on ainult tekstiga töötava mudeliga: see võtab vastu tekstisisendi ja väljastab teksti ning dokumenteeritud andmetel puudub sellel loomulik pildi-, heli- või videosisendi ja -väljundi tugi.

Mis on Jamba Large 1.6?

Jamba Large 1.6 kuulub AI21 Jamba mudeliperre. Mudel avaldati 6. märtsil 2025 ning avatud kaaludega hoidlas on selle identifikaator ai21labs/AI21-Jamba-Large-1.6. AI21 Studio dokumentatsioon kasutab identifikaatorit jambalarge-1.6 või olenevalt juurutamist käsitlevast dokumentatsioonist sellega lähedalt seotud Jamba Large'i identifikaatorit.

Jamba Large 1.6 kasutab hübriidarhitektuuri. Selle asemel et tugineda ainult tavapärasele Transformeri tähelepanumehhanismile, ühendab see Transformeri kihid Mamba-laadsete olekuruumi kihtidega. Samuti kasutab see ekspertide segu komponente. Lihtsustatult on selle disaini eesmärk töödelda pikki jadasid tõhusamalt kui täielikult standardsetel tähelepanukihtidel põhinev mudel, säilitades samal ajal tähelepanupõhise töötluse seal, kus see kasulik on.

Mudelil on ligikaudu 398 miljardit parameetrit kokku ja ligikaudu 94 miljardit aktiivset parameetrit. Aktiivsete parameetrite arv näitab konkreetse järeldustoimingu ajal kasutatavat osa, koguarv aga hõlmab kõiki mudelis saadaolevaid parameetreid. Tegemist on väga suurte mudelimõõtmetega, millel on otsene mõju isehostimise kuludele ja riistvaranõuetele.

Jamba Large 1.6 roll AI21 tootevalikus

Jamba Large 1.6 kuulub AI21 portfelli arendajatele ja ettevõtetele suunatud ossa. AI21 pakub tarbijatele suunatud kirjutamisabilisena ka Wordtune'i, kuid Jamba Large 1.6 ei tohiks käsitleda Wordtune'i funktsiooni ega üldotstarbelise tarbijaabilisena. See on mudel rakenduste loomiseks, ettevõtteandmete töötlemiseks ja kontrollitud juurutuskeskkondade toetamiseks.

Jamba 1.6 on vanem põlvkond ning esitatud tooteteabe kohaselt on selle uuem järglane Jamba 1.7. Seda tuleb uue projekti jaoks mudelit valides arvesse võtta: Jamba Large 1.6 on endiselt asjakohane, kui olulised on selle avatud kaaludega kättesaadavus, teadaolevad juurutusvõimalused või ühilduvusnõuded, kuid juhul, kui kasutatav platvorm toetab uusimat põlvkonda, võib eelistada uuemat Jamba versiooni.

Kontekstiaken ja väljundipiirang

Kontrollitud kontekstilimiit on 256 000 tokenit. Token on keelemudeli kasutatav väike tekstiosa; kontekst hõlmab viipa, vestluse ajalugu, hangitud dokumente ja muud mudelile edastatud teksti. 256 000 tokeni suurune aken on kasulik rakendustes, mis peavad töötama suurte tekstikogumitega, ilma et iga ülesanne tuleks jagada paljudeks väiksemateks päringuteks.

Praktilised näited on mahukate lepingute läbivaatamine, mitme eeskirjadokumendi võrdlemine, suure tehnilise teadmistebaasi otsing või küsimuste esitamine suure hulga hangitud tekstilõikude põhjal. Suur kontekst ei taga, et kõik üksikasjad saavad võrdselt tähelepanu, mistõttu on endiselt olulised otsingu kvaliteet ja viipade kujundus. Mudeli teadmiste lõppkuupäev on 5. märts 2024, mis tähendab, et treeningu käigus omandatud teadmised ei pruugi hõlmata hilisemaid sündmusi. Otsing või allikatega sidumine võib pakkuda uuemat teavet, kuid see ei muuda mudeli algset teadmiste lõppkuupäeva.

Dokumenteeritud maksimaalne väljund on 4096 tokenit. See on sisendi maksimaalsest kontekstist märkimisväärselt väiksem, mistõttu sobib mudel paremini suurte sisendite analüüsimiseks või teisendamiseks fokuseeritud vastusteks, kokkuvõteteks, klassifikatsioonideks või eraldatud kirjeteks kui äärmiselt pikkade katkematute dokumentide koostamiseks ühe vastusena.

Võimalused ja toetatud sisendid

Jamba Large 1.6 toetab teksti genereerimist ja juhiste järgimist. Dokumenteeritud rakendusfunktsioonide hulka kuuluvad funktsioonikutsete tegemine, struktureeritud JSON-väljund ja maandatud genereerimine. Funktsioonikutsete tegemine võimaldab rakendusel anda mudelile ette määratud väliste toimingute komplekti, näiteks kliendikirje otsimise või otsingu käivitamise. Seejärel saab mudel taotleda mõne sellise toimingu tegemist eeldatud argumentidega, samal ajal kui toimingu käivitamise eest vastutab rakendus.

Struktureeritud JSON-väljund on kasulik siis, kui vastust peab töötlema tarkvara, mitte ainult inimene lugema. Näiteks võib teabe eraldamise töövoog paluda välju nagu invoice_number, supplier ja total_amount kindlaksmääratud JSON-struktuuris. Arendajad peaksid tagastatud andmeid siiski valideerima, sest struktureeritud vorming ei välista valede väärtuste võimalust.

Maandatud genereerimine ja RAG on selle mudeli puhul eriti olulised. RAG-süsteem hangib ettevõtte andmebaasist või otsinguindeksist dokumente ning paigutab asjakohased lõigud mudeli konteksti. Seejärel saab Jamba Large 1.6 vastata esitatud materjalide põhjal, mitte tugineda ainult eeltreenitud teadmistele. Selline lähenemine on kasulik sise-eeskirjade, tootedokumentatsiooni, juriidiliste materjalide, tugikirjete ja muu teabe puhul, mis võib olla privaatne või ajas muutuda.

Hind ja juurdepääs

Esitatud AI21 hinnateabe kohaselt maksab Jamba Large 1.6 2 dollarit 1 miljoni sisendtokeni ja 8 dollarit 1 miljoni väljundtokeni eest. Need on kasutuspõhised API-hinnad, mitte tarbijatele mõeldud tellimuse hind. Sisendit ja väljundit arveldatakse eraldi, mistõttu võib suurte hangitud dokumentide saatmise ja suhteliselt lühikeste vastuste saamisega rakenduse kuluprofiil erineda rakendusest, mis genereerib pikki vastuseid.

Näiteks võib RAG-rakenduse sisendtokenite kulu märkimisväärseks kujuneda siis, kui see saadab korduvalt suuri tekstilõike, isegi kui genereeritud vastus on lühike. Seetõttu võivad viiba lühendamine, dokumendilõikude valik, võimaluse korral vahemällu salvestamine ja pakktöötlus olla olulisemad kui esmapilgul paistab väljundihinna põhjal. Esitatud uuring ei kinnita eraldi vahemäluhinda ega allahindlust, mistõttu tuleks need üksikasjad enne eelarve koostamist üle kontrollida vastavast AI21 juurutusdokumentatsioonist.

Jamba Large 1.6-le pääseb ligi AI21 majutatud teenuste kaudu ning seda saab juurutada ka avatud kaaludega tööriistu kasutades. Mudelihoidla märgib vLLM-i ja Transformersi tuge ning AI21 dokumenteerib privaatse taristu võimalusi. Avatud kaaludega väljalase kasutab Jamba Open Model License'i litsentsi, mistõttu peaksid organisatsioonid enne tootmiskeskkonda juurutamist üle vaatama litsentsitingimused ja kõik majutamisega seotud kohustused.

Juurutamine ja riistvaranõuded

Privaatne juurutamine on üks mudeli peamisi eristavaid omadusi, kuid selle suuruse tõttu on isehostimine nõudlik. AI21 dokumenteerib ExpertsInt8 kvantimise ja pika kontekstiga järelduse käitamise sõlmes, millel on kaheksa 80 GB GPU-d. Kvantimine vähendab mudeli kaalude salvestamiseks või töötlemiseks kasutatavat arvulist täpsust, mis võib vähendada mälunõudeid, kuid see ei muuda nii suuremahulist mudelit kergeks kohalikuks rakenduseks.

Isehostimist kaaluvad organisatsioonid peaksid arvestama GPU-de saadavuse, mälu, võrgunduse, järeldustarkvara, seire, uuenduste ja pikkade viipadega kaasnevate lisanõuetega. Majutatud API võib olla katsetamiseks või muutliku töökoormuse korral lihtsam. Privaatne juurutamine muutub atraktiivsemaks siis, kui andmekontrolli nõuded, prognoositav kontroll taristu üle, kohandamisvõimalused või võrgu eraldatus kaaluvad üles käitamisega seotud kulud.

Mõtlemise, kodeerimise, kiiruse ja kulude kompromissid

Jamba Large 1.6 on üldotstarbeline keelemudel, millel on kasulikud arutlus- ja kodeerimisvõimed, kuid esitatud uuringus ei kirjeldata seda tipptasemel spetsialistina nõudliku mitmeetapilise arutlemise jaoks. Toimetuse antud arutlusvõime hinne on 6 punkti 10-st ning ka kodeerimisvõime hinne on 6 punkti 10-st. Need on võrdlevad toimetuslikud hinnangud, mitte AI21 avaldatud hinded ega võrdlustulemused.

Toimetuse antud kiiruse hinne on 7 punkti 10-st ja kuluhinne 5 punkti 10-st. Neid hindeid tuleks tõlgendada praktiliste võrdlustena, mitte kindlate jõudlusgarantiidena. Mudel võib olla atraktiivne siis, kui pika konteksti töötlemine ja ettevõtetele sobiv juurutamine on olulisemad kui iga API-dollari kokkuhoid, kuid selle suurus ja väljundihind muudavad selle vähem sobivaks suure mahuga lihtsateks klassifitseerimis- või lühivastuste ülesanneteks, mille jaoks piisaks väiksemast mudelist.

Selle arhitektuur võib pakkuda kasulikke pika konteksti töötlemise tõhususe omadusi, kuid tegelik viiteaeg sõltub viiba pikkusest, väljundi pikkusest, juurutusriistvarast, kvantimisest, samaaegsusest ja teenuse konfiguratsioonist. Esitatud uuring ei paku võrdlustulemusi, mistõttu ei tohiks eeldada konkreetset tokenite arvu sekundis ega kindlat viiteaega.

Parimad kasutusjuhud

• Pika kontekstiga RAG: küsimustele vastamine suurte sise-teadmistebaaside, eeskirjade, juhendite või tehniliste kogumite põhjal.
• Ettevõtete dokumentide analüüs: faktide eraldamine, dokumentide võrdlemine, mahukate materjalide kokkuvõtete koostamine ning klauslite või nõuete tuvastamine.
• Allikatega seotud küsimustele vastamine: vastuste loomine hangitud lähtesisu põhjal, mitte ainult mudeli treeningandmetele tuginedes.
• Struktureeritud teabe eraldamine: ühtsete JSON-kirjete tagastamine arvetest, vormidest, lepingutest, tugipiletitest või muust tekstist.
• Klassifitseerimine: dokumentide suunamine, päringute kategoriseerimine, sisutüüpide tuvastamine või etteantud siltide määramine.
• Privaatsed või kontrollitud juurutused: avatud kaaludega mudeli käitamine organisatsiooni valitud taristus, võttes arvesse riistvara- ja litsentsinõudeid.

Piirangud ja olukorrad, kus valida mõni muu võimalus

Jamba Large 1.6 ei ole loomulikku pildi-, heli-, video-, kõne- ega manustemudeli tuge pakkuv mudel. Multimodaalne rakendus vajaks nende funktsioonide jaoks eraldi mudeleid või eeltöötlusteenuseid. Samuti ei ole seda positsioneeritud spetsialiseeritud tipptasemel arutlusmudelina, mistõttu võib mõni muu võimalus olla sobivam keerulise matemaatilise arutlemise, keeruka autonoomse planeerimise või selliste ülesannete korral, kus esmatähtis on parim saadaolev kodeerimisjõudlus.

4096 tokeni suurune väljundipiirang võib olla piirav rakendustes, mis vajavad väga pikki genereeritud aruandeid. Kuigi 256 000 tokeni suurune sisendiaken on oluline tugevus, võib väga suure konteksti saatmine iga päringuga suurendada kulu ja viiteaega. Väiksemad mudelid võivad olla sobivamad lühikeste viipade, suure läbilaskevõimega klassifitseerimise, tavapäraste kokkuvõtete või kulutundlike töökoormuste puhul.

Isehostimine on veel üks oluline kompromiss. Avatud kaaludega valik pakub rohkem kontrolli kui ainult majutatud teenus, kuid dokumenteeritud näide juurutamisest kaheksa 80 GB GPU-ga näitab, et tegemist ei ole tavapärase sülearvuti ega ühe GPU-ga lahendusega. Spetsiaalse masinõppe taristuta meeskondadele võib majutatud API või väiksem mudel olla praktilisem.

Millal valida Jamba Large 1.6?

Vali Jamba Large 1.6 siis, kui rakendus vajab väga suurt tekstikonteksti, struktureeritud või tööriistadega seotud vastuseid, ettevõtte RAG-i ning privaatse või enda hallatava juurutamise võimalust. See sobib eriti hästi organisatsioonidele, kes saavad kasu mahukate dokumentide töötlemisest, säilitades samal ajal kontrolli rakenduse arhitektuuri ja juurutamise üle.

Vali mõni muu võimalus siis, kui töökoormus on multimodaalne, vajab väga pikki genereeritud väljundeid, seab esikohale tipptasemel arutlus- või kodeerimisvõime või koosneb peamiselt odavatest lühikestest päringutest. Jamba Large 1.6 väärtus tuleneb kontekstimahust, ettevõtetele mõeldud funktsioonidest ja juurutamise paindlikkusest, mitte sellest, et see oleks väikseim või alati odavaim mudel.

Kokkuvõttes on AI21 Jamba Large 1.6 kõige parem käsituselt suur, tekstikeskne ettevõtetele mõeldud mudel pika konteksti ja allikatega seotud rakenduste jaoks. Avatud kaaludega kättesaadavus laiendab juurutusvõimalusi, samal ajal kui mudeli suurus, riistvaranõuded ja loomuliku multimodaalse toe puudumine määravad, millistes olukordades on selle kasutamine praktiline.