Mis on Jamba 1.5 Large?
Jamba 1.5 Large on AI21 juhiste järgi häälestatud alusmudel. Juhiste järgi häälestamine tähendab, et mudelit on täiendavalt treenitud kasutaja juhistele vastama, mitte lihtsalt teksti jätkama. See on mõeldud tekstipõhiste rakenduste jaoks, nagu küsimustele vastamine, dokumentide kokkuvõtete koostamine, struktureeritud teabe teisendamine ja tööriistade kasutamine.
Mudel on avatud kaaludega, mitte saadaval ainult teenusepakkuja hallatava liidese kaudu. AI21 avaldas kontrollpunkti oma Hugging Face'i organisatsiooni kaudu Jamba Open Model License'i alusel. Seega saavad arendajad kaale toetatud järeldusraamistike abil hinnata või kasutusele võtta, arvestades litsentsi ja märkimisväärseid riistvaranõudeid.
Jamba 1.5 Large avaldati 22. augustil 2024. See on endiselt tuvastatav ja allalaaditav mudel, kuid enam mitte uusim suur Jamba kontrollpunkt: AI21 kataloog sisaldab hilisemaid Jamba versioone, sealhulgas Jamba 1.6 ja Jamba 1.7 Large. Seetõttu on uute projektide puhul versiooni valik oluline.
Arhitektuur ja 256K kontekstiaken
Jamba 1.5 Large'i määrav omadus on mitme arhitektuurse lähenemise kombinatsioon. Transformeri kihid võimaldavad tähelepanul põhinevat töötlust, mis on kasulik siis, kui mudel peab seostama sisendi konkreetseid osi. Mamba olekuruumi kihid on loodud töötlema jadasid erinevate mälu- ja arvutusomadustega. Ekspertide segu kihid suurendavad mahtu, suunates iga märgi ainult saadaolevate ekspertparameetrite alamhulga kaudu.
Jamba 1.5 Large'il on kokku 398 miljardit parameetrit ning järelduse ajal on aktiivsed ligikaudu 94 miljardit parameetrit. Aktiivsete parameetrite arv ei muuda mudelit väikeseks: kogu kontrollpunkt vajab endiselt palju mälu ning selle tõhusaks teenindamiseks on üldjuhul vaja mitme GPU-ga taristut ja kvantimist.
Mudeli dokumenteeritud efektiivne konteksti pikkus on 256K tokenit. Praktikas võimaldab see ühes päringus töödelda väga suuri dokumente, hangitud tekstilõikude kogumeid, mahukaid äridokumente või pikki vestlusi. AI21 teatas, et mudel säilitas RULER-i hindamises kasuliku jõudluse kogu 256K tokeni ulatuses. See on teenusepakkuja esitatud tulemus, mitte sõltumatu garantii iga töökoormuse jaoks.
Võimekused ja toetatud sisendid
Jamba 1.5 Large on ainult tekstimudel. See võtab vastu tekstisisendi ja genereerib tekstiväljundi; see ei töötle algupäraselt pilte, heli ega videot ega genereeri neid meediatüüpe. Välised otsingusüsteemid võivad mudelile edastada tekstilõike, kuid see ei muuda mudelit multimodaalseks.
- Pika kontekstiga tekstitöötlus: Mudel toetab 256K tokeni pikkust efektiivset konteksti.
- Juhiste järgimine: See suudab koostada vestluslikke vastuseid ja täita teksti teisendamise ülesandeid.
- Tööriistade kasutamine: Mudelikaart kirjeldab Hugging Face'i tavadega ühilduvat funktsioonide ja tööriistade kasutamise vormingut.
- JSON ja struktureeritud väljund: AI21 dokumenteerib spetsiaalse JSON-režiimi ja struktureeritud genereerimise võimalused.
- Allikapõhine genereerimine: Rakendused saavad edastada välist lähtematerjali, et vastused põhineksid hangitud või antud kontekstil.
- Mitmekeelne genereerimine: Dokumenteeritud toetatud keeled hõlmavad inglise, hispaania, prantsuse, portugali, itaalia, hollandi, saksa, araabia ja heebrea keelt.
- Peenhäälestus: Mudeli dokumentatsioon sisaldab peenhäälestuse juhiseid, kuigi uurimus ei määra universaalset peenhäälestuse hinda ega hallatava teenuse konfiguratsiooni.
- Voogedastus: Esitatud mudeliandmed kinnitavad voogedastuse tuge.
Mudeli teadmiste lõpptähtaeg on ametliku mudelikaardi kohaselt 5. märts 2024. Otsing, allikapõhisus või rakenduse edastatud dokumendid võivad järelduse ajal lisada ajakohast teavet, kuid need ei muuda aluseks olevate treeningandmete lõpptähtaega.
Kasutuselevõtt ja taristunõuded
Jamba 1.5 Large on kõige praktilisem organisatsioonidele, kes suudavad hallata suure mälumahuga GPU-taristut. AI21 soovitab kvantimist, kui mudel võetakse kasutusele ühes sõlmes, kus on kaheksa 80 GB GPU-d. Mudelikaart kirjeldab vLLM-i jaoks mõeldud ExpertsInt8-kvantimist ning annab ka Transformersil põhinevad laadimisjuhised, mis hõlmavad kvantimist ja seadmete jaotatud paigutust.
Kvantimine vähendab mudeli kaalude salvestamiseks ja käitamiseks vajalikku mälu, esindades neid väiksema täpsusega väärtustena. See võib muuta kasutuselevõtu praktilisemaks, kuid ei kõrvalda 398 miljardi parameetriga kontrollpunkti käitamise keerukust. Mudelit saab tehniliselt laadida protsessorile, kuid dokumentatsioon hoiatab, et protsessoril toimuv järeldus töötab halvasti. Seetõttu peaksid tootmiskasutuse lahendused arvestama GPU-de kättesaadavuse, paralleelsuse, mälureservi ning väga pikkade kontekstide mõjuga latentsusele ja kulule.
Kuna kaalud saab majutada enda taristus, võib Jamba 1.5 Large olla kasulik olukordades, kus kasutuselevõtu kontroll, andmete asukoht või privaatne taristu on olulisem kui riistvarakulude minimeerimine. Samas võib väiksem majutatud mudel sobida paremini meeskonnale, kes soovib lihtsat API-t, väikest alustamiskulu või prognoositavat päringupõhist hinnastamist.
Jõudlus ja praktilised kasutusjuhud
AI21 positsioneeris Jamba 1.5 Large'i ettevõtete suuremahuliste keelemudeli töökoormuste jaoks, mille puhul on kasulik pikk kontekst, suur läbilaskevõime ja kasutuselevõtu kontroll. Sobivad rakendused hõlmavad järgmist:
- Mahukate aruannete, lepingute, eeskirjade ja toimikute kokkuvõtete koostamine.
- Küsimustele vastamine suurte dokumendikogumite põhjal.
- Hankepõhine genereerimine, milles kasutatakse paljusid hangitud tekstilõike.
- Allikapõhised klienditoe assistendid.
- Struktureeritud andmete eraldamine ja teksti teisendamine JSON-väljundiga.
- Mitmekeelsed dokumenditöövood AI21 dokumenteeritud keeltega.
- Tööriistu kasutavad agendid, kes peavad valima või kutsuma väliseid funktsioone.
- Privaatsed või enda hallatavad keelemudeli kasutuselevõtud.
AI21 avaldas mitme hindamise tulemused, sealhulgas 65,4 Arena Hardis, 81,2 MMLU-s ahelmõtlemisega, 53,5 MMLU Pros ahelmõtlemisega, 36,9 GPQA-s, 85,5 BFCL-is ja 87 GSM-8K-s. Need on mudeli avaldamismaterjalidest pärinevad teenusepakkuja esitatud tulemused. Neid tuleks käsitleda ajalooliste võrdluspunktidena, mitte praeguste edetabelikohtadena, eriti kuna hindamismeetodid, viibad ja konkureerivad mudelid aja jooksul muutuvad.
Esitatud mudelihinnang annab selle arutlusvõimele hindeks 7 kümnest, kodeerimisvõimele 7 kümnest, kiirusele 8 kümnest ja kulule 6 kümnest. Need on toimetuslikud või andmebaasipõhised hinnangud, mitte teenusepakkuja avaldatud võrdlustestide faktid. Need viitavad mudelile, mis suudab hästi täita üldise arutlemise ja koodiga seotud tekstiülesandeid, kuid neid ei tohiks segi ajada ametliku kodeerimisvõrdluse ega väikeste teeninduskulude garantiiga. Selle arhitektuur võib mõne ainult Transformeril põhineva mudeliga võrreldes läbilaskevõimet parandada, kuid kontrollpunkti teenindamiseks vajalik riistvara jääb suureks kuluks.
Hinnastamine ja juurdepääs
Jamba 1.5 Large'i täpset praegust majutatud sisend- või väljundtokeni hinda ei ole kontrollitud. Mudel on saadaval allalaaditavate kaaludena, mistõttu ei ole selle enda taristus majutamisel üht universaalset teenusepakkuja tokenihinda. Tegelik kulu sõltub hoopis GPU-de ostmisest või rentimisest, kvantimisest, kasutusastmest, arendustööst, salvestusruumist ning päringute arvust ja pikkusest.
AI21 on pakkunud Jamba mudeleid ka oma ökosüsteemi ning valitud pilve- või järelduspartnerite kaudu, kuid saadavus ja kommertstingimused võivad teenusepakkujati erineda. Hallatavat kasutuselevõttu kavandavad organisatsioonid peaksid kontrollima, kas konkreetset Jamba 1.5 Large'i kontrollpunkti endiselt pakutakse, ning küsima ajakohase hinna otse valitud teenuselt. Ärge eeldage, et uuema Jamba väljalaske hinnastamine kehtib sellele pärandkontrollpunktile.
Esitatud uurimus ei kinnita mudeli maksimaalset väljundtokenite piirangut. Dokumenteeritud 256K näitaja kirjeldab efektiivset konteksti pikkust, mitte tingimata genereeritava vastuse maksimaalset pikkust. Seetõttu peaksid rakendused konkreetse kasutatava järelduspaketi dokumentatsioonist kontrollima väljundipiirangut, teeninduskonfiguratsiooni ja konteksti arvestamise reegleid.
Peamised tugevused ja piirangud
Jamba 1.5 Large'i tugevused
- Väga pikk sisend: 256K tokeni kontekstiaken on kasulik suurte dokumentide ja rohke otsinguga viipade puhul.
- Kontroll kasutuselevõtu üle: Avatud kaalud võimaldavad organisatsioonidel mudelit hinnata ja käitada väljaspool üht majutatud liidest.
- Struktureeritud töövood: JSON-režiim, tööriistade kasutamine ja allikapõhine genereerimine toetavad rakenduskeskseid süsteeme.
- Skaalale mõeldud arhitektuur: Hübriidne Transformeri–Mamba ekspertide segu arhitektuur püüab pakkuda suurt mahtu, aktiveerides valikuliselt parameetreid.
- Ettevõtetele sobiv keelevalik: Dokumenteeritud mitmekeelne tugi hõlmab mitut Euroopa keelt ning araabia ja heebrea keelt.
Piirangud
- Käituskulu: 398 miljardi parameetriga kontrollpunkti on ilma suure mälumahu ja mitme GPU-ta keeruline käitada.
- Ainult tekstipõhine töö: See ei sobi piltide, heli ega video algupäraseks mõistmiseks või genereerimiseks.
- Pärandmudeli staatus: Uuemad Jamba Large'i väljalasked võivad pakkuda uute kasutuselevõttude jaoks paremaid võimalusi või ajakohasemat tuge.
- Ühtse hinnastamise puudumine: Kontrollitud ühtset majutatud hinda ei ole ning enda taristus majutamise kulud erinevad märkimisväärselt.
- Protsessori piirangud: Kuigi protsessorile laadimine on tehniliselt võimalik, hoiatab mudeli dokumentatsioon, et protsessoril toimuv järeldus on praktikas aeglane või muul viisil kehv.
Millal valida Jamba 1.5 Large?
Valige Jamba 1.5 Large siis, kui projekt saab konkreetselt kasu avatud kaaludega pika kontekstiga mudelist ja meeskond suudab toetada tõsist GPU-taristut. See on mõistlik kandidaat privaatseks dokumendianalüüsiks, pika kontekstiga RAG-i jaoks, struktureeritud ettevõtte automatiseerimiseks, mitmekeelseteks tekstitöövoogudeks ning katseteks, mille puhul on vaja juurdepääsu mudeli kaaludele, mitte ainult majutatud lõpp-punktile.
Uue projekti puhul kaaluge esmalt uuemat Jamba Large'i väljalaset, kui see pakub paremat tuge, jõudlust või kasutuselevõtu ökonoomikat. Väiksem keelemudel võib olla sobivam siis, kui päringud on lühikesed, liiklus mõõdukas või prioriteediks on madal hind ja lihtne majutamine. Multimodaalne mudel on parem valik siis, kui kasutajad vajavad piltide, heli või video sisendit. Spetsialiseeritud kodeerimismudel võib olla eelistatav tarkvaraarenduse ülesannetes, mis nõuavad tugevamat koodigenereerimist, koodihoidlate mõistmist või integreeritud arendustöövoogu.
Kokkuvõttes tuleks Jamba 1.5 Large'i mõista eelkõige suure võimekuse, avatud kaaludega ja pika kontekstiga mudelina, mitte üldotstarbelise tarbijatele mõeldud vestlusrobotina. Selle praktiline väärtus tuleneb 256K tokeni konteksti, tööriistade kasutamise ja struktureeritud väljundi toe ning enda taristus majutamise võimaluse ühendamisest. Peamine kompromiss seisneb selles, et sama suurus, mis need võimalused tagab, muudab kasutuselevõtu ka kulukaks ja tehniliselt nõudlikuks.