Yi-1.5-34B-Chat-16K

Mis on Yi-1.5-34B-Chat-16K?

Yi-1.5-34B-Chat-16K on 01.AI välja töötatud avatud kaaludega vestluskeelemudel. Kanooniline hoidla identifikaator on 01-ai/Yi-1.5-34B-Chat-16K. „34B” viitab ligikaudu 34 miljardile mudeli parameetrile, samas kui „Chat” näitab, et kontrollpunkti on juhiste järgi peenhäälestatud dialoogi ja ülesandepõhiste päringute jaoks, mitte ei pakuta seda üksnes töötlemata baasmudelina. „16K” viitab seadistatud maksimaalsele konteksti pikkusele, milleks on 16 384 tokenit.

Praktilises mõttes suudab mudel lugeda suhteliselt pikka päringut, mis sisaldab vestluse ajalugu, lähtematerjali või koodi, ning genereerida tekstilise vastuse. See on mõeldud üldiste keeletöötlusülesannete jaoks, sealhulgas juhiste järgimiseks, küsimustele vastamiseks, kodeerimiseks, matemaatiliseks arutlemiseks, teksti mõistmiseks ja mitmekeelse teksti genereerimiseks.

Mudel kuulub 2024. aasta Yi-1.5 põlvkonda. Esitatud uurimismaterjal kirjeldab seda saadaoleva avatud kaaludega väljalaskena, kuid 01.AI uuemate lipulaevadest API-mudelitega võrreldes pärandpõlvkonna mudelina. See positsioon on oluline: kontrollpunkt on eelkõige kasulik neile, kes soovivad kontrollida juurutamist ja mudeli kaalusid, mitte kasutajatele, kes otsivad lihtsat teenusepakkuja hallatavat lõpp-punkti.

Kontrollitud tehnilised andmed lühidalt

16 384 tokeni näitu toetab mudeli konfiguratsioonis määratud maksimaalne positsioonimanuste väärtus. See kirjeldab mudelile kättesaadavat kogukonteksti, mis hõlmab päringut, vestluse ajalugu ja genereeritud teksti, mis jääb käituskeskkonna toetatud konfiguratsiooni piiresse. Uurimismaterjal ei kinnita selle konkreetse kontrollpunkti jaoks eraldi maksimaalset genereeritavate tokenite arvu.

Võimekus ja toetatud modaalsused

Yi-1.5-34B-Chat-16K võtab vastu teksti ja toodab teksti. See ei genereeri algupäraselt pilte, heli, videot, manuseid ega muid mittetekstilisi väljundeid. Seetõttu tuleks seda hinnata tekstitöötluse keelemudelina, mitte multimodaalse assistendina.

01.AI Yi-1.5 dokumentatsioon esitleb täiustusi sellistes valdkondades nagu kodeerimine, matemaatika, arutlemine, juhiste järgimine, keele mõistmine, tavaarutlus ja teksti mõistmine. Need on teenusepakkuja või mudelite perekonna väited kavandatud võimekuse kohta, mitte garantii konkreetse tulemuse saavutamiseks iga päringu puhul. Esitatud uurimismaterjal ei sisalda selle täpse 16K vestlusmudeli võrdlustulemusi, mistõttu tuleks selle suhtelise täpsuse kohta järeldusi teha ettevaatlikult.

Kuna mudel on juhiste järgi peenhäälestatud, sobib see otseste päringute, näiteks „tee sellest dokumendist kokkuvõte”, „selgita seda funktsiooni” või „koosta vastuse mustand”, jaoks paremini kui baaskontrollpunkt. See toetab ka vestlusi, milles varasemad sõnumid jäävad olemasoleva kontekstiakna piiresse.

Mida võimaldab 16K kontekstiaken?

16 384 tokeni suurune kontekst on kasulik siis, kui ülesanne nõuab rohkem materjali, kui lühikesesse päringusse mahub. Võimalikud näited on pika tehnilise dokumendi ülevaatamine, lepingu mitme osa võrdlemine, mahukama kodeerimisarutelu pidamine ühes sessioonis või ulatusliku märkmete kogumi kohta küsimuste esitamine.

Konteksti piirang ei tähenda, et iga pikka sisendit analüüsitakse sama usaldusväärselt. Päringu suurenedes võib mudandil olla raskem olulisi juhiseid või tõendeid järjepidevalt kasutada. Praktilises töövoos võib siiski olla mõistlik jagada väga suured dokumendid osadeks, otsida välja ainult asjakohased lõigud või paluda vahekokkuvõtteid.

Kasutajad peaksid eristama ametlikku 16K kontrollpunkti teistest Yi-1.5 variantidest. Uurimismaterjal tuvastab selles perekonnas lühemad 4K vestlusvariandid ja pikemad 32K variandid, kuid see leht käsitleb konkreetselt 16K mudelit. Teistsugust kontekstiseadistust ei tohiks eeldada üksnes seetõttu, et mudelite perekonnas on ka teisi väljalaskeid.

Juurutamise ja taristu kaalutlused

Selle mudeli peamine erinevus tavapärasest majutatud vestlusrobotist seisneb selles, et kasutaja saab kaalud alla laadida ja neid ise teenindada. Ametlik dokumentatsioon sisaldab juurutamisnäiteid Hugging Face Transformersi, vLLM-i ja SGLangi kasutamiseks. vLLM ja SGLang võivad sobiva seadistuse korral pakkuda kohalikke või privaatselt hallatavaid lõpp-punkte, sealhulgas OpenAI-ga ühilduvaid liideseid.

34B mudelit on märksa nõudlikum käitada kui väiksemaid 6B või 9B Yi-1.5 variante. Täppisarvudega juurutamine nõuab palju mälu ning tegelikud vajadused sõltuvad arvulise täpsuse tasemest, kvantimisest, käituskeskkonna lisakulust, paketisuurusest, samaaegsusest ja kasutatava kontekstiakna mahust. Kolmandad osapooled pakuvad kvantiseeritud versioone, kuid neid tuletatud variante ei tohiks segi ajada algse 01.AI kontrollpunktiga.

Ise majutamine võib anda kontrolli andmekäitluse, tarkvarakonfiguratsiooni ja järeldamise kättesaadavuse üle. Samas jäävad riistvara, skaleerimise, seire, uuendamise ja jõudluse häälestamise eest vastutavaks operaator. Mudeli suurus võib seega olla eelis kvaliteeditundlikes privaatsetes töökoormustes, kuid puudus väikese mäluga masinate või latentsustundlike rakenduste korral.

Arutlemine, kodeerimine ja tööriistade tugi

Mudel on mõeldud matemaatiliseks arutlemiseks, üldiseks arutlemiseks, koodi genereerimiseks ja koodi selgitamiseks. Selle 34B suurus ja juhiste järgi peenhäälestamine teevad sellest mõeldava valiku kodeerimisassistentide, koodi ülevaatamise katsete, programmeerimisõppe ja uurimistöövoogude jaoks, mis vajavad väikese kohaliku mudeliga võrreldes suuremat võimekust. Esitatud allikad ei kinnita siiski võrdlustulemusi ega garanteeritud korrektsuse taset, mistõttu tuleks genereeritud koodi testida ja üle vaadata.

Yi-1.5-34B-Chat-16K-d ei tohiks käsitleda arutlemisele spetsialiseerunud mudelina, millel on eraldi dokumenteeritud arutlusrežiim. See genereerib tavalisi tekstivastuseid ning uurimismaterjal ei kinnita teenusepakkuja määratud arutluseelarvet ega spetsiaalset mõttekäigu juhtimist.

Sellel täpsel kontrollpunktil ei ole esitatud dokumentatsiooni põhjal kontrollitud algupärast veebotsingut, esimese osapoole tööriistade kutsumist ega funktsioonikutsete võimekust. Arendaja võib mudeli rakenduskihi kaudu väliste tööriistadega ühendada, kuid see oleks mudeli ümber ehitatud lahendus, mitte kinnitatud sisseehitatud funktsioon. Samuti ei ole kinnitatud garanteeritud JSON Schema väljundit. Rangelt masinloetavaid vastuseid vajavad rakendused peaksid mudeli väljundit ise valideerima ja vajaduse korral parandama.

Hind ja kättesaadavus

01.AI ei avalda viidatud dokumentatsioonis Yi-1.5-34B-Chat-16K mudelipõhist kontrollitud sisendi- ega väljundihinda tokeni kohta. Peamine levitamisviis on ametlikus Hugging Face'i hoidlas allalaaditav kontrollpunkt. Seetõttu ei ole selle mudeli kohta usaldusväärset kuutellimuse ega API hinda, mida esitada.

Mudeli kasutamisega kaasnevad siiski kasutuskulud. Ise majutatav paigaldus võib nõuda sobivat GPU-d või muud kiirendiriistvara, salvestusruumi, elektrit ja arendusaega. Järeldamisteenuse majutaja võib need vajadused teisendada tunni- või kasutuspõhiseks arveks, kuid see hind kuulub valitud majutajale ja konfiguratsioonile, mitte teenusepakkuja avaldatud hinnale selle täpse kontrollpunkti eest.

Peamised tugevused ja piirangud

Tugevused

• Pikem töötluskontekst: Kontrollitud 16 384 tokeni konfiguratsioon pakub dokumentide ja vestlusajaloo jaoks rohkem ruumi kui Yi-1.5 4K vestlusvariant.
• Avatud kaaludega juurutamine: Kasutajad saavad kontrollpunkti alla laadida ja seda käitada, selle asemel et täielikult majutatud teenusest sõltuda.
• Paindlik litsents: Mudelit levitatakse Apache-2.0 litsentsi alusel, võttes arvesse litsentsitingimusi ja kohaldatavaid kohustusi.
• Lai valik tekstiülesandeid: Kavandatud kasutusjuhtude hulka kuuluvad vestlus, kodeerimine, matemaatika, arutlemine, teksti mõistmine ja üldine teksti genereerimine.
• Paindlik juurutamine: Dokumenteeritud juurutusvõimalused on Transformers, vLLM ja SGLang.

Piirangud

• Suur ressursivajadus: 34B kontrollpunkt vajab väiksemate kohalike mudelitega võrreldes märksa rohkem mälu ja teenindusvõimekust.
• Ainult tekst: See ei paku algupärast pildi-, heli- ega videosisendit või -väljundit.
• Kontrollitud majutatud hind puudub: Kasutajad peavad taristu- või järeldamisteenuse kulud ise välja arvutama.
• Kinnitatud sisseehitatud tööriistad puuduvad: Veebiotsing, algupärane funktsioonikutsete tugi ja garanteeritud struktureeritud väljund ei ole selle kontrollpunkti puhul tõendatud.
• Väljundi ülempiir on teadmata: Uurimismaterjal kinnitab konteksti pikkust, kuid mitte eraldi maksimaalset genereeritavate tokenite arvu.
• Pärandpõlvkonna positsioon: Mudel kuulub 2024. aasta Yi-1.5 põlvkonda, mistõttu 01.AI uusimaid lipulaeva API-võimalusi otsivad kasutajad võivad vajada uuema pakkumise hindamist.

Millal valida Yi-1.5-34B-Chat-16K?

Vali see mudel siis, kui prioriteediks on ise hallatav üldotstarbeline vestlusmudel, millel on suhteliselt suur parameetrite arv, 16K kontekstiaken ja Apache-2.0 litsents. See on mõistlik kandidaat privaatsete dokumendiassistentide, kohaliku kodeerimise toe, mitmekeelse teksti genereerimise, uurimisprototüüpide, kohandatud teeninduslahenduste katsetamise ja peenhäälestuse uurimise jaoks, kui operaator soovib juurdepääsu mudeli kaaludele.

Seda tasub eriti kaaluda siis, kui andmed peaksid jääma organisatsiooni taristusse või kui majutatud API kättesaadavus, hinnastus või andmekäitluseeskirjad ei sobi. 16K kontekst võib vähendada ka vajadust jagada mõõdukalt pikad dokumendid paljudeks eraldi päringuteks.

Teine võimalus võib olla sobivam siis, kui väike latentsus, minimaalne riistvaravajadus või madalad kasutuskulud on olulisemad kui 34B mudeli võimekus. Väiksemaid Yi-1.5 variante võib olla lihtsam käitada, samas kui majutatud mudelid võivad pakkuda lihtsamat skaleerimist ja hallatavaid lõpp-punkte. Pildi-, heli- või videotoimingute jaoks sobib paremini multimodaalne mudel ning dokumenteeritud tööriistakutsete või struktureeritud väljundi garantiidega teenus on eelistatav rakendustele, mis neist funktsioonidest sõltuvad.

Kokkuvõte

Yi-1.5-34B-Chat-16K on praktiline avatud kaaludega tekstimudel kasutajatele, kes soovivad väikese kohaliku kontrollpunktiga võrreldes rohkem konteksti ja mudeli võimekust, kuid ei soovi täielikult hallatavale API-le üle minna. Selle peamine kompromiss on selge: Apache-2.0 litsentsiga ise majutatav 34B mudel pakub juurutamise üle kontrolli ja laia tekstipõhist võimekust, kuid nõuab märkimisväärset taristut ning sellel ei ole kontrollitud algupäraseid multimodaalsuse, veebiotsingu, tööriistakutsete ega struktureeritud väljundi funktsioone. Seda tasub hinnata võimeka 16K kohaliku või privaatselt majutatava keelemudeli komponendina, kasutades rakendustaseme teste, et teha kindlaks, kas selle kvaliteet ja kiirus vastavad töökoormuse nõuetele.