Yi-1.5-34B-Chat

Mis on Yi-1.5-34B-Chat?

Yi-1.5-34B-Chat on ettevõtte 01.AI juhiste järgi häälestatud põhjuslik keelemudel. Praktikas tähendab see, et tegemist on tekstimudeliga, mis on treenitud viipadele ja vestlustele vastama, mitte lihtsalt toorteksti jätkama. Vestluspõhine häälestus muudab selle sobivaks assistentidele, küsimustele vastamiseks, programmeerimisabiks, õppetarkvarale, dokumentide töötlemiseks ja muudele rakendustele, mis vajavad dialoogivormis vastuseid.

Mudel kuulub Yi-1.5 perekonda, kuhu kuuluvad ka väiksemad 6B ja 9B variandid. 34B versioon on kaasasolevas uurimuses kirjeldatud suurim standardne Yi-1.5 kontrollpunkt. Suurem maht annab sellele väiksemate lokaalsete mudelitega võrreldes rohkem võimekust keerukate keele- ja arutlusülesannete lahendamiseks, kuid muudab kasutuselevõtu ka märksa nõudlikumaks.

01.AI avaldas Yi-1.5-34B-Chat 13. mail 2024. Pakkuja sõnul on Yi-1.5 seeriat pidevalt eeltreenitud ligikaudu 500 miljardi märgiga ning häälestatud ligikaudu 3 miljoni mitmekesise juhisenäite põhjal. Need arvud on pakkuja esitatud treeninguandmed, mitte sõltumatud jõudlusmõõtmised.

Tehnilised andmed ja piirangud

Standardne Yi-1.5-34B-Chat kontrollpunkt on tekstisisendi ja tekstiväljundiga mudel. See võtab vastu tekstipõhiseid viipasid ja genereerib tekstipõhiseid vastuseid. Mudel ei töötle algupäraselt pilte, heli ega videot ega genereeri mittetekstilist meediat. See eristab seda multimodaalsetest mudelitest, mis kuuluvad 01.AI laiemasse platvormivalikusse.

4096 märgi pikkune kontekst tähendab viiba ja vastuse jaoks saadaolevat kogu tööakent, mille tegelik suurus sõltub teeninduskonfiguratsioonist. See on piisav tavaliste vestluste, mõõduka pikkusega koodinäidete ja lühemate dokumentide jaoks, kuid tänapäevaste standardite järgi ei ole tegemist pika kontekstiga mudeliga. Standardset 4K versiooni ei tohiks segi ajada eraldi Yi-1.5-34B-Chat-16K kontrollpunktiga.

Selle kontrollpunkti kohta ei ole esitatud pakkuja kinnitatud maksimaalset väljundipiirangut. Tegelik piir võib sõltuda ka järeldusraamistikust, saadaolevast mälust ja sellest, kui suure osa kontekstiaknast sisend hõivab.

Mida mudel teha suudab?

Yi-1.5-34B-Chat on mõeldud üldotstarbeliseks keeletöötluseks, eriti inglise ja hiina keelega seotud kasutusjuhtudel. Dokumenteeritud sihtvõimekuste hulka kuuluvad juhiste järgimine, keele mõistmine, tavaarutlus, lugemismõistmine, programmeerimine, matemaatika ja loogiline arutlemine.

• Kakskeelne vestlus: Mudel on loodud inglise- ja hiinakeelsete dialoogide, tõlkega seotud töövoogude ning mõlemas keeles kasutajaid teenindavate rakenduste jaoks.
• Abi programmeerimisel: See suudab koodi genereerida ja selgitada, aidata programmeerimisküsimusi tõlgendada ning toetada tarkvaraarenduse töövooge. Kaasasolevas uurimuses hinnatakse selle programmeerimisvõimekust toimetusliku hindena 7 punkti 10-st, mitte pakkuja avaldatud võrdlustesti tulemusena.
• Matemaatika ja arutlemine: Mudel on mõeldud matemaatilisteks arvutusteks ja mitmeastmeliseks arutlemiseks. See võib olla kasulik selgituste ja vahe-etappide läbimisel, kuid uurimus ei kinnita mingit garanteeritud täpsustaset.
• Tekstitöötlus: Mudel toetab kokkuvõtete koostamist, küsimustele vastamist, ümberkirjutamist, viipade abil klassifitseerimist ja muid ülesandeid, mis mahuvad 4K märgi pikkusesse tekstikonteksti.
• Peenhäälestus: Arendajad saavad avatud kaaludega mudelit kohandada väliste tööriistade, näiteks LLaMA-Factory, Swifti, XTuneri ja Firefly abil. Tegemist on ise hallatava töövooga, mitte tõendiga, et selle täpse mudeli jaoks oleks praegu saadaval esimese osapoole hallatav peenhäälestusteenus.

Esitatud spetsifikatsioonides ei ole selle mudeli kohta dokumenteeritud algupärast veebiotsingu tööriista, funktsioonikutsete süsteemi ega pakkuja hallatavat tööriistakasutuse liidest. Rakendus võib mudeli siiski suuremasse tarkvarasüsteemi paigutada, kuid otsingu, tööriistade orkestreerimise, valideerimise ja täitmise peab arendaja ise rakendama või peab neid toetama valitud järeldusplokk.

Kasutuselevõtt ja praegune saadavus

Yi-1.5-34B-Chat on peamiselt isehostitav mudel. Selle ametlikud kaalud on saadaval 01.AI Hugging Face'i hoidlas ning mudelit saab teenindada Transformersi, vLLM-i, SGLangi, Ollama või teiste ühilduvate tööriistade abil. Need võimalused annavad arendajatele kontrolli teeninduskeskkonna üle ja võimaldavad hoida viipasid ning genereeritud vastuseid privaatselt hallatavas taristus.

34 miljardi parameetri suurus on kasutuselevõtu peamine kompromiss. Ametliku BF16 kontrollpunkti käitamine nõuab 6B või 9B mudelitega võrreldes suure mälumahuga GPU-taristut. Kvantiseeritud kogukonnaversioonid võivad mälunõudeid vähendada, kuid nende käitumine, kvaliteet ja ühilduvus võivad ametlikust BF16 väljalaskest erineda. Kaasasolevas uurimuses ei täpsustata üht kindlat minimaalset riistvarakonfiguratsiooni, seega ei tohiks eeldada täpset riistvaranõuet.

Algse hostitud teenuse saadavust tuleb kaaludega seotud saadavusest eraldi käsitleda. Esitatud teenuseoleku uurimuse kohaselt lõppesid 01.AI hostitud mudeli kasutuskogemus ja API-teenused 3. septembril 2026. Seetõttu peaksid uued projektid käsitlema seda kontrollpunkti avatud kaaludega kasutuselevõtu sihtmärgina või kasutama kolmanda osapoole hosti, mitte eeldama, et praegu on saadaval esimese osapoole API lõpp-punkt ja märgipõhine arveldus.

Hinnakujundus ja API olek

Yi-1.5-34B-Chatil ei ole kinnitatud praegust esimese osapoole märgipõhist hinda. Mudeli kaale levitatakse Apache 2.0 litsentsi alusel, kuid see ei muuda järeldamist tasuta: kasutajad peavad endiselt tasuma GPU-de, serverite, elektri, salvestusruumi, halduse või valitud kolmanda osapoole hostingu eest.

Mudeli andmebaasis ei ole selle täpse kontrollpunkti kohta kinnitatud sisendihinda, väljundihinda, korduvtellimuse hinda ega maksimaalset väljundimärkide piirmäära. Kuna 01.AI hostitud platvormiteenus esitatud uurimuse kohaselt lõppes, ei ole seda võimalik praeguste hostitud mudelitega otse märgipõhiselt võrrelda ilma eraldi pakkujat valimata.

Privaatse kasutuselevõtu puhul on asjakohane võrrelda taristukulu mudeli suurusega. 34B mudel võib mõne keele-, programmeerimis- ja arutlusülesande puhul pakkuda väikestest kohalikest alternatiividest paremat kvaliteeti, kuid üldiselt on seda aeglasem ja kallim käitada kui kompaktset 6B või 9B mudelit, eriti ilma kvantiseerimise või tõhusa pakkide töötlemiseta.

Tugevused ja piirangud

Milles see on tugev

• Avatud kasutuselevõtt: Allalaaditavad kaalud võimaldavad lokaalset, privaatset või eriotstarbelist kasutuselevõttu, ilma et oleks vaja püsivat sõltuvust esimese osapoole API-st.
• Kasulik kakskeelne fookus: Inglise ja hiina keelega seotud töö on mudeli üks keskseid eeliseid.
• Lai tekstivõimekus: Sama kontrollpunkt toetab vestlust, programmeerimist, matemaatikat, arutlemist ja dokumentidega seotud ülesandeid.
• Paindlik kohandamine: Apache 2.0 litsents ja ühilduvus väliste peenhäälestustööriistadega muudavad selle sobivaks uurimistööks ja kohandamiseks, võttes arvesse kasutaja õiguslikku ja operatiivset hindamist.
• Levinud teenindustööriistade tugi: Transformers, vLLM, SGLang, Ollama ja sarnased tööriistad pakuvad kohaliku järeldamise jaoks mitut võimalust.

Milles see on piiratud

• Lühike standardne kontekst: 4096 märgi pikkune aken piirab pikkade dokumentide, pikemate vestluste ja suurte koodibaaside töötlemist ühe päringu raames.
• Ainult tekst: Kontrollpunkt ei võta algupäraselt vastu pilte, heli ega videot ega suuda neid meediatüüpe genereerida.
• Kinnitatud algupäraste tööriistade puudumine: Esitatud uurimuses ei ole selle täpse kontrollpunkti puhul dokumenteeritud veebiotsingut, funktsioonikutseid, struktureeritud väljundi režiimi, vahemällu salvestamist ega pakkide API tuge.
• Suur taristuvajadus: 34B BF16 mudel ei sobi lihtsalt vähese mäluga riistvarale. Kvantiseerimine võib aidata, kuid toob kaasa kasutuselevõtu ja kvaliteediga seotud kaalutlusi.
• Praeguse esimese osapoole hostingu puudumine: 01.AI hostitud API-teenuse registreeritud lõppemise tõttu peavad kasutajad kasutuselevõttu ise haldama või tuginema teisele hostile.
• Kinnitamata teadmiste piirkuupäev: Selle täpse kontrollpunkti esimese osapoole teadmiste piirkuupäeva ei ole kinnitatud.

Millal valida Yi-1.5-34B-Chat?

Vali Yi-1.5-34B-Chat siis, kui vajad avatud kaaludega kakskeelset mudelit ja suudad hallata vajalikku taristut. See sobib eriti hästi privaatsetele assistentidele, inglise ja hiina keelt toetavatele tööriistadele, programmeerimisrakendustele, uurimisprojektidele, ettevõttesisestele dokumenditöövoogudele ning peenhäälestuskatseteks, kui andmete kontroll muudab isehostitava mudeli eelistatavaks.

See on mõistlik valik ka siis, kui 34B mudeli kvaliteet ja arutlusvõime on olulisemad kui minimaalne riistvarakulu ning 4K kontekstist piisab. Apache 2.0 litsents ja lai ühilduvus avatud lähtekoodiga teenindustööriistadega muudavad selle kontrollitud kasutuselevõttu lihtsamaks kui ainult hostitud mudeli puhul.

Väiksem kohalik mudel võib olla sobivam siis, kui prioriteediks on vastuse kiirus, väike mälukasutus või odav käitamine. Yi-1.5 6B ja 9B variandid on asjakohased sama perekonna valikud juhul, kui ülesanne ei õigusta 34B mudeli taristunõudeid. Suurte dokumentide või pikkade vestluste jaoks sobib paremini pikema kontekstiga mudel, samas kui praegune hallatav API-mudel on sobivam juhul, kui projekt vajab pakkuja hallatavat skaleerimist, ajakohast veebipõhist konteksti, algupärast multimodaalset sisendit, struktureeritud väljundeid või avaldatud märgipõhist hinnamudelit.

Kokkuvõte

Yi-1.5-34B-Chatist tasub eelkõige mõelda kui võimekast avatud kaaludega kakskeelsest tekstimudelist, mitte kui praegusest hostitud tehisintellektiteenusest. Selle põhiväärtus seisneb 34 miljardi parameetri suuruse, Apache 2.0 litsentsi, programmeerimis- ja arutlustoe ning kolmanda osapoole taristu abil käitamise või peenhäälestamise võimaluse kombinatsioonis. Peamised kulud on operatiivsed: tagasihoidlik 4K kontekst, ainult tekstipõhine käitumine, märkimisväärsed riistvaranõuded ja algse 01.AI hostitud API-võimaluse kadumine. Meeskondade jaoks, kes hindavad kasutuselevõtu üle kontrolli ja suudavad taristut hallata, on see endiselt praktiline isehostitav valik; kasutajatele, kes soovivad mugavust, multimodaalsust, veebiühendust või prognoositavat hallatavat hinnastust, sobib tavaliselt paremini teist tüüpi mudel.