Yi-34B-Chat

Mis on Yi-34B-Chat?

Yi-34B-Chat on 01.AI alusmudeli Yi-34B vestluseks täiendhäälestatud versioon. Tähis „34B” viitab ligikaudu 34 miljardile parameetrile ehk õpitud arvväärtustele, mis määravad, kuidas mudel teksti töötleb ja genereerib. Vestlusversiooni puhul kasutati juhendatud täiendhäälestust, et muuta selle vastused dialoogi pidamiseks ja juhiste järgimiseks sobivamaks kui vastava baasmudeli vastused.

Mudel avaldati 23. novembril 2023 algse Yi mudeliperekonna osana. See erineb hilisematest Yi-1.5 ja Yi-Large’i põlvkondadest. Selle kõige olulisem praktiline omadus on kaalude allalaadimise võimalus, mis lubab kasutajatel mudelit oma keskkonnas käitada, selle asemel et sõltuda täielikult esimese osapoole hostitud teenusest.

Praktikas on Yi-34B-Chat mõeldud arendajatele, teadlastele ja organisatsioonidele, kes vajavad suurt kakskeelset tekstimudelit, mida saab oma taristus uurida ja juurutada. See ei ole multimetoodiline assistent: mudeli kohta esitatud teabe kohaselt toetab see ainult tekstisisendit ja tekstiväljundit.

Milline on selle koht 01.AI mudelivalikus?

01.AI arendab Yi alusmudelite perekonda ning pakub ka laiemalt ettevõtetele mõeldud teenuseid mudelite juurutamiseks, täiendhäälestuseks, agentide loomiseks ja privaatse tehisintellekti taristu haldamiseks. Yi-34B-Chat kuulub ettevõtte varasemasse avatud kaaludega mudelite põlvkonda, mitte praegusesse ettevõtete tootekihti. See erinevus on oluline, sest mudeli kättesaadavus põhineb allalaaditavatel kaaludel ja ühilduvatel avatud lähtekoodiga tööriistadel, mitte selle konkreetse mudeli kohta selgelt dokumenteeritud praegusel hallatud API-l.

Yi perekonnas täidab Yi-34B-Chat suure vestlusmudeli rolli. Algne väljalase sisaldas ka väiksemaid vestlusvariante, näiteks Yi-6B-Chat, kuid esitatud uurimismaterjal ei võimalda teha nende kvaliteedi, hinna ega tööpiirangute täielikku ajakohast võrdlust. Yi-34B-Chati puhul on kindlalt eristatav selle suurem parameetrite arv ja sellest tulenev suurem taristukoormus.

Peamised võimalused

Yi-34B-Chat on mõeldud üldotstarbeliseks teksti genereerimiseks ja vestlusliku keele mõistmiseks. Juhendatud vestluseks täiendhäälestus toetab assistendilaadset suhtlust, kirjalike juhiste järgimist, selgituste koostamist ja dialoogi hoidmist olemasoleva konteksti ulatuses. Mudel on suunatud nii inglise kui ka hiina keele kasutuseks, mistõttu sobib see kakskeelsetele rakendustele ja meeskondadele, kes töötavad mõlemas keeles.

• Dialoog: Mudel suudab genereerida vestlusvormis vastuseid.
• Juhiste järgimine: See on loodud ülesandejuhistele vastamiseks, mitte üksnes struktureerimata tekstilõigu jätkamiseks.
• Kakskeelne tekstitöötlus: Mudeli dokumenteeritud põhikeeled on inglise ja hiina keel.
• Kohalik järeldamine: Allalaaditavad kaalud võimaldavad iseseisvalt hostitud katsetamist ja juurutamist.
• Kohandamine: Mudelit saab ühilduvate tööriistade abil kasutada kvantimiseks ja edasiseks täiendhäälestuseks.

Neid võimalusi ei tohiks segi ajada teenusepakkuja garanteeritud rakendusfunktsioonidega. Uurimismaterjal ei kinnita Yi-34B-Chati puhul sisseehitatud veeb otsingut, püsivat mälu, struktureeritud väljundi garantiid ega praegust hostitud teenuse tasemekohustust.

Tehnilised näitajad ja konteksti piirang

Ametlik mudelikonfiguratsioon määrab 4096 maksimaalset positsioonimanust. See on dokumenteeritud kontekstikonfiguratsioon: mudeli käsutuses olev kogu materjal ühe suhtluse ajal, sealhulgas viip ja genereeritud vastus, on piiratud selle näitajaga ning kasutatavast teostusest ja teeninduslahendusest. Seetõttu võib pikki dokumente, mahukaid vestlusajalugusid või suurt otsinguga hangitud konteksti olla vaja lühendada, kokku võtta või töödelda mitmes etapis.

Yi-34B-Chat kasutab Llama-ühilduvat põhjuslikku keelemudeli arhitektuuri. Põhjuslik keelemudel genereerib teksti järjestikku, ennustades järgmist tokenit varasema konteksti põhjal. Ametlik mudelitunnus on 01-ai/Yi-34B-Chat ning mudelit saab laadida ühilduvate transformeri teekide ja teenindussüsteemidega.

Esitatud uurimismaterjali põhjal ei ole mudelipõhist maksimaalset väljundtokenite arvu kontrollitud. Olemasolevat kontekstikonfiguratsiooni ei tohiks tõlgendada eraldi dokumenteeritud väljundimahuna. Tegelik väljundi pikkus sõltub teenindusraamistikust, viibast, allesjäänud kontekstimahust ja seadistatud genereerimisparameetritest.

Sisend- ja väljundviisid, tööriistad ning arutlusvõime

Yi-34B-Chat on ainult tekstimudel. See ei toeta algupäraselt piltide, heli ega video sisendit ega genereeri algupäraselt pildi-, heli- ega videoväljundit. Selliseid viise vajavad rakendused peaksid kasutama eraldi mudeleid või orkestreerimiskihti ning esitatud uurimismaterjal ei kinnita selle mudeli puhul algupärast multimetoodilist liidest.

Tööriistade ja funktsioonide väljakutsumist ei ole kinnitatud mudeli algupäraste võimalustena. Mudelit võib kasutada kohandatud rakenduses, mis tõlgendab teksti ja käivitab välist tarkvara, kuid see on rakendustaseme lahendus, mitte Yi-34B-Chati dokumenteeritud sisseehitatud võimekus. Samuti ei ole kinnitatud algupärast veebiotsingu integratsiooni.

Yi-34B-Chat suudab teha teksti kaudu väljenduvat üldist arutlust, näiteks järgida mitmeetapilisi juhiseid või lahendust selgitada. Siiski ei ole esitatud teenusepakkuja avaldatud arutlusvõime garantiid ega mudelipõhist arutlusvõime võrdlustesti. Uurimismaterjalis antud toimetuslik hinnang on arutlusvõimele 6 punkti 10-st, kuid see on võrdlev toimetuslik hinnang, mitte 01.AI ametlik näitaja.

Kasutamine programmeerimisel ja arenduses

Mudel suudab oma üldise teksti genereerimise võimekuse osana koodi genereerida ja selgitada. See võib olla kasulik koodi lõpetamise katsetes, selgituste koostamisel, skriptimisabis ja kakskeelsetes arendajatööriistades. Uurimismaterjalis on selle programmeerimisvõimekusele antud toimetuslikuks hindeks 6 punkti 10-st; seda hinnangut tuleks käsitleda hindamisabivahendina, mitte teenusepakkuja väitena.

Yi-34B-Chatiga ei kaasne kontrollitud algupärast koodi käivitamist, integreeritud arenduskeskkonda ega hallatud tarkvaraarenduse töövoogu. Arendajad, kes kasutavad seda programmeerimisülesannetes, peaksid ise tagama valideerimise, testimise, liivakastis käitamise ja täitmise kontrolli. Genereeritud kood tuleb enne käivitamist või juurutamist üle vaadata.

Juurutamine, kiirus ja kulude kompromissid

Avatud kaaludega mudeli peamine eelis on kontroll. Kasutajad saavad kaalud alla laadida, valida järeldamiseks sobiva tehnoloogiavirna, hoida viibad ja vastused oma keskkonnas ning katsetada kvantimist või täiendhäälestust. Ametlikus projektimaterjalis nimetatakse võimalike juurutustööriistadena Transformer­si, vLLM-i ja muid ühilduvaid järeldamissüsteeme.

Peamine kulu on taristu. Ligikaudu 34 miljardi parameetriga mudel vajab märksa rohkem mälu ja arvutusvõimsust kui väiksemad keelemudelid. Algse projekti dokumentatsiooni kohaselt saab täismudelit käitada suure mälumahuga GPU-riistvaral, samas kui kvanditud versioonid võivad vähendada mälunõudeid. Kvantimisel salvestatakse mudeli väärtused kompaktsemas arvulises vormingus, mis võib vähendada mälukasutust, kuid mõjutada väljundi kvaliteeti ja teeninduskäitumist.

Toimetusliku uurimuse kohaselt on Yi-34B-Chati kiiruse hinne 3 punkti 10-st ja kuluhinne 7 punkti 10-st. Need hinded kajastavad suure, iseseisvalt hostitud mudeli praktilist kompromissi: see võib pakkuda väiksematest mudelitest suuremat võimekust, kuid ei ole ilmne valik väga väikese latentsusega rakenduste ega tagasihoidliku riistvara jaoks. Kulud sõltuvad ka kasutaja riistvarast, elektrihinnast, hostimiskorraldusest, kvantimismeetodist ja töökoormusest, mistõttu ei ole juurutamist kirjeldavat ühtset teenusepakkuja hinda.

Yi-34B-Chati praegust esimese osapoole sisend- ega väljundtokeni hinda ei ole kontrollitud. Seetõttu ei tohiks mudelit esitleda kinnitatud kasutuspõhise API-hinnaga mudelina. Selle majanduslik põhjendus põhineb eelkõige ise hostimisel ja kontrollil, mitte dokumenteeritud hallatud teenuse hinnavõrdlusel.

Litsents ja kättesaadavus

Yi-34B-Chat on saadaval 01.AI ametlikus Hugging Face’i mudelihoidlas ja seotud projektiressurssides. Hoidlas viidatakse kaasneva koodi ja dokumentatsiooni puhul Apache 2.0 litsentsile, kuid samal ajal ka eraldi Yi mudeli litsentsilepingule. Enne mudeli ärilist kasutamist, edasi levitamist, täiendhäälestust või tootesse kaasamist peaksid kasutajad kohaldatavad mudelitingimused otse läbi vaatama.

Avatud kaaludega mudeli kättesaadavus ei tähenda automaatselt, et kogu kasutus on piiranguteta. Organisatsioonid peaksid üle vaatama mudeli litsentsi, kavandatud rakenduse, andmekaitsekohustused ja kõik juurutuskeskkonna kehtestatud piirangud. Samuti tuleks mudelit oma töökoormuse puhul testida keelekvaliteedi, ohutuse, täpsuse ja stabiilsuse osas.

Tugevused ja piirangud

Tugevused

• Suur avatud kaaludega mudel, mida saab ise hostida ja kohandada.
• Selge inglise-hiina keelepaarile suunatud vestlusvõimekus.
• Vestluseks täiendhäälestus muudab selle assistendisuhtluseks sobivamaks kui Yi-34B baasmudeli.
• Ühilduvus levinud transformeri- ja järeldamistööriistadega.
• Sobib kvantimiseks ning privaatses või kontrollitud keskkonnas juurutamise uurimiseks.

Piirangud

• Ligikaudu 34 miljardi parameetri suurus toob kaasa märkimisväärsed riistvara- ja käitusnõuded.
• Dokumenteeritud kontekstikonfiguratsioon on 4096 tokenit, mis on pikkade dokumentide ja pikaajaliste vestluste puhul piirav.
• Võrreldes uuemate Yi mudelite ja teiste tänapäevaste avatud kaaludega süsteemidega kuulub see vanemasse mudelipõlvkonda.
• Sellel puudub algupärane pildi-, heli- ja videosisend ning -väljund.
• Algupärast tööriistade väljakutsumist, struktureeritud väljundit, veebiotsingut ega koodi käivitamist ei ole kontrollitud.
• Selle konkreetse mudeli praegust ametlikku hostitud API-hinda ega teenusetaseme kättesaadavust ei ole kontrollitud.

Millal valida Yi-34B-Chat?

Vali Yi-34B-Chat siis, kui esmatähtis on ise hostitud kakskeelne assistent ja organisatsioon suudab vajalikku taristut toetada. See on mõistlik kandidaat inglise-hiina dialoogi, privaatse järeldamise, avatud kaaludega mudelite uurimise, kvantimiskatsete ja täiendhäälestuse uuringute jaoks. Samuti võib see sobida juurutustesse, kus mudeli käitamise hoidmine organisatsiooni kontrolli all on riistvarakulude minimeerimisest tähtsam.

Väiksem mudel võib olla sobivam siis, kui peamine mure on vastuse latentsus, mälukasutus või kasutamine tagasihoidliku riistvaraga. Uuem mudel võib olla eelistatav juhul, kui rakendus vajab pikemat konteksti, paremat tänapäevast kvaliteeti või paremini dokumenteeritud tootmiskasutuse tuge. Pildi, heli või video mõistmiseks on parem valik multimetoodiline mudel. Teenusepakkuja hallatud API sobib paremini siis, kui meeskond soovib kasutuspõhist arveldamist, töökoormuse automaatset skaleerimist ja selget teenusekohustust, mitte ise järeldamistaristu haldamist.

Yi-34B-Chat on endiselt kõige veenvam kontrollitava ja allalaaditava tekstimudelina, mitte kasutusvalmis tarbijatele mõeldud juturobotina. Selle väärtus tuleneb kakskeelsest vestluseks täiendhäälestusest, suurtest avatud kaaludest ja juurutuspaindlikkusest, samas kui mudeli vanus, kontekstipiirang, riistvaranõuded ja kontrollitud hostitud teenusefunktsioonide puudumine määravad selle valiku piirid.