Mis on Yi-6B-Chat?
Yi-6B-Chat on 01.AI 6 miljardi parameetriga vestluslik keelemudel. See on Yi-6B juhendatud peenhäälestusega ehk SFT-variant: alusmudelit kohandati juhiste ja vastuste näidete abil, et see oskaks järgida kasutaja soove ning koostada dialoogivormis vastuseid.
Mudel avaldati avaliku lähtekoodiga 23. novembril 2023. Dokumenteeritud treeningandmed ulatuvad 2023. aasta juunini, kuigi 01.AI ei avalda seda kuupäeva eraldi ametliku teadmiste lõppkuupäeva spetsifikatsioonina. Mudel kuulub Yi perekonda ning seda käsitletakse nüüd eelkõige pärandmudelina, mida saab alla laadida kohalikuks ja teadustööks, mitte praeguse tipptasemel majutatud assistendina.
Selle peamine eripära on suhteliselt kompaktse 6 miljardi parameetriga mudeli, inglise ja hiina keele kakskeelse suunitluse ning avatud kaalude kombinatsioon. Kasutajad saavad mudeli alla laadida ja seda ühilduva kohaliku järeldustarkvaraga käitada, selle asemel et sõltuda teenusepakkuja hallatavast vestlusteenusest.
Eesmärk ja koht Yi mudelivalikus
Yi-6B-Chat loodi selleks, et muuta Yi-6B vestlusliku teksti genereerimiseks sobivaks. Vestlusversioon erineb Yi-6B baasmudelist: baasmudel on mõeldud edasiseks kohandamiseks, samas kui Yi-6B-Chat on juba häälestatud juhistele ja dialoogipäringutele vastama.
01.AI kirjeldab oma 6B mudeleid inglise ja hiina keelt toetavatena ning teatab, et Yi perekonna treenimiseks kasutati ligikaudu 3 triljonit tokenit. Need on teenusepakkuja dokumenteeritud mudeliperekonna andmed, mitte sõltumatud jõudlusgarantiid. Praeguses kataloogis paikneb Yi-6B-Chat vanemate Yi hoidlate seas kõrvuti kvantiseeritud variantide ja uuemate perekonnaliikmetega. Selle peamine jätkuv väärtus seisneb allalaaditavas vormingus, tagasihoidlikes riistvaranõuetes ja sobivuses katsetamiseks.
Võimekus ja toetatud modaalsused
Yi-6B-Chat võtab vastu tekstisisendi ja genereerib tekstiväljundi. Sellel ei ole kontrollitud pildi-, heli- ega videosisendit ning see ei genereeri otse pilte, heli ega videot. Seega on tegemist tavapärase tekstipõhise keelemudeliga, mitte multimodaalse assistendiga.
Selle eeldatavad kasutusalad hõlmavad küsimustele vastamist, teksti koostamist ja ümberkirjutamist, suhteliselt lühikeste tekstilõikude kokkuvõtmist, inglise ja hiina keele vahel tõlkimist ning lihtsate vestlus- või rakendusepõhiste töövoogude toetamist. Mudeli kakskeelne fookus on eriti oluline arendajatele, kes soovivad kohalikus serveris majutatavat tekstimudelit ega taha sõltuda ainult pilvepõhisest teenusest.
Yi-6B-Chatil ei ole kontrollitud sisseehitatud veebotsingut, välist veebisirvimist, funktsioonikutseid ega tööriistade kasutamise võimekust. Arendaja võiks teoreetiliselt ühendada kohalikus serveris majutatava mudeli rakenduse koodi, otsingusüsteemide või muude tööriistadega, kuid see oleks väline ümbris, mitte kaasasolevates spetsifikatsioonides dokumenteeritud mudeli algupärane funktsioon.
Kontekstiaken ja väljundipiirangud
Ametlikus dokumentatsioonis on vaikimisi kontekstiakna suuruseks märgitud 4096 tokenit. Token on mudeli töödeldav väike tekstiosa; kontekstiaken hõlmab koos viipa, vestlusajalugu ja genereeritud vastust. Praktikas sobib Yi-6B-Chat paremini keskendunud vestlusteks ja lühemate dokumentide kui tervete raamatute analüüsimiseks või väga pikkadeks vestlusteks.
Eraldi kontrollitud maksimaalset väljundtokenite arvu ei ole teada. Seetõttu sõltub vastuse maksimaalne pikkus teeninduskonfiguratsioonist ja mudeli kontekstiaknas allesjäänud ruumist. Kasutajad ei tohiks eeldada, et mudel suudab pärast mahuka viiba sisestamist genereerida pika vastuse.
Arutlusvõime, kodeerimine, kiirus ja kulude kompromissid
Yi-6B-Chat suudab järgida tavapäraseid juhiseid, teha lihtsamat arutlust ja genereerida kodeerimisega seotud teksti, kuid seda ei tohiks hinnata tänapäevase tipptasemel arutlusmudelina. Kaasasolev toimetuslik hinnang annab arutlus- ja kodeerimisvõimekusele 5 punkti 10-st. Need hinded on võrdlemiseks antud toimetuslikud hinnangud, mitte 01.AI avaldatud võrdlustestide tulemused.
Väiksem parameetrite arv loob praktilise kompromissi. Võrreldes palju suuremate mudelitega võib 6 miljardi parameetriga mudel olla vähem võimekas keerulises mitmeastmelises arutluses, nüansirikkas analüüsis, keerukas programmeerimises ja laialdasi maailmateadmisi nõudvates ülesannetes. Vastutasuks on seda lihtsam kohapeal käitada ning see võib pakkuda väiksemaid taristukulusid, kui rakendus ei vaja palju suurema mudeli võimekust.
Kaasasolev toimetuslik hinnang annab kiirusele 7 punkti 10-st ja kulutõhususele 8 punkti 10-st. Ka need on subjektiivsed hinnangud, mitte garanteeritud reageerimisaja või kasutuskulude mõõtmised. Tegelik kiirus sõltub riistvarast, kvantiseerimisest, teenindustarkvarast, pakisuurusest ja viiba pikkusest. Kvantiseeritud mudel kasutab üldjuhul vähem mälu, kuid täpne mõju kvaliteedile ja kiirusele sõltub juurutusviisist.
Riistvara ja kohalik juurutamine
01.AI dokumenteeritud riistvarajuhiste kohaselt vajab täppisvormingus vestlusmudel minimaalselt ligikaudu 15 GB videomälu. Ametliku 8-bitise variandi puhul on märgitud ligikaudu 8 GB ja ametliku 4-bitise variandi puhul ligikaudu 4 GB. Tänu sellele on Yi-6B-Chat kasutatav mõnel tarbijatele mõeldud graafikakaardil ja muudes kohalikes süsteemides, mis ei suuda palju suuremaid mudeleid käitada.
Kvantiseeritud versioonid on praktilise juurutamise seisukohalt olulised. Kvantiseerimisel salvestatakse mudeli kaalud väiksema arvulise täpsusega, mis vähendab mälunõudeid ja muudab kohaliku järeldamise sageli teostatavamaks. Kompromiss seisneb selles, et väiksem täpsus võib mõjutada väljundi kvaliteeti või käitumist, mistõttu peaksid kasutajad valitud varianti oma päringutega testima.
Mudeli hoidlas on kohaliku juurutamise näited, mis kasutavad Transformersi ökosüsteemi ja ühilduvaid teenindusraamistikke. Kuna Yi-6B-Chat levitatakse kaaludena, mitte kohustusliku majutatud lõpp-punktina, vastutab käitaja käituskeskkonna paigaldamise, sobiva riistvara hankimise, uuenduste haldamise ning kohapeal töödeldavate viipade ja väljundite kaitsmise eest.
Hinnastamine ja litsents
Yi-6B-Chatile ei ole kontrollitud ametlikku majutatud API-hinda. Kohalikul kasutamisel ei kaasne allalaaditavate mudelikaaludega teenusepakkujale makstavat tokenipõhist tasu, kuigi kohapealse käitamisega kaasnevad endiselt riistvara-, elektri-, salvestus- ja arenduskulud. Majutatud tokenihinna puudumist ei tohiks tõlgendada nii, et igasugune äriline kasutus on tasuta.
Mudelit levitatakse Yi Series Models Community License Agreement v2.1 alusel. Hugging Face'i hoidla metaandmed viitavad ka litsentsile Apache-2.0, mistõttu peaksid potentsiaalsed kasutajad enne ärilist edasilevitamist, muutmist või juurutamist hoolikalt tutvuma hoidla kehtivate litsentsifailide ja tingimustega. Kohaldatavad kohustused võivad sõltuda konkreetsest hoidlast, versioonist ja kasutusjuhtumist.
Peamised tugevused ja piirangud
Tugevused
- Kohalik kasutatavus: allalaaditavad kaalud võimaldavad mudelit käitada ilma, et päringud tuleks saata kohustuslikule kolmanda osapoole majutatud lõpp-punktile.
- Kakskeelne fookus: Yi 6B seeria on dokumenteeritud inglise- ja hiinakeelse teksti genereerimiseks.
- Mõõdukad riistvaranõuded: ametlikud 4-bitised ja 8-bitised variandid vähendavad mälunõudeid võrreldes suuremate mudelitega.
- Kohandatavus: mudel sobib katsetamiseks ja peenhäälestuseks ning kaasasolevate mudeliandmete kohaselt on peenhäälestus toetatud.
- Lihtne tekstipõhine töövoog: see saab hakkama keskendunud vestluste, teksti koostamise, tõlkimise ja kodeerimisabi ülesannetega ilma multimodaalse taristuta.
Piirangud
- Lühike kontekst: 4096-tokenine aken piirab pikkade dokumentide ja ulatusliku vestlusajaloo töötlemist.
- Vanem võimekustase: see ei ole mõeldud tänapäevase tipptasemel mudelina keerukaks arutluseks, raskeks kodeerimiseks või ulatuslikuks multimodaalseks tööks.
- Ainult tekst: kontrollitud algupärane pildi-, heli- või videotugi puudub.
- Dokumenteeritud algupärased tööriistad puuduvad: mudeli enda puhul ei ole veebotsing, funktsioonikutsed ega muud tööriistade kasutamise funktsioonid kontrollitud.
- Kinnitatud majutatud hinnastamine ja teenusegarantiid puuduvad: kohapeal juurutavad kasutajad peavad taristut ja kättesaadavust ise haldama.
- Litsents tuleb üle vaadata: enne ärilist kasutamist või edasilevitamist tuleks tutvuda kogukonnalitsentsi ja hoidla metaandmetega.
Millal valida Yi-6B-Chat?
Vali Yi-6B-Chat siis, kui prioriteet on kohapeal juurutatav inglise ja hiina keelt toetav vestlusmudel, mis töötab suhteliselt tagasihoidliku mälumahuga. See sobib isiklike projektide, akadeemiliste katsete, võrguühenduseta prototüüpide, keskendunud tõlke- või kirjutamistööriistade ning rakenduste jaoks, kus on oluline hoida päringud kontrollitud taristus.
Selle 4-bitine variant on eriti asjakohane siis, kui graafikakaardi videomälu on piiratud. Arendaja saab alustada ametliku kvantiseeritud variandiga, testida vastuste kvaliteeti ja minna üle suurema täpsusega versioonile, kui riistvara ja rakendus seda õigustavad. Peenhäälestus muudab mudeli kasulikuks ka siis, kui meeskond soovib kohandada kompaktset baasmudelit kitsale domeenile, selle asemel et kasutada üldotstarbelist majutatud assistenti.
Teistsugune lahendus on sobivam siis, kui rakendus vajab suurt kontekstiakent, täiustatud mitmeastmelist arutlust, töökindlaid tootmiskeskkonna API-sid, algupärast multimodaalset mõistmist, veebiga ühendatud vastuseid või sisseehitatud tööriistade käivitamist. Keeruka tarkvaraarenduse ja suure riskiga analüütilise töö puhul võib eelistada ka suuremat või uuemat mudelit, isegi kui see maksab rohkem või vajab pilvetaristut. Yi-6B-Chati eelis ei ole maksimaalne võimekus, vaid tasakaal avatud kaalude üle kontrolli, kakskeelse tekstijõudluse ja hallatavate kohaliku juurutamise nõuete vahel.
Kokkuvõte
Yi-6B-Chat on endiselt kasulik kompaktne avatud kaaludega vestlusmudel inglise- ja hiinakeelsete tekstirakenduste jaoks. Selle 6 miljardi parameetriga suurus, ametlikud kvantiseeritud variandid ja võimalus mudelit kohapeal juurutada muudavad selle praktiliseks katsetamiseks ja ressursiteadlike projektide jaoks. Samas piiravad 4K kontekstiaken, ainult tekstile keskenduv ülesehitus, kontrollitud algupäraste tööriistade puudumine ja vanem võimekusprofiil selle sobivust nõudlike tootmiskeskkonna assistentide jaoks. Käsitle seda kontrollitava kohaliku mudelina keskendunud ülesannete jaoks, mitte suuremate praeguste süsteemide asendusena olukordades, kus on vaja täiustatud arutlust, multimodaalset sisendit või hallatava teenuse töökindlust.