Mis on Yi-1.5-6B-Chat?
Yi-1.5-6B-Chat on 01.AI välja töötatud vestluslik suur keelemudel. Tähis „6B” viitab ligikaudu 6 miljardile parameetrile, samas kui „Chat” tähistab juhiste järgi häälestatud versiooni, mis on mõeldud kasutaja soovide järgimiseks ja vestluste pidamiseks, mitte lihtsalt töötlemata teksti jätkamiseks.
Mudel avaldati 13. mail 2024 Yi-1.5 mudeliperekonna osana. 01.AI kirjeldab Yi-1.5 mudeliperekonda kui oma algsete Yi mudelite edasiarendust, mille puhul kasutati täiendavat eeltreenimist ja juhendatud peenhäälestust, et parandada muu hulgas programmeerimist, matemaatikat, arutlusoskust, juhiste järgimist, keele mõistmist, üldteadmistele tuginevat arutlemist ja loetu mõistmist.
Erinevalt majutatud vestlusroboti tellimusest levitatakse Yi-1.5-6B-Chat avatud kaaludega kontrollpunktina. Kasutajad saavad selle alla laadida, oma taristus käitada ning kohalikuks järeldamiseks kohandada või kvantida. Seetõttu on selle atraktiivsuse juures teenusepakkuja hallatavale tarbijaliidesele juurdepääsust olulisemad juurutamise paindlikkus ja kasutuskulud.
Yi-1.5 mudeliperekonna kontekst
Yi-1.5 on saadaval suurustes 6B, 9B ja 34B. Yi-1.5-6B-Chat on selle perekonna väikseim loendis olev vestlusmudel ning paikneb seega mudelivaliku kõige ligipääsetavamas otsas. Kompromiss on selge: 6B kontrollpunkt vajab üldjuhul vähem ressursse ja seda võib olla suurematest mudelitest lihtsam juurutada, samas kui suuremad mudelid võivad olla sobivamad rakendustele, kus võimekus on tõhususest tähtsam.
Tegu on standardse 4K kontekstiakent kasutava 6B vestluskontrollpunktiga. 01.AI dokumenteeritud pikema, 16K kontekstiaknaga vestlusvariandid on mõeldud suurematele mudelisuurustele ning nende omadusi ei tohiks automaatselt omistada mudelile Yi-1.5-6B-Chat.
Kanooniline hoidla identifikaator on 01-ai/Yi-1.5-6B-Chat. Kogukonna loodud kvantimised ja alternatiivsed juurutusvormingud võivad vähendada mälunõudeid, kuid need on tuletatud distributsioonid, mitte eraldi esimese osapoole mudelid.
Võimekus ja toetatud modaalsused
Yi-1.5-6B-Chat võtab vastu tekstisisendi ja toodab tekstiväljundit. Selle kavandatud kasutusvaldkonnad hõlmavad vestlusabi, küsimustele vastamist, kokkuvõtete koostamist, ümberkirjutamist, üldiste juhiste järgimist, lihtsamat programmeerimist, matemaatikat ning kakskeelset inglise- ja hiinakeelse teksti genereerimist.
See ei ole loomupäraselt nägemist, kõnet ega meediat genereeriv mudel. Kontrollpunkt ei võta vastu pilte, heli ega videot ning ei loo pilte, heli, videot, muusikat ega kõnet. Seetõttu tuleks seda hinnata ainult teksti töötleva keelemudelina, isegi kui 01.AI laiemas mudeliökosüsteemis on eraldi visuaalse mõistmise võimekused.
Mudeli andmete kohaselt toetatakse voogedastust, mis võib ühilduva teeninduslahenduse korral võimaldada genereeritud teksti järk-järgulist edastamist. Andmed ei viita loomupärasele tööriista- ega funktsioonikutsete toele, veebotsingule, toimingute täitmisele ega garanteeritud struktureeritud väljundi toele. Ümbritsev rakendus võib tööriistad väliselt rakendada, kuid see oleks rakendustaseme integratsioon, mitte selle kontrollpunkti dokumenteeritud loomupärane võimekus.
Konteksti- ja väljundipiirangud
Täpse mudeli kontekstiaken on 4096 tokenit. Token on teksti osa, mida mudel töötlemisel kasutab; kontekstiaken hõlmab päringu jaoks mudelile kättesaadavat materjali, sealhulgas viipa ja vestlusajalugu, ning teeninduslahenduse rakendusest sõltuvalt ka genereeritud sisu.
4K kontekstiaknast piisab tavapäraseks vestluseks, lühikesteks dokumentideks, sihipärasteks programmeerimisküsimusteks ja lühikesteks kokkuvõteteks. See sobib halvemini väga pikkade vestluste, suurte lähtefailide, ulatuslike otsingutulemuste või töövoogude jaoks, mille puhul tuleb ühes päringus säilitada mitme lehekülje jagu taustateavet.
Põhidokumentatsioon ei avalda selle täpse kontrollpunkti kohta autoriteetset fikseeritud maksimaalset väljundtokenite arvu. Tegelik väljundi pikkus võib sõltuda järeldusraamistikust, saadaolevast mälust, seadistatud peatamisreeglitest ja kontekstiaknas allesjäänud mahust. Rakendused peaksid oma genereerimispiirangud ise määrama ja testima, mitte eeldama dokumenteerimata maksimumi.
Arutlusoskus, programmeerimine ja praktiline kvaliteet
01.AI positsioneerib Yi-1.5 mudeliperekonda arutlusoskuse, matemaatika, programmeerimise ja juhiste järgimise poolest täiustatuna. Yi-1.5-6B-Chat sobib nende võimete tõttu igapäevasteks arutlusülesanneteks, lihtsamateks matemaatilisteks toiminguteks, koodi selgitamiseks, väikesteks koodi genereerimise päringuteks ja struktureeritud vestluspõhisteks töövoogudeks.
Selle suhteliselt väike suurus on kasulik juhul, kui olulised on vastuse kiirus, riistvaranõuded või kohalikud kasutuskulud. Praktilises mõttes on 6B mudel isemajutamisega alustamiseks jõukohasem kui 34B mudel. Väiksematel mudelitel on aga tavaliselt vähem võimekust keerukaks mitmeastmeliseks arutlemiseks, raskete programmeerimisülesannete lahendamiseks, nüansirikkaks analüüsiks ja pikkade juhisteahelate järgimiseks kui suurematel või uuematel tipptasemel süsteemidel. Esitatud uurimismaterjal ei anna selle konkreetse mudeli kohta mudelipõhist võrdlustulemust, mistõttu tuleks neid kompromisse hinnata sihtotstarbelise töökoormuse põhjal, mitte käsitleda avaldatud jõudlusrankinguna.
Esitatud mudeliandmetes hindab toimetus selle arutlus- ja programmeerimisvõimekust hindega 4 kümnest, kiirust hindega 7 kümnest ning kulutõhusust hindega 9 kümnest. Need on toimetuse võrdlevad hinnangud, mitte 01.AI avaldatud tulemused. Need võtavad kokku mudeli positsiooni ökonoomse ja suhteliselt kerge üldotstarbelise kontrollpunktina, mitte tipptasemel arutlusmudelina.
Juurutamine, kohandamine ja litsents
01.AI pakub juurutusjuhiseid Transformersile, vLLM-ile, SGLangile, Docker Model Runnerile ja teistele kohaliku teeninduse töövoogudele. Kaalud on saadaval Safetensors-vormingus ning neid saab ühilduvate tööriistade abil teisendada või kvantida. Kvantimine vähendab kaalude kasutatavat arvulist täpsust ja võib vähendada mälunõudeid, kuid mõju kvaliteedile ja kiirusele sõltub kasutatavast meetodist ja riistvarast.
Mudelit levitatakse Apache 2.0 litsentsi alusel. Üldjuhul lubab see isiklikku, akadeemilist ja ärilist kasutust, kui järgitakse litsentsitingimusi ja omistamisnõudeid. Enne mudeli ärilisse tootesse kaasamist peaksid kasutajad siiski litsentsi ja kõik kohaldatavad juurutuskohustused üle vaatama.
Uurimisandmete kohaselt toetatakse peenhäälestust, kuid mudelit ei esitata teenusepakkuja hallatava peenhäälestusteenusena, millel oleks avaldatud töö- või tokenipõhine hind. Kui mudel juurutatakse kohapeal või renditud taristus, vastutab käitaja peenhäälestuse, kvantimise, teeninduse, seire ja salvestuse kulude eest.
Hind ja juurdepääs
Esitatud uurimismaterjalides ei ole Yi-1.5-6B-Chatile määratud esimese osapoole tokenipõhist sisendi- ega väljundihinda. Tegemist on avatud kaaludega mudeliga, mida ei müüda peamiselt mõõdetava kasutusega majutatud API kaudu. Mudeli otsene hind võib pärast kaalude hankimist seega olla null, kuid selle käitamiseks on endiselt vaja sobivat kohalikku riistvara või tasulist arvutusressurssi ning arendus- ja hooldustööd.
Selline hinnastusmudel võib olla atraktiivne suure mahuga või privaatsustundlike töökoormuste puhul, kus eelistatakse iga päringu eest maksmisele prognoositavaid taristukulusid. Majutatud mudel võib olla mugavam juhul, kui rakendus vajab hallatud skaleerimist, garanteeritud kättesaadavust, teenusepakkuja hallatavaid turvakontrolle või täiustatud API-funktsioone.
Olulised piirangud
4096 tokeni suurune kontekstiaken on peamine dokumenteeritud tehniline piirang. Võrreldes pika kontekstiga alternatiividega piirab see ühes päringus käsitletava vestlusajaloo, lähtematerjali ja genereeritud teksti hulka.
Täpne teadmiste lõppkuupäev ei ole mudeli põhidokumentatsioonis avaldatud. Nagu teised generatiivsed keelemudelid, võib ka see mudel anda ebatäpseid, aegunud, kallutatud või ohtlikke vastuseid. Enne väljundite kasutamist suure mõjuga otsuste tegemisel, kontrollimata koodi käivitamisel või kasutajatele suunatud rakendustes ilma asjakohaste kaitsemeetmeteta tuleks need üle vaadata.
Yi-1.5-6B-Chat ei paku loomupärast veebotsingut, dokumenteeritud loomupärast tööriistade käivitamist, garanteeritud struktureeritud vastuseid ega tekstiväliseid modaalsusi. See ei ole ka manustemudel, kõnemudel, pildigeneratsiooni- ega videogeneratsioonimudel. Neid funktsioone vajavad rakendused peavad kasutama eraldi mudeleid või täiendavaid tarkvarakomponente.
Millal valida Yi-1.5-6B-Chat?
Vali Yi-1.5-6B-Chat, kui vajad avatud kaaludega vestlusmudelit, mida saad oma kontrolli all käitada, ning hindad juurutuskulusid, paindlikkust ja suhteliselt väikest ressursivajadust. See sobib näiteks järgmisteks kasutusjuhtudeks:
- Kohalikud vestlusabilised ja võrguühenduseta katsetamine.
- Inglise- ja hiinakeelsed vestlus- ning tekstigeneratsiooni rakendused.
- Juhiste järgimise prototüübid ja ettevõttesisesed tootlikkuse tööriistad.
- Lühikeste kokkuvõtete koostamise, ümberkirjutamise, küsimustele vastamise ja tekstigeneratsioonil põhinevad klassifitseerimise töövood.
- Lihtsam programmeerimisabi ning matemaatika- ja arutlusülesanded.
- Rakendused, kus Apache 2.0 litsents ja isemajutatud juurutus on olulised kaalutlused.
Kui keerukas arutlemine, kompleksne koodigenereerimine või ulatuslikum kontekst on ressursitõhususest tähtsam, kaalu suuremat Yi-1.5 kontrollpunkti või mõnda muud võimekamat mudelit. Vali majutatud API, kui hallatud taristu ja lihtsam käitamine kaaluvad üles kohaliku mudeli kontrollimise eelised. Piltide, heli, video, veebotsingu, tööriistakasutuse või pika konteksti vajaduse korral ei ole Yi-1.5-6B-Chat sobiv iseseisev valik.
Kokkuvõte
Yi-1.5-6B-Chat on kõige mõistlikum käsitleda kuluteadliku ja isemajutatava tekstimudelina, mitte tipptasemel universaalse assistendina. Selle ligikaudu 6 miljardit parameetrit, Apache 2.0 litsents, kakskeelne fookus ja kohaliku juurutamise võimalused muudavad selle kasulikuks katsetamiseks ja praktilisteks tekstirakendusteks. Selle 4K kontekstiaken, loomupäraste multimodaalsete ja tööriistavõimete puudumine, avaldamata väljundipiirang ning tagasihoidlik suurus määravad selle kasulikkuse piirid.