Mis on Yi-1.5-34B?
Yi-1.5-34B on 01.AI 34 miljardi parameetriga autoregressiivne keelemudel. Praktikas ennustab ja genereerib see teksti ühe märgi kaupa, mistõttu sobib see teksti lõpetamiseks, analüüsiks, tõlkega seotud töövoogudeks, programmeerimisabiks ja muudeks keelega seotud ülesanneteks. Tegemist on baasmudeliga, mitte vestluseks optimeeritud mudeliga: kontrollpunkt on mõeldud edasise kasutuse alusena, mitte valmis vestlusabilise jaoks.
Mudel kuulub 2024. aasta mais välja antud Yi-1.5 mudeliperekonda. See erineb mudelist Yi-1.5-34B-Chat, mis on juhiste järgi peenhäälestatud vestlusvariant, ning mudelist Yi-1.5-34B-32K, mis on eraldi loetletud pikema konteksti kontrollpunkt. Neid nimetusi ei tohiks käsitleda siin ülevaadatava standardse Yi-1.5-34B kontrollpunkti sünonüümidena.
Milline on selle koht 01.AI mudelivalikus?
01.AI positsioneerib Yi mudeliperekonda inglise ja hiina keele töötluseks mõeldud baasmudelite kogumina. Yi-1.5 on algse Yi-seeria täiustatud põlvkond. Selles perekonnas paikneb 34B mudel standardsete Yi-1.5 kontrollpunktide suurema mudeli ja suuremate ressursinõuete poolel. Selle suurus võib pakkuda väiksematega võrreldes rohkem võimekust keerukate keele-, programmeerimis- ja arutlusülesannete jaoks, kuid muudab ka lokaalse käitamise märksa nõudlikumaks.
Standardse Yi-1.5-34B kontrollpunkti kinnitatud kontekstipikkus on 4K. Seotud 32K versioon on eraldi mudel, mistõttu peaksid väga pikki dokumente töötlevad kasutajad hindama just seda kontrollpunkti, mitte eeldama, et standardmudel toetab sama kontekstipikkust.
Treening ja võimekus
01.AI avaldatud Yi-1.5 teabe kohaselt kasutati mudeliperekonna täiendavaks eeltreenimiseks pärast algse Yi treeningut 500 miljardit tokenit ning mudelit peenhäälestati 3 miljoni mitmekesise näidisega. Teenusepakkuja sõnul paranesid programmeerimise, matemaatika, arutlemise, juhiste järgimise, keele mõistmise, tavaarutluse ja loetu mõistmise võimekus.
Need on teenusepakkuja kirjeldatud täiustused, mitte kaasasolevas uurimistöös sõltumatult kinnitatud tulemused. Need viitavad kavandatud võimekusele, kuid neid ei tohiks tõlgendada garantiina, et iga juurutus vastab konkreetsele võrdlustestile või tootmisnõudele.
Kasutaja jaoks on kõige olulisem eristus üldise keeleoskuse ja juhiste järgimise vahel. Yi-1.5-34B võib olla tugev lähtekoht teksti genereerimiseks ja mudeli kohandamiseks, kuid baaskontrollpunkt võib anda vähem usaldusväärseid vestlusvastuseid kui juhiste järgi peenhäälestatud mudel. Arendajad, kes vajavad järjepidevat küsimustele vastamist, rollidest kinnipidamist või assistendilaadset käitumist, võivad vajada hoolikalt koostatud viipasid, juhendatud peenhäälestust või eraldi vestlusvarianti.
Keele-, programmeerimis- ja arutlusülesanded
Yi-1.5-34B on mõeldud kakskeelseks tööks inglise ja hiina keelega. See muudab mudeli asjakohaseks rakendustes, kus on vaja nende kahe keele vahel teksti töödelda, genereerida või kohandada. Võimalikud kasutusalad on kakskeelsete tekstide koostamine, klassifitseerimine, kokkuvõtete tegemine, tõlkepõhised töövood, hiinakeelne uurimistöö ja valdkonnapõhine teksti genereerimine.
Mudel sobib ka programmeerimiskatseteks ning matemaatilise või loogilise arutlemise töövoogudeks. Kaasasolev toimetuslik hinnang annab selle arutlus- ja programmeerimisvõimekusele hindeks 7 punkti 10-st, kuid need on võrdlevad toimetuslikud hinded, mitte 01.AI avaldatud hinnangud. Neid tuleks kasutada vaid ligikaudse juhisena. Oluline on ka mudeli baasmudeli staatus: koodi lõpetamise või arutlusülesannete viipad võivad nõuda hoolikamat vormindamist ja hindamist kui spetsiaalselt juhiste järgimiseks loodud assistent.
Kaasasolevas uurimistöös ei ole kontrollitud tõendeid selle kohta, et just sellel kontrollpunktil oleks natiivne funktsioonikutse, tööriistade kasutamise, veebotsingu, struktureeritud väljundi garantiide või integreeritud täitmiskeskkonna tugi. Seetõttu tuleks seda käsitleda tekstigeneraatori, mitte agendiplatvormina.
Kontekst, sisend ja väljundi piirangud
Standardse Yi-1.5-34B mudeli konteksti pikkus on 4096 tokenit. Kontekstiaken on päringu ja vastuse kontekstis oleva teksti kogumaht, sealhulgas viip ja genereeritud jätk. See piirang on oluline dokumentide analüüsi, pikkade vestluste ja koodihoidlate puhul: suured sisendid tuleb võib-olla lühendada, osadeks jagada või töödelda otsingupõhise töövoo abil.
4K spetsifikatsioon kehtib standardse kontrollpunkti kohta. 01.AI avaldab eraldi ka 16K ja 32K Yi-1.5 konfiguratsioonid, sealhulgas mudeli Yi-1.5-34B-32K, kuid nende variantide olemasolu ei suurenda selle mudeli kinnitatud piirangut.
Yi-1.5-34B täpset teenusepakkuja avaldatud maksimaalset väljundtokenite arvu ei ole kontrollitud. Jätku maksimaalne pikkus sõltub käitamistarkvarast ja mudeli kontekstiaknasse jäänud ruumist. Kasutajad peaksid genereerimispiirangud määrama enda valitud käituskeskkonnas ja saadud käitumist testima, mitte eeldama kindlat teenusepakkuja API piirangut.
Toetatud modaalsused ja tööriistad
Yi-1.5-34B on ainult tekstipõhine mudel. See võtab vastu tekstisisendit ja väljastab teksti; kaasasolev uurimistöö ei kinnita selle kontrollpunkti natiivset pildi-, heli- ega videosisendi või -väljundi tuge. Seda ei tohiks valida visuaalseks küsimustele vastamiseks, kõnetöötluseks, piltide genereerimiseks ega videoanalüüsiks.
Standardmudeli puhul ei ole loetletud kontrollitud tööriista- ega funktsioonikutse võimekust. Seda saab siiski kasutada suuremas rakenduses, mis pakub selle ümber tööriistu, kuid see oleks rakenduse tasemel integratsioon, mitte kontrollpunkti kinnitatud natiivne funktsioon. Samuti ei ole kontrollitud eraldi JSON-režiimi ega struktureeritud väljundi garantiid.
Juurutamine, litsents ja hind
01.AI levitab Yi-1.5-34B avatud kaaludega mudelina Apache 2.0 litsentsi alusel. Mudeli saab alla laadida ametlikest mudelihoidlatest ja laadida Transformersiga ühilduvate tööriistade abil. Yi-1.5 dokumentatsioon kirjeldab juurutamist ka sellistes ökosüsteemides nagu vLLM ja Ollama, pakkudes kasutajatele võimalusi lokaalseks katsetamiseks või enda hallatavaks käitamiseks.
Kaasasolevas uurimistöös ei ole selle täpse baaskontrollpunkti hostitud API hinda kontrollitud. Seega ei ole siin võimalik esitada kinnitatud sisend- ega väljundtokeni hinda. Avatud kaaludega juurutuse puhul liigub rahaline kompromiss API kasutustasudelt riistvara-, elektri-, salvestus-, arendus- ja käituskuludele.
34 miljardi parameetri suurus on praktilises mõttes oluline. Üldjuhul nõuab see väiksemate Yi-1.5 mudelitega võrreldes rohkem mälu ja käitamisvõimekust ning kaasasolev toimetuslik hinnang annab selle kiirusele hindeks 4 punkti 10-st ja kulutõhususele 8 punkti 10-st. Need hinded on toimetuslikud hinnangud, mitte teenusepakkuja avaldatud mõõtmistulemused. Kulutõhususe hinne kajastab avatud mudeli ise majutamise võimalikku väärtust ja hostitud tokenitasude vältimist; see ei tähenda, et mudelit oleks kõigis seadmetes odav käitada.
Peamised tugevused ja piirangud
Peamised tugevused
- Juurdepääs avatud kaaludega mudelile: Kasutajad saavad mudeli alla laadida, seda uurida, juurutada ja kohandada, sõltumata üksnes hostitud lõpp-punktist.
- Kakskeelne fookus: Inglise ja hiina keel on mudeli positsioneerimise ja kavandatud kasutuse keskmes.
- Suure mudeli võimekus: Selle 34 miljardi parameetri suurus teeb sellest märkimisväärse aluse uurimistööks, programmeerimiskatseteks ja valdkonnapõhiseks kohandamiseks.
- Lai kasutusvõimalusi toetav litsents: Apache 2.0 litsents toetab mitmesuguseid uurimis- ja ärilise juurutamise stsenaariume, arvestades litsentsitingimusi.
- Sobivus peenhäälestuseks: Baasmudeli vorming on kasulik organisatsioonidele, kes soovivad mudelit spetsialiseeritud töövoo jaoks treenida või kohandada.
Olulised piirangud
- Baasmudel, mitte vestlusmudel: Ilma täiendava viipamise või peenhäälestuseta ei pruugi see vestlusjuhiseid usaldusväärselt järgida.
- 4K kontekst: Standardne kontrollpunkt ei ole mõeldud väga pikkade dokumentide ega pikkade vestluste jaoks.
- Riistvaranõuded: 34B mudelit on väiksemate lokaalsete mudelitega võrreldes keerulisem ja kulukam käitada.
- Ainult tekst: Selle natiivset pildi-, heli- ega videovõimekust ei ole kontrollitud.
- Kontrollimata käitamisfunktsioonid: Kinnitatud ei ole täpset maksimaalset väljundi pikkust, teadmiste lõppkuupäeva, hostitud hinda, natiivset tööriistade kasutust ega JSON-režiimi garantiid.
Millal valida Yi-1.5-34B?
Vali Yi-1.5-34B, kui vajad inglise ja hiina keele teksti genereerimiseks avatud kaaludega kakskeelset baasmudelit ning sul on selle ise majutamiseks vajalik taristu või tehniline võimekus. See sobib eriti hästi uurimistööks, lokaalseks katsetamiseks, valdkonnapõhiseks kohandamiseks, privaatseks juurutuseks ja rakendusteks, mille puhul meeskond soovib kontrollida mudelifailide ja peenhäälestuse üle.
See võib olla mõistlik valik ka siis, kui paindlik litsents on olulisem kui kohe kasutusvalmis assistendi käitumine. Arendaja saab kasutada baasmudelit spetsialiseeritud teksti- või programmeerimissüsteemi alusena ning seejärel hinnata ja kohandada seda vajaliku valdkonna jaoks.
Teine võimalus võib olla sobivam, kui esmatähtsad on kohe kasutatav vestlusabiline, pikkade dokumentide töötlemine, multimodaalne sisend, natiivne tööriistade kasutamine, väikese latentsusega järeldamine või prognoositav hostitud teenuse hind. Sellistel juhtudel kaalu juhiste järgi peenhäälestatud sõsarmudelit, eraldi avaldatud 32K kontrollpunkti, väiksemat mudelit või hostitud teenust, mis dokumenteerib nõutud funktsiooni selgelt. Kaasasolev uurimistöö ei kinnita, et Yi-1.5-34B ise neid võimekusi pakuks.
Kokkuvõte
Yi-1.5-34B-d on kõige parem mõista suure avatud kaaludega kakskeelse baasmudelina, mitte valmis juturobotina. Selle tugevaim kasutusjuht on kontrollitud juurutus: arendaja või uurimisrühm saab mudelit lokaalselt käitada, kohandada ja ehitada selle ümber spetsialiseeritud inglise ja hiina keele süsteemi. Peamised kompromissid on standardne 4K kontekst, suured riistvaranõuded, ainult tekstipõhine töö ning kinnitatud hostitud hinna või natiivsete assistendifunktsioonide puudumine. Need kompromissid muudavad selle sihipäraseks valikuks mudelite arendajatele, mitte kõige lihtsamaks võimaluseks kasutajatele, kes otsivad kohe võimekat üldotstarbelist vestlusteenust.