Yi-34B

Mis on Yi-34B?

Yi-34B on 01.AI välja töötatud avatud kaaludega põhjuslik keelemudel. Põhjuslik keelemudel genereerib teksti, ennustades teksti ees oleva sisu põhjal järgmist token'it. Praktikas saab Yi-34B jätkata tekstilõike, vastata küsimustele, teha sisukokkuvõtteid, tõlkida inglise ja hiina keele vahel, genereerida koodi ning toetada teadustööd või rakendusepõhist peenhäälestust.

Mudel sisaldab ligikaudu 34 miljardit parameetrit ja kuulub esimese põlvkonna Yi mudelite perekonda. Tegemist on baasmudeliga, mitte juhiste järgi peenhäälestatud variandiga Yi-34B-Chat. See erinevus on oluline: baaskontrollpunkt on mõeldud edasiseks kohandamiseks ja teksti genereerimise aluseks, vestluseks peenhäälestatud mudel on aga lisaks treenitud kasutajajuhiseid järgima ning tagama usaldusväärsema vestlusvormi.

01.AI avaldas Yi-34B 2023. aasta novembris isiklikuks, akadeemiliseks ja äriliseks kasutuseks. Mudelit levitatakse allalaaditavate kaaludena 01.AI mudelihoidla ja seotud mudelikeskuste kaudu, mistõttu on selle peamine kasutusviis ise hallatav järeldamine, mitte tellimuspõhine vestlusrobot.

Yi-34B koht 01.AI mudelite perekonnas

Yi-34B on algse Yi-seeria standardne 34 miljardi parameetriga kontrollpunkt. Seda ei tohiks segi ajada mudeliga Yi-34B-Chat, mis on juhiste järgi peenhäälestatud tuletis, ega mudeliga Yi-34B-200K, mis on eraldi avaldatud pika konteksti variant. Yi-34B kanoonilise kontrollpunkti standardne konteksti pikkus on 4096 token'it.

See muudab Yi-34B eriti asjakohaseks arendajatele ja teadlastele, kes soovivad suhteliselt võimekat kakskeelset baasmudelit, mida saab ise käitada, peenhäälestada, kvantida või enda teenindustaristusse integreerida. See sobib halvemini inimesele, kes soovib lihtsalt valmisabilist hallatava majutuse, ajakohase veebotsingu, püsiva mälu või tarbijatele mõeldud rakendustega.

Tehnilised andmed

Konteksti pikkus näitab, kui palju teksti saab mudel ühe päringu ajal arvesse võtta, sealhulgas viipa ja genereeritud jätku. 4096 token'ist koosnev kontekstiaken sobib tavaliste viipade, lühikeste dokumentide ja keskendunud programmeerimisülesannete jaoks, kuid on uuemate pika kontekstiga mudelitega võrreldes piiratud. 200K varianti ei tohiks käsitleda standardse Yi-34B mudeli omadusena.

01.AI dokumentatsiooni kohaselt ulatuvad treeningandmed 2023. aasta juunini. See on treeningandmete kuupäev, mitte garantii, et mudelil on täielikud või ühtlaselt usaldusväärsed teadmised kõigi selle kuupäevani toimunud sündmuste kohta.

Võimekused ja toetatud modaalsused

Yi-34B on ainult tekstipõhine mudel. See võtab vastu tekstisisendit ja annab tekstiväljundi; esitatud mudeliteave ei kinnita loomulikku pildi-, heli-, video-, kõne-, manustamis- ega muud mittetekstilist väljundit. Samuti ei paku see loomulikku multimodaalset liidest. 01.AI laiem platvorm hõlmab visuaalse mõistmise võimekusi teiste Yi-seeria mudelite kaudu, kuid neid võimekusi ei tohiks omistada sellele kontrollpunktile.

Tekstiülesannete puhul on mudel mõeldud järgmisteks kasutusteks:

• Teksti lõpetamine ja mustandite koostamine
• Inglise ja hiina keele tõlkimine ning kakskeelne abi
• Kokkuvõtete tegemine ja küsimustele vastamine
• Matemaatiline ja üldine loogiline arutlemine
• Koodi genereerimine ja programmeerimiskatsed
• Klassifitseerimine ja domeenipõhised keeleülesanded
• Avatud baasmudelite uurimine
• Juhendatud peenhäälestus ja parameetritõhus kohandamine

Need on mudeli otstarbed ja dokumenteeritud võimekused, mitte garantii, et iga vastus on õige. Baasmudelid võivad genereerida usutavat, kuid ebatäpset teksti, eriti juhul, kui viip nõuab ajakohast teavet, täpset faktiteadmist või mitmeastmelist arutlemist ilma kontrollimiseta.

Arutlemine, kodeerimine ja tööriistade kasutamine

Yi-34B on loodud toetama loogilist arutlemist, matemaatikat ja koodi genereerimist. Seetõttu võib see olla aluseks programmeerimisabi, koodi lõpetamise, tehniliste selgituste või struktureeritud teksti teisendamisega seotud katsetele. Mudeli kakskeelne treeningfookus on eriti kasulik siis, kui rakendus peab liikuma inglise ja hiina keele vahel, selle asemel et käsitleda tõlkimist eraldiseisva teenusena.

Esitatud spetsifikatsioonid ei kinnita kanoonilise kontrollpunkti loomulikku funktsioonikutsumise ega tööriistade kasutamise liidest. Arendaja võib ise majutatud mudeli ümber tööriistu ehitada, kirjutades orkestreerimiskihi, mis tõlgendab mudeli väljundit ja käivitab väliseid süsteeme, kuid see oleks rakendustaseme integratsioon, mitte Yi-34B sisseehitatud võimekus. Samuti ei ole selle mudeli puhul kinnitatud esimese osapoole veebotsingul põhinevat teabe sidumist.

Kuna Yi-34B on baasmudel, nõuab usaldusväärne abilise töövoog üldjuhul juhiste järgi peenhäälestamist, hoolikalt koostatud viipasid, väljundi valideerimist või juhiste järgi peenhäälestatud tuletist. Arendajad ei tohiks eeldada, et baaskontrollpunkt järgib järjepidevalt vestlusrolle, tagastab rangelt etteantud skeemi või keeldub sobimatutest päringutest ilma täiendava kohandamiseta.

Juurutamine, kiirus ja hind

Mudeli kaalud on kohalikuks juurutamiseks saadaval 01.AI ametliku hoidla ja seotud mudelikeskuste kaudu. Täpsete kaaludega kontrollpunkt nõuab oma suuruse tõttu märkimisväärselt mälu. Kvantitud versioonid võivad vähendada mälukasutust ja muuta mudeli käitamise väiksema riistvaraga praktilisemaks, kuid kvantitud tuletis on eraldi tarkvaraobjekt ning sellega võivad kaasneda kvaliteedi- või ühilduvuskompromissid.

Yi-34B-d saab kasutada levinud avatud lähtekoodiga järeldamistööriistadega, sealhulgas Transformersiga, ning vLLM-il põhinevates teenindustöövoogudes. Mudeli konfiguratsiooni kirjeldatakse Llama-ühilduvana, mis aitab selle sobitada väljakujunenud tööriistadega, kuid kasutajad peaksid järgima valitud kontrollpunkti ja teeninduskeskkonna täpseid hoidlajuhiseid.

Esitatud uuringu põhjal ei ole selle täpse avatud kaaludega mudeli ametlikku majutatud API hinda kinnitatud. Seetõttu põhineb majanduslik arvestus taristul: riistvara soetamisel või rentimisel, salvestusruumil, elektril, majutusel, hooldusel ja arendusajal. Ise majutamine võib olla atraktiivne siis, kui kasutus on püsiv, andmed peavad jääma organisatsiooni kontrolli alla või peenhäälestus on projekti keskne osa. Juhuslike päringute puhul võib teise teenusepakkuja hallatav API olla odavam ja lihtsam, sest see välistab mudeli taristu käitamise vajaduse.

Kiirus sõltub riistvarast, täpsusest, kvantimisest, pakktöötlusest ja teeninduskonfiguratsioonist. Uuring ei esita universaalset token'ite arvu sekundis, mistõttu ei tohiks ühelegi juurutusele rakendada kindlat jõudlusväidet.

Peamised tugevused ja piirangud

Tugevused

• Juurdepääs avatud kaaludele: Kasutajad saavad mudeli alla laadida ja seda käitada, selle asemel et sõltuda täielikult esimese osapoole majutatud lõpp-punktist.
• Kakskeelne fookus: Inglise ja hiina keel on mudeli peamised tugevused, toetades tõlkimist ja keeltevahelisi rakendusi.
• Kohandatavus: Kontrollpunkt sobib juhendatud peenhäälestuseks ja parameetritõhusaks kohandamiseks.
• Lai tekstivaldkondade katvus: Seda saab kasutada mustandite koostamiseks, kokkuvõtete tegemiseks, arutlemiseks, matemaatikas, kodeerimisel, klassifitseerimisel ja teadustöö töövoogudes.
• Ühilduvus väljakujunenud tööriistadega: Llama-ühilduv konfiguratsioon aitab arendajatel kasutada tuttavaid avatud lähtekoodiga juurutustööriistu.

Piirangud

• Baasmudeli käitumine: See ei ole sama mis viimistletud juhiseid järgiv vestlusabiline ning võib vajada peenhäälestamist või hoolikalt koostatud viipasid.
• Lühem kontekst: Standardne 4096 token'ist koosnev aken piirab pikkade dokumentide analüüsi ja pikki vestlusi.
• Ainult tekst: Yi-34B puhul ei ole loomulikud pildi-, heli-, video-, kõne- ega multimodaalsed võimekused kinnitatud.
• Puudub sisseehitatud ajakohane teadmus: Treeningandmed ulatuvad 2023. aasta juunini ning veebotsingul põhinevat teabe sidumist ei ole kinnitatud.
• Juurutamise koormus: 34 miljardi parameetriga kontrollpunkti käitamine nõuab märkimisväärselt mälu ja taristuressursse.
• Kinnitatud majutatud hinnakiri puudub: Kasutajad peavad kulusid hindama ise majutamise või kolmanda osapoole taristu põhjal, mitte kinnitatud ametliku API hinnakirja järgi.

Millal valida Yi-34B?

Vali Yi-34B siis, kui vajad allalaaditavat kakskeelset baasmudelit ja oled valmis järeldamist ise haldama. See on mõistlik valik privaatse inglise-hiina rakenduse, peenhäälestusprojekti, akadeemilise katse, kohaliku kodeerimisabilise või organisatsiooni jaoks, kes soovib mudeli kaalude ja juurutamise üle suuremat kontrolli kui majutatud vestlusrobot võimaldab.

See sobib eriti hästi siis, kui kohandatavus on valmislahenduse mugavusest olulisem. Näiteks võib meeskond kohandada mudeli ettevõttesisese terminoloogiaga, kasutada seda domeenipõhise klassifitseerimise lähtepunktina või hinnata avatud kaaludega mudeli toimivust kakskeelsel andmekogumil.

Teine võimalus võib olla sobivam siis, kui esmatähtsad on kohe kasutatav vestlustoode, pikk kontekstiaken, ajakohane veebiteave, loomulik tööriistade kutsumine, multimodaalne sisend või prognoositavad hallatavad kulud. Uuem juhiste järgi peenhäälestatud mudel võib olla eelistatum ka juhul, kui kasutajad vajavad usaldusväärset dialoogikäitumist ilma oma peenhäälestus- ja hindamisprotsessi üles ehitamata. Yi mudelite perekonnas on vestluskasutuse jaoks otsesemalt asjakohane Yi-34B-Chat, pika konteksti puhul aga Yi-34B-200K; kumbagi ei tohiks segi ajada siin käsitletava standardse baaskontrollpunktiga.

Litsents ja praktilised ettevaatusabinõud

Ametlik mudelihoidla tähistab seda kontrollpunkti Apache 2.0 litsentsiga. Enne muudetud kaalude levitamist, ärilist juurutamist või mudeli kombineerimist teiste komponentidega peaksid kasutajad tutvuma täpse litsentsifaili ja kõigi mudelipõhiste tingimustega, mis kavandatud kasutusele kehtivad.

Allalaaditavad kaalud annavad hindamise ja turvakontrollide eest vastutuse üle ka juurutavale organisatsioonile. Rakendused peaksid realistlike töökoormuste korral testima kakskeelset kvaliteeti, faktitäpsust, keeldumiskäitumist, viipade käsitlemist, latentsust ja väljundi vormingut. Kui mudelit kasutatakse kodeerimiseks või äriotsuste tegemiseks, tuleks genereeritud sisu üle vaadata, mitte käsitleda seda automaatselt kontrollituna.