Yi-34B-200K

Mis on Yi-34B-200K?

Yi-34B-200K on 01.AI välja töötatud 34 miljardi parameetriga põhjuslik keelemudel. See avaldati ettevõtte avatud kaaludega Yi mudelite perekonna osana ning seda on peamiselt treenitud inglise- ja hiinakeelsete tekstidega. Tähis „200K” viitab mudeli maksimaalsele 200 000 märgi pikkusele kontekstiaknale, mis on oluliselt suurem kui tavapäraste keelemudelite juurutustega sageli seotud kontekstiaknad.

Kontekstiaken näitab tekstihulka, mida mudel saab ühe suhtluse jooksul arvesse võtta, sealhulgas nii viipa kui ka genereeritud jätku. Suur kontekstiaken ei muuda iga pikka dokumenti automaatselt hõlpsasti mõistetavaks, kuid annab arendajatele võimaluse töödelda pikki aruandeid, raamatuid, lähtekogumeid või otsingu abil leitud tekstilõike, jagamata neid nii paljudeks eraldi päringuteks.

Yi-34B-200K on baasmudel, mitte juhiste järgi häälestatud vestlusmudel. Praktikas ennustab ja jätkab see teksti, kuid pole spetsiaalselt seadistatud vestluskäskude usaldusväärseks järgimiseks. Enne selle assistendina kasutamist võivad arendajad vajada viibamalle, juhiste järgi häälestamist, täiendavat peenhäälestust, väljundi juhtimist või rakenduse tasandi turvameetmeid.

Koht 01.AI mudelite perekonnas

Mudel kuulub 01.AI algsesse Yi mudelite perekonda ning laiendab Yi-34B arhitektuuri täiendava pika konteksti treenimisega. Seda on kõige parem käsitleda suure kontekstiga töökoormuste jaoks mõeldud spetsiaalse allalaaditava kontrollpunktina, mitte tänapäevase tarbijatele mõeldud vestlusroboti paketina või üldotstarbelise majutatud API-tootena.

01.AI teatas hiljem, et täiendav pika konteksti treenimine parandas pika teksti mälu ja otsingukäitumist. Ettevõtte teatel saavutas täiustatud „nõela heinakuhjast” hindamine tulemuse 99,8%. See on teenusepakkuja esitatud tulemus, mitte sõltumatu garantii: tegelik jõudlus võib varieeruda sõltuvalt dokumendi struktuurist, viiba ülesehitusest, järeldustarkvarast, kvantimisest ja sellest, kuidas asjakohane teave kontekstis paikneb.

Peamised näitajad

200 000 märgi suurus kirjeldab mudeli kontekstimahtu, mitte lubadust, et iga juurutus võtab vastu täpselt nii palju teksti. Täiendavaid piiranguid võivad kehtestada teenindustarkvara, saadaolev mälu, märgendus ja konfiguratsioon. Kaasasolev dokumentatsioon ei määra eraldi maksimaalset genereeritavate märkide arvu.

Mida Yi-34B-200K teha suudab?

Mudeli peamine praktiline eelis on võime säilitada ühes töötlemisaknas suur hulk teksti. Sobivad töökoormused hõlmavad pikkade dokumentide põhist küsimustele vastamist, kokkuvõtete koostamist, dokumentide võrdlemist, otsingukatseid, teksti lõpetamist ning suurte inglise- ja hiinakeelsete kogumite analüüsi.

• Analüüsida pikki aruandeid, lepinguid, tehnilisi dokumente või uurimismaterjalide kogumeid.
• Käivitada „nõela heinakuhjast” ja pika konteksti otsingukatseid.
• Genereerida ja teisendada inglise- ja hiinakeelset teksti.
• Toetada tõlkepõhiseid või kakskeelseid keele töövooge.
• Jätkata mudeli eeltreenimist või kohandada seda valdkonnapõhise rakenduse jaoks peenhäälestusega.
• Juurutada keelemudel enda hallatavas või privaatses uurimiskeskkonnas.

34 miljardi parameetriga mudel pakub märkimisväärset teksti genereerimise võimekust, kuid selle juurutamine on väiksema kontrollpunkti kasutamisest tunduvalt nõudlikum. Seetõttu tuleks mudelit hinnata pigem pika konteksti taristu komponendina kui lihtsalt kasutusvalmis vestlusassistendina.

Arutlus- ja kodeerimisvõimekus

Yi-34B-200K suudab teksti genereerida ja analüüsida, mistõttu saab seda kasutada arutlusele suunatud viipade ning koodi genereerimise katsetes. Toimetuslikud hinnangud annavad selle arutlus- ja kodeerimissobivusele 7 punkti 10-st, kuid need on võrdlevad toimetuslikud hinded, mitte teenusepakkuja avaldatud võrdlustestide tulemused.

Kuna tegemist on baasmudeliga, võib selle käitumine mitmeastmeliste juhiste, struktureeritud ülesannete ja programmeerimispäringute puhul olla vähem järjepidev kui juhiste järgi häälestatud mudelil. Arendajad peaksid testima täpset viibavormingut ja lisama valideerimise, kui genereeritud koodi või analüütilisi järeldusi kasutatakse tootmiskeskkonnas. Kaasasolev uuring ei kinnita sisseehitatud struktureeritud väljundi sundimist, JSON-režiimi, sisseehitatud funktsioonikutseid ega teenusepakkuja hallatavaid tööriistu.

Toetatud modaalsused ja tööriistad

Yi-34B-200K on ainult tekstimudel. See võtab vastu teksti ja toodab teksti. Mudel ei võta loomupäraselt vastu pilte, heli ega videot ega genereeri pilte, heli, videot või muud mittetekstilist meediat.

Kontrollpunkti dokumentatsioon ei näita, et see pakuks loomupärast veebiotsingut, standardiseeritud tööriista- või funktsioonikutseid, majutatud pakktöötlust, viipade vahemällu salvestamist või teenusepakkuja hallatavat reaalaja andmeühendust. Rakenduse arendaja võib need funktsioonid enda hallatava mudeli ümber potentsiaalselt lisada, kuid neid ei tohiks käsitleda Yi-34B-200K sisseehitatud võimalustena.

Riistvara- ja juurutusnõuded

Yi-34B-200K nõuab palju ressursse. 01.AI juurutusjuhendi järgi on vaja ligikaudu 200 GB videomälu ning täppisrežiimilähedase juurutuse näidiskonfiguratsioonina soovitatakse nelja A800 80 GB GPU-d. Täpne vajadus sõltub arvulise täpsuse seadistusest, kvantimisest, järeldusmootorist, pakisuurusest ja konteksti pikkusest.

Kvantimine võib vähendada kaalude laadimiseks vajalikku mälumahtu ning optimeeritud järeldussüsteemid võivad muuta lokaalse teenindamise praktilisemaks. Pikad kontekstid tekitavad siiski täiendavat võtme-väärtuse vahemälu mälukulu ja võivad vähendada läbilaset. Juurutus, mis toimib lühikeste viipadega rahuldavalt, võib muutuda palju aeglasemaks või kallimaks, kui päringud lähenevad kogu 200 000 märgi suurusele mahule.

Mudelit saab laadida levinud transformer-tööriistade abil ning seda saab teenindada ühilduvate lokaalsete järeldussüsteemidega. Kuna tegemist on allalaaditava mudeliga, mitte siin dokumenteeritud teenusepakkuja majutatud lõpp-punktiga, vastutab käitaja riistvara, tarkvara ühilduvuse, skaleerimise, seire, turbe ja sisukontrolli eest.

Hind ja kättesaadavus

Yi-34B-200K puhul ei ole kontrollitud ametlikku teenusepakkuja määratud sisend- ega väljundmärgi hinda. Mudel on allalaaditavate avatud kaaludena saadaval 01.AI ametlike levikanalite kaudu, sealhulgas Hugging Face'i hoidlas 01-ai/Yi-34B-200K. Kaalude allalaadimine ei tähenda, et juurutamine oleks tasuta: GPU-riistvara, salvestusruum, elekter, arendusaeg ja taristu haldamine moodustavad endiselt osa kogukulust.

Mudel avaldati algselt 5. novembril 2023. Kaasasolev uuring ei kinnita selle konkreetse kontrollpunkti kasutuselt kõrvaldamise kuupäeva ega standardset majutatud API-pakkumist. Kommertskasutust kaaluvad kasutajad peaksid tutvuma kehtiva Yi Model License Agreement 2.0-ga, kuna kommertskasutus peab vastama kohaldatavatele tingimustele ja võib nõuda luba.

Piirangud ja kompromissid

Suur kontekstiaken on mudeli kõige olulisem tugevus, kuid sellega kaasnevad ka kulude ja jõudluse kompromissid. Väga pika viiba töötlemine nõuab rohkem mälu ja võib suurendada latentsust. Pika konteksti sügavuses paiknevale teabele võidakse pöörata vähem tõhusat tähelepanu kui viiba või küsimuse lähedal olevale teabele, mistõttu peaksid rakendused endiselt kasutama läbimõeldud dokumentide otsingut, korraldust ja hindamist.

Mudel ei ole juhiste järgi häälestatud, mistõttu võib see anda poolikuid, vähe kontrollitud või filtreerimata jätke. Ilma täiendavate kontrollimeetmeteta ei tohiks seda käsitleda turvalisusele häälestatud üldassistendina. Samuti puuduvad sellel kontrollitud loomupärane multimodaalne sisend, meedia genereerimine, veebiotsing, struktureeritud väljundi sundimine ja funktsioonikutsed.

Eraldi kontrollitud maksimaalset väljundimärkide arvu ega majutatud märgipõhist hinda ei ole. Need puudujäägid on olulised meeskondadele, kes vajavad prognoositavat API-arveldust, hallatud skaleerimist, garanteeritud latentsust või kasutusvalmis vestluskogemust. Väiksem või juhiste järgi häälestatud majutatud mudel võib olla sobivam, kui kasutusmugavus, kiirus ja töökorralduse lihtsus on olulisemad kui 200 000 märgiga enda hallatav kontekst.

Millal valida Yi-34B-200K?

Vali Yi-34B-200K, kui vajad allalaaditavat inglise- ja hiinakeelset mudelit, mis suudab töödelda väga pikki tekste, ning sul on selle käitamiseks vajalik riistvara või taristu. See sobib eriti hästi pikkade dokumentide uurimiseks, otsingu testimiseks, privaatseks juurutuseks, jätkuvaks eeltreenimiseks, valdkonnaga kohandamiseks ning rakendusteks, kus suure hulga lähtematerjali hoidmine ühes kontekstis on väiksemast latentsusest olulisem.

See on vähem sobiv valik tarbijatele suunatud vestlusroboti, väikese kuluga majutatud API, pildi- või helitöövoo või rakenduse jaoks, mis vajab kohe kasutusvalmis usaldusväärseid tööriistakutseid ja rangeid JSON-vastuseid. Sellistes olukordades võib juhiste järgi häälestatud, majutatud või multimodaalne mudel pakkuda paremat kasutusmugavuse ja käitamiskulu tasakaalu. Valikul tuleb arvestada ka juurutamise kogukulu: suur kontekstiaken on väärtuslik ainult siis, kui rakenduse dokumendid seda tõepoolest vajavad ja olemasolev riistvara suudab seda tõhusalt teenindada.

Kokkuvõte

Yi-34B-200K on pika kontekstiga tekstitöötluseks mõeldud spetsiaalne avatud kaaludega mudel. Selle ligikaudu 34 miljardi parameetriga arhitektuur, kakskeelne inglise-hiina fookus ja 200 000 märgi suurune kontekst muudavad selle kasulikuks dokumendimahukates uuringutes ja privaatse mudeliarenduse puhul. Baasmudeli staatus, suured riistvaranõuded, kontrollitud majutatud hinna puudumine ning sisseehitatud multimodaalsete ja tööriistafunktsioonide puudumine tähendavad, et see nõuab rohkem arendustööd kui hallatud juhiste järgi häälestatud teenus. Meeskondadele, kes hindavad kontrolli ja pika konteksti katsetamist, võivad need kompromissid olla põhjendatud; kasutusvalmis assistenti otsivatele meeskondadele on tõenäoliselt praktilisem teistsugune mudelitüüp.