Mis on Yi-6B-200K?
Yi-6B-200K on ettevõtte 01.AI välja töötatud avatud kaaludega keelemudel. Sellel on ligikaudu 6 miljardit parameetrit ning see on loodud teksti genereerimiseks inglise ja hiina keeles. Baasmudelina on see eelkõige mõeldud täiendamise, teadustöö, kohalike rakenduste ja edasise treenimise aluseks. Sellelt ei tasu automaatselt oodata juhiste järgimist või loomuliku vestluse järjepidevat pidamist sama usaldusväärselt kui vestluseks häälestatud mudelilt.
01.AI avaldas Yi-6B-200K 5. novembril 2023. Mudel kuulub Yi mudeliperre ning on tavapärase Yi-6B baasmudeli laiendatud konteksti versioon. Selle peamine praktiline omadus ei ole uuem teadmistebaas ega teistsugune meediavõimekus, vaid märksa suurem kontekstitöötlusvõime.
Miks 200K kontekstiaken on oluline?
Mudel toetab ligikaudu 200 000 märgiühiku ehk tokeni suurust kontekstiakent. Kontekstiaken tähendab sisendi ja genereeritud teksti hulka, mida mudel saab ühe päringu osana töödelda. Yi ametlikes materjalides kirjeldatakse seda mahtu ligikaudu 400 000 hiina märgi ekvivalendina, kuigi tegelik loetava teksti hulk sõltub tokeniseerimisest, keelest, vormindusest, viiba struktuurist ja kasutatavast järeldustarkvarast.
See võimekus muudab Yi-6B-200K asjakohaseks pikkade dokumentide täiendamisel, suure kontekstiga otsingukatsetes ja nn nõela heinakuhjast testides, kus süsteem peab leidma väga suure viiba seest väikese infokillu. Samuti võib see olla kasulik pika tehnilise materjali töötlemisel või mitme dokumendi ühendamisel kohalikus uurimistöövoos.
Suur kontekstiaken ei tähenda, et iga token salvestatakse mällu või selle üle arutletakse sama hästi. Usaldusväärsus võib varieeruda sõltuvalt teabe asukohast, viiba keerukusest, taotletud väljundi mahust ja saadaolevast mälust. Pikad sisendid suurendavad ka järelduste tegemise mälu- ja töötlusvajadust, mistõttu ei tohiks teoreetilist akent käsitleda lubadusena töödelda 200 000 tokenit alati sama tõhusalt.
Võimekus ja positsioneerimine
Yi-6B-200K-d on kõige parem mõista kompaktse, pika konteksti toega baasmudelina. See toetab tekstisisendit ja tekstiväljundit; kontrollitud andmete põhjal ei ole sellel natiivset pildi-, heli- ega videoväljundi või -sisendi tuge. Dokumentatsiooni põhjal ei ole mudelil sisseehitatud veebiotsingut, funktsioonikutseid, tööriistade käivitamist ega struktureeritud väljundi garantiisid.
Mudelikaardi järgi treeniti Yi 6B seeriat ligikaudu 3 triljoni tokeni peal ning treeningandmed ulatusid 2023. aasta juunini. See kuupäev tähistab treeningandmete teatatud ajalist piiri; mudeli 2023. aasta novembris avaldamine ega suurem kontekstiaken seda ei muuda. Seetõttu peaksid kasutajad käsitlema päevakajalisi sündmusi ja pärast seda kuupäeva tekkinud teavet mudeli loomupäraste teadmistena kättesaamatuna.
01.AI laiemas tootevalikus on see pigem vanem allalaaditav Yi-perekonna kontrollpunkt kui tänapäevane tarbijatele mõeldud abiline või majutatud kommertsmudel. See on suunatud arendajatele, teadlastele ja organisatsioonidele, kes soovivad juurutamist ise kontrollida, kaalusid kohandada või pika konteksti toimimist uurida.
Milleks saab Yi-6B-200K-d kasutada?
- Pikkade dokumentide töötlemine: Kasutage seda raamatute, tehniliste dokumentide, aruandekogumike või muude erakordselt pikkade sisenditega seotud täiendamis- ja analüüsikatsetes.
- Otsingu-uuringud: Testige, kas kohalik keelemudel suudab suures kontekstis kaugel asuvat teavet leida ja kasutada.
- Inglise-hiina keeles genereerimine: Looge ja teisendage teksti kahes keeles, mida Yi mudelipere toetab.
- Kohalik järeldamine: Käitage mudelit keskkonnas, kus viipade ja väljundite hoidmine organisatsiooni kontrolli all on oluline.
- Peenhäälestus: Kohandage baaskontrollpunkti konkreetse valdkonna või ülesandega juhendatud treenimise või muude edasiarendusmeetodite abil.
- Mudelite katsetamine: Võrrelge pika konteksti toimimist Transformersis, vLLM-is, SGLangis, kvantiseeritud juurutustes ja muudes ühilduvates käituskeskkondades.
Kuna tegemist on baasmudeliga, võib see sobida paremini arendajatele, kes mõistavad täiendamisel põhinevaid viipasid ja mudeli kohandamist, kui kasutajatele, kes soovivad lihtsalt valmis küsimuste ja vastuste liidest. Kui peamine nõue on juhiste järgimine, võib peenhäälestatud või vestluseks mõeldud Yi mudel olla parem valik.
Juurutamine ja riistvaranõuded
01.AI juurutusjuhendis on Yi-6B-200K jaoks nimetatud ligikaudu 50 GB minimaalset GPU-mälu ning baasmudeli puhul soovitatakse A800-klassi 80 GB GPU-d. Neid näite tuleks käsitleda juurutusjuhisena, mitte universaalse garantiina. Tegelikud nõuded sõltuvad arvulise täpsuse seadistusest, kvantiseerimisest, jada pikkusest, pakisuurusest, genereerimisseadetest ja järelduskeskkonnast.
Pikk kontekst on mälukavandamise seisukohast eriti oluline. Genereerimise ajal salvestab käituskeskkond juba töödeldud teksti kohta tähelepanumehhanismiga seotud võtme-väärtuse andmeid. See vahemälu kasvab koos konteksti pikenemisega, mistõttu võib lühikeste viipadega toimiv juurutus vajada mudeli täielikule kontekstimahule lähenedes märksa rohkem mälu.
Kaalud on saadaval 01.AI ametlikus Hugging Face'i hoidlas. Yi dokumentatsioon kirjeldab ka teenindamist Transformersi, vLLM-i ja SGLangi kaudu, sealhulgas OpenAI-ga ühilduvaid lõpetamise lõpp-punkte toetatud teeninduskonfiguratsioonides. See ühilduvus puudutab teenindusliidest; see ei muuda Yi-6B-200K-d 01.AI enda majutatud API-mudeliks.
Arutlus, kodeerimine ja tööriistade tugi
Yi-6B-200K-d saab kasutada üldiseks teksti genereerimiseks, kodeerimiskatseteks, loogilise arutluse ülesanneteks ja matemaatilise teksti genereerimiseks, kuid esitatud mudeliteave ei kinnita tipptasemel arutlusvõimet ega konkreetset kohta võrdlustabelites. Mudeli suhteliselt väike 6B suurus ja vanem treeningupõlvkond muudavad selle sobivamaks kontrollitud katseteks ja eriotstarbeliseks kohandamiseks kui nõudlikuks üldotstarbeliseks arutluseks.
Mudel suudab genereerida koodi tekstina, mis võib olla kasulik kohalikes kodeerimise töövoogudes või peenhäälestusprojektides. Siiski ei paku see kontrollitud andmete põhjal sisseehitatud koodi käivitamist, veebisirvimist ega väliste tööriistade kutsumist. Tööriistadega suhtlemise peaks rakendama ümbritsev rakendus ning mudelil ei oleks automaatselt juurdepääsu värskele teabele ega käituskeskkonnale.
Toimetuslikust vaatenurgast on selle peamine võimekuse kompromiss selge: võrreldes palju suuremate süsteemidega pakub see väga suurt kontekstiakent ja suhteliselt hallatavat mudelisuurust, kuid ei paku uuematele majutatud mudelitele omast juhiste järgimise viimistletust, juurdepääsu ajakohasele teabele, natiivset multimodaalsust ega täiustatud agendivõimekust.
Hind ja juurdepääs
Yi-6B-200K ametlikku majutatud API hinda ei õnnestunud kontrollida. Mudelit levitatakse allalaaditavate avatud kaaludena ning siin ei ole seda kirjeldatud praeguse 01.AI majutatud lõpp-punktina, millel oleks tokenipõhine hinnastus. See tähendab, et mudeli otsene hind ei ole tavapärane kuutellimus ega kasutuspõhine tasu.
Selle kasutamisega kaasnevad siiski taristukulud. Kasutajad võivad vajada sobivaid GPU-sid, salvestusruumi, elektrit, juurutusekspertiisi ja hooldust. Rahaline eelis on suurim meeskondadel, kes juba käitavad ühilduvat riistvara või vajavad andmete kohalikku kontrolli. Juhukasutuse puhul võib majutatud mudel olla lihtsam isegi siis, kui selle päringupõhine hind on kõrgem.
Litsents ja olulised piirangud
Mudelikaardi järgi on kaalud saadaval Apache 2.0 litsentsi alusel. Üldiselt võimaldab see laialdast teadus- ja ärilist kasutust, arvestades litsentsitingimusi ja muid kohustusi, mis võivad konkreetse juurutuse või tuletatud süsteemi puhul kehtida.
Hindamisel tuleks arvestada järgmiste piirangutega:
- Tegemist on baasmudeliga, mitte Yi-6B-Chat kontrollpunktiga, mistõttu vestluslik juhiste järgimine ei ole selle peamine eesmärk.
- Ligikaudu 200 000 tokeni suurune aken ei taga kogu sisendi ulatuses usaldusväärset teabe meenutamist ega arutlust.
- Pikad kontekstid võivad nõuda palju GPU-mälu, eriti maksimaalse pikkuse korral.
- Esitatud uuringu põhjal ei ole maksimaalset väljundtokenite arvu kontrollitud.
- Kontrollitud andmete põhjal puudub natiivne pildi-, heli- või videotugi.
- Kontrollitud andmete põhjal puuduvad sisseehitatud veebiotsing, funktsioonikutsed ja tööriistade käivitamine.
- Teatatud teadmiste ajaline piir on 2023. aasta juuni, mistõttu mudel ei tea loomupäraselt hilisemaid sündmusi.
- Tegemist on vanema mudeliga ning seda ei tohiks ilma ülesandepõhise testimiseta otse võrrelda tänapäevaste tipptasemel juhiste järgi häälestatud süsteemidega.
Millal valida Yi-6B-200K?
Valige Yi-6B-200K siis, kui allalaaditav, kakskeelne ja ainult teksti töötlev ebatavaliselt suure kontekstiaknaga mudel on väärtuslikum kui kohe kasutusvalmis abiline. See sobib hästi pika konteksti uuringuteks, kohalike dokumenditöövoogude, peenhäälestuse ja otsingukatsete jaoks ning organisatsioonidele, kes peavad juurutamist kontrollima ega soovi andmeid majutatud teenusesse saata.
Selle 6B suurus võib muuta selle katsetamiseks praktilisemaks kui palju suurema mudeli, kuigi esitatud uuringus ei ole standardiseeritud kulude või kiiruse võrdlusnäitajat. Tegelikult sõltuvad kiirus ja taskukohasus riistvarast, täpsusest, kvantiseerimisest, konteksti pikkusest ja käituskeskkonna seadistusest. Mudeli pika konteksti eelis muutub vähem oluliseks siis, kui viibad on lühikesed ning ülesanne sõltub hoopis täiustatud arutlusest, usaldusväärsest juhiste järgimisest või ajakohasest teabest.
Valige mõni muu võimalus, kui vajate viimistletud vestlusabilist, pildi- või helisisu mõistmist, veebiühendusega vastuseid, natiivseid tööriistu, garanteeritud struktureeritud väljundit või tugevat tänapäevast arutlusvõimet. Otse kasutajatega suhtlemiseks sobib paremini vestluseks häälestatud mudel, samas kui uuem majutatud mudel võib olla eelistatav juhul, kui taristutöö vähendamine ja võimalikult tänapäevaste võimete kasutamine on olulisem kui avatud kaalude kontrollimine.
Kokkuvõte
Yi-6B-200K on spetsialiseerunud avatud kaaludega mudel, mille määrav omadus on ligikaudu 200 000 tokeni suurune kontekstitöötlusvõime. See ühendab 6B parameetri suuruse, inglise-hiina tekstigeneerimise, Apache 2.0 litsentsi ja kohaliku juurutamise võimalused. Selle tugevaim kasutusjuht on pika konteksti katsetamine ja edasine kohandamine, mitte üldotstarbeline vestlus ega autonoomne tööriistade kasutamine. Kasutajatele, kes on valmis riistvara ja viipade haldamisega tegelema, pakub see sihipärast võimalust uurida ja juurutada pikkade dokumentide keelemudeldust; täielikku tänapäevast abilist otsivate kasutajate jaoks on mudeli vanus ja baasmudeli ülesehitus olulised piirangud.