Mis on Yi-6B?
Yi-6B on 6 miljardi parameetriga avatud kaaludega keelemudel, mille töötas välja 01.AI ja mis avaldati 2. novembril 2023. See on algse Yi mudeliperekonna väiksem mudel kõrvuti mudeliga Yi-34B ning on mõeldud peamiselt inglise- ja hiinakeelse teksti genereerimiseks.
Mudel on baaskeelemudel. See tähendab, et seda eeltreeniti teksti jätkamiseks ja genereerimiseks, kuid seda ei avaldatud täielikult juhiste järgi häälestatud assistendina. Praktikas saab Yi-6B-d kohandada viipade, juhendatud peenhäälestuse või muu täiendava treeningu abil, kuid see ei pruugi vestlusjuhiseid järgida sama järjekindlalt nagu spetsiaalselt vestluseks mõeldud mudel Yi-6B-Chat, mis avaldati eraldi.
Avatud kaaludega levitamine muudab Yi-6B sobivaks kasutajatele, kes soovivad mudeli alla laadida, seda oma taristus käitada ja ümbritsevat rakendust ise hallata. See ei ole eelkõige majutatud tarbijatele mõeldud vestlusrobot ega päringupõhise hinnastusega teenusepakkuja API-mudel.
Yi-6B koht Yi mudelivalikus
Yi-6B kuulub 01.AI esimese põlvkonna Yi mudeliperekonda. Tähis 6B viitab ligikaudu kuuele miljardile parameetrile, samas kui suurem mudel Yi-34B sisaldab märksa rohkem parameetreid ja vajab üldjuhul rohkem arvutusressursse. Seetõttu paikneb Yi-6B algse perekonna väiksema ressursivajadusega otsas.
Oluline on eristada standardset Yi-6B kontrollpunkti mudelitest Yi-6B-Chat ja Yi-6B-200K. Yi-6B-Chat on juhiste järgi häälestatud variant, mis on mõeldud otsesemaks assistendilaadseks suhtluseks. Yi-6B-200K on eraldi pika konteksti mudel. Siin käsitletava standardse Yi-6B mudeli loomulik konteksti pikkus on 4 096 tokenit.
Arhitektuur ja kontrollitud spetsifikatsioonid
Yi-6B kasutab ainult dekooderiga Transformeri arhitektuuri, mis ühildub Llama mudelite ökosüsteemiga. Avaldatud konfiguratsioon sisaldab järgmist:
| Spetsifikatsioon | Yi-6B |
|---|---|
| Teenusepakkuja | 01.AI |
| Avaldamiskuupäev | 2. november 2023 |
| Mudeli tüüp | Avatud kaaludega, eeltreenitud baaskeelemudel |
| Parameetrid | Ligikaudu 6 miljardit |
| Transformeri kihid | 32 |
| Peidetud kihi suurus | 4 096 |
| Attention-pead | 32 |
| Võtme-väärtuse pead | 4, kasutades rühmitatud päringutega tähelepanu |
| Sõnavara suurus | 64 000 tokenit |
| Loomulik konteksti pikkus | 4 096 tokenit |
| Peamised keeled | Inglise ja hiina keel |
| Dokumenteeritud treeningandmed | Ligikaudu 3 triljonit tokenit, andmed kuni 2023. aasta juunini |
Ligikaudu 3 triljoni tokeni suurune treeningumaht ja andmete kuupäev (juuni 2023) on Yi 6B seeria kohta teenusepakkuja dokumenteeritud üksikasjad. Need kirjeldavad mudeli algset treeningut, mitte juurdepääsu hilisemale teabele reaalajas. Yi-6B-l puudub veebiotsingu võimekus, seega ei saa see praeguseid fakte iseseisvalt hankida.
Mida Yi-6B suudab teha
Yi-6B genereerib teksti ja võib olla aluseks rakendustele, mis vajavad inglise ja hiina keele kakskeelset töötlemist. Selle suhteliselt mõõdukas suurus võib muuta kohaliku katsetamise praktilisemaks kui palju suuremate avatud kaaludega mudelite kasutuselevõtu, eriti juhul, kui kasutatakse kvantitud kogukonnaversiooni. Kvantimine vähendab mudeli kaalude arvulist täpsust, et vähendada mälukasutust, kuid kvantitud tuletatud mudeli kvaliteet ja ühilduvus sõltuvad konkreetsest teostusest.
Tüüpilised kasutusviisid on järgmised:
- Inglis- ja hiinakeelse teksti genereerimine ning lõpetamine
- Kohalikud või võrguühenduseta keelemudelite katsed
- Avatud kaaludega mudelite käitumise uurimine
- Domeeni kohandamine juhendatud peenhäälestuse abil
- Teksti klassifitseerimine või teabe eraldamine pärast rakendusepõhist kohandamist
- Teksti kokkuvõtete loomine ja muud tekstitöötluse töövood
- Isehostitud rakendused, kus viipade saatmine kolmanda osapoole teenusele ei ole soovitav
Seda saab laadida tavaliste Transformeri tööriistade abil ja teenindada ühilduvate kohalike järeldussüsteemide, näiteks vLLM-i või muude genereerimisraamistike kaudu. Olemasolev uurimismaterjal toetab kohalikku kasutuselevõttu ja peenhäälestust, kuid ei kinnita selle kontrollpunkti ametlikku majutatud API-t, ametlikku tokenipõhist hinnastust ega garanteeritud maksimaalset genereerimispikkust.
Sisend, väljund ja modaalsuste tugi
Yi-6B on ainult tekstipõhine. See võtab vastu tekstisisendit ja väljastab teksti. See ei töötle algupäraselt pilte, heli ega videot ning ei genereeri pilte, heli, videot, muusikat ega kõnet.
4 096 tokeni pikkune loomulik kontekstiaken piirab viiba ja säilitatava vestlusteksti kogumahtu, mida saab ühe mudeli konteksti raames edastada. See erineb oluliselt eraldi mudelist Yi-6B-200K ning seda ei tohiks eelduste põhjal suuremaks pidada. Esitatud spetsifikatsioonid ei määra eraldi maksimaalset väljundtokenite piiri.
Esitatud dokumentatsioonis puudub ka kontrollitud teave loomuliku toe kohta jõustatud JSON-vormingule või struktureeritud väljundile, veebiotsingule, funktsioonikutsetele, pluginatele või toimingute täitmisele. Ümbritsev tarkvara võib need funktsioonid potentsiaalselt rakendada, kuid see ei muuda neid Yi-6B loomupärasteks võimeteks.
Arutlemine, programmeerimine ja tööriistade kasutamine
Yi-6B suudab genereerida loogika, matemaatika ja programmeerimisega seotud teksti, kuid seda ei ole dokumenteeritud spetsiaalse arutlus- või programmeerimismudelina. Toimetuslik võrdlev hinnang annab selle arutlus- ja programmeerimisvõimekusele hindeks 5 kümnest; need on subjektiivsed andmebaasihinnangud, mitte teenusepakkuja avaldatud võrdlustulemused.
Baaskeelemudelina võib Yi-6B vajada usaldusväärseks juhiste järgimiseks, mitmeastmeliseks arutlemiseks või koodi genereerimise töövoogudeks hoolikalt koostatud viipeid või peenhäälestust. Sellel puudub dokumenteeritud loomulik tööriistade kasutamise või funktsioonikutsete liides. Rakendused, mis vajavad otsingut, kalkulaatoreid, andmebaase või väliseid toiminguid, peavad need võimalused eraldi lisama ja mudeliga suhtlust ise haldama.
Kiirus, kulu ja kasutuselevõtu kompromissid
Yi-6B peamine praktiline eelis on suuremate avatud kaaludega mudelitega võrreldes väiksem ressursivajadus. Toimetuslik hinnang annab sellele suhteliseks kiiruse hindeks 7 kümnest ja kuluhindeks 8 kümnest, kajastades 6 miljardi parameetriga mudeli eeldatavaid kasutuselevõtu eeliseid. Need hinded on võrdlevad hinnangud, mitte 01.AI avaldatud mõõtmistulemused.
Esitatud uurimismaterjalis ei ole avatud kaaludega kontrollpunkti mudeli ametlikku tokenipõhist hinda. Selle asemel, et maksta teenusepakkujale iga päringu eest, kannab isehostija üldjuhul taristu-, salvestus-, elektri- ja halduskulusid. Tegelik jõudlus sõltub riistvarast, tarkvarast, arvutustäpsusest, pakisuurusest, viiba pikkusest ja sellest, kas mudel on kvantitud.
Isehostimine võib anda ka suurema kontrolli andmekäitluse ja kättesaadavuse üle, kuid paigaldamise, mahutavuse planeerimise, jälgimise, uuendamise ja turbe eest vastutab siis operaator. Kasutajad, kes soovivad hallatud teenust, automaatset skaleerimist või viimistletud vestlusliidest, võivad pidada majutatud juhiste järgi häälestatud mudelit mugavamaks.
Litsents ja kättesaadavus
Ametlik Yi hoidla pakub mudeli koodi ja kaale Apache 2.0 litsentsimaterjalide alusel. Enne mudeli edasilevitamist või ärilist kasutuselevõttu peaksid kasutajad tutvuma kehtiva hoidla litsentsi ja mudelispetsiifiliste tingimustega, mitte tuginema ainult kokkuvõttele.
Algne kontrollpunkti mudel on saadaval 01.AI ametlikus Hugging Face'i hoidlas. Kuna tegemist on vanema esimese põlvkonna mudeliga, peaksid kasutajad võrdlema ka uuemaid Yi-perekonna väljalaskeid, kui neil on vaja paremat juhiste järgimist, pikemat konteksti või ajakohasemat kasutuselevõtu tööriistastikku. Need alternatiivid võivad pakkuda paremat ülesandetäpsust, kuid võivad vajada ka rohkem ressursse või nende litsentsi- ja kättesaadavustingimused võivad olla teistsugused.
Millal valida Yi-6B?
Yi-6B on mõistlik valik, kui prioriteediks on allalaaditav kakskeelne baaskeelemudel, mida saab kohapeal käitada ja konkreetse rakenduse jaoks kohandada. See sobib eriti hästi järgmisteks otstarveteks:
- Inglise ja hiina keelel põhinevaid tekstirakendusi loovad arendajad
- Avatud kaaludega keelemudeleid uurivad või kohandavad teadlased
- Meeskonnad, kes vajavad võrguühenduseta või isehostitud järelduste tegemist
- Projektid, kus väiksem mudel on eelistatav suurema mudeli suuremale ressursivajadusele
- Peenhäälestuskatsed, kus kasutatakse eeltreenitud, mitte vestluseks kohandatud kontrollpunkti mudelit
Teine võimalus on tõenäoliselt sobivam, kui rakendus vajab usaldusväärset vestluslikku juhiste järgimist, väga pikka konteksti, loomulikku multimodaalset sisendit, ajakohaseid veebipõhiseid vastuseid, struktureeritud väljundi jõustamist, integreeritud tööriistu või hallatud API-t. Kui eesmärk on assistendilaadne dialoog, on asjakohasem sõsarmudel Yi-6B-Chat, samas kui nõudlikuks arutlemiseks, programmeerimiseks või tootmiskoormuseks võib eelistada uuemat mudelit.
Kokkuvõte
Yi-6B-d tuleks eelkõige mõista kompaktse avatud kaaludega inglise-hiina keele baaskeelemudelina, mitte täieliku tehisintellekti assistendina. Selle 6 miljardi parameetri suurus, 4 096 tokeni pikkune kontekst, keskendumine kohalikule kasutuselevõtule ja peenhäälestuse tugi muudavad selle kasulikuks katsetamiseks ning spetsiaalseteks isehostitud rakendusteks. Sama olulised on ka piirangud: see on ainult tekstipõhine, sellel puuduvad dokumenteeritud loomulikud tööriistad ja majutatud API, avaldatud tokenipõhine hinnastus ning maksimaalne väljundipiir, samuti võib see usaldusväärseks juhiste järgimiseks vajada kohandamist.