Mis on Yi-1.5-9B-Chat-16K?
Yi-1.5-9B-Chat-16K on 01.AI pakutav avatud kaaludega vestluslik keelemudel. See on loodud teksti genereerimiseks ja mõistmiseks, juhiste järgimiseks ning mitmevooruliste vestluste pidamiseks. Mudelil on ligikaudu 9 miljardit parameetrit, mistõttu on see oluliselt väiksem kui paljud suured hostitud mudelid, kuid toetab siiski laia valikut üldkeele, programmeerimise, matemaatika ja arutluse ülesandeid.
Tähis „16K“ viitab maksimaalsele 16 384 märgi pikkusele kontekstil. Kontekstiaken näitab, kui palju teksti saab mudel suhtluse ajal arvesse võtta, sealhulgas viipa ja varasema vestluse. Praktikas on see variant mõeldud pikemate dokumentide, pikemate vestluste ning mitme faili või mitme sammuga viipade jaoks kui sama mudeliperekonna lühema kontekstiga mudel.
See leht käsitleb konkreetset Yi-1.5-9B-Chat-16K kontrollpunkti, mitte samanimelist 4K-vestlusvarianti ega 32K-baasmudelit. Hugging Face'i kanooniline identifikaator on 01-ai/Yi-1.5-9B-Chat-16K.
Koht Yi-1.5 mudeliperekonnas
01.AI kirjeldab Yi-1.5 mudeliperekonda algse Yi-seeria täiendusena. Perekonda kuuluvad 6B, 9B ja 34B parameetrisuurused ning eri kontekstipikkuste ja vestlus- või baasvariandid. Yi-1.5-9B-Chat-16K paikneb selles valikus keskel: see on suurem kui 6B-versioonid, väiksem kui 34B-versioonid ning spetsiaalselt vestluste ja juhiste järgimise jaoks peenhäälestatud.
Pakkuja avaldatud kirjelduse kohaselt treeniti Yi-1.5 mudeliperekonda pidevalt ligikaudu 500 miljardi märgi põhjal ning peenhäälestati ligikaudu 3 miljoni mitmekesise näidisega. Need arvud pärinevad pakkujalt ega kujuta endast selle konkreetse kontrollpunkti sõltumatut võrdlustesti.
Kontrollitud tehnilised andmed
| Spetsifikatsioon | Üksikasjad |
|---|---|
| Pakkuja | 01.AI |
| Mudeliperekond | Yi-1.5 |
| Mudeli tüüp | Vestluste jaoks peenhäälestatud ainult dekooderiga põhjuslik keelemudel |
| Parameetrid | Ligikaudu 9 miljardit |
| Konteksti pikkus | 16 384 märki |
| Arhitektuur | LlamaForCausalLM-iga ühilduv transformer |
| Kaalud | BF16 safetensors |
| Litsents | Apache 2.0 |
| Väljalaskekuupäev | 13. mai 2024 |
Avaldatud konfiguratsioonis on määratud 48 transformeri kihti, peidetud kihi suuruseks 4096, 32 tähelepanupead, neli võtme-väärtuse pead, sõnavara suuruseks 64 000 ning maksimaalse positsioonimanuse pikkuseks 16 384. Selle mudeli kohta esitatud uurimuses ei määrata maksimaalset genereeritava väljundi pikkust, mistõttu ei tohiks konteksti pikkust tõlgendada garanteeritud väljundi mahuna.
Võimalused ja toetatud modaalsused
Yi-1.5-9B-Chat-16K on ainult tekstimudel. See võtab vastu tekstisisendit ja väljastab teksti; see ei töötle algupäraselt pilte, heli ega videot. Samuti ei paku see algupäraseid pildi-, kõne-, muusika-, video-, manustamis- ega tegevusväljundeid.
Selle kavandatud kasutusalad hõlmavad vestlusabilisi, juhiste järgimist, küsimustele vastamist, kokkuvõtete koostamist, dokumentide töötlemist, mitmekeelset tekstigeneratsiooni, programmeerimisabi, matemaatiliste ülesannete lahendamist ja üldist arutlemist. Vestluste jaoks peenhäälestamine muudab selle otseseks kasutajasuhtluseks sobivamaks kui baasmudeli, kuigi vastuste kvaliteet sõltub endiselt viipadest, dekodeerimisseadetest ja juurutusraamistikust.
Selle konkreetse kontrollpunkti puhul ei ole kontrollitud algupärast veebiotsingu integratsiooni ega sisseehitatud tööriistade ja funktsioonide kutsumise võimalust. Arendaja võib mudeli ühendada välise tarkvaraga, kuid see oleks rakendustaseme integratsioon, mitte dokumenteeritud mudelifunktsioon. Samuti ei kinnita esitatud uurimus algupäraseid struktureeritud väljundi garantiisid ega spetsiaalset JSON-režiimi.
Juurutamise ja järeldamise võimalused
Mudel on mõeldud ise hostitavaks järeldamiseks. Seda saab laadida Hugging Face Transformersi kaudu ning kasutada järeldusraamistikega, nagu vLLM ja SGLang. Yi-1.5 ametlikus repositooriumis on dokumenteeritud ka OpenAI-ga ühilduvad vLLM-i teenindusmustrid, mis võivad muuta integratsiooni lihtsamaks rakendustes, mis on juba üles ehitatud seda tüüpi lõpp-punkti ümber.
Kogukonna tööriistad toetavad juurutamist ka selliste lahenduste kaudu nagu Ollama ja llama.cpp-ga ühilduvad kvantiseeritud tuletised. Kvantiseerimine vähendab mälunõudeid, esitades kaalud väiksema numbrilise täpsusega. Kvantiseeritud faile tuleks siiski käsitleda tuletatud distributsioonidena: algselt avaldatud kontrollpunkt on BF16 safetensors-mudel.
Voogedastus on ühilduvate järeldusraamistike kaudu saadaval, kuid 01.AI ei paku selle kontrollpunkti jaoks eraldi hostitud teenust. Riistvaranõuded, läbilaskevõime ja latentsus sõltuvad kvantiseerimisvormingust, pakisuurusest, kiirendist, viiba pikkusest ja teenindusraamistikust. Väiksem 9B suurus võib pakkuda suuremate mudelitega võrreldes praktilisemat kiiruse ja kulude suhet, kuid esitatud uurimus ei kehtesta ühtki universaalset jõudlusnäitajat.
Tugevused ja kompromissid
Yi-1.5-9B-Chat-16K peamine praktiline tugevus on avatud litsentsi, allalaaditavate kaalude, vestluste jaoks peenhäälestamise ja 16 384 märgi pikkuse kontekstiakna kombinatsioon. Arendajad saavad mudelit iseseisvalt uurida ja käitada, selle asemel et sõltuda esimese osapoole hostitud API-st. Apache 2.0 litsents võib olla kasulik ka projektidele, mis vajavad lubavat tarkvaralitsentsi, tingimusel et vaadatakse läbi kohaldatavad litsentsitingimused ja konkreetse distributsiooniga seotud kohustused.
9B parameetri suurus kujutab endast kompromissi. Suuremate mudelitega võrreldes võib seda olla lihtsam ja odavam kohapeal käitada ning see võib sobida kiirelt reageerivatele abilistele või privaatsetele tekstitöötluse töövoogudele. Suuremad mudelid võivad olla eelistatud siis, kui rakendus seab riistvarakuludest ja vastamiskiirusest olulisemaks võimalikult kõrge arutlus-, programmeerimis- või juhiste järgimise kvaliteedi. Seevastu väiksemad spetsialiseeritud mudelid võivad olla sobivamad juhul, kui tähtsamad on minimaalne mälukasutus või maksimaalne läbilaskevõime, mitte lai võimekus.
Selle profiili jaoks koostatud toimetuslikus võimekuse hinnangus on arutluse ja programmeerimise skoor 7 punkti 10-st, kiiruse skoor 8 ja kuluskoor 9. Need on võrdlevad toimetuslikud hinnangud, mis põhinevad mudeli suurusel, vestluste jaoks peenhäälestamisel, dokumenteeritud positsioneerimisel ja juurutusomadustel. Need ei ole pakkuja avaldatud võrdlustestide tulemused ning neid ei tohiks käsitleda ametlike jõudlusmõõtmistena.
Hinnakujundus ja teenuse kättesaadavus
Yi-1.5-9B-Chat-16K kohta ei ole esitatud hostitud teenuse märgipõhist hinda. Mudel on ise hostitavaks järeldamiseks saadaval allalaaditava avatud kaaludega kontrollpunktina, mistõttu sõltuvad tegelikud käituskulud kasutaja enda riistvarast, pilvearvutusest, salvestusruumist, elektrist ja teenindustaristust.
Uurimus ei kinnita selle konkreetse kontrollpunkti puhul esimese osapoole hallatud API-t, viipade vahemällu salvestamise teenust ega pakktöötluse API-t. Samuti ei ole kindlaks tehtud autoriteetset teadmiste lõppkuupäeva. Need puuduvad andmed on olulised mudeli võrdlemisel hostitud alternatiividega, mis avaldavad teenusepiiranguid ja kasutushindu.
Millal valida Yi-1.5-9B-Chat-16K?
Vali see mudel, kui vajad kohapeal juurutatavat vestlusmudelit suhteliselt pika kontekstiakna ja lubava avatud litsentsiga. See sobib hästi näiteks järgmisteks kasutusjuhtudeks:
- Privaatsed või kohapeal käitatavad vestlusabilised, mis töötlevad teksti lokaalselt.
- Dokumentide kokkuvõtete koostamine ja küsimustele vastamine 16 384 märgi pikkuses kontekstis.
- Kohapealne programmeerimisabi ning lihtsamad matemaatika- või arutlusülesannete töövood.
- Mitmekeelne tekstigeneratsioon ja juhiste järgimise rakendused.
- Projektid, kus on vaja avatud kaaludega mudelit kohandada, peenhäälestada või teenindada Transformersi, vLLM-i, SGLangi või sarnaste tööriistade kaudu.
Mõni muu lahendus võib olla sobivam, kui rakendus vajab pildi-, heli- või videomõistmist, garanteeritud struktureeritud JSON-i, sisseehitatud veebiotsingut, dokumenteeritud funktsioonide kutsumist, avaldatud teadmiste lõppkuupäeva või hallatud API-t läbipaistva märgipõhise hinnastusega. Nõudlike arutlus- või programmeerimisülesannete puhul võib eelistada ka suuremat mudelit, kui kvaliteet on kohapealse juurutamise kuludest ja kiirusest tähtsam.
Piirangud, millega arvestada
Yi-1.5-9B-Chat-16K-d ei tohiks käsitleda üldise multimodaalse süsteemi ega täieliku agendiplatvormina. See ei võta algupäraselt vastu mittetekstilist meediat ning esitatud uurimus ei kinnita esimese osapoole tööriistakasutust, struktureeritud väljundi garantiisid ega veebiühendust. Samuti puuduvad dokumenteeritud maksimaalne väljundmärgiste arv ja autoriteetne teadmiste lõppkuupäev.
Nagu teistegi avatud kaaludega keelemudelite puhul, võivad genereeritud vastused olla valed, ebatäielikud või ebaturvalised. Arendajad peaksid väljundeid kontrollima, kasutama sobivaid juurdepääsukontrolle ning testima mudelit rakenduse jaoks asjakohaste viipade, keelte, dokumenditüüpide ja riistvarakonfiguratsiooniga. 16 384 märgi pikkune kontekstiaken on mahupiirang, mitte garantii, et iga pikka viipa käsitletakse sama kvaliteetselt.