Yi-1.5-9B-32K

Mis on Yi-1.5-9B-32K?

Yi-1.5-9B-32K on 01.AI välja antud avatud kaaludega ainult dekooderil põhinev keelemudel. Hugging Face’is on kanooniline kontrollpunkt 01-ai/Yi-1.5-9B-32K. Mudel sisaldab ligikaudu 9 miljardit parameetrit ja seda levitatakse Apache 2.0 litsentsi alusel, järgides väljalaskega kaasnevaid tingimusi ja teatisi.

Mudel genereerib teksti ühe märgi ehk tokeni kaupa, kasutades põhjuslikku keelemudeldamist. Praktikas saab see lõpetada viipasid, genereerida proosat või koodi ning olla aluseks kohandatud peenhäälestusele. Tegemist on baasmudeliga, mitte juhiste järgi peenhäälestatud vestlusmudeliga, mistõttu ei tasu eeldada, et see käitub kohe pärast laadimist viimistletud assistendina.

Yi-1.5-9B-32K kuulub Yi-1.5 mudelite perekonda, mida 01.AI kirjeldab Yi täiendatud versioonina. Perekonda treeniti pidevalt edasi Yi põhjal, kasutades kvaliteetset korpust, ning seejärel treeniti seda täiendavate peenhäälestusandmetega. Teenusepakkuja kirjelduse järgi on perekonna sihtvaldkonnad keele mõistmine, programmeerimine, matemaatika, arutlus, juhiste järgimine, argiteadmised ja teksti mõistmine. Need on teenusepakkuja seatud võimekuseesmärgid, mitte asendus konkreetse kontrollpunkti ülesandepõhisele hindamisele.

Koht Yi-1.5 mudelite perekonnas

Yi-1.5-9B-32K peamine eripära on konteksti pikkus. Avaldatud konfiguratsioon määrab kontekstiakna pikkuseks 32 768 positsiooni. Tavalisel Yi-1.5-9B mudelil on avaldatud 4096 positsiooni pikkune kontekstiaken, samas kui Yi-1.5-9B-Chat ja Yi-1.5-9B-Chat-16K on eraldi juhiste järgi peenhäälestatud kontrollpunktid.

See tähendab, et Yi-1.5-9B-32K on mõeldud arendajatele, kes vajavad pikemat viipade mahtu, kuid soovivad baasmudeli paindlikkust. See ei ole lihtsalt teise nimega vestlusversioon. Vestluspõhise peenhäälestuse puudumine annab kasutajatele rohkem kontrolli viipade koostamise ja mudeli edasise kohandamise üle, kuid soovitud töökindla üldotstarbelise assistendi loomiseks tuleb teha rohkem tööd.

Tehnilised andmed ja kontekstiaken

32 768 tokeni pikkune kontekstiaken võimaldab viibale lisada märksa rohkem materjali kui 4K mudel suudab vastu võtta. Sobivad näited on pikk tehniline dokument, mitu omavahel seotud dokumenti, mahukas koodimoodul või mitmest failist koosneva rakenduse kontekst. Konteksti piirang ei ole sama mis garanteeritud kasuliku väljundi maht: esitatud uuringud ei kinnita eraldi maksimaalset väljundtokenite arvu ning tegelik viiba ja genereerimise piir sõltub teeninduskonfiguratsioonist.

Pikk kontekst toob kaasa ka käituskulu. Mälukasutus ja läbilaskevõime varieeruvad sõltuvalt täpsusest, kvantimisest, paketisuurusest, jada pikkusest ja järeldusraamistikust. 32K konteksti toetav kontrollpunkt võib nõuda rohkem mälu ning väga pikkade viipade töötlemisel aeglasemalt genereerida kui lühema kontekstiga alternatiiv.

Võimekus ja praktilised tugevused

Yi-1.5-9B-32K on kõige kasulikum siis, kui arendaja soovib kohandatavat tekstimudelit, mitte valmis vestlustoodet. Selle peamised praktilised tugevused on avatud kaalude kättesaadavus, suhteliselt mõõdukas 9 miljardi parameetri suurus, pikk kontekst ja ühilduvus väljakujunenud kohalike järeldustööriistadega.

• Pika kontekstiga teksti genereerimine: 32K aken toetab pikki viipasid, dokumentide lõpetamist ja mitme dokumendiga töövooge.
• Koodi- ja matemaatikapõhised töövood: Yi-1.5 perekonda tutvustatakse programmeerimiseks ja matemaatikaks sobivana ning mudelit saab nende ülesannete jaoks hinnata või kohandada.
• Kohandatud peenhäälestus: Kontrollpunkt võib olla lähtepunkt domeenikohanduseks või juhendatud peenhäälestuseks.
• Kohalik katsetamine: Arendajad saavad kaalud alla laadida ja järelduskihti ise juhtida, selle asemel et sõltuda teenusepakkuja hostitud lõpp-punktist.
• Paindlik juurutamine: Ametlik dokumentatsioon sisaldab näiteid Transformersi, vLLM-i ja SGLangi kasutamise kohta.

Toimetuse hinnangul sobib mudel mõistlikult pika konteksti katsetamiseks väiksemas mahus kui väga suured alusmudelid. Esitatud võrdlevates hinnangutes on selle arutlus-, kodeerimis- ja kiirusvõimekusele antud 7 punkti 10-st ning kulule 9 punkti 10-st. Need on toimetuse hinnangud, mitte müüja võrdlustestid ega kontrollitud jõudlusmõõtmised. Tegelikud tulemused sõltuvad suurel määral viipade koostamisest, kvantimisest, riistvarast ja ülesandest.

Baasmudeli käitumine ja piirangud

Kõige olulisem piirang on see, et Yi-1.5-9B-32K ei ole juhiste järgi peenhäälestatud vestluskontrollpunkt. Baasmudel on treenitud teksti jätkama, mitte tingimata vestlusjuhiseid järjepidevalt järgima. Usaldusväärse assistendilaadse käitumise saavutamiseks võivad arendajad vajada hoolikalt kujundatud viibavormingut, rakenduse tasandi juhistekihti või juhendatud peenhäälestust.

Mudeliga ei kaasne ka kontrollitud teenusepakkuja hostitud teenuselepingut. Täpset hostitud sisend- või väljundtokeni hinda ei tuvastatud ning puudub kontrollitud mudelipõhine lubadus teadmiste lõppkuupäeva, maksimaalse väljundi pikkuse, viipade vahemällu salvestamise, paketttöötluse või struktureeritud JSON-väljundi kohta. Mudelikaart ja esitatud uuringud ei kehtesta samuti eraldi ametlikku garantiid tööriistade või funktsioonide kutsumiseks.

Selle loomulik väljund on tekst. See ei ole pildi-, heli-, video-, embedding’u, transkriptsiooni-, kõnesünteesi- ega muusikamudel ning uuringud ei kinnita loomulikku multimodaalset sisendit. Kohalikud teenindusraamistikud võivad pakkuda OpenAI-ga ühilduvat lõpp-punkti, kuid see ühilduvus puudutab teeninduskihi pakutavat liidest; see ei muuda kontrollpunkti hostitud OpenAI tooteks ega lisa võimekusi, mida mudelil endal ei ole.

Juurutamise ja kulude kompromissid

01.AI dokumentatsioon sisaldab laadimisnäiteid Transformersi jaoks ning teenindusnäiteid vLLM-i ja SGLangi kasutamiseks. Need tööriistad võivad aidata avada kohaliku lõpetamise lõpp-punkti rakendustele, mis juba mõistavad ühilduvaid API-sid. Väljalase sobib ka ühilduvateks kvantimistöövoogudeks, mis võivad vähendada mälunõudeid, kuid tuua kaasa kompromisse kvaliteedis või täpsuses.

Esitatud uuringutes ei ole teenusepakkuja määratud korduvat API-hinda. Selle asemel põhineb majandusmudel isehostimisel: kaalud on Apache 2.0 litsentsi alusel kättesaadavad, kuid kasutaja maksab kaudselt riistvara, hostimise, elektri, salvestusruumi, arendusaja, seire ja hoolduse eest. Katsetamiseks või väikese mahuga töökoormuste puhul võib see olla atraktiivne. Kasutajatele, kes vajavad prognoositavat tööaega, hallatud skaleerimist, kasutuspõhist arveldamist või minimaalset taristutööd, võib hostitud juhiste järgi peenhäälestatud mudel olla sobivam.

9 miljardi parameetri suurus on praktiline kesktee. Tõenäoliselt on seda lihtsam juurutada kui palju suuremaid mudeleid, samal ajal kui 32K kontekst võib muuta selle pikkade sisendite jaoks kasulikumaks kui väiksema kontekstiga mudelid. Siiski ei tohiks eeldada, et mudel saavutab kõigis arutlus-, kodeerimis- või juhiste järgimise ülesannetes suuremate süsteemidega võrreldava tulemuse. Oluline kompromiss seisneb kontrollis ja isehostimise paindlikkuses ühelt poolt ning käitamise koormuses ja potentsiaalselt väiksemas üldotstarbelises töökindluses teiselt poolt.

Toetatud sisendid, väljundid ja tööriistad

Mudeli tasandil võtab Yi-1.5-9B-32K vastu teksti ja väljastab teksti. Esitatud andmetes on märgitud tekstisisend ja tekstiväljund, kuid mitte pildi-, heli- ega videosisendit või -väljundit. Samuti ei ole kinnitatud loomulikku tööriistakasutuse võimekust, struktureeritud väljundi garantiid, vahemäluteenust ega pakett-API-t.

Voogedastus võib olla valitud kohaliku teenindusraamistiku kaudu võimalik, kuid seda tuleks käsitleda teenindusfunktsioonina, mitte kontrollpunkti erivõimekusena. Samuti võib rakendus genereeritud teksti käskudeks või JSON-iks teisendada, kuid see ei ole samaväärne teenusepakkuja garanteeritud JSON-režiimi või funktsioonikutsumise liidesega.

Millal valida Yi-1.5-9B-32K?

Vali Yi-1.5-9B-32K, kui vajad Apache 2.0 litsentsiga avatud kaaludega mudelit kohalikuks või isehostitud kasutuseks ning sinu töökoormus saab kasu 32K kontekstiaknast. See sobib eriti hästi järgmisteks kasutusjuhtudeks:

• Pikkade dokumentide lõpetamine või analüüs kohandatud rakendusekihi abil
• Repositooriumi või mitme faili koodikonteksti katsetused
• Viipade koostamise, peenhäälestuse, kvantimise või mudeli teenindamise uurimine
• Domeenikohandus, mille puhul soovid ligipääsu mudeli aluskaaludele
• Tekstigeneratsioonisüsteemid, kus taristu juhtimine on olulisem kui kohe kasutusvalmis assistendi käitumine

Mõni teine valik võib olla parem, kui vajad kohe kasutusvalmis vestlusassistenti, garanteeritud struktureeritud väljundit, loomulikku multimodaalset töötlust, hallatud tööriistakutsumist, dokumenteeritud hostitud hinda või prognoositavat teenusepakkuja hallatavat kättesaadavust. Yi-1.5 perekonnas on juhiste järgi peenhäälestatud Yi-1.5-9B-Chat variandid sobivamad juhul, kui vestluskäitumine on olulisem kui baaskontrollpunktist alustamine. Tavaline Yi-1.5-9B võib olla eelistatavam siis, kui 4K kontekstist piisab ja väiksemad kontekstiga seotud ressursinõuded on tähtsamad.

Kättesaadavus ja lõpphinnang

Yi-1.5-9B-32K on avalikult saadaval 01.AI Hugging Face’i organisatsiooni kaudu ning ametlikud projektimaterjalid dokumenteerivad kohaliku juurutamise ja peenhäälestuse töövooge. Selle kõige olulisem eristav omadus on 32K kontekstiakna, avatud kaalude ja hallatava 9 miljardi parameetri suuruse mudeli kombinatsioon.

Seda tuleks hinnata alusmudelina, mitte valmis vestlusroboti või hostitud API-tootena. Arendajatele, kes on valmis haldama järeldustaristut ning lisama oma ülesande jaoks vajaliku viipamise või peenhäälestuse, pakub see kasulikku kontrolli pika kontekstiga teksti- ja kooditöövoogude üle. Kasutajatele, kes soovivad minimaalset seadistamist ja garanteeritud assistendifunktsioone, sobib tõenäoliselt paremini juhiste järgi peenhäälestatud või hallatud alternatiiv.