Yi-1.5-9B-Chat

Mis on Yi-1.5-9B-Chat?

Yi-1.5-9B-Chat on ettevõtte 01.AI avatud kaaludega vestluslik keelemudel. Tähis „9B“ viitab ligikaudu 9 miljardile parameetrile, samas kui „Chat“ tähistab juhiste järgi häälestatud kontrollpunkti, mis on mõeldud kasutaja päringute järgimiseks ja vestlusliku teksti loomiseks. See kuulub Yi-1.5 mudeliperekonda, mis avaldati 13. mail 2024 koos teiste parameetrisuuruste ja konteksti variantidega.

Mudel on suunatud peamiselt arendajatele ja teadlastele, kes soovivad käitada keelemudelit enda kontrolli all, selle asemel et kasutada mõõdetava hinnastusega tarbijatele mõeldud vestlusrobotit või majutatud mudeli lõpp-punkti. See suudab luua vastuseid, kokkuvõtteid, mustandeid, koodi ja muud teksti, kuid täpne Yi-1.5-9B-Chat kontrollpunkt ei ole algupäraselt pildi-, heli- ega videomudel.

Koht Yi-1.5 mudeliperekonnas

Yi-1.5 on 01.AI Yi mudelite uuendatud põlvkond. 01.AI avaldatud kirjelduse kohaselt treeniti Yi-1.5 täiendavalt 500 miljardi märgi peal ning häälestati 3 miljoni mitmekesise näidise abil. Teenusepakkuja sõnul paranesid kodeerimine, matemaatika, arutlemine, juhiste järgimine, keele mõistmine, commonsense-arutlemine ja loetu mõistmine.

Need on teenusepakkuja väited Yi-1.5 mudeliperekonna kohta, mitte sõltumatud võrdlustulemused täpselt selle kontrollpunkti kohta. 9B vestlusmudel paikneb mudeliperekonna keskosas: see on 34B variandist märgatavalt väiksem ja seetõttu üldjuhul hõlpsamini käivitatav, pakkudes samal ajal rohkem võimekust kui väga väikesed lokaalsed keelemudelid. 01.AI loetleb eraldi ka mudeli Yi-1.5-9B-Chat-16K. Seda pikema kontekstiga kontrollpunkti ei tohiks segi ajada siin käsitletava standardse Yi-1.5-9B-Chat kirjega.

Tehnilised andmed

Märk on väike tekstiosa, mida mudel töötlemise ajal kasutab. 4096 märgi suurune kontekstiaken hõlmab olenevalt teeninduskonfiguratsioonist koos nii mudelile esitatud vestlust või dokumenti kui ka genereeritud jätku. Praktilises mõttes sobib see tavalisteks vestlusteks ja lühemateks dokumentideks, kuid seda ei ole mõeldud väga pikkade vestluste või suurte failide töötlemiseks ilma täiendavate tükeldamis- ja otsinguvõteteta.

Selle konkreetse mudeli kirje puhul ei ole maksimaalset väljundmärkide arvu sõltumatult kinnitatud. Tegelik väljundipiirang sõltub osaliselt järelduskonfiguratsioonist ja kontekstiaknas allesjäänud mahust.

Võimekused ja praktilised kasutusalad

Yi-1.5-9B-Chat on mõeldud üldiseks tekstipõhiseks suhtluseks. Sobivate ülesannete hulka kuuluvad küsimustele vastamine, teksti koostamine ja ümberkirjutamine, lühemate tekstilõikude kokkuvõtmine, teabe väljavõtmine, tõlkimine või mitmekeelsete viipadega katsetamine ning lihtsa vestlusassistendi käitamine. Kuna kaalud on lokaalseks juurutamiseks saadaval, võib mudel olla ka rakenduse komponent, kui viipade saatmine välisele teenusepakkujale on ebasoovitav või ebapraktiline.

Mudel pakub kodeerimisabi, sealhulgas koodi genereerimist, selgitamist ja põhitasemel silumisjuhiseid. Esitatud hindamisandmetes on selle kodeerimisvõimekust hinnatud toimetusliku võrdlushinnanguna 7 punktiga 10-st, mitte 01.AI avaldatud tulemusena. Samamoodi kajastab arutlemise hinne 6 punkti 10-st toimetuslikku hinnangut, mitte teenusepakkuja standardiseeritud võrdlustesti tulemust. Need hinnangud viitavad kasulikule üldotstarbelisele mudelile, kuid neid ei tohiks käsitada keeruka programmeerimise või matemaatilise töö garantiina.

01.AI avaldatud mudeliperekonna kirjelduses teatatakse matemaatika- ja arutlemisvõimekuse paranemisest, kuid mudelikaart hoiatab ka selle eest, et pikemad arutluskäigud ja matemaatikaülesanded võivad sisaldada kuhjuvaid vigu. Kasutajad peaksid kontrollima genereeritud koodi, arvutusi ja faktiväiteid, mitte käsitama mudelit usaldusväärse autonoomse autoriteedina.

Sisend, väljund ja tööriistade tugi

Täpne Yi-1.5-9B-Chat kontrollpunkt võtab vastu teksti ja väljastab teksti. See ei toeta algupäraselt piltide, heli ega video sisendit ega loo neid meediatüüpe otse. Laiemasse 01.AI ökosüsteemi kuuluvad teiste Yi-ga seotud pakkumiste kaudu ka visuaalse mõistmise võimekused, kuid neid ei tohiks omistada sellele 9B tekstikontrollpunktile.

Selle konkreetse mudeli puhul ei ole algupärast tööriistade kasutamise ega funktsioonikutsete võimekust kinnitatud. Rakendus võib paigutada mudeli agendiraamistikku või ühendada genereeritud teksti väliste tööriistadega, kuid see on ümbritseva tarkvara pakutav integratsioon, mitte kinnitatud sisseehitatud mudelifunktsioon. Samuti ei ole sõltumatult dokumenteeritud JSON-skeemiga väljundrežiimi. Rangelt masinloetavaid vastuseid vajavad arendajad võivad vajada valideerimist, piiratud dekodeerimist või välist orkestreerimiskihti.

Juurutamine ja integratsioon

Mudeli kaalud on saadaval 01.AI ametlikus Hugging Face'i repositooriumis ja muudes levikanalites. Transformers pakub tavapärast viisi kontrollpunkti laadimiseks, samas kui vLLM-i ja SGLang-i saab kasutada ühilduvate teenindustöövoogude jaoks. Yi-1.5 projekt dokumenteerib ka OpenAI-ga ühilduvaid kohaliku teenindamise mustreid, mis võivad lihtsustada nende rakenduste üleviimist, mis on juba üles ehitatud vestluse lõpetamise laadsete liideste ümber.

„OpenAI-ga ühilduv“ kirjeldab siin liidese mustrit, mitte juurdepääsu OpenAI majutatud teenusele ega tõendit selle kohta, et toetatud on kõik OpenAI API funktsioonid. Täpne käitumine sõltub teenindusraamistikust, mudeliadapterist ja päringu konfiguratsioonist. Esitatud mudeliandmetes on voogedastus märgitud toetatuks, kuid selliseid funktsioone nagu majutatud pakktöötlus, viipade vahemällu salvestamine ja esimese osapoole peenhäälestuse API ei ole selle kontrollpunkti puhul kinnitatud.

Peenhäälestus on võimalik Yi mudeleid toetavate kolmanda osapoole tööriistade abil. Olemasolevad uuringud ei kinnita Yi-1.5-9B-Chat jaoks eraldi 01.AI majutatud peenhäälestustoodet ega hinda, mistõttu sõltuvad juurutamise ja treenimise kulud kasutaja riistvarast, pilvetaristust ja valitud tarkvarast.

Hind ja litsents

Yi-1.5-9B-Chatil ei ole kinnitatud ametlikku majutatud API hinda. Seda levitatakse Apache 2.0 litsentsi alusel isemajutatavate avatud kaaludena, mistõttu mudelil endal ei ole esitatud allikate põhjal korduvat märgipõhist hinda. Selle käitamine nõuab siiski arvutusressursse, salvestusruumi, elektrit või renditud taristut.

Apache 2.0 litsents lubab üldjuhul laialdast kasutust, järgides selle litsentsitingimusi, kuid organisatsioonid peaksid enne juurutamist tutvuma täieliku litsentsi ja kõigi kohaldatavate kasutuskohustustega. Avatud kaalud tähendavad ka seda, et juurdepääsukontrolli, jälgimise, privaatsuse, sisu käsitlemise ja süsteemi töökindluse eest vastutab 01.AI majutatud platvormi asemel käitaja.

Peamised tugevused ja piirangud

Tugevused

• Kohalik kontroll: kaalusid saab juurutada kasutaja kontrollitavas keskkonnas, ilma et oleks vaja majutatud API-t.
• Mõõdukas suurus: ligikaudu 9 miljardit parameetrit pakub praktilist kompromissi võimekuse ja suuremate mudelite ressursinõudluse vahel.
• Lai tekstikasutus: vestluskontrollpunkt toetab vestluslikku kirjutamist, kokkuvõtete koostamist, küsimustele vastamist ja kodeerimisabi.
• Paindlik litsents: Apache 2.0 litsents ja mudeli avalik levitamine toetavad katsetamist ja rakenduste arendamist, järgides litsentsitingimusi.
• Juurutamise paindlikkus: projektiga seotud ökosüsteemis on dokumenteeritud Transformers, vLLM, SGLang ja OpenAI-ga ühilduvad kohaliku teenindamise mustrid.

Piirangud

• Lühem kontekst: standardsel kontrollpunktil on 4096 märgi suurune kontekstiaken. Eraldi loetletud 16K mudel on teine variant.
• Ainult tekst: see kontrollpunkt ei toeta algupäraselt pildi-, heli- ega videosisendit või -väljundit.
• Kinnitamata struktureeritud genereerimine: täpse mudeli jaoks ei ole dokumenteeritud esimese osapoole JSON-skeemiga väljundrežiimi.
• Kinnitatud algupäraste tööriistade puudumine: veebotsing, funktsioonikutsed ja muud toimingud nõuavad kasutamise korral ümbritsevat rakenduse taristut.
• Võimalikud hallutsinatsioonid: 01.AI hoiatab mitmekesiste või mittedeterministlike vastuste, hallutsinatsioonide ja kuhjuvate vigade eest, eriti pikemate arutluskäikude ja matemaatikaülesannete puhul.
• Majutatud hinna või teenusegarantii puudumine: kasutajad peavad ise korraldama taristu, skaleerimise, turbe ja operatiivtoe.

Millal valida Yi-1.5-9B-Chat?

Vali Yi-1.5-9B-Chat, kui vajad avatud kaaludega vestlusmudelit, mida saab lokaalselt käitada, kui 4K kontekstiaknast piisab või kui soovid katsetada Yi-perekonna mudeliga, võtmata endale majutatud märgipõhise teenuse kohustust. See on mõistlik kandidaat privaatseteks prototüüpideks, ettevõttesisesteks tekstiassistentideks, lihtsamaks kodeerimisabiks, lokaalseks uurimistööks ja peenhäälestuskatseteks.

Selle peamine kompromiss seisneb võimekuse, käituskulude ja kiiruse vahel. 9B mudelit on üldjuhul vähem nõudlik käitada kui suuremaid kontrollpunkte ning esitatud toimetuslikus hinnangus said selle kiirus ja kulutõhusus vastavalt 8 ja 9 punkti 10-st. Need on võrdlevad toimetuslikud hinnangud, mitte teenusepakkuja mõõtmised, ning tegelik jõudlus sõltub riistvarast, kvantimisest, pakisuurusest ja teenindustarkvarast. Suuremad mudelid võivad olla sobivamad, kui keerukas arutlemine, pikemate juhiste järgimine või kvaliteetsem kodeerimine on olulisem kui kohaliku käitamise ressursitõhusus.

Vali mõni muu võimalus, kui vajad algupärast multimodaalset töötlust, väga pikka konteksti, usaldusväärset sisseehitatud tööriistade kasutamist, teenusepakkuja hallatavat skaleerimist, dokumenteeritud majutatud API hinda või rangelt struktureeritud väljundit. Kui peamine probleem on 4K piirang, võib eraldi loetletud Yi-1.5-9B-Chat-16K variant olla hindamist väärt, kuid seda tuleks käsitleda eraldi mudelina, mitte vahetatava konfiguratsioonina.

Kokkuvõte

Yi-1.5-9B-Chat on praktiline avatud kaaludega tekstimudel kasutajatele, kes hindavad kohalikku juurutamist, litsentsipaindlikkust ja mõõdukaid ressursinõudeid. Selle standardne 4K kontekst ja tekstipõhine ülesehitus määratlevad selgelt mudeli ulatuse: seda tasub käsitleda isemajutatava vestlus- ja kodeerimisassistendina, mitte täieliku multimodaalse agendiplatvormi või hallatava API-tootena. Selle kasulikkus sõltub hoolikast viipamisest, genereeritud sisu kontrollimisest ja mudeli teenindamiseks kasutatava taristu kvaliteedist.