Yi-1.5-34B-32K

Mis on Yi-1.5-34B-32K?

Yi-1.5-34B-32K on ettevõtte 01.AI välja antud ainult dekooderiga keelemudel. Praktilises mõttes genereerib ja jätkab see viiba põhjal teksti, mistõttu sobib see näiteks dokumentide töötlemiseks, koodi lõpetamiseks, uurimiskatseteks ja domeenikohanduseks. Mudelil on ligikaudu 34 miljardit parameetrit, mis paigutab selle oluliselt suuremasse klassi kui kompaktsed kohalikud keelemudelid.

Tähis „32K“ viitab konteksti maksimaalsele suurusele, milleks on 32 768 tokenit. Token on väike tekstiosa, mida keelemudel kasutab; kontekst tähendab seda, kui palju viiba- ja vestlusmaterjali saab mudel ühe päringu jooksul arvesse võtta. See maht on kasulik siis, kui rakendus peab edastama pika dokumendi, mitu lähtefaili või pikema tööajaloo, kuigi koos konteksti pikkusega kasvab ka praktiline mälukasutus.

Yi-1.5-34B-32K on Yi-1.5 perekonna baasversioon, mitte eraldi positsioneeritud Yi-1.5-34B-Chat variant. See erinevus on oluline: baas-kontrollpunkt on mõeldud üldiseks teksti jätkamiseks ja kohandamiseks, samas kui vestluspõhine rakendus võib vajada juhiste järgi peenhäälestatud mudelit või täiendavat seadistust.

Kontrollitud tehnilised andmed

Avaldatud mudeliteave määratleb Yi-1.5-34B-32K avatud kaaludega mudelina, mis on saadaval muu hulgas Hugging Face'i, ModelScope'i ja WiseModeli repositooriumides. Seda levitatakse BF16 safetensors-vormingus ning see kasutab Apache 2.0 litsentsi. Järgmised üksikasjad pärinevad esitatud mudelidokumentatsioonist ja konfiguratsiooniandmetest.

Avaldatud konfiguratsioon kirjeldab Llama-ühilduvat põhjusliku keelemudeli arhitektuuri, milles on 60 transformerkihi, peidetud suurus 7168, 56 tähelepanupead, kaheksa võtme-väärtuse pead ja 64 000 tokeni suurune sõnavara. Need on rakenduslikud üksikasjad, mitte garantii, et mudel käitub kõigis teenindusraamistikes täpselt ühtemoodi.

Võimekus ja keeletugi

01.AI esitleb Yi-1.5 seeriat algsete Yi mudelite edasiarendusena, mille puhul on täiustatud kodeerimist, matemaatikat, arutlusoskust, juhiste järgimist, keele mõistmist, tavaarutlust ja lugemisest arusaamist. Need on pakkuja väited kogu mudeliperekonna kohta. Neid ei tohiks käsitleda selle konkreetse kontrollpunkti kindla võrdlustestitulemusena, välja arvatud juhul, kui eraldi on viidatud konkreetsele testile ja mõõtmisele.

Mudel on mõeldud inglise- ja hiinakeelsete tekstide töötlemiseks. Selle baas-mudeli ülesehitus muudab selle kasulikuks arendajatele, kes soovivad jätkata eeltreenimist, teha juhendatud peenhäälestust või luua spetsialiseeritud genereerimistorustiku. Näiteks võib organisatsioon kohandada mudeli tehnilise valdkonna jaoks, kasutada seda pika teksti koostamiseks või teisendamiseks või katsetada kohapeal hallatavat kodeerimisabilist.

Toimetuse hinnangul saab selle arutlus- ja kodeerimissobivus hindeks 8 punkti 10-st. Need on ettevõttesisesed subjektiivsed hinded, mitte 01.AI avaldatud tulemused. Hinded näitavad, et arutlemist ja kodeerimist peetakse usaldusväärseteks kasutusjuhtudeks, kuid mudeli tegelik jõudlus sõltub viipamisest, peenhäälestusest, kvantimisest, riistvarast ja teenindusvirnast.

32K kontekst ja kohapealne juurutamine

Mudeli kõige olulisem praktiline eripära on 32 768 tokeni suurune kontekstiaken. See võimaldab kasutada pikki viipasid, näiteks tehnilist dokumentatsiooni, mitut lähtefaili või mahukaid tekstitöötlusülesandeid. See ei tähenda, et iga pikk sisend annaks sama usaldusväärseid tulemusi: tulemust mõjutavad endiselt otsingu kvaliteet, viiba ülesehitus ja mudeli võime suures kontekstis teavet jälgida.

01.AI ametlikus materjalis on dokumenteeritud kasutus koos Transformersi, vLLM-i, SGLangi, Docker Model Runneri ja ühilduvate kvantimistööriistadega. See annab halduritele mitu võimalust integreerida kontrollpunkt kohalikku või iseseisvalt hallatavasse järelduskeskkonda. Seda ei esitleta pakkuja hallatava tasulise tokenipõhise teenusena selle konkreetse mudeli jaoks.

Kuna kaalud sisaldavad ligikaudu 34 miljardit parameetrit ja on saadaval BF16-vormingus, vajab täppisjuurutus märkimisväärselt GPU-mälu. Täpne vajadus sõltub käituskeskkonnast, konteksti pikkusest, pakisuurusest ja muudest teenindusseadetest ning esitatud uurimismaterjalides ei ole täpsustatud üht kindlat minimaalset riistvarakonfiguratsiooni. Kvanditud versioonid võivad vähendada mälukasutust, kuid need on tuletised, mitte algne BF16-kontrollpunkt; nende kvaliteet ja ühilduvus sõltuvad kvantimismeetodist ja käituskeskkonnast.

Modaalsused ja rakendusliides

Yi-1.5-34B-32K on tekstisisendi ja tekstiväljundiga mudel. See ei toeta algupäraselt pildi-, heli- ega videosisendit või -väljundit. Esitatud võimekusandmetes ei ole samuti märgitud algupärast tööriista- ega funktsioonikutsete, veebiotsingu, struktureeritud väljundi või JSON-režiimi tuge. Arendajad saavad endiselt selle genereeritud teksti ümber tarkvara luua, kuid rakenduse tasemel orkestreerimist ei tohiks segi ajada sisseehitatud tööriistakasutusliidesega.

Esitatud tooteandmete kohaselt on voogedastus toetatud, kuigi täpne rakendus sõltub teenindusraamistikust. Toetatud on ka peenhäälestus, mis on kooskõlas mudeli avatud kaaludega levitamise ja baas-mudeli rolliga. Eraldi ametlikku väljundi maksimaalset tokenite arvu ei ole esitatud, mistõttu peaksid rakendused seadistama genereerimispiirangud vastavalt teeninduskeskkonnale ja saadaolevale kontekstieelarvele, mitte eeldama dokumenteeritud mudelipõhist väljundipiiri.

Hind, kiirus ja kulude kompromissid

Yi-1.5-34B-32K jaoks ei ole dokumenteeritud ametlikku esimese osapoole majutatud API hinda. Mudelit levitatakse allalaaditavate kaaludena, mistõttu ei väljendata mudeli otsest hinda korduva sisend- või väljundtokeni hinnana. Selle asemel tekivad kasutajal sobivate GPU-de, salvestusruumi, elektri, majutuse või kolmanda osapoole järeldusteenuse kasutamise kulud, kui ta ei käita mudelit ise.

Selline omandimudel võib olla atraktiivne meeskondadele, kes vajavad kontrolli juurutamise, andmekäitluse või peenhäälestuse üle. See on vähem mugav kui majutatud API, sest haldur peab valima riistvara, paigaldama käituskeskkonna, haldama mudelifailide ja tegelema skaleerimisega. Suurem mudel võib töötada ka aeglasemalt ja olla teenindamisel kallim kui väiksem kohalik mudel, eriti pika konteksti korral.

Esitatud toimetuse hinnangutes on kiirusele antud 4 punkti 10-st ja kulule 6 punkti 10-st. Need on subjektiivsed hinnangud, mitte pakkuja avaldatud mõõtmised. Need peegeldavad suhteliselt suure avatud kaaludega mudeli praktilist kompromissi: see pakub rohkem võimekust kui paljud väikesed kohalikud mudelid, kuid selle ressursinõuded muudavad selle mõne sülearvuti, vähese mäluga serveri või latentsustundliku rakenduse jaoks sobimatuks.

Parimad kasutusjuhud

• Pika kontekstiga teksti genereerimine: Suurte dokumentide töötlemine või teisendamine, mille puhul on 32 768 tokeni suurusest kontekstist kasu.
• Ise majutatavad keelerakendused: Kohapeal hallatava tekstigeneratsiooniteenuse loomine Transformersi, vLLM-i või SGLangiga.
• Uurimine ja katsetamine: Avatud kaaludega mudeli uurimine 34 miljardi parameetri suurusjärgus.
• Domeeni kohandamine: Baasmudeli peenhäälestamine valdkonnaspetsiifilise sõnavara, kirjutamisstiili või tehnilise valdkonna jaoks.
• Kodeerimis- ja matemaatikaabilised: Kohapeal hallatavate abiliste prototüüpimine tekstipõhiste programmeerimis- ja analüüsiülesannete jaoks.
• Hiina ja inglise keele töövood: Rakendused, mis vajavad üldises tekstigeneratsiooni kontekstis tuge mõlemale keelele.

Piirangud ja olukorrad, kus valida mõni muu võimalus

Kõige olulisem piirang on see, et Yi-1.5-34B-32K on baas-mudel. See võib teksti tõhusalt jätkata, kuid ei pruugi käituda viimistletud vestlusabilisena. Kui rakendus vajab usaldusväärset mitmevoorulist dialoogi, järjepidevat juhiste järgimist või valmis vestlusvormingut, võib juhiste järgi peenhäälestatud või vestlusele spetsialiseeritud mudel olla sobivam. Yi-1.5 perekonna sees on mudeli dokumentatsioonis otseselt asjakohase alternatiivina mainitud Yi-1.5-34B-Chat variant, kuigi selle sobivus sõltub rakenduse nõuetest.

Väiksem avatud kaaludega mudel võib olla parem valik siis, kui oluline on väike latentsus, tagasihoidlikud riistvaranõuded või odav kohapealne teenindus, mitte 34 miljardi parameetriga kontrollpunktiga seotud võimekus. Seevastu majutatud mudel võib olla eelistatavam, kui meeskond ei soovi hallata GPU-sid, käituskeskkonna ühilduvust, skaleerimist ega uuendusi. Yi-1.5-34B-32K on kõige atraktiivsem siis, kui avatud kaalud, kohapealne kontroll, peenhäälestus ja pikk kontekst on olulisemad kui kasutusvalmis juurdepääs.

Sellel puudub ka algupärane multimodaalne võimekus: see ei ole õige tööriist piltide mõistmiseks, heli transkribeerimiseks, videoanalüüsiks ega meedia otseseks genereerimiseks. Esitatud uurimismaterjalides ei ole dokumenteeritud algupärast tööriistakutset, struktureeritud väljundit ega veebiotsingut, mistõttu ei tohiks neid funktsioone rakenduse kavandamisel eeldada. Lisaks ei ole selle konkreetse kontrollpunkti eraldi autoriteetset teadmiste piirkuupäeva selgelt avaldatud. Algne Yi dokumentatsioon viitab 2023. aasta juunini ulatuvatele treeningandmetele, samas kui Yi-1.5 eeltreenimist jätkati täiendavatel andmetel; seda teavet ei tohiks käsitleda Yi-1.5-34B-32K täpse piirkuupäevana.

Kokkuvõte

Yi-1.5-34B-32K on mahukas avatud kaaludega baas-mudel kasutajatele, kes soovivad kohapeal juurutatavat ja kohandatavat tekstigeneraatorit 32 768 tokeni suuruse kontekstiaknaga. Apache 2.0 litsents, dokumenteeritud teenindusintegratsioonid ja sobivus peenhäälestuseks muudavad selle praktiliseks uurimistööks ja kontrollitud juurutamiseks. Kompromiss seisneb käitamise korralduses: mudel on suur, ametlikku majutatud tokeni hinda ei ole esitatud ning baas-mudeli käitumise tõttu võivad vestlusrakendused vajada täiendavat kohandamist. Valige see siis, kui pika kontekstiga kohapealne majutamine ja kohandatavus õigustavad riistvara- ja arendustööd; valige väiksem, vestluseks peenhäälestatud või majutatud alternatiiv siis, kui esmatähtsad on lihtsus, kiirus või sisseehitatud rakendusfunktsioonid.