Yi-1.5-9B

Mis on Yi-1.5-9B?

Yi-1.5-9B on 01.AI välja töötatud 9 miljardi parameetriga põhjuslik keelemudel. Praktilises mõttes ennustab ja genereerib see teksti, mistõttu sobib see näiteks tekstide koostamiseks, kokkuvõtete tegemiseks, küsimustele vastamiseks, kodeerimiskatseteks, tõlkerakendusteks ja valdkonnapõhiseks teksti genereerimiseks.

Mudel avaldati 13. mail 2024 Yi-1.5 mudeliperekonna osana. 01.AI kirjeldab Yi-1.5 mudelit kui algse Yi-seeria jätku, mille treenimisel kasutati veel ligikaudu 500 miljardi tokeni ulatuses kvaliteetset korpust. Teenusepakkuja sõnul on võrreldes Yi mudeliga paranenud kodeerimine, matemaatika, arutlusoskus, juhiste järgimine, keele mõistmine, üldteadmiste põhine arutlus ning teksti mõistmine.

Need võimekusväited kehtivad Yi-1.5 mudeliperekonna kohta ning neid ei tohiks tõlgendada iga ülesande puhul eesliinimudeli tasemel jõudluse garantiina. Konkreetne Yi-1.5-9B kontrollpunkt on üldotstarbeline baasmudel, mistõttu sõltub selle käitumine suurel määral juhistest, järeldusseadetest, peenhäälestusest ja kasutatavast teenindussüsteemist.

Baasmudel ja vestlusmudel

Yi-1.5-9B on baasmudel ehk vestluseks häälestamata kontrollpunkt. See ei ole sama mudel mis Yi-1.5-9B-Chat, mida on juhiste järgi häälestatud otsesemaks vestluslikuks suhtluseks. Baasmudel suudab teksti tõhusalt jätkata või genereerida, kuid enne üldotstarbelise assistendina järjepidevat toimimist võib see vajada täiendavat viipade vormindamist, juhendatud peenhäälestust või joondamist.

See erinevus on juurutamise töömahu hindamisel oluline. Kasutajad, kes soovivad katsetada mudeli treenimist, kohandada mudelit konkreetse valdkonna jaoks või kontrollida juhiste järgi häälestamise protsessi, võivad eelistada baaskontrollpunkti. Kasutajad, kes soovivad kohe kasutusvalmis vestluskogemust, võivad leida, et juhiste järgi häälestatud mudel sobib paremini, kuigi esitatud uurimismaterjal ei kinnita kummagi kontrollpunkti puhul majutatud esimese osapoole teenust ega hinnastruktuuri.

Kontrollitud tehnilised andmed

4096 tokeni maksimum kehtib siin käsitletava konkreetse Yi-1.5-9B kontrollpunkti kohta. Yi-1.5 mudeliperekonda kuuluvad ka eraldi 16K ja 32K variandid, kuid nende pikemat konteksti piiri ei tohiks sellele mudelile omistada. Token on mudeli kasutatav tekstiosa; konteksti piir hõlmab materjali, mida mudel päringu käigus töötleb, ning genereeritud jätku mudeli toetatud pikkuse piirides.

Esitatud dokumentatsioonist ei leitud maksimaalset väljundtokenite arvu. See ei tähenda, et väljund oleks piiramatu: tegelik genereerimispiir sõltub mudeli kontekstiaknast, käitusaja konfiguratsioonist, viiba pikkusest ja teeninduse rakendusest.

Võimekused ja modaalsused

Yi-1.5-9B on ainult tekstipõhine. See võtab sisendiks teksti ja genereerib tekstilise väljundi. Seda ei ole kirjeldatud natiivse pildi mõistmise, heli, video, kõne, esituste, pildigeneerimise ega videogeneratsiooni mudelina. Neid funktsioone vajavad rakendused peaksid kasutama eraldi mudeleid või täiendavaid töötluskomponente.

Mudeli dokumentatsioon ja teenusepakkuja väited kirjeldavad Yi-1.5 mudelit kui parema kodeerimise, matemaatilise arutluse, üldise arutlusoskuse, juhiste järgimise, keele mõistmise, üldteadmiste põhise arutluse ja teksti mõistmisega mudelit. Need on kasulikud valdkonnad testimiseks, kuid esitatud uurimismaterjal ei sisalda täpse Yi-1.5-9B kontrollpunkti võrdlustestide tulemusi. Toimetuslikud võimekusskoorid liigitavad selle arutlus- ja kodeerimisvõimekuse mõõdukaks ega kujuta neid teenusepakkuja avaldatud hinnangutena.

Selle kontrollpunkti kontrollitud natiivset tööriistakasutuse ega funktsioonikutsete võimekust ei ole. Mudeli võib paigutada rakendusse, mis rakendab selle ümber tööriistu, kuid ei tohiks eeldada, et mudel ise pakub garanteeritud struktureeritud tööriistakutseid. Samuti ei ole esitatud materjalis dokumenteeritud kontrollitud natiivset JSON-režiimi ega struktureeritud väljundi jõustamist.

Kuidas saab Yi-1.5-9B juurutada?

01.AI levitab Yi-1.5-9B avatud kaaludena. Mudeli saab alla laadida näiteks Hugging Face'i ja ModelScope'i repositooriumidest ning käivitada kasutaja hallataval riistvaral või kolmanda osapoole taristus. Ametlik dokumentatsioon kirjeldab juurutusvõimalusi Transformer­si, vLLM-i, SGLang-i, Ollama ja ühilduvate järeldussüsteemide abil.

Transformers sobib mudeli otse Pythonis laadimiseks ja katsetamiseks. vLLM ja SGLang on teenindusele suunatud võimalused, millega saab mudeli rakenduse jaoks serverina kättesaadavaks teha. Ollama võib pakkuda ligipääsetavamat kohalikku töövoogu, kui ühilduv mudelipakett ja süsteemikonfiguratsioon on olemas. Täpsed mälu-, riistvara-, kvantimise-, pakktöötluse- ja jõudlusnõuded sõltuvad valitud täpsusest ja käituskeskkonnast, mistõttu ei määra 9 miljardi parameetri suurune mudelisilt üksi juurutamise maksumust.

Kuna tegemist on avatud kaaludega mudeliga, saavad organisatsioonid valida kohaliku riistvara, renditud arvutusressursi või kolmanda osapoole majutuse vahel. See paindlikkus eristab mudelit oluliselt sellisest mudelist, mis on saadaval üksnes teenusepakkuja hallatava API kaudu. Samuti annab see juurutajale üle töökorralduslikud kohustused, sealhulgas mudeli teenindamise, skaleerimise, turbe, seire, uuendused ja taristukulud.

Hinnastamine ja kulude kompromissid

Yi-1.5-9B kontrollpunkti enda kohta ei ole 01.AI ametlikku tokenipõhist hinda avaldanud. Kaalud on Apache 2.0 litsentsi alusel allalaaditavad, seega ei ole esitatud uurimismaterjalis märgitud mudeli tellimustasu. Mudeli käitamine ei ole siiski tasuta: kasutajad võivad maksta riistvara, pilvearvutuse, salvestusruumi, elektri, majutuse või inseneritöö eest.

Suhteliselt väike, 9 miljardi parameetriga maht muudab Yi-1.5-9B kohaliku või kulutundliku juurutuse jaoks praktilisemaks kui oluliselt suuremad keelemudelid. Kvantimine võib vähendada mälunõudeid, kuid uurimismaterjalis ei täpsustata konkreetset kvantimisvormingut ega garanteeritud jõudlustaset. Väiksemad mudelid võivad pakkuda ka kiiremaid vastuseid ja väiksemaid kasutuskulusid, samas kui suuremad või uuemad eesliinimudelid võivad anda keerukates arutlus-, kodeerimis-, juhiste järgimise või pika konteksti ülesannetes paremaid tulemusi.

Selle kirje juures esitatud kuluskoor on toimetuslik võrdlev hinnang, mitte 01.AI avaldatud hind. See kajastab mudeli allalaaditavust ja suhteliselt hallatavat suurust, mitte garanteeritud majutuskulu.

Peamised tugevused ja piirangud

Tugevused

• Juurdepääs avatud kaaludele: Kasutajad saavad mudeli alla laadida ja käivitada, selle asemel et sõltuda üksnes esimese osapoole majutatud lõpp-punktist.
• Apache 2.0 litsents: Märgitud litsents on paindlik ja sobib paljude teadus- ning rakenduste arendamise stsenaariumidega, arvestades litsentsitingimusi ja konkreetse kasutusega kaasnevaid kohustusi.
• Hallatav mudelisuurus: Ligikaudu 9 miljardit parameetrit on palju jõukohasem juurutuse siht kui märksa suuremad mudelid.
• Kohandamisvõimalus: Baaskontrollpunkt sobib katsetamiseks, valdkonnaga kohandamiseks ja peenhäälestuseks.
• Lai tekstipõhine fookus: Mudel on mõeldud üldiseks teksti genereerimiseks ning teenusepakkuja sõnul pööratakse tähelepanu kodeerimisele, matemaatikale, arutlusoskusele ja keele mõistmisele.

Piirangud

• Lühem kontekst kui pika kontekstiga alternatiivsetel mudelitel: Konkreetne kontrollpunkt toetab 4096 tokenit, mistõttu võivad pikad dokumendid ja pikad vestlused vajada tükeldamist või teistsugust mudelit.
• Ei ole kasutusvalmis vestlusassistent: Baasmudelina võib see vajada rohkem viipade kujundamist või peenhäälestust kui juhiste järgi häälestatud kontrollpunkt.
• Natiivne multimodaalne sisend puudub: See ei töötle otse pilte, heli ega videot.
• Sisseehitatud tööriistad pole kontrollitud: Esitatud uurimismaterjal ei kinnita natiivset veebotsingut, garanteeritud funktsioonikutseid ega struktureeritud väljundi jõustamist.
• Ametlik majutushind puudub: Kasutajad peavad taristu- ja kasutuskulusid ise hindama või valima kolmanda osapoole teenusepakkuja.
• Ei pruugi olla eesliinimudel: Väiksem avatud kaaludega mudel võib olla kulude ja kontrolli seisukohast atraktiivne, kuid nõudlikes ülesannetes võib see suuremate või uuemate hallatavate mudelitega võrreldes väiksema võimekusega olla.

Yi-1.5-9B parimad kasutusjuhud

Yi-1.5-9B sobib arendajatele ja teadlastele, kes vajavad allalaaditavat tekstimudelit, mitte hallatavat API-t. Sobivad rakendused on näiteks kohalik teksti genereerimine, hiina ja inglise keele projektid, õppeotstarbelised katsed, prototüüpimine, valdkonnapõhine peenhäälestus ja kulutundlikud teenused, mille puhul meeskond suudab oma järeldustaristut ise hallata.

Baaskontrollpunkt on eriti asjakohane siis, kui kohandamine on oluline. Näiteks võib meeskond uurida, kuidas täiendavad treeningandmed muudavad konkreetse valdkonna terminoloogiat või kirjutamisstiili. Mudel võib olla ka praktiline lähtekoht viibavormingute, kvantimise, järelduskeskkondade ja kohaliku juurutuse töövoogude testimiseks enne suuremasse süsteemi investeerimist.

Selle 4096-tokenine kontekst sobib paljude lühikeste viipade, kompaktsete dokumentide ja tavapäraste teksti genereerimise ülesannete jaoks. Pikkade kasutusjuhendite, suurte koodirepositooriumide, pikkade vestlusajalugude või ulatusliku otsingu kontekstiga töökoormused võivad vajada dokumentide tükeldamist, hoolikat konteksti haldamist või mõne teise tooteseeria pikema kontekstiga mudelit.

Millal valida Yi-1.5-9B?

Valige Yi-1.5-9B siis, kui prioriteedid on allalaaditavad kaalud, kohalik kontroll, paindlik litsents, kohandatavus ja suhteliselt soodsa juurutuse võimalus. See sobib paremini insenerimeeskondadele, kes suudavad järeldustaristut hallata, kui kasutajatele, kes otsivad kasutusvalmis vestlusrobotit koos kontopõhise liidese, integreeritud otsingu või garanteeritud assistendikäitumisega.

Teist tüüpi mudel võib olla sobivam, kui rakendus vajab natiivset pildi- või helimõistmist, väga suurt kontekstiakent, sisseehitatud veebiandmetel põhinevaid vastuseid, töökindlaid tööriistakutseid, jõustatud JSON-väljundit või teenusepakkuja toetatud teenusetaseme lepingut. Juhiste järgi häälestatud mudel võib olla eelistatav ka siis, kui viipade ja joondamise töö mahu vähendamine on olulisem kui baasmudeli ja treeningprotsessi kontrollimine.

Võrreldes suuremate majutatud mudelitega pakub Yi-1.5-9B kompromissi: potentsiaalselt väiksemad taristukulud ja suurem juurutuskontroll, kuid vastutasuks suurem töökorralduslik vastutus ning võimalik, et väiksem jõudlus keerukates ülesannetes. Võrreldes suuremate avatud kaaludega mudelitega võib selle väiksem suurus muuta kohaliku katsetamise lihtsamaks, kuid kasutajad peaksid kvaliteeti oma andmetel valideerima, sest esitatud uurimismaterjal ei kinnita selle konkreetse kontrollpunkti võrdlustestide tulemusi.

Kokkuvõte

Yi-1.5-9B-d tuleks eelkõige mõista kui kompaktset, avatud kaaludega alust teksti genereerimise projektidele, mitte kui valmis tarbijatele mõeldud vestlusrobotit või täielikult hallatavat API-toodet. Selle kontrollitud profiil on selge: ligikaudu 9 miljardit parameetrit, 4096-tokenine kontekstiaken, tekstiline sisend ja väljund, Apache 2.0 litsents ning avaldatud esimese osapoole tokenipõhise hinna puudumine. Mudeli peamine väärtus seisneb kohaliku juurutamise ja kohandamise võimaluse kombinatsioonis. Peamised kulud on vajadus mudelit ise hallata, lühem konteksti piir ning täiendav töö, mida on sageli vaja baaskontrollpunkti usaldusväärseks assistendiks muutmiseks.