Mis on Yi-9B?
Yi-9B on 9 miljardi parameetriga avatud kaaludega kausaalne keelemudel, mida pakub 01.AI. Praktikas tähendab see, et mudeli kaalud saab alla laadida ja käitada toetatud lokaalse järeldustarkvaraga, ilma et oleks vaja juurdepääsu kinnitatud esimese osapoole hostitud lõpp-punktile. Mudel avaldati 6. märtsil 2024 ning see kuulub Yi kakskeelsete inglise-hiina mudelite perekonda.
Mõiste baasmudel on siinkohal oluline. Yi-9B on mõeldud teksti ennustamiseks ja genereerimiseks, peenhäälestuseks ning rakenduste alusena kasutamiseks. Seda ei esitleta viimistletud tarbijatele mõeldud juhiseid järgiva vestlusrobotina. Arendajal võib olla vaja koostada viibad hoolikalt või mudelit konkreetse dialoogi-, eraldamis-, lõpetamis- või kodeerimisülesande jaoks peenhäälestada.
01.AI kirjeldab Yi-seeriat kui ligikaudu 3 triljoni märgi suurusel mitmekeelsel korpusel treenitud mudelite seeriat. Mudeli dokumentatsioonis märgitakse ka, et 9B-seeriat treeniti pidevalt edasi Yi-6B põhjal, kasutades täiendavalt 0,8 triljonit märki. Need on teenusepakkuja või projekti dokumentatsioonis esitatud väited, mitte sõltumatud toimivusgarantiid.
Yi-9B koht 01.AI mudelikataloogis
Yi-9B kuulub 01.AI Yi mudelite perekonda, mis eksisteerib ettevõtte laiema ettevõtetele suunatud tehisintellekti, mudeliarenduse ja juurutamise tegevuse kõrval. Mudel on kõige asjakohasem selle kataloogi allalaaditavate ja arendajatele suunatud lahenduste osas. See ei ole sama mis brauseripõhine 01.AI Platform ning esitatud uuringud ei kinnita selle konkreetse mudeli praegust esimese osapoole hostitud API pakkumist.
Selle avatud kaaludega levitamine annab mudelile hallatava kommertsmudeliga võrreldes teistsuguse rolli. Kasutajad saavad valida oma riistvara ja teenindusvirna, tutvuda juurutuskonfiguratsioonidega või neid muuta ning mudelit järgmise etapi ülesande jaoks peenhäälestada. Vastutasuks vastutavad nad taristu, mälunõuete, jõudluse häälestamise, turbe ja rakenduse tasandi kaitsemeetmete eest.
Peamised näitajad lühidalt
| Spetsifikatsioon | Kinnitatud teave |
|---|---|
| Teenusepakkuja | 01.AI |
| Väljalaskekuupäev | 6. märts 2024 |
| Mudeli suurus | 9 miljardit parameetrit |
| Mudeli tüüp | Kakskeelne inglise-hiina baasmudel |
| Kontekstiaken | 4096 märki ehk 4K märki |
| Peamine väljund | Tekst |
| Sisendmodaalsused | Tekst |
| Litsents | Apache 2.0 vastavalt mudelihoidla teabele |
| Treeningandmete kuupäev | Kuni 2023. aasta juunini; see on dokumenteeritud treeningandmete kuupäevana, mitte eraldi märgistatud ametliku teadmiste piirkuupäevana |
| Juurutus | Lokaalne järeldus Transformers, vLLM-i, SGLang-i, Dockeri või seotud tööriistade kaudu |
| Hostitud kasutuse hind | Selle konkreetse mudeli kinnitatud esimese osapoole hostitud hinda ei ole |
4K suurune kontekstiaken piirab viiba ja genereeritud vestlusajaloo hulka, mida saab ühe päringu käigus töödelda. See on piisav lühikeste dokumentide, koodilõikude, keskendunud lõpetamisülesannete ja lühikeste vestluste jaoks, kuid suurte koodibaaside, pikkade aruannete või ulatusliku vestlusajaloo puhul on piirang märkimisväärne. Esitatud uuringud ei määra eraldi maksimaalset väljundmärkide arvu, seega ei tohiks eeldada täpset väljundi ülempiiri peale üldise kontekstipiirangu.
Võimekus ja tugevused
Kakskeelne tekstigeneratsioon
Yi-9B on loodud inglise- ja hiinakeelse teksti genereerimiseks. Seetõttu sobib see kakskeelsetesse rakendustesse, tõlkega seotud töövoogudesse, keeleõppesse, kokkuvõtete koostamisse, klassifitseerimisviipadesse ja sisu lõpetamiseks, kui need keeled on kesksel kohal. Olemasolevad tõendid toetavad ainult teksti sisendit ja teksti väljundit; need ei kinnita Yi-9B loomupärast pildi-, heli- ega videotöötlust.
Kodeerimine ja matemaatika
01.AI mudelimaterjalides esitletakse 9B-seeriat eriti tugeva mudelina kodeerimise ja matemaatika valdkonnas. Need valdkonnad kajastuvad ka mudeli kavandatud kasutusviisides ja toimetuslikus võrdlevas hinnangus. Seega saab Yi-9B-d hinnata koodi lõpetamise, lühikeste programmide selgitamise, tavapäraste funktsioonide genereerimise, matemaatiliste probleemilahendusviipade ja tehnilise teksti lõpetamise ülesannetes.
Neid tugevusi ei tohiks segi ajada garanteeritud korrektsusega. Baasmudel võib küll koodi genereerida, kuid ei pruugi vestlusjuhiseid järjepidevalt järgida; ka matemaatiline ja programmeerimisväljund vajab testimist ja kontrollimist. Uuringud ei esita selle konkreetse lehe jaoks võrdlusnäitajaid, mistõttu tuleks kodeerimise ja matemaatika kohta käivaid väiteid käsitleda dokumenteeritud positsioneerimisena, mitte lubadusena olla parem kõigist uuematest mudelitest.
Arutlusvõime ja lugemismõistmine
Mudeli dokumentatsioonis märgitakse, et see toetab tavamõistusest lähtuvat arutlemist, loogilist arutlemist, matemaatilisi arvutusi ja lugemismõistmist. Praktilises kasutuses võib selle 9 miljardi parameetri suurus pakkuda kasulikku tasakaalu võimekuse ja lokaalsete ressursinõuete vahel, eriti keskendunud ülesannete puhul. Tegemist on siiski vanema Yi-põlvkonna väljalaskega ning esitatud uuringud ei toeta selle kirjeldamist tipptasemel arutlusmudelina.
Juurutamine ja peenhäälestus
Yi-9B on mõeldud arendajatele, kes soovivad kontrollida, kus järeldus toimub. Mudeli dokumentatsioon nimetab juurutusvõimalustena Transformersi, vLLM-i, SGLang-i, Dockeri ja seotud tööriistu. Täpsed riistvaranõuded sõltuvad valitud täpsusest, kvantimisest, pakisuurusest, teeninduskonfiguratsioonist ja jõudluseesmärgist; esitatud allikad ei määra üht universaalset riistvaraspetsifikatsiooni.
Lokaalne juurutamine võib vähendada sõltuvust hostitud teenusest ning olla kasulik olukordades, kus olulised on andmekontroll või privaatne taristu. Samuti annab see kasutajale operatiivse vastutuse. Hallata tuleb mudelifailide, käitusaegsete sõltuvuste, juurdepääsuõiguste, seire, uuenduste ja ressursside kulusid. Kaalude lokaalne käitamine ei ole sama mis täielikult hallatud API kasutamine.
Peenhäälestus on toetatud. See muudab Yi-9B sobivaks kandidaadiks üldise kakskeelse mudeli kohandamisel kitsamale valdkonnale, kindlale väljundvormingule, kodeerimisstiilile või ettevõttesisesele ülesandele. Peenhäälestuse kvaliteet sõltub treeningandmetest ja protseduurist ning mudeli Apache 2.0 litsentsi tuleks käsitleda koos andmekogumitele, genereeritud sisule või ümbritsevale rakendusele kehtivate kohustustega.
Modaalsused, tööriistad ja API olek
Esitatud spetsifikatsioonide kohaselt on Yi-9B ainult tekstimudel: see võtab vastu teksti ja väljastab teksti. Selle konkreetse mudeli puhul ei ole kinnitatud loomupärast pildi-, heli- ega videosisendit või -väljundit. Samuti ei ole seda siin dokumenteeritud multimodaalse Yi-Visioni mudelina.
Uuringud ei kinnita Yi-9B sisseehitatud tööriista- või funktsioonikutseid. Arendaja võib potentsiaalselt luua rakenduse, mis töötleb mudeli väljundit ja käivitab väliseid tööriistu, kuid see oleks rakenduse loogika, mitte kinnitatud loomupärane mudelifunktsioon. Samuti ei ole selle konkreetse mudeli puhul otseselt kinnitatud JSON-režiimi, struktureeritud väljundi garantiisid, vahemällu salvestamist, pakett-API tuge ega voogedastuse garantiisid.
Esimese osapoole hostitud API hinda ei ole kinnitatud. Mudel on saadaval avatud kaaludega allalaaditava mudelina, seega ei esitata mudeli otsest hinda korduva tellimuse- või märgipõhise hinnana. Lokaalsed kasutajad peavad selle asemel arvestama taristu- ja arenduskuludega, mis sõltuvad juurutuskeskkonnast.
Võimekuse, kiiruse ja kulude kompromissid
Yi-9B peamine praktiline kompromiss seisneb juhtimise ja lokaalse juurutatavuse ning hallatud uuema mudeli mugavuse ja potentsiaalselt laiema võimekuse vahel. 9 miljardi parameetriga mudel on paljudest tänapäevastest suurtest süsteemidest märgatavalt väiksem, mistõttu võib see olla atraktiivne lokaalseteks katseteks, privaatseteks rakendusteks ja kuluteadlikuks juurutuseks. Selle profiili jaoks esitatud toimetuslik hinnang annab suhtelisele kiirusele hindeks 7 punkti 10-st ja kulutõhususele 9 punkti 10-st. Need on võrdlevad toimetuslikud hinded, mitte 01.AI avaldatud hinnangud.
Lokaalne käitamine ei tähenda nullkulusid. Olulised on riistvara, elekter, salvestusruum, arendusaeg ja mudelite teenindamise hooldus. Avatud kaaludega mudel võib siiski olla eelistatav, kui prognoositav juurdepääs taristule, võrguühenduseta töö, kohandatavus või märgipõhiste hostitud tasude vältimine on olulisem kui juurdepääs uusimatele arutlus-, pika konteksti, multimodaalsetele või tööriistu kasutavatele funktsioonidele.
Millal valida Yi-9B?
Yi-9B on mõistlik valik, kui projekt vajab allalaaditavat kakskeelset tekstimudelit ja saab hakkama 4K märgi suuruse kontekstiaknaga. Sobivad kasutusjuhud on näiteks:
- Inglise- ja hiinakeelse teksti lokaalne genereerimine ning lõpetamine.
- Koodi lõpetamine, koodi selgitamine ja tehnilise teksti koostamine.
- Matemaatilise või loogilise arutlemise katsetused, mille väljundeid saab kontrollida.
- Avatud kaaludega keelemudelite ja lokaalse järelduse uurimine.
- Baasmudeli peenhäälestamine spetsialiseeritud ettevõttesisese ülesande jaoks.
- Rakendused, kus Apache 2.0 litsents ja juurutuse kontroll on olulised kaalutlused.
Uuem või hostitud alternatiiv võib olla sobivam, kui vajate viimistletud vestlusabilist, märksa pikemat kontekstiakent, kinnitatud funktsioonikutseid, garanteeritud struktureeritud väljundit, integreeritud veebiotsingut, ajakohast teavet, multimodaalset sisendit või tipptasemel arutlusvõimet. Yi-9B sobib halvasti ka loomupäraseks pildi-, heli- või videotöötluseks, sest esitatud spetsifikatsioonid neid võimeid ei toeta.
Piirangud, millega arvestada
Mudeli baasmudeli staatus on selle kõige olulisem kasutuspiirang. Ilma hoolika viipamise või täiendava kohandamiseta ei pruugi see käituda juhiseid järgiva abilisena. Selle 4K suurune kontekstiaken piirab ka pikkade dokumentide ja ulatuslike vestluste töötlemist. Dokumenteeritud treeningandmed ulatuvad 2023. aasta juunini, mistõttu ei tohiks mudelit pidada usaldusväärseks praeguste sündmuste või pärast treeningandmete kuupäeva avaldatud teabe allikaks.
Selle konkreetse mudeli puhul on kinnitamata mitu operatiivset üksikasja: maksimaalne väljundmärkide arv, voogedastuse käitumine, vahemällu salvestamine, pakettjuurdepääs, JSON-režiim, struktureeritud väljundi garantiid ja praegune ametlik hostitud API. Need puudujäägid ei tõesta, et mõnel kolmanda osapoole teenindusplatvormil funktsioon puudub; need tähendavad, et funktsiooni ei tohiks esitada Yi-9B enda kinnitatud omadusena.
Kokkuvõte
Yi-9B-d tuleks eelkõige mõista kui praktilist avatud kaaludega baasmudelit kakskeelse inglise-hiina tekstitöö jaoks, rõhuasetusega kodeerimisel, matemaatikal, arutlemisel, lokaalsel juurutamisel ja peenhäälestusel. Selle Apache 2.0 litsents ja lai ühilduvus lokaalsete tööriistadega muudavad selle kasulikuks arendajatele, kes hindavad juhtimist rohkem kui hallatud kasutuskogemust. Suhteliselt lühike kontekst, baasmudeli käitumine, kinnitatud loomupäraste tööriistade või multimodaalse toe puudumine ning vanem treeningandmete ajahorisont muudavad selle vähem sobivaks pika konteksti, ajakohase teabe või viimistletud tarbijatele mõeldud abilise kasutusjuhtudeks.