Mis on Yi-9B-200K?
Yi-9B-200K on 01.AI välja töötatud avatud kaaludega keelemudel. Tähis „9B” viitab ligikaudu 9 miljardile parameetrile, „200K” aga umbes 200 000 märgi suurusele kontekstiaknale. Kontekstiaken näitab, kui palju sisendteksti suudab mudel ühe päringu käigus arvesse võtta. See hõlmab viipas esitatud teksti ja olenevalt töövoost ka genereeritud teksti.
Mudel avaldati 16. märtsil 2024 Yi mudelite perekonna osana. Tegemist on baasmudeliga, mitte juhiste järgi häälestatud vestlusmudeliga. Praktikas on see mõeldud viiba põhjal teksti jätkamiseks või genereerimiseks, kuid seda ei ole optimeeritud vestlusjuhiste järjepidevaks järgimiseks samal viisil nagu spetsiaalset vestlusmudelit. Usaldusväärse assistendikäitumise saavutamiseks võivad arendajad seetõttu vajada hoolikalt koostatud viipasid, jätkuõpet, juhendatud peenhäälestust või rakendusepõhist ümbrist.
01.AI positsioneerib Yi perekonda kui iseseisvalt treenitud mudeleid, mis ühilduvad suure osaga laiemast Llama tarkvaraökosüsteemist. Teenusepakkuja kirjeldab perekonda mitmekeelsena, rõhuasetusega inglise ja hiina keelel. Yi-9B seeriat peetakse algse Yi mudelivaliku piires eriti võimekaks ka programmeerimise ja matemaatika valdkonnas.
Miks on 200K kontekstiaken oluline?
Yi-9B-200K peamine eripära on pikk kontekst. 01.AI kirjeldab 200 000 märki ligikaudu 400 000 hiina tähemärgina. See annab piisavalt ruumi näiteks pika tehnilise juhendi analüüsimiseks, suure hulga seotud dokumentide läbivaatamiseks, mahuka koodihoidla uurimiseks või raamatu pikkuse materjali töötlemiseks väiksema arvu etappidena, kui lühema kontekstiga mudeli puhul vaja oleks.
Pikk kontekst ei tähenda, et mudel mäletaks iga detaili täiuslikult. Väga suure viiba keskosas olevat teavet võib mudelil olla raskem usaldusväärselt kasutada ning tulemuse kvaliteet sõltub endiselt dokumendi struktuurist, viipast ja ülesandest. Pikad sisendid võivad suurendada ka järeldamise aega ja mälunõudeid. Eelkõige kasvab tähelepanumehhanismiga seotud võtme-väärtuse vahemälu töödeldavate märkide hulga suurenedes, mistõttu võib kogu konteksti mahu kasutamine nõuda lühikese viiba käivitamisest märksa rohkem GPU-mälu.
Ligikaudu 200 000 märki on dokumenteeritud konteksti pikkus. Esitatud mudeliteave ei täpsusta eraldi maksimaalset väljundmärkide piirangut. Seetõttu peaksid arendajad kontrollima tegelikku genereerimispiiri valitud järeldusraamistikus ja kontrollpunkti konfiguratsioonis, mitte eeldama, et kogu kontekstiaken on väljundi jaoks saadaval.
Võimekused ja toetatud modaalsused
Yi-9B-200K on ainult tekstiga töötav keelemudel. Dokumenteeritud sisend ja väljund on tekstipõhised ning kinnitatud tuge pildi-, heli- ega videosisendile ega otsesele pildi-, heli-, video-, muusika-, kõne-, manustamisvektori või muule mittetekstilisele väljundile ei ole. Seda ei tohiks segi ajada 01.AI visuaalse mõistmise lahenduste ega multimodaalse assistendiplatvormiga.
Esitatud mudeliteabe põhjal on selle tõenäolised peamised võimekused järgmised:
- Pika kontekstiga teksti genereerimine: teksti töötlemine ja genereerimine ebatavaliselt suurtes dokumentides või viibakogumites.
- Programmeerimine: koodi loomine ja analüüsimine; 01.AI kirjeldab Yi-9B seeriat programmeerimises eriti tugevana.
- Matemaatika: matemaatilise teksti genereerimine ja probleemilahenduse töövood, kuigi selle konkreetse kontrollpunkti kohta ei ole siin võrdlustulemust esitatud.
- Kakskeelne genereerimine: inglise- ja hiinakeelse teksti töötlemine Yi perekonna mitmekeelse treeningu raames.
- Kohandamine: kohalik peenhäälestus või domeenikohandamine allalaaditavate kaalude abil.
Esitatud uurimismaterjalides ei ole mudelil kinnitatud veebotsingu funktsiooni, ühendust värske infoga, funktsioonikutsete liidest ega tööriistade kasutamise spetsifikatsiooni. Seetõttu tuleks seda käsitleda mudelina, mis genereerib viipa lisatud teabe põhjal teksti, mitte värske info uurimisagendi või integreeritud tööriistu kasutava assistendina.
Kohalik juurutamine ja litsents
Algse kontrollpunkti saab alla laadida 01.AI ametlikest mudelihoidlatest. Ametlikud kasutusmaterjalid näitavad juurutamist Hugging Face Transformersi, vLLM-i ja SGLangi abil. Kogukonna variandid teevad mudeli kättesaadavaks ka selliste tööriistade kaudu nagu llama.cpp, Ollama ja LM Studio, kuigi need kvantiseeritud failid on tuletatud distributsioonid, mitte teenusepakkuja algne kontrollpunkt.
Kohalik juurutamine annab arendajatele kontrolli mudeli kaalude, järeldustaristu, andmekäitluse ja kohandamise üle. See võib olla kasulik, kui dokumendid peavad jääma organisatsiooni keskkonda või kui meeskond soovib mudelit spetsiaalse valdkonna jaoks peenhäälestada. Kompromissiks on kasutamise keerukus: kasutaja peab tagama sobiva riistvara, seadistama järeldusvirna, haldama mälukasutust ja hindama mudeli käitumist.
Ametlikus mudelihoidlas on litsentsina märgitud Apache-2.0. See lubav litsents võib toetada paljusid kommerts- ja teaduskasutuse juhtumeid, kuid enne mudeli edasilevitamist, peenhäälestamist või kommertskasutusse võtmist peaksid kasutajad siiski tutvuma hoidlas esitatud täiendavate tingimuste ja lubatud kasutuse nõuetega.
Jõudluse, kiiruse ja kulude kompromissid
Yi-9B-200K jaoks ei ole avaldatud esimese osapoole hallatava teenuse märgipõhist hinda. Selle kulumudel erineb seetõttu mõõdetava kasutusega API-st: kasutajad hangivad kaalud ja tasuvad oma arvutusressursside, salvestusruumi ning käitustaristu eest. See võib korduvate töökoormuste või privaatsete juurutuste puhul olla säästlik, kuid ei ole automaatselt odavam kui API, kui arvesse võtta riistvara, inseneritöö, elektri ja hoolduse kulusid.
9 miljardi parameetriga mudel on väiksem kui paljud tänapäevased suured keelemudelid, mistõttu võib selle kohalik järeldamine olla praktilisem kui märksa suurema mudeli käitamine. 200K kontekstilaiendus muudab siiski ressursiarvestust. Lühikesed viibad võivad töötada suhteliselt tõhusalt, kuid väga pikad viibad suurendavad mälukasutust ja latentsust. Kogukonna kvantiseeritud versioon võib vähendada riistvaranõudeid, kuid kvantiseerimine võib muuta väljundi kvaliteeti ning seda tuleks kavandatud ülesande puhul eraldi hinnata.
Esitatud toimetuslikus hinnangus saab mudel arutlusvõime eest 5 punkti 10-st, programmeerimise eest 6 punkti 10-st, kiiruse eest 6 punkti 10-st ja hinna eest 8 punkti 10-st. Need on võrdlevad toimetuslikud hinded, mitte teenusepakkuja avaldatud võrdlustulemused. Need viitavad praktilisele positsioonile: Yi-9B-200K on atraktiivne avatud kaaludega juurdepääsu ja kontekstivõimekuse tõttu, kuid ei tohiks automaatselt eeldada, et see suudab arutluses, vestluse usaldusväärsuses või programmeerimise kvaliteedis sammu pidada uuemate juhiste järgi häälestatud mudelitega.
Peamised tugevused ja piirangud
Tugevused
- Ebatavaliselt suur kontekst: ligikaudu 200 000 märki on mudeli selgeim eristav omadus.
- Avatud kaaludega juurdepääs: arendajad saavad mudelit käitada, uurida, kohandada ja peenhäälestada, selle asemel et sõltuda üksnes hallatavast lõpp-punktist.
- Kasulik 9B suurus: mudel on väiksem kui paljud tipptasemel mudelid, mis võib muuta kohaliku katsetamise kättesaadavamaks.
- Inglise ja hiina keele fookus: Yi perekonna treening ja positsioneerimine toetavad kakskeelseid töövooge.
- Väljakujunenud juurutusökosüsteem: ametlikud materjalid hõlmavad Transformerit, vLLM-i ja SGLangi ning kohalikud tööriistad saavad täiendavat kogukonna tuge.
- Apache-2.0 litsents: märgitud litsents sobib paljude teadus- ja kommertskasutuse stsenaariumidega, arvestades kohaldatavaid tingimusi.
Piirangud
- Juhiste järgi häälestamata: see ei ole valmis vestlusrakenduse jaoks kõige lihtsam valik.
- Hallatava API spetsifikatsiooni puudumine: selle konkreetse kontrollpunkti kohta ei ole avaldatud hallatava teenuse märgihinda ega esimese osapoole hallatava API kirjeldust.
- Rasked pika konteksti töökoormused: kogu kontekstiakna kasutamine võib nõuda palju mälu ja suurendada latentsust.
- Ajaloolised treeningandmed: Yi-9B seeria dokumenteeritud treeningandmed ulatuvad 2023. aasta juunini, mistõttu ei tohiks eeldada, et mudel tunneb praeguseid sündmusi usaldusväärselt.
- Kinnitatud multimodaalsete ja tööriistafunktsioonide puudumine: selle kontrollpunkti puhul ei ole kinnitatud pildi-, heli- ega videotuge, veebotsingut, natiivset funktsioonikutsete tuge ega struktureeritud väljundit.
- Pikk kontekst ei taga täiuslikku meenutamist: suurem sisendipiirang ei taga väga suure dokumendi iga osa täpset leidmist ega selle üle korrektset arutlemist.
Parimad kasutusjuhud
Yi-9B-200K sobib hästi arendajatele ja teadlastele, kes vajavad spetsiaalselt pika kontekstiga avatud mudelit ja on valmis seda kohapeal käitama. Sobivad rakendused on järgmised:
- Pikkadest tehnilistest dokumentidest kokkuvõtete või teabe väljavõtete koostamine.
- Suure lepingu, aruande või teadusmaterjalide kogumi mitme jaotise võrdlemine.
- Mahukate koodihoidlate analüüsimine või seoste jälgimine paljude lähtefailide vahel.
- Inglise- ja hiinakeelse teksti genereerimine või teisendamine.
- Pika konteksti otsingu-, hindamis- ja dokumendipõhiste küsimustele vastamise süsteemidega katsetamine.
- Jätkuõpe ja domeenispetsiifiline peenhäälestus.
- Privaatsed juurutused, kus kontroll mudelifailide ja järeldusandmete üle on oluline.
Tootmiskeskkonna dokumendianalüüsi puhul tasub siiski kontrollida, kas lühema kontekstiga juhiste järgi häälestatud mudelil põhinev otsingulahendus annab järjepidevamaid tulemusi. Mõnel juhul on dokumentide jaotamine sisukateks osadeks ning ainult asjakohaste lõikude otsimine kiirem ja odavam kui kogu dokumendi saatmine 200K kontekstiga mudelile.
Millal valida Yi-9B-200K?
Vali Yi-9B-200K siis, kui avatud kaalud, kohalik kontroll ja ligikaudu 200 000 märgi suurune kontekstiaken on olulisemad kui kasutusvalmis vestluse kvaliteet. See sobib eriti hästi pika kontekstiga uurimistööks, koodihoidlate analüüsiks, kakskeelseks genereerimiseks ning meeskondadele, kes soovivad mudelit oma taristus peenhäälestada või juurutada.
Vali selle asemel juhiste järgi häälestatud Yi või Yi-1.5 vestlusmudel, kui peamine vajadus on koostööaldis vestlusassistent, mis järgib mitmeastmelisi juhiseid väiksema viipade kujundamise vajadusega. Vali uuem spetsialiseeritud mudel, kui ülesanne nõuab pildi mõistmist, kõnet, veebotsingut, värskeid faktilisi teadmisi, natiivset struktureeritud väljundit või integreeritud tööriistade kasutamist. Hallatav API võib olla sobivam ka siis, kui meeskond soovib prognoositavat majutust ja kasutuspõhist arveldamist, mitte vastutust kohaliku taristu eest.
Hind ja kättesaadavus
Yi-9B-200K on avatud kaaludega mudelina avalikult allalaaditav. Esitatud uurimismaterjalides ei ole selle konkreetse kontrollpunkti ametlikku hallatava API hinda märgitud, mistõttu ei ole võimalik esitada kinnitatud sisend- ega väljundmärgi hinda. Tegelik kulu sõltub mudeli käitamiseks kasutatavast riistvarast ja järeldusteenusest.
Mudel on endiselt avalikult allalaaditav, kuid esindab Yi mudeliperekonna varasemat põlvkonda. Enne selle kasutuselevõttu uues tootmissüsteemis tuleks kontrollpunkti hinnata organisatsiooni enda dokumentide, keelte, latentsuseesmärkide ja ohutusnõuete põhjal ning võrrelda seda praeguste juhiste järgi häälestatud ja pika kontekstiga alternatiividega.