Mis on Yi-Large?
Yi-Large on 01.AI välja töötatud suletud lähtekoodiga suur keelemudel, mis avaldati 2024. aasta mais. Suur keelemudel töötleb tekstipõhiseid viipasid ja genereerib tekstivastuseid, mistõttu sobib see vestlustarkvara, dokumentide analüüsi, tekstide koostamise, kokkuvõtete tegemise, klassifitseerimise ja muude keelekesksete ülesannete jaoks.
01.AI kirjeldab Yi-Large’i 100 miljardi parameetriga alusmudelina, mis on mõeldud vestlusteks, teksti genereerimiseks, keerukaks järeldamiseks, ennustamiseks ja loomuliku keele mõistmiseks. Praktilises mõttes on see ettevõtte API-kataloogis positsioneeritud kõrgtasemel üldotstarbelise mudelina, mitte spetsiaalse pildi-, heli- või videosüsteemina.
API ametlik mudeliidentifikaator on yi-large. Mudel on saadaval 01.AI platvormi kaudu ning seda saab kasutada API-liidese abil, mis ühildub OpenAI vestluse lõpetamise laadse vorminguga. See ühilduvus võib vähendada arendajate integratsioonitööd, kui nad juba kasutavad sellist päringumustrit, kuid rakendus tuleb siiski seadistada 01.AI lõpp-punkti ja autentimisandmetega.
Yi-Large’i koht 01.AI mudelivalikus
Yi-Large kuulub 01.AI Yi alusmudelite perekonda. Esitatud dokumentatsioonis kirjeldatakse seda standardse teksti genereerimise mudelina ning seda ei tohiks käsitleda kõigi Yi kataloogis mujal pakutavate võimekuste kogumina.
Näiteks loetleb 01.AI funktsioonide või tööriistade kasutamise stsenaariumide jaoks eraldi mudeli Yi-Large-FC. Seega ei tohiks standardse Yi-Large’i puhul tööriistade kutsumist eeldada üksnes seetõttu, et mõni seotud mudel seda toetab. Samuti seostatakse piltide mõistmist eraldi Yi-Visioni mudeliga, mitte standardse yi-large lõpp-punktiga.
See eristus on mudeli valimisel oluline. Yi-Large’i on kõige täpsem käsitleda suure kontekstiaknaga üldise tekstimudelina. Rakendused, mis vajavad kontrollitud sisseehitatud funktsioonikutsungit või visuaalset sisendit, peaksid selle asemel hindama konkreetselt dokumenteeritud mudelit, mis vastavat nõuet täidab.
Kontrollitud tehnilised andmed
| Tehniline näitaja | Yi-Large |
|---|---|
| Pakkuja | 01.AI |
| Väljalaskmine | Mai 2024 |
| Parameetrid | 100 miljardit |
| Mudeliidentifikaator | yi-large |
| Kontekstiaken | 32K tokenit |
| Sisend | Tekst |
| Väljund | Tekst |
| API-vorming | OpenAI-ga ühilduv vestluse lõpetamise liides |
| Sisendi hind | 3 dollarit 1 miljoni tokeni kohta |
| Väljundi hind | 3 dollarit 1 miljoni tokeni kohta |
32K suurune kontekstiaken näitab tekstihulka, mida mudel saab päringu ja sellega seotud vestluskonteksti raames arvesse võtta, sõltuvalt pakkuja teostusest. See on kasulik pikemate dokumentide, üksikasjalike juhiste ja mitmevooruliste vestluste puhul, kuid ei taga, et iga pikka dokumenti töödeldakse sama hästi. Arendajad peaksid siiski testima, kuidas nende rakendus teavet jaotab, otsib ja esitab.
Võimekused ja praktilised kasutusalad
01.AI positsioneerib Yi-Large’i vestluste ja teksti genereerimise jaoks, mis hõlmavad keerukat järeldamist, ennustamist ja loomuliku keele mõistmist. Need pakkuja kirjeldatud võimekused toetavad mitut praktilist kasutusala:
- Pika kontekstiga vestlused: assistentide loomine, mis peavad päringu raames säilitama ja töötlema rohkem teksti kui väiksema kontekstiaknaga mudelid.
- Dokumendi- ja teadmistepõhine töö: mahuka teksti kokkuvõtmine, võrdlemine, sellest teabe eraldamine ja selle kohta küsimustele vastamine.
- Mitmekeelne keeletöötlus: teksti genereerimine ja analüüsimine eri keeltes, kui rakenduse keelenõuded vastavad mudeli testitud jõudlusele.
- Tekstide koostamine ja teisendamine: mustandite loomine, materjali ümberkirjutamine, teksti klassifitseerimine ja struktureerimata keele teisendamine ühtlasemasse vormingusse.
- Üldised arutlusülesanded: analüüsi, ennustuste ja keerukate kirjalike juhiste käsitlemine, kui selleks pole vaja loomupärast visuaalset sisendit ega eraldi kontrollitud tööriistakutsete mudelit.
Mudeli 100 miljardi parameetri suurus ja 32K kontekstiaken viitavad sellele, et see on mõeldud nõudlikeks keeletöötluse ülesanneteks, mitte võimalikult väikese latentsuse või kulude saavutamiseks. See on toimetuslik hinnang mudeli positsioneerimisele, mitte pakkuja avaldatud võrdlustesti tulemus. Tegelik kvaliteet sõltub rakendusmeeskonna kasutatavast viibast, keelest, teemast ja hindamiskriteeriumidest.
Arutlus, programmeerimine ja tööriistade tugi
Yi-Large’i dokumentatsioonis on mainitud keerukat järeldamist ja loomuliku keele mõistmist, mistõttu saab seda hinnata tugevat arutlust nõudvate tekstülesannete puhul, nagu alternatiivide võrdlemine, mitmeastmeliste juhiste järgimine ja tõendite korrastamine. Esitatud uurimismaterjal ei tuvasta selle mudeli jaoks eraldi arutlusrežiimi, spetsiaalset arutlustokenite eelarvet ega kontrollitud arutlusvõimekuse võrdlustesti.
Mudelit võib kaaluda ka koodiga seotud teksti genereerimiseks, sest tegemist on üldotstarbelise keelemudeliga ning 01.AI platvorm kirjeldab programmeerimisvõimekusi oma laiemas Yi-dokumentatsioonis. Esitatud mudelipõhine materjal ei sisalda siiski programmeerimise võrdlustesti ega garantiid konkreetsete programmeerimiskeelte täpsuse kohta. Enne mudelile tootmises tuginemist peaksid arendajad eraldi testima koodi genereerimist, silumist ja selgitamist.
Standardset Yi-Large’i ei tohiks automaatselt käsitleda funktsioonikutsungite või agentmudelina. Esitatud dokumentatsioon seostab tööriistade kasutamise stsenaariumid eraldi loetletud mudeliga Yi-Large-FC. Kui rakendus vajab, et mudel väljastaks struktureeritud tööriistakutseid, mida väline süsteem täidab, tuleks selle asemel tutvuda tööriistade jaoks mõeldud mudeli ja selle ajakohase dokumentatsiooniga.
Sisend, väljund ja modaalsuste piirangud
Standardne Yi-Large’i mudel on tekstisisendi ja tekstiväljundiga süsteem. Esitatud uurimismaterjal ei kinnita selle mudeli puhul loomupärast pildi-, heli- ega videoväljundit. Piltide mõistmist kirjeldatakse Yi-Visioni, mitte Yi-Large’i puhul, seega ei tohiks visuaalsete viipade toimimist standardse lõpp-punkti juures eeldada.
API-liidese kaudu toetatakse voogedastust, mis võimaldab rakendusel saada genereeritud teksti järk-järgult, selle asemel et oodata kogu vastuse valmimist. Uurimismaterjal ei kinnita otseselt Yi-Large’i maksimaalset väljundtokenite arvu. Samuti ei kinnita see peenhäälestuse, viipade vahemällu salvestamise, paketttöötluse ega selle konkreetse mudeli eraldiseisva pärand-JSON-režiimi olemasolu. Neid võimalusi tuleks käsitleda kontrollimata, mitte eeldada, et need pole saadaval või on toetatud.
Hinnakujundus ja juurdepääs API-le
01.AI API-dokumentatsioonis on Yi-Large’i hinnaks märgitud 3 dollarit 1 miljoni sisendtokeni kohta ja 3 dollarit 1 miljoni väljundtokeni kohta. Need on tokenipõhised API-hinnad, mitte kuutellimuse hind. Sisendtokenid on mudelile saadetav tekst, väljundtokenid aga selle genereeritav tekst.
Esitatud hindade juures maksaks 100 000 sisendtokenit kasutav päring ligikaudu 0,30 dollarit, arvestamata muid pakkujapõhiseid tegureid. 10 000 väljundtokenist koosnev vastus lisaks ligikaudu 0,03 dollarit. Tegelik arveldamine tuleks kinnitada pakkuja kehtivate hindade ja tokeniseerimisreeglite põhjal.
API kasutab mudeliidentifikaatorit yi-large ja OpenAI-ga ühilduvat vestluse lõpetamise mustrit. See ühilduvus võib lihtsustada mõnelt teiselt API-lt üleminekut, kuid ei tähenda, et kõik teise pakkuja SDK või lõpp-punkti funktsioonid oleksid saadaval. Meeskonnad peaksid 01.AI dokumentatsioonist üle kontrollima autentimise, ajakohased lõpp-punkti üksikasjad, veakäsitluse, päringumäärade piirangud ja tootmiskasutuse saadavuse.
Tugevused ja kompromissid
Yi-Large’i kõige selgemad tugevused on suur parameetrite arv, 32K kontekstiaken, üldotstarbeline keelekeskne fookus ja suhteliselt lihtne API-integratsioon. See võib olla mõistlik valik, kui rakendus peab töötlema mahukat teksti ja eelistab laia keelelist võimekust juurdepääsule meedia genereerimise funktsioonidele.
Nende tugevustega kaasnevad ka kompromissid. 100 miljardi parameetriga mudel võib lihtsa klassifitseerimise, lühikeste vastuste või väga suure koormusega töötluse puhul olla väiksemast mudelist vähem ökonoomne, kuigi esitatud uurimismaterjal ei paku otsest kiiruse- ega võrdlustesti. Samuti sõltub 3 dollari suuruse miljoni sisend- ja väljundtokeni hinna juures kulu sellest, kui palju konteksti rakendus saadab ja kui pikad on vastused.
Yi-Large’i standardne lõpp-punkt ei ole sobiv vaikevalik, kui peamine nõue on piltide mõistmine, loomupärane meedia genereerimine, kontrollitud funktsioonikutsungid, integreeritud veebiotsing või dokumenteeritud maksimaalne väljundipikkus. Selliste vajaduste korral võivad paremini sobida seotud Yi mudelid või mõni teine pakkuja, kuid täpne alternatiiv tuleks valida kehtiva võimekuste dokumentatsiooni põhjal, mitte eeldada seda ühise mudeliperekonna järgi.
Millal valida Yi-Large?
Vali Yi-Large, kui rakendus vajab üldotstarbelist tekstimudelit, mille dokumenteeritud kontekstiaken on 32K, millele pääseb ligi API kaudu ja mis toetab mahukaid keeletöötlusülesandeid. See on eriti asjakohane järgmistes olukordades:
- pikkade dokumentide analüüs ja kokkuvõtete koostamine;
- ettevõtete assistendid, mis keskenduvad tekstile ja teadmistepõhisele tööle;
- mitmekeelne teksti genereerimine ja teisendamine;
- keerukad kirjalikud juhised ja analüüs;
- rakendused, mis saavad kasutada OpenAI-ga ühilduvat vestluse lõpetamise liidest; ning
- töökoormused, mille puhul eelistatakse suuremat üldmudelit minimaalsele väikese kuluga tekstimudelile.
Kaalu mõnd muud võimalust, kui väike latentsus ja minimaalne kulu on mudeli suurusest olulisemad, kui rakendus vajab pildi- või videosisendit või kui sisseehitatud tööriistakutsed on töövoo keskne osa. Sellistel juhtudel võivad sõltuvalt kontrollitud nõudest olla sobivamad Yi-Large-FC, Yi-Vision, väiksem keelemudel või spetsiaalne multimodaalne süsteem.
Teadaolevad piirangud ja kontrollimata üksikasjad
Esitatud esimese osapoole materjal ei määra otseselt Yi-Large’i teadmiste lõppkuupäeva, maksimaalset väljundtokenite arvu, peenhäälestuse saadavust, viipade vahemällu salvestamise tuge, paketttöötluse API tuge ega eraldi JSON-režiimi spetsifikatsiooni. Samuti ei sisalda see mudelipõhiseid võrdlustulemusi arutlusvõime, programmeerimise, kiiruse ega faktitäpsuse kohta.
Need lüngad ei muuda dokumenteeritud tehnilisi andmeid kehtetuks, kuid neid tuleb tootmise kavandamisel arvesse võtta. Yi-Large’i hindav meeskond peaks testima tüüpilisi viipasid, mõõtma latentsust ja tokenikasutust, kontrollima genereeritud koodi või faktiväiteid ning kinnitama 01.AI-lt kehtiva API-lepingu enne, kui muudab mudeli tootmissüsteemi sõltuvuseks.