Mis on Yi-Lightning?
Yi-Lightning on ettevõtte 01.AI välja töötatud suletud lähtekoodiga keelemudel. See genereerib tekstiliste viipade põhjal teksti ning on loodud üldotstarbeliste ülesannete jaoks, nagu vestlus, arutlemine, matemaatika, programmeerimine, kokkuvõtete koostamine, klassifitseerimine ja mitmekeelne tekstiloome. Mudel avaldati 2024. aasta oktoobris ning see sai kättesaadavaks 01.AI arendajaplatvormi kaudu, mitte allalaaditava mudeli kontrollpunktina.
01.AI kirjeldab Yi-Lightningi 100 miljardi parameetriga ekspertide segu ehk MoE-mudelina. Ekspertide segul põhinevas süsteemis suunatakse päring valitud spetsialiseeritud komponentidele, selle asemel et aktiveerida iga märgi töötlemisel kogu mudel. Nii saab saavutada suure mudeli kogumahu, ilma et iga päringu korral tuleks käivitada kogu parameetrite kogum. Praktikas oli arhitektuuri eesmärk parandada vastuse kvaliteedi, kiiruse ja teeninduskulude tasakaalu.
100 miljardi parameetri näitaja kirjeldab teenusepakkuja sõnul mudeli kogusuurust. Esitatud tehniline teave ei täpsusta, kui palju parameetreid ühe päringu puhul tegelikult aktiveeritakse, ega anna täielikku avalikku arhitektuurikirjeldust. Need üksikasjad on Yi-Lightningi võrdlemisel teiste mudelitega olulised, mistõttu ei tohiks parameetrite koguarvu käsitleda otsese näitajana mudeli tööaegse kulu või võimekuse kohta.
Yi-Lightningi koht 01.AI mudelivalikus
Yi-Lightning kuulub 01.AI Yi keelemudelite perekonda ning seda esitleti turuletoomisel ettevõtte peamise mudelina hostitud API kasutuseks. Seda ei tohiks segi ajada mudeliga Yi-Vision, mis on visuaalse mõistmisega seotud eraldi mudel, ega 01.AI avatud kaaludega Yi-väljaannetega. Yi-Lightningut pakuti suletud lähtekoodiga hostitud teenusena, mitte mudelina, mille arendajad saaksid alla laadida ja iseseisvalt käitada.
See erinevus mõjutab juurutamisotsuseid. Hostitud API võib kõrvaldada vajaduse hallata ise majutamiseks vajalikku riistvara, mudeliteenindust ja operatiivset taristut, kuid samal ajal muutub rakendus sõltuvaks teenusepakkuja lõpp-punktist, kontonõuetest, hinnastusest ja mudeli elutsüklist. Praegune avalik teave ei kinnita üheselt, kas Yi-Lightning on endiselt üldiselt kättesaadav, seega peaksid mudelit hindavad meeskonnad enne tootmissõltuvuse loomist 01.AI-lt juurdepääsu ja toetatud mudelitunnused üle kontrollima.
Arhitektuur ja jõudluspositsioon
Yi-Lightningi peamine tehniline eripära on ekspertide segul põhinev arhitektuur. Mudeli marsruutimisüsteem valib päringu eri osade jaoks eksperdid ning teenusepakkuja tehniline aruanne kirjeldab ka täiendavat tööd ekspertide segmenteerimise, marsruutimise ja võtme-väärtuse vahemälu kallal. Võtme-väärtuse vahemälu on teenindamise optimeerimisvõte, mis taaskasutab genereerimise ajal varasematest märkidest saadud teavet ja aitab vestluses korduvat arvutust vähendada.
Turuletoomise ajal teatas 01.AI tugevatest tulemustest hiina keeles, matemaatikas, programmeerimises ja keerukate viipade puhul. Tehnilises aruandes märgitakse ka, et Yi-Lightning saavutas sel ajal Chatbot Arena üldarvestuses kuuenda koha. Need on ajaloolised turuletoomise tulemused ja teenusepakkujaga seotud uurimisväited, mitte praeguse edetabelikoha või jõudluse garantii. Mudelite järjestus võib muutuda koos hindamiskogumite, konkureerivate mudelite ja teeninduslahenduste muutumisega.
Toimetuslikust vaatenurgast tasub Yi-Lightningut käsitleda eelkõige kuludele ja kiirusele suunatud üldise keelemudelina, mitte väga pikkade dokumentide või mitmeliigilise sisu genereerimise spetsialiseeritud mudelina. Selle ajalooline positsioon muudab selle eriti huvitavaks rakendustes, mis vajavad hostitud tekstimudelit, mis saab hakkama nii hiina kui ka inglise keelega ja hoiab samal ajal märgipõhised kulud madalal.
Kontekstiaken ja väljundi maksimum
Kättesaadavad mudeliviited nimetavad ligikaudu 16 000 märgi suurust kontekstiakent, mida esitatakse tavaliselt kujul 16 384 märki. Kontekstiaken on viiba, vestlusajaloo ja genereeritud vastuse jaoks saadaolev ühine ruum. Praktikas kasutavad pikad juhised, suured kleebitud dokumendid ja ulatuslik vestlusajalugu sellest ruumist osa, jättes vastuse jaoks vähem ruumi.
Esitatud mudeliandmetes on maksimaalseks väljundiks märgitud 4096 märki. See on genereerimispiirang, mitte lubadus, et iga päring annab täpselt nii palju märke. Rakendused peaksid arvestama ka lühemate vastuste, kärpimise ja teenusepakkuja seatud päringupiirangutega.
16 000 märgi suurusest kontekstist võib piisata tavapärase vestluse, andmete eraldamise, programmeerimisabi ja keskmise suurusega dokumentide jaoks. See sobib halvemini töövoogudesse, kus ühes päringus edastatakse regulaarselt suuri raamatuid, mahukaid koodirepositooriume või ulatuslikku vestlusajalugu. Selliste vajadustega rakendused võivad vajada tükeldamist, otsingupõhist hankimist, kokkuvõtete koostamist või teistsugust, pikema dokumenteeritud kontekstiaknaga mudelit.
Toetatud modaalsused ja väljundid
Yi-Lightningut dokumenteeritakse tekstigeneratsiooni mudelina. Selle toetatud sisend on tekst ja otsene väljund on tekst. Esitatud uuringus ei ole kontrollitud tõendeid, et Yi-Lightning võtaks vastu pildi-, heli- või videosisendit, samuti ei dokumenteerita seda piltide, heli või video genereerimise mudelina.
See piirang on oluline, sest 01.AI laiem platvorm hõlmab Yi-Visioni kaudu visuaalse mõistmise võimalusi. Neid võimalusi ei tohiks automaatselt Yi-Lightningule omistada. Kui rakendus vajab pildi tõlgendamist või muud mittetekstilist modaalsust, tuleks kasutada selleks otstarbeks selgelt dokumenteeritud mudelit, mitte eeldada, et Yi-Lightningi lõpp-punkt seda toetab.
Arutlemine, matemaatika ja programmeerimine
Yi-Lightning on loodud üldiseks arutlemiseks ning seda positsioneeriti eelkõige matemaatika, programmeerimise ja keerukate viipade jaoks. Seetõttu võib seda kaaluda ülesannetes, nagu arvutuse selgitamine, struktureeritud teksti teisendamine, koodi genereerimine, lühikese funktsiooni ülevaatamine, saabuvate kirjete klassifitseerimine või juhiste põhjal esimese mustandi koostamine.
Neid võimeid tuleks tõlgendada ülesannete jaoks mõeldud positsioneerimisena, mitte korrektsuse garantiina. Esitatud uuring ei sisalda praegust standardiseeritud võrdlustabelit, mille põhjal saaks kindlaks teha, kuidas Yi-Lightning võrdub kõigi uuemate arutlemis- või programmeerimismudelitega. Kriitiliste arvutuste, tootmiskoodi ja äriotsuste puhul tuleb väljundeid endiselt kontrollida.
Yi-Lightningi roll programmeerimises on kõige tugevam siis, kui ülesanne mahub selle konteksti ja ei nõua juurdepääsu spetsiaalsele arenduskeskkonnale. See võib keele-API kaudu tekstipõhist koodi genereerida või selgitada, kuid esitatud teave ei kinnita sisseehitatud koodi käivitamist, repositooriumide indekseerimist ega teenusepakkuja hallatavat arenduskeskkonda.
API-juurdepääs, tööriistad ja struktureeritud väljund
Yi-Lightningut pakuti OpenAI-ga ühilduva vestluse lõpetamise laadse API kaudu. See ühilduvus võib vähendada üleminekuks vajalikku tööd rakendustes, mis on juba üles ehitatud vestlussõnumite ümber, kuid tavalise päringuvormingu ühilduvus ei tähenda, et kõik teenusepakkuja spetsiifilised funktsioonid käituksid identselt.
Dokumentatsiooni kohaselt toetati voogedastust, mis võimaldab rakendusel saada genereeritud teksti järk-järgult, selle asemel et oodata kogu vastuse valmimist. Esitatud uuring ei kinnita praegust funktsioonikutsete, tööriistade kasutamise, struktureeritud JSON-väljundi, vastuste vahemällu salvestamise ega paketttöötluse tuge. Seetõttu tuleks neid funktsioone käsitleda kinnitamata võimalustena, mitte eeldada neid API üldise ühilduvuse põhjal.
Põhilise integratsiooni jaoks peaksid arendajad otse 01.AI-lt üle kontrollima praeguse lõpp-punkti, mudelitunnuse, autentimisprotsessi, märgipõhise arvestuse, vigade käsitlemise, päringumäärade piirangud ja elutsükli staatuse. Ajalooline platvormidokumentatsioon ei pruugi kajastada teenusepakkuja praegust ettevõtetele suunatud tootestruktuuri.
Ajalooline hinnastus ja kulude kompromissid
Ajaloolistes hinnaviidetes on välja toodud ligikaudu 0,14 dollarit miljoni sisendmärgi ja 0,14 dollarit miljoni väljundmärgi kohta. Neid näite ei esitata praegu kehtiva garanteeritud hinnana: esitatud uuring märgib konkreetselt, et praegune kättesaadavus ja hinnastus tuleb 01.AI-lt üle kontrollida.
Kui need hinnad kehtivad endiselt, muudaksid võrdsed sisendi- ja väljundihinnad Yi-Lightningi eelarvestamise suhteliselt lihtsaks töökoormuste puhul, mis hõlmavad palju genereerimist, näiteks vestlused, andmete eraldamine ja suuremahuline tekstitöötlus. Ekspertide segul põhineva arhitektuuri eesmärk oli samuti tõhus teenindamine. Ajalooliselt madalat märgipõhist hinda ei tohiks siiski hinnata eraldi kättesaadavusest, latentsusest, päringumäärade piirangutest ja töökindlusest.
Praktiline kompromiss on seega selge: Yi-Lightning võib olla atraktiivne siis, kui hostitud mudeli maksumus ja vastusekiirus on olulisemad kui väga pikk kontekstiaken, ulatuslik mitmeliigiline tugi või suur hulk dokumenteeritud teenusepakkuja funktsioone. Kallim või uuem mudel võib olla eelistatavam, kui rakendus vajab tugevamaid tänapäevaseid garantiisid, täiustatud tööriistaintegratsiooni või mahukat pika konteksti töötlemist.
Peamised tugevused ja piirangud
Tugevused
- Loodud tõhusaks hostitud järeldamiseks ekspertide segul põhineva arhitektuuri abil.
- Hea ajalooline positsioon hiina ja inglise keele kasutuses, matemaatikas, programmeerimises ja üldises arutlemises.
- Ajalooliselt madal teatatud märgipõhine hind võrreldes paljude tipptasemel API-mudelitega.
- OpenAI-ga ühilduv vestluse lõpetamise laadne juurdepääs võib lihtsustada rakenduste põhieelintegratsiooni.
- Dokumenteeritud voogedastuse tugi järkjärguliseks tekstigeneratsiooniks.
- Sobib üldistele tekstitöötlusülesannetele, mis ei vaja pildi, heli ega video genereerimist.
Piirangud
- Praegune kättesaadavus, hinnastus ja elutsükli staatus ei ole esitatud esmastes materjalides üheselt dokumenteeritud.
- Ligikaudu 16 000 märgi suurune kontekst on väga pikkade dokumentide ja suurte repositooriumitaseme viipade jaoks piiratud.
- Mudel on suletud lähtekoodiga ja hostitud ning allalaaditavat avatud kaaludega kontrollpunkti ei ole kinnitatud.
- Natiivset pildi-, heli- ega videoväljundit ei ole kinnitatud.
- Praegune tööriistakutsete, struktureeritud väljundi, vahemällu salvestamise ja paketttöötluse tugi on kinnitamata.
- Ajaloolisi turuletoomise edetabelikohti ei tohiks käsitleda praeguse jõudluse garantiina.
Millal valida Yi-Lightning?
Yi-Lightning on mõistlik valik, kui rakendus vajab suhteliselt odavat hostitud tekstimudelit hiina ja inglise keeles vestlemiseks, kokkuvõtete koostamiseks, klassifitseerimiseks, andmete eraldamiseks, programmeerimisabiks, matemaatilisteks viipadeks või suuremahuliseks genereerimiseks. See on eriti asjakohane meeskondadele, kes eelistavad API-juurdepääsu mudelitaristu haldamisele ning kelle viibad mahuvad mugavalt ligikaudu 16 000 märgi suurusesse konteksti.
See võib olla vähem sobiv, kui rakendus vajab kontrollitud kehtivat teenusegarantiid, pikka kontekstiakent, allalaaditavaid kaalusid, pildimõistmist, natiivset meediumigeneratsiooni või dokumenteeritud funktsioonikutsete ja struktureeritud väljundi tuge. Sellistel juhtudel võib paremini sobida mõni teine mudelikategooria: pika kontekstiga mudel suurte dokumentide jaoks, mitmeliigiline mudel visuaalse sisendi jaoks, avatud kaaludega mudel privaatseks juurutamiseks või teenusepakkuja, kelle tööriista- ja skeemituge on agentsete töövoogude jaoks selgelt dokumenteeritud.
Enne Yi-Lightningi valimist tootmiskasutuseks kontrollige, kas mudel on 01.AI praeguse platvormi kaudu endiselt kättesaadav, kinnitage kehtiv hind ja mudelinimi, testige rakendusele tüüpilisi hiina- ja ingliskeelseid töökoormusi ning mõõtke realistlike viipade korral latentsust ja väljundi kvaliteeti. Selle ajalooline kiiruse, kulude ja üldise tekstivõimekuse kombinatsioon on kasulik, kuid need eelised sõltuvad praegusest juurdepääsust ja dokumentatsioonist.