Mis on Yi Large Turbo?
Yi Large Turbo on 01.AI välja töötatud suletud lähtekoodiga teksti genereerimise mudel. See kuulub Yi mudelite perekonda ning on mõeldud eelkõige kiireks ja kulutõhusaks järeldamiseks, mitte võimalikult suure kontekstiakna või kõige spetsiifilisemate agendifunktsioonide pakkumiseks.
Praktikas võtab mudel sisendiks tekstisõnumeid ja genereerib tekstivastuseid. Sobivate kasutusjuhtude hulka kuuluvad vestluste lõpetamine, mustandite koostamine, ümberkirjutamine, kokkuvõtete tegemine, klassifitseerimine, küsimustele vastamine ja muud üldised loomuliku keele teisendused. Mudelit saab kasutada ka koos otsingusüsteemiga, kus väline rakendus edastab enne küsimuse esitamist mudelile asjakohased dokumendid. Seda lahendust ei tohiks segi ajada sisseehitatud veebotsinguga: olemasolevates allikates ei ole Yi Large Turbo loomulikku veebisirvimist ega veebipõhist faktikontrolli dokumenteeritud.
01.AI kirjeldab mudelit keerukaks järeldamiseks ja kvaliteetse teksti genereerimiseks sobivana. Need on teenusepakkuja positsioneerimisväited, mitte sõltumatute võrdlustestide tulemused. Seetõttu tuleks jõudlust hinnata konkreetse rakenduse kavandatud viipade, keelte ja vastusekvaliteedi nõuete põhjal.
Yi Large Turbo roll Yi mudelite valikus
Yi Large Turbo on üks 01.AI kataloogi üldotstarbelistest tekstimudelitest. Selle roll erineb spetsiaalseid võimalusi pakkuvatest mudelitest. Näiteks nimetab 01.AI esitatud dokumentatsioon visuaalse mõistmise mudeliks Yi Visioni ja funktsioonikutsete jaoks Yi Large FC-d. Need võrdlused aitavad määratleda Yi Large Turbo piire: see on mõeldud peamiselt tekstisisendi ja tekstiväljundi jaoks, mitte piltide mõistmiseks või tööriistade loomulikuks koordineerimiseks.
See teeb Yi Large Turbost suhteliselt lihtsa valiku, kui rakendus vajab tavapäraseks tekstitöötluseks keelemudelit ega nõua mudelipõhist nägemis- või funktsioonikutsete liidest. Arendajad ei tohiks eeldada, et mõne teise Yi mudeli dokumenteeritud võimalused kehtivad automaatselt ka Yi Large Turbo puhul.
Võimalused ja toetatud modaalsused
Dokumenteeritud sisendi- ja väljundvorming on tekst. Yi Large Turbol ei ole dokumenteeritud pildi-, heli- ega videosisendit ning see ei genereeri pilte, heli ega videot. Seetõttu ei sobi see esmaseks mudeliks visuaalsetele küsimustele vastamisel, piltide genereerimisel, kõnerakendustes ega videoanalüüsis.
Tekstipõhistes töövoogudes saab seda kasutada näiteks järgmisteks keeletoiminguteks:
- Vestlusabilised ja klienditeeninduse vestlused
- Mustandite koostamine, ümberkirjutamine ja tooni muutmine
- Kokkuvõtete tegemine ja teabe eraldamine
- Rakenduse edastatud tekstil põhinev küsimustele vastamine
- Klassifitseerimine ja suunamine
- Lühivormis programmeerimisabi ja koodiga seotud teksti genereerimine
- Teadmuspõhised otsinguliidesed koos välise otsingusüsteemiga
Teenusepakkuja laiemates platvormimaterjalides nimetatakse Yi-seeria kasutusjuhtudena ka programmeerimist ja loogilist arutlemist. Selle konkreetse mudeli puhul kirjeldab esitatud kataloog seda üldotstarbelise keelemudelina ega dokumenteeri eraldi arutlusrežiimi ega programmeerimisele spetsialiseeritud konfiguratsiooni. Seetõttu tuleks programmeerimist ja arutlemist käsitleda tavaliste teksti genereerimise töökoormustena ning kvaliteeti kontrollida rakenduse enda näidete põhjal.
Kontekstiaken ja tehniline profiil
01.AI API dokumentatsioon loetleb Yi Large Turbo kontekstiakna suuruseks 4 096 tokenit. Token on mudeli kasutatav tekstiosa; kontekstiaken hõlmab materjali, mida mudel saab päringu töötlemisel arvesse võtta, sealhulgas vestluse ajalugu ja vastuse, mida taotletakse. 4K piirang on piisav lühikeste vestluste, kompaktsete juhiste, üksikute dokumentide ja fokuseeritud teisenduste jaoks, kuid võib muutuda piiravaks, kui rakendus saadab korraga pika vestlusajaloo, suured lähtefailid või mitu otsinguga leitud dokumenti.
Olemasolevates allikates ei ole selle mudeli maksimaalset väljundtokenite arvu täpsustatud. Rakendused ei tohiks seda oma võimekuse kavandamisel ise eeldada. Selle asemel peaksid arendajad tutvuma 01.AI ajakohase API dokumentatsiooniga ja koostama päringud nii, et viip koos vastusega jääks teenusepakkuja kehtivate piirangute piiresse.
API toetab voogedastatavaid vastuseid. Voogedastus saadab genereeritud teksti järk-järgult, mitte ei oota kogu vastuse valmimist. See võib muuta interaktiivse liidese kiiremaks, kuigi ei pruugi vähendada genereerimise koguaega ega tokenikulu.
OpenRouter märgib väljalaskekuupäevaks 2. augusti 2024 ja teadmiste lõppkuupäevaks 31. märtsi 2024. Need on majutusplatvormi metaandmed, mitte 01.AI otse avaldatud teadmiste lõppkuupäeva väide, mistõttu tuleks neid käsitleda viiteteabena, mitte iga juurutuse garantiina.
Hind ja API-juurdepääs
01.AI API dokumentatsioonis on Yi Large Turbo hinnaks märgitud 0,19 dollarit 1 miljoni sisendtokeni kohta ja 0,19 dollarit 1 miljoni väljundtokeni kohta. Sisendtokenid on mudelile saadetav tekst, väljundtokenid aga mudeli genereeritav tekst. Kuna viidatud dokumentatsioonis on mõlemad hinnad samad, sõltub rakenduse maksumus nii viiba suurusest kui ka vastuse pikkusest.
Selle hinnataseme juures on Yi Large Turbo mõeldud töökoormustele, mille puhul on oluline madal tokenipõhine hind: suure mahuga klassifitseerimine, lühikesed kokkuvõtted, tavapäraste mustandite koostamine, lihtsamad vestlused ja muud päringud, mis ei vaja suurt kontekstiakent. Tegelik saadavus, arveldamine ja kehtiv hinnakiri võivad muutuda, seega tuleks enne juurutamist kontrollida teenusepakkuja platvormi.
API kasutamiseks dokumenteeritud mudelitunnus on yi-large-turbo. 01.AI pakub OpenAI-ga ühilduvat vestluste lõpetamise liidest, mis võib vähendada integreerimistööd rakendustes, mis on juba üles ehitatud selle päringuvormingu ümber. Ühilduvus tuttava API-struktuuriga ei tähenda, et toetatud oleksid kõik OpenAI funktsioonid. Eelkõige ei ole olemasolevates allikates selle konkreetse mudeli puhul selgelt dokumenteeritud struktureeritud väljundeid, vahemällu salvestamist, paketttöötlust ega peenhäälestust.
Arutlemine, programmeerimine ja tööriistade kasutamine
Yi Large Turbo sobib üldiseks tekstipõhiseks arutlemiseks, sealhulgas klassifitseerimisotsusteks, võrdlusteks, teabe eraldamiseks ja mõõduka pikkusega mitmeastmeliste juhiste täitmiseks. Mudel võib sobida ka lihtsamaks programmeerimisabiks, näiteks koodilõikude genereerimiseks, koodi selgitamiseks, teksti ümberkirjutamiseks või programmeerimisülesannete struktureeritud kirjelduste koostamiseks. Need on praktilised kasutusjuhud, mitte tõendid eraldi väljaõpetatud arutlus- või programmeerimisrežiimi kohta.
Yi Large Turbo loomulikku funktsioonikutsete ega tööriistade kasutamise tuge ei ole selgelt dokumenteeritud. 01.AI dokumenteerib funktsioonikutsed konkreetselt Yi Large FC puhul, mistõttu ei tohiks tööriistu, API-sid või ärisüsteeme kutsuva agendi arendajad eeldada, et Yi Large Turbo pakub sama liidest. Väline rakendus võib siiski mudeli teksti töödelda ja rakendada oma töövoogu, kuid see erineb teenusepakkuja toetatud loomulikest funktsioonikutsetest ning võib nõuda täiendavat valideerimist ja veakäsitlust.
Tugevused ja piirangud
Tugevused
- Madal dokumenteeritud hind: 0,19 dollarit miljoni sisendtokeni ja 0,19 dollarit miljoni väljundtokeni kohta muudab selle sobivaks kulutundlikele töökoormustele.
- Kiirusele suunatud positsioneerimine: 01.AI esitleb Turbot Yi perekonna kiirema alternatiivina, mistõttu võib see sobida interaktiivsetele rakendustele ja suure mahuga genereerimisele.
- Lai tekstipõhiste ülesannete valik: See saab hakkama tavapäraste vestluste, ümberkirjutamise, kokkuvõtete, klassifitseerimise, teabe eraldamise ja üldise mustandite koostamisega, ilma et vaja oleks spetsiaalset liidest.
- Lihtne integreerimine: OpenAI-ga ühilduv vestluste lõpetamise API ja voogedastuse tugi on kasulikud rakendustele, mis kasutavad levinud vestluste genereerimise mustreid.
- Mitmekeelsuse potentsiaal: Yi perekonda seostatakse kakskeelsete ja mitmekeelsete keele töövoogudega, kuigi rakendusepõhist keelekvaliteeti tuleks kontrollida, mitte eeldada.
Piirangud
- Tänapäeva standardite järgi väike kontekstiaken: Dokumenteeritud 4 096 tokeni piirang ei sobi kuigi hästi väga pikkade dokumentide, põhjaliku vestlusmälu ega suurte otsingutulemuste kogumite jaoks.
- Ainult tekstipõhine töö: Dokumenteeritud pildi-, heli- ega videosisendit või -väljundit ei ole.
- Selgelt dokumenteeritud loomulikud tööriistakutsed puuduvad: Rakendused, mis vajavad usaldusväärset struktureeritud tööriistade kutsumist, võivad vajada mõnda muud mudelit, näiteks 01.AI dokumentatsioonis viidatud Yi Large FC mudelit.
- Täpsustamata väljundipiirang: Olemasolevad allikad ei määra kindlaks maksimaalset väljundtokenite arvu.
- Täiustatud API-funktsioonid on ebaselged: Struktureeritud väljundeid, peenhäälestust, vahemällu salvestamist ja paketttöötlust ei ole selle konkreetse mudeli puhul selgelt dokumenteeritud.
- Piiratud faktipõhisus: Dokumenteeritud sisseehitatud veebotsing puudub, mistõttu vajavad ajakohast teavet puudutavad vastused välist otsingu- või otsingusüsteemi kihti.
Millal valida Yi Large Turbo?
Vali Yi Large Turbo siis, kui peamine vajadus on soodne ja suhteliselt kiire teksti genereerimine ning päringud mahuvad 4 096 tokeni suurusesse konteksti. See on mõistlik kandidaat klienditoe vestlusteks, lühikesteks teadmistebaasi vastusteks, dokumendikokkuvõteteks, e-kirjade mustanditeks, teksti klassifitseerimiseks, sisu teisendamiseks ja muudeks suure mahuga töövoogudeks, kus iga päring on suhteliselt fokuseeritud.
See on eriti atraktiivne juhul, kui olemasolev rakendus saab kasu OpenAI-ga ühilduvast vestluste lõpetamise vormingust ja voogedastatavatest vastustest, kuid ei vaja täiustatud agendifunktsioone. Madal dokumenteeritud tokenihind võib muuta selle kasulikuks ka esmaseks töötlemiseks, näiteks sissetuleva teksti klassifitseerimiseks enne valitud juhtumite saatmist võimekamale või spetsialiseeritud mudelile.
Kaalu mõnda muud võimalust, kui rakendus peab töötlema pikki dokumente või vestlusi, mõistma pilte, genereerima meediat, veebis sirvima või kutsuma väliseid tööriistu teenusepakkuja toetatud funktsioonikutsete mehhanismi kaudu. Visuaalse mõistmise jaoks on asjakohasem nimeliselt seotud mudel Yi Vision, funktsioonikutsetega seostub 01.AI esitatud dokumentatsioonis aga konkreetselt Yi Large FC. Pikkade dokumentide puhul võib sobivam olla suurema kontekstiga mudel ning ajakohase faktiteabe jaoks mudel, millel on loomulik otsingu- või otsinguintegratsiooni tugi.
Kokkuvõte
Yi Large Turbo on keskendunud üldotstarbeline tekstimudel, mitte kõikehõlmav multimodaalne või agendiplatvorm. Selle tugevaim praktiline kasutusjuht on lühikese kontekstiga teksti genereerimine, kus madal hind, lihtne API-integratsioon ja kiire reageerimine on olulisemad kui võimalikult suur kontekstiaken või kõige laiem sisseehitatud võimaluste valik. Peamine küsimus on, kas rakendus suudab jääda 4 096 tokeni piiridesse ning korraldada otsingu, tööriistad ja muud laiendused mudelist väljaspool. Kui suudab, pakub Yi Large Turbo selget hinna ja kiiruse kompromissi; kui mitte, sobib tõenäoliselt paremini suurema kontekstiga, multimodaalne või funktsioonikutseid toetav mudel.