Mis on ERNIE 3.5?
ERNIE 3.5 on Baidu üldotstarbeliste suurte keelemudelite perekond. Baidu tutvustas seda 2023. aasta mais ERNIE Boti alusena ning tegi selle hiljem kättesaadavaks oma Qianfani ModelBuilderi ja Wenxin Workshopi pilveteenuste kaudu. ERNIE 3.5 ei ole üks muutumatu lõpp-punkt, vaid seotud juurutuste rühm, millel on erinev konteksti maht, eelvaateolek ja kuupäevastatud versioonid.
Mudel on mõeldud peamiselt tekstipõhiseks tööks. See suudab vastu võtta juhiseid ja kirjalikku konteksti ning genereerida vastuseid vestluseks, küsimustele vastamiseks, mustandite koostamiseks, ümberkirjutamiseks, kokkuvõtete tegemiseks, teabe eraldamiseks, klassifitseerimiseks ja muudeks keelepõhisteks töövoogudeks. Baidu dokumenteerib ka pluginate ja otsinguga täiustatud rakendusstsenaariume, mis võimaldavad mõnel juurutusel kasutada lisaks tavapärasele mudeligeneratsioonile väliseid tööriistu või Baidu otsingut.
Algaja jaoks on praktiline eristus see, et ERNIE 3.5 on kõige parem käsitleda tekstikeskse rakendusmudelina, mitte pildi-, heli- või videosüsteemina. Selle peamine väärtus seisneb hiina keele võimekuse, üldise ettevõtetele mõeldud tekstitöötluse, Baidu platvormi integratsiooni ja suhteliselt madalate avaldatud tokenihindade kombinatsioonis.
ERNIE 3.5 koht Baidu mudelikataloogis
ERNIE 3.5 kuulub Baidu ERNIE mudelite perekonda ning on kättesaadav Baidu tehisintellekti pilveteenuste kaudu. See on seotud ERNIE Botiga ning seda saab kasutada Qianfani ja Wenxin Workshopi liideste kaudu. Esitatud dokumentatsioonis on nimetatud järgmised peamised API variandid:
ernie-3.5-8k, standardne kontekstivariant, mida dokumenteeritakse tavapäraste töökoormuste jaoks.ernie-3.5-8k-preview, eelvaatejuurutus, mis on seotud teenuse uuema olekuga.ernie-3.5-128k, pika kontekstiga variant, mis avaldati 16. mail 2024.
Baidu registreerib ka kuupäevastatud tunnuseid, nagu ERNIE-3.5-8K-0613 ja ERNIE-3.5-8K-0701. Neid on parem käsitleda ERNIE 3.5 perekonna kuupäevastatud versioonide või juurutushetkedena, mitte eraldi mudeliperekondadena. Elutsükli olek võib tunnuste vahel erineda: Baidu on mõne vanema kuupäevastatud juurutuse märkinud kasutuselt kõrvaldatuks või migreerituks, samas kui hilisemates teadetes kirjeldatakse standardsete 8K- ja 128K-teenuste üleviimist eelvaateversioonidele. Seetõttu peaksid tootmiskasutajad kontrollima täpset lõpp-punkti, mitte ainult perekonna nime.
Peamised võimalused ja tugevused
ERNIE 3.5 dokumenteeritud võimalused keskenduvad hiina- ja ingliskeelse teksti mõistmisele ning genereerimisele. Mudel sobib mitmevooruliseks dialoogiks, küsimustele vastamiseks, sisu loomiseks, ümberkirjutamiseks, teabe töötlemiseks ja üldiste juhiste järgimiseks. Need võimalused toetavad praktilisi kasutusviise, nagu klienditeeninduse assistendid, ettevõtte sisemised teadmiste töövood, dokumentide teisendamine ja struktureeritud teabe eraldamine är tekstist.
- Hiina- ja ingliskeelne tekst: Perekond on mõeldud kakskeelseks keele mõistmiseks ja genereerimiseks, kus hiinakeelsed rakendused on eriti asjakohane kasutusjuht.
- Sisu loomine: Seda saab kasutada mustandite koostamiseks, ümberkirjutamiseks, kokkuvõtete tegemiseks ja muudeks toimetamisprotsessideks.
- Teabe töötlemine: Rakendused saavad seda kasutada teabe eraldamiseks, klassifitseerimiseks ja struktureerimata teksti muutmiseks kasutatavamasse vormi.
- Arutlemine ja juhiste järgimine: Baidu positsioneerib mudelit üldiseks arutlemiseks ja juhistepõhisteks ülesanneteks, kuigi esitatud uuring ei sisalda autoriteetset võrdlustesti tulemust.
- Voogedastus: API toetab voogedastatavaid tekstivastuseid, mis võimaldab rakendusel näidata väljundit järk-järgult, selle asemel et oodata kogu vastuse valmimist.
- Otsing ja pluginad: Baidu dokumenteerib pluginatega töövooge ning valikulist otsinguga täiustamist asjakohaste ERNIE 3.5 liideste jaoks.
Need tugevused muudavad ERNIE 3.5 tavapäraste keelerakenduste jaoks asjakohasemaks kui spetsialiseeritud multimodaalsete töökoormuste jaoks. See võib olla mõistlik valik, kui peamised sisendid ja väljundid on tekst ning rakendus saab kasu Baidu ümbritsevatest teenustest.
Baidu otsing ja tööriistade integratsioon
Üks ERNIE 3.5 märkimisväärseid platvormifunktsioone on integratsioon Baidu otsinguga. Otsinguga täiustamine võib hankida värskemat teavet kui mudeli aluseks olevad treeningandmed, mis on kasulik praegust teavet puudutavate küsimuste korral. Oluline on eristada seda välist otsingufunktsiooni mudeli enda õpitud teadmistest: otsingu lubamine ei muuda mudeli teadmiste lõppkuupäeva.
Dokumentatsioon kirjeldab otsinguga täiustamist asjakohastes ERNIE 3.5 liidestes vaikimisi lubatuna ning selle väljalülitamiseks on saadaval parameeter disable_search. Otsingu käivitanud päringutele võib lisanduda eraldi päringupõhine tasu lisaks tokenikasutuse hinnale. See tekitab praktilise kompromissi: otsing võib parandada teabe värskust, kuid võib suurendada ka kulusid ning tekitada sõltuvuse välise otsinguteenuse kättesaadavusest ja kvaliteedist.
Uuring toetab ka tööriistade või pluginatega kasutamist perekonna tasandil. Siiski ei kinnita see universaalse teenusepakkuja määratletud funktsioonikutsete spetsifikatsiooni, mis kehtiks identselt iga ERNIE 3.5 lõpp-punkti puhul. Arendajad peaksid valitud Qianfani või Wenxin Workshopi API jaoks kontrollima toetatud tööriistavormingut ja parameetreid.
Konteksti- ja väljundipiirangud
Konteksti pikkus sõltub variandist. ERNIE-3.5-8K juurutused on mõeldud märksa lühemate viipade jaoks kui ERNIE-3.5-128K, samas kui 128K versioon toetab dokumenteeritud 128K tokeni suurust kontekstiakent. Kontekstiaken hõlmab mudelile edastatud materjali ja genereeritud vastust, arvestades lõpp-punkti enda jaotusreegleid.
Baidu vanemas ERNIE 3.5 dokumentatsioonis on varasema teenusekonfiguratsiooni maksimaalseks väljundiks märgitud 2 048 tokenit. Seda näitajat ei tohiks käsitleda kogu perekonna universaalse väljundipiiranguna, sest väljundipiirangud võivad lõpp-punkti, versiooni ja teenusekonfiguratsiooni järgi erineda. Esitatud uuring ei määra kindlaks üht praegust maksimaalse väljundi väärtust, mis kehtiks iga ERNIE 3.5 juurutuse puhul.
Praktiliselt valige tavapäraste viipade ja lühemate ärisuhtluste jaoks 8K juurutus, kui selle piirangud on piisavad. Valige 128K variant siis, kui rakendus peab töötlema palju pikemaid dokumente või vestlusi, kontrollides samal ajal praegusest lõpp-punkti dokumentatsioonist selle väljundijaotust, hinda ja saadavust.
Hinnakujundus ja API kaudu juurdepääs
Viidatud Baidu hinnateates on pärast hinnakorrigeerimist ERNIE-3.5-8K ja ERNIE-3.5-128K seeria hinnaks märgitud 0,0008 CNY 1 000 sisendtokeni kohta ja 0,002 CNY 1 000 väljundtokeni kohta. Need on tokenipõhised, mitte tellimuse hinnad. Sisendtokenid on mudelile saadetav tekst ja väljundtokenid mudeli genereeritav tekst.
Nende avaldatud hindade järgi maksaks üks miljon sisendtokenit ligikaudu 0,80 CNY ja üks miljon väljundtokenit ligikaudu 2,00 CNY. See arvutus on ainult avaldatud 1 000 tokeni hindade tõlgendus, mitte praeguse arve summa garantii. Tegelik arveldamine võib sõltuda teenuse režiimist, piirkonnast, kvootidest, mudeli versioonist, konto tingimustest ja hilisematest hinnamuudatustest. Otsinguga täiustamise kasutamisel võib lisanduda eraldi tasu.
Esitatud dokumentatsiooni kohaselt kasutatakse ERNIE 3.5 Baidu Qianfani ja Wenxin Workshopi teenuste kaudu, mitte eraldi allalaaditava mudelina. Enne juurutamist peaksid arendajad kontrollima aktiivset mudelitunnust, lõpp-punkti saadavust, tokenite arvestamise reegleid, päringupiiranguid ning seda, kas valitud teenus on üle viidud eelvaate- või järglasjuurutusele.
Modaalsused, arutlemine ja sobivus kodeerimiseks
Dokumenteeritud ERNIE 3.5 perekond on tekstikeskne. Esitatud uuring toetab teksti sisendit ja teksti väljundit, kuid ei kinnita standardse perekonna puhul loomulikku pildi-, heli- või videosisendit ega -väljundit. Seda ei tohiks valida loomuliku pildigeneratsiooni, kõne-, heli- või videogeneratsiooni süsteemiks.
Baidu positsioneerib ERNIE 3.5 üldiseks arutlemiseks ja juhiste järgimiseks. Uuring ei sisalda teenusepakkuja avaldatud arutlemise võrdlustesti ega spetsiaalset arutlemisrežiimi, mistõttu tuleks selle arutlemisvõimet hinnata konkreetsete ülesannete põhjal, mis on rakenduse jaoks olulised. Seda saab kasutada tavapärastes analüüsi- ja teabetöötluse töövoogudes, kuid uuemat spetsialiseeritud arutlusmudelit vajavad kasutajad võivad leida sobivama valiku mujalt.
Kodeerimine on tekstigeneratsiooni kasutusjuhuna võimalik, sealhulgas koodi selgitamine, mustandite koostamine ja teisendamine, kuid esitatud materjal ei nimeta ERNIE 3.5 spetsiaalseks kodeerimismudeliks ega esita kodeerimise võrdlustestide tulemusi. Seetõttu on selle lehe toimetuslik kodeerimishinnang võrdlev, mitte Baidu ametlik spetsifikatsioon. Sama kehtib arutlemise, kiiruse ja hinna toimetuslike hinnangute kohta.
Kiiruse, hinna ja võimekuse kompromissid
ERNIE 3.5 peamine praktiline kompromiss on lai üldotstarbeline võimekus madala avaldatud tokenihinna eest, mitte spetsialiseerumine ühele täiustatud modaalsusele. Dokumenteeritud sisendi- ja väljundihinnad võivad muuta selle atraktiivseks suure mahuga hiinakeelsete tekstitöötluskoormuste puhul, eriti kui päringud on suhteliselt lihtsad ja 8K kontekstist piisab.
128K variant võib vähendada vajadust jagada pikad dokumendid paljudeks väiksemateks päringuteks, kuid suurem kontekstiaken ei tähenda automaatselt paremaid vastuseid. Pikad viibad vajavad endiselt hoolikat dokumendivalikut ja rakenduse läbimõeldud ülesehitust ning suuremal juurutusel võivad olla teistsugused kasutuskulud või saadavus. Voogedastus võib parandada tajutavat reageerimiskiirust, tagastades osalise teksti genereerimise ajal, kuid see ei tõesta iseenesest mudeli suuremat tegelikku genereerimiskiirust.
Otsinguintegratsioon parandab juurdepääsu ajakohasele teabele, kuid lisab välise sõltuvuse ja võib suurendada päringupõhist kulu. Eelvaate- ja kuupäevastatud versioonid võivad pakkuda erinevat käitumist või saadavust, mistõttu peaksid järjepidevust nõudvad rakendused Baidu lubatud ulatuses kasutama kindlat lõpp-punkti ja seda jälgima.
Millal valida ERNIE 3.5?
ERNIE 3.5 on mõistlik valik, kui rakendusel on enamik järgmistest omadustest:
- See vajab peamiselt hiina- või kakskeelse teksti mõistmist ja genereerimist.
- See nõuab dialoogi, mustandite koostamist, ümberkirjutamist, kokkuvõtete tegemist, teabe eraldamist või üldist küsimustele vastamist.
- See võib kasu saada valikulisest Baidu otsinguga täiustamisest.
- See vajab interaktiivse liidese jaoks voogedastatavaid vastuseid.
- See on hinnatundlik ning viidatud Qianfani tokenihinnad on kontole kättesaadavad.
- Selle viibad mahuvad valitud 8K juurutuse piiridesse või saab see konkreetselt kasu 128K variandist.
Muu valik võib olla sobivam, kui rakendus vajab loomulikku pildi-, heli- või videotöötlust; kindlat ja universaalselt dokumenteeritud väljundipiirangut; spetsiaalset kodeerimis- või arutlusmudelit; või elutsüklipoliitikat, mis ei hõlma eelvaate- ja kuupäevastatud juurutuste muudatusi. Praegust teavet vajavad rakendused peaksid samuti võrdlema Baidu otsinguga täiustamise hinda ja töökindlust teiste otsingulahendustega, mitte eeldama, et otsinguintegratsioon on alati parim valik.
Piirangud ja elutsükli kaalutlused
Kõige olulisem piirang on perekonna sisene varieeruvus. Konteksti maht, väljundipiirangud, hinnakujundus, eelvaateolek ja kasutuselt kõrvaldamise ajakava võivad mudelitunnuse järgi erineda. 128K konteksti puudutav väide kehtib ERNIE-3.5-128K kohta, mitte automaatselt iga ERNIE 3.5 lõpp-punkti kohta. Samamoodi pärineb varasem 2 048 tokeni väljundinäitaja vanemast teenusekonfiguratsioonist ja seda ei tohiks üldistada.
Esitatud dokumentatsiooni kohaselt ei ole perekond ka loomulik multimodaalse genereerimise süsteem. Otsinguga täiustatud vastused sõltuvad välisest teenusest ja võivad kaasa tuua lisatasusid. Lisaks näitavad Baidu uuendusandmed, et kuupäevastatud juurutused võidakse kasutuselt kõrvaldada või migreerida ning standardsed teenused võidakse üle viia eelvaateversioonidele.
Kokkuvõttes on ERNIE 3.5 kõige parem käsitleda Baidu hostitud tekstikeskse mudeliperekonnana hiina- ja ingliskeelsete ettevõtterakenduste jaoks. Selle peamised eelised on keelekeskne ülesehitus, juurdepääs Qianfani ja Wenxin Workshopi kaudu, valikuline integratsioon Baidu otsinguga, voogedastuse tugi, pika 128K kontekstiga variant ja madalad avaldatud tokenihinnad. Peamised ettevaatuskohad on lõpp-punkti põhised piirangud, muutuv elutsükli olek, universaalsete väljundipiirangute puudumine dokumentatsioonis ning dokumenteeritud loomuliku multimodaalse toe puudumine.