Mis on AliceAI-Foundation-80B-A3B-Base?
AliceAI-Foundation-80B-A3B-Base on Yandexi eeltreenitud avatud kaaludega keelemudel. „Eeltreenitud“ tähendab, et mudel on suuremahulise treeningu käigus õppinud üldisi keelemustreid, kuid seda ei ole esitatud valmis vestlusassistendina. Tähis „Base“ on oluline: kasutajad peaksid arvestama, et mudelit tuleb konkreetse rakenduse jaoks täiendavalt treenida, kohandada või selle ümber rakenduskiht ehitada, mitte kasutada seda valmislahendusena toimiva vestlusrobotina.
Mudel sisaldab kokku 80 miljardit parameetrit, millest iga märgi puhul on aktiivsed ligikaudu 3 miljardit. Parameeter on järeldamise ajal kasutatav õpitud väärtus. Koguparameetrite ja aktiivsete parameetrite erinevus tuleneb mudeli ekspertide segu ehk Mixture-of-Expertsi (MoE) arhitektuurist. MoE-mudelis võivad võrgu eri osad töödelda erinevat tüüpi sisendeid, mistõttu ei pea kogu parameetrite kogum iga märgi puhul aktiveeruma.
Yandex positsioneerib seda väljalaset eksperimentaalse baasmudelina tulevaste arutlus- ja agentidele suunatud rakenduste jaoks. Mudelikaart ja väljalaskematerjalid nimetavad sobivate kasutusjuhtudena venekeelseid fakti- ja arutlusülesandeid, matemaatikat, programmeerimist, täiendavat treenimist ja teadustööd.
Milline on selle koht Yandexi mudelite valikus?
See mudel kuulub Yandexi AliceAI Foundationi perekonda ja täidab avatud kaaludega baasmudeli rolli. Seda ei kirjeldata majutatava assistendi, hallatud järeldamise lõpp-punkti ega juhiste järgi täiendavalt treenitud vestlusmudelina. Seetõttu erineb see valmis vestlusteenusest: kasutaja vastutab nii juurutamise kui ka selle eest, kuidas mudelit juhistega varustada või kohandada.
Väljalase on seega eelkõige asjakohane meeskondadele, kes vajavad kontrolli mudeli kaalude, teenindustaristu ja täiendava treenimise üle. See sobib vähem neile, kes soovivad lihtsalt saata päringuid teenusepakkuja API-le ja saada tootmiskõlblikke vastuseid ilma taristut haldamata.
Kontrollitud tehnilised andmed ja piirangud
| Tehniline näitaja | Saadaolev teave |
|---|---|
| Teenusepakkuja | Yandex |
| Mudeli tüüp | Eeltreenitud avatud kaaludega baaskellmudel |
| Arhitektuur | Hübriidarhitektuur, mis kasutab ekspertide segu ehk Mixture-of-Expertsi kihte |
| Parameetreid kokku | 80 miljardit |
| Aktiivseid parameetreid | Ligikaudu 3 miljardit märgi kohta |
| Kontekstiaken | 262 144 märki |
| Litsents | Apache 2.0 |
| Sisend ja väljund | Tekstisisend ja tekstiväljund |
| Väljundi maksimaalne märkide arv | Esitatud uuringus täpsustamata |
| Teadmiste lõppkuupäev | Yandex ei ole seda täpse mudeli kohta täpsustanud |
| Majutatud API hind | Kontrollitud märgipõhine hind puudub |
262 144 märgi suurune kontekstiaken on mudeli kohta esitatud andmetest kõige selgem mahupiirang. See näitab, kui palju teksti saab ühes kontekstis arvesse võtta, kuid ei määra genereeritava vastuse maksimaalset pikkust. Yandexi avaldatud materjalid, nagu neid esitatud uuringus kajastatakse, ei anna väljundi maksimaalset märkide arvu eraldi väärtusena.
Arhitektuur ja jõudluse kompromissid
Mudeli hõre aktiveerimine on selle peamine tehniline eripära. Kuigi kogu mudel koosneb 80 miljardist parameetrist, on iga märgi puhul aktiivsed vaid ligikaudu 3 miljardit. See võib vähendada iga sammu jaoks vajalikku arvutust võrreldes olukorraga, kus iga märgi puhul käivitataks kõigi 80 miljardi aktiivse parameetriga tihe mudel. See ei muuda mudelit siiski väikese ressursivajadusega juurutuseks.
Ise hostimine nõuab endiselt märkimisväärset riistvara, mälu ja töökorralduse planeerimist, sest kogu avatud kaaludega mudel tuleb salvestada ja teenindada. Hõre aktiveerimine võib muuta järeldamise sama kogusuurusega tihedast mudelist tõhusamaks, kuid seda ei tohiks tõlgendada garantiina, et mudeli juurutamine tavalisel riistvaral on odav või kiire.
Esitatud toimetuslikus hinnangus saab mudel arutluse ja programmeerimise eest 8 punkti 10-st, kiiruse eest 7 punkti 10-st ning kulutõhususe eest 7 punkti 10-st. Need ei ole Yandexi avaldatud hinnangud, vaid subjektiivsed prognoosid, mis põhinevad teatatud võrdlustestidel, hõredal arhitektuuril, pikal kontekstil ja juurutusnõuetel. Neid tuleks käsitleda suunava teabena, mitte konkreetse töökoormuse puhul mõõdetud garantiidena.
Arutlus, programmeerimine ja keelekasutus
Yandex esitleb AliceAI-Foundation-80B-A3B-Base'i sobivana arutluseks, matemaatikaks, programmeerimiseks ja venekeelseteks faktiküsimusteks. Suur kontekstiaken võib olla kasulik ülesannetes, mis nõuavad mahukat lähtematerjali, pikki koodifaile või ulatuslikku tööajalugu. Mudeli baasmudeli staatus muudab selle sobivaks ka organisatsioonidele, kes soovivad täiendava treenimise abil arendada spetsialiseeritud arutlus- või programmeerimissüsteemi.
Neid võimeid ei tohiks segi ajada sisseehitatud arutlusrežiimi või garanteeritud arutluskvaliteediga. Uuringus määratletakse mudel baaskeelemudelina ning eraldi ametlikku arutlusskoori ei esitata. Praktiline rakendus võib enne usaldusväärset kasutamist vajada juhiste järgi täiendavat treenimist, ülesandespetsiifilist täiendavat treenimist, hindamist ja päringute vormindamist.
Kuigi mudel on eriti asjakohane venekeelse töö jaoks, ei võimalda esitatud teave koostada täielikku keelte kaupa jõudluse edetabelit. Kasutajad peaksid kvaliteeti kontrollima enda vene-, mitmekeelsete, programmeerimis- või valdkonnapõhiste testkogumitega.
Juurutamine ja integratsioon
AliceAI-Foundation-80B-A3B-Base on mõeldud ise hostimiseks. Ametlikud näited hõlmavad juurutamist Transformersi ja vLLM-iga, sealhulgas voogedastust toetavaid teenindusnäiteid. Voogedastus võimaldab genereeritavat teksti järk-järgult kuvada, kuid see ei tähenda, et mudel oleks Yandexi hallatava voogedastus-API kaudu saadaval.
Uuringus märgitakse, et tööriistade või funktsioonide tugi ei ole saadaval. Seetõttu ei tohiks eeldada, et mudelil on kontrollitud loomulik funktsioonikutsete või agentidele mõeldud tööriistade liides. Arendajad võivad ise hostitud mudeli ümber luua välise orkestreerimiskihi, kuid see oleks rakenduse taristu, mitte selle mudeli dokumenteeritud sisseehitatud võimekus.
Esitatud tehniliste andmete kohaselt toetab mudel ainult tekstisisendit ja tekstiväljundit. Kontrollitud loomulikku pildi-, heli- ega videosisendi või -väljundi tuge ei ole. Esitatud uuringus ei ole dokumenteeritud ka struktureeritud väljundi ega JSON-režiimi tuge. Struktureeritud JSON-i vajavad rakendused ei tohiks eeldada, et tavaline teksti genereerimine tagab ilma täiendava töötlemiseta skeemile vastavuse.
Hinnastamine ja litsents
Selle mudeli majutatud sisendi- või väljundi märgipõhist hinda ei ole kontrollitud. See on kooskõlas mudeli avatud kaaludega levitamisega: peamised kulud on seotud kaalude allalaadimise, salvestamise, kohandamise ja teenindamisega, mitte Yandexi avaldatud järeldamistasu maksmisega.
Mudel on välja antud Apache 2.0 litsentsi alusel, mis võimaldab litsentsitingimustest kinni pidades kasutada seda teadustöös ja ärilistel eesmärkidel. Avatud litsents ei kõrvalda taristukulusid. Ise hostimise ja hallatud mudeli-API võrdlemisel peaksid organisatsioonid arvestama riistvara, hostimise, arenduse, seire, täiendava treenimise ja hoolduse kuludega.
Millal seda mudelit valida?
AliceAI-Foundation-80B-A3B-Base on tugev kandidaat, kui projekt vajab avatud kaaludega baasmudelit ning meeskonnal on selle käitamiseks vajalik taristu või eksperditeadmised. See on eriti asjakohane järgmistes valdkondades:
- venekeelse uurimistöö ja faktiküsimustele vastamise katsetused;
- arutluse ja matemaatika hindamine;
- programmeerimiskatsed ja spetsialiseeritud arendajatööriistad;
- baasmudeli täiendav treenimine konkreetse valdkonna või organisatsiooni jaoks;
- pika kontekstiga uurimistöövood, milles kasutatakse mahukaid dokumente või koodihoidlaid; ning
- eksperimentaalse aluse loomine agentidele suunatud süsteemidele.
80 miljardi parameetri kogumaht, ligikaudu 3 miljardit aktiivset parameetrit märgi kohta ja 262 144 märgi suurune kontekstiaken võivad pakkuda huvi meeskondadele, kes otsivad suuremat mahtu kui väikese tiheda mudeli puhul, kuid soovivad vältida tiheda 80 miljardi parameetriga arhitektuuri täielikku märgipõhist arvutuskoormust.
Millal võib mõni teine lahendus olla parem?
Hallatud API-mudel on tõenäoliselt sobivam, kui esmatähtsad on kohene juurdepääs, prognoositav teenusepakkuja hinnastamine, automaatne skaleerimine või GPU-de ja teenindustaristu haldamise vältimine. Väiksem mudel võib olla parem valik, kui madal latentsus, väike mälukasutus või odav juurutamine on olulisem kui suure baasmudeli mahutavus.
Kliendisuhtluseks, otse küsimustele vastamiseks või üldise assistendikäitumise saavutamiseks on parem lähtekoht juhiste järgi täiendavalt treenitud vestlusmudel. AliceAI-Foundation-80B-A3B-Base'i puhul ei ole esitatud üht kindlat kohustuslikku vestlusmalli, mistõttu vajab vestluspõhine kasutus tavaliselt täiendavat kohandamist ja põhjalikku hindamist.
Samuti tuleks valida dokumenteeritud tööriistakutsete, struktureeritud väljundi või loomuliku mitmeliigilise toe olemasolu korral mudel, millel need funktsioonid on põhivajadusteks tagatud. Esitatud uuring ei kinnita AliceAI-Foundation-80B-A3B-Base'i puhul selliste võimete olemasolu.
Üldhinnang
AliceAI-Foundation-80B-A3B-Base'i tuleks käsitleda eelkõige suure avatud kaaludega lähtekohana mudeli arendamiseks, mitte valmis tehisintellektirakendusena. Selle kõige konkreetsemad eelised on Apache 2.0 litsents, hübriidne MoE-arhitektuur, ligikaudu 3 miljardit aktiivset parameetrit märgi kohta ja erakordselt pikk, 262 144 märgi suurune kontekstiaken. Peamised kulud tulenevad ise hostimisega seotud töökorraldusest ning tööst, mida on vaja baasmudeli usaldusväärseks assistendiks muutmiseks.
Teadlastele ja insenerimeeskondadele, kes on valmis juurutamist ja kohandamist ise haldama, pakub see paindlikku alust vene keele, arutluse, programmeerimise ja pika kontekstiga seotud katsetusteks. Kasutajatele, kes otsivad valmis vestlustoodet, läbipaistvat API-hinnastamist, sisseehitatud tööriistu või mitmeliigilist suhtlust, on tõenäoliselt praktilisem valida teist tüüpi mudel.