Mis on Aleph Alpha luminous-base?
luminous-base on Aleph Alpha algsesse Luminousi mudeliperre kuuluv 13 miljardi parameetriga keelemudel. See on ainult dekooderiga autoregressiivne mudel, mis tähendab, et genereerib teksti, ennustades eelneva teksti põhjal järgmist token’it. Praktilises kasutuses oli see mõeldud mitmekeelseks teksti lõpetamiseks, genereerimiseks ja keele mõistmise ülesanneteks, mitte piltide, heli või video loomiseks.
Mudel toetab inglise, saksa, prantsuse, itaalia ja hispaania keelt. Dokumenteeritud kasutusalade hulka kuulusid teksti lõpetamine, väheste näidetega suunamine (few-shot prompting), klassifitseerimine, loetu mõistmine, loomuliku keele järeldamine, küsimustele vastamine ja semantiline esitamine. See oli ka Luminous-Explore’i aluseks – tegemist on seotud mudeliga, mis töötati välja semantilise vektor-esituse ja sarnasuse rakenduste jaoks.
Aleph Alpha pakkus luminous-base’i algselt oma API ja Completion Playgroundi kaudu. Praegu keskendub teenusepakkuja avalik dokumentatsioon aga peamiselt uuemale PhariaAI platvormile. Algse luminous-base’i lõpp-punkti praeguse elutsükli ega hinna kohta ei ole selget avalikku teavet, mistõttu peaksid potentsiaalsed kasutajad kättesaadavust otse kontrollima, mitte eeldama, et ajalooline lõpp-punkt on endiselt üldiselt ligipääsetav.
Kuhu see Aleph Alpha mudelivalikus praegu sobitub?
Algses Luminousi mudeliperes oli luminous-base Aleph Alpha võrdlusmaterjalides kirjeldatud kolmest põhimudelist väikseim. Suurematel mudelitel luminous-extended ja luminous-supreme oli vastavalt ligikaudu 30 miljardit ja 70 miljardit parameetrit. Seetõttu nõudis luminous-base suurematest sõsarmudelitest vähem arvutusressursse, kuid jäi avaldatud võrdlustulemuste põhjal üldiselt neile alla.
luminous-base erineb ka mudelist luminous-base-control. Control-variant oli eraldi mudel, mis oli mõeldud rohkem juhistele või juhtimisele suunatud kasutuseks. Ajaloolise dokumentatsiooni või juurutamise ühilduvuse kontrollimisel ei tohiks neid nimetusi käsitleda samatähenduslikena.
Teenusepakkuja praeguses kataloogis on oluline eristada seda algset Luminousi mudelit Aleph Alpha uuemast PhariaAI ökosüsteemist. Praegustes avalikes materjalides rõhutatakse spetsialiseeritud ja suveräänse tehisintellekti juurutusi, sealhulgas organisatsioonidele mõeldud tööriistu mudelite arendamiseks, hindamiseks, andmete haldamiseks ja järeldamiseks. Uuema platvormi kontekst ei kinnita iseenesest, et luminous-base oleks praegu PhariaAI mudelina saadaval.
Arhitektuur ja keeletoetus
Aleph Alpha avaldatud tehnilises materjalis kirjeldatakse Luminousi mudeleid ainult dekooderiga autoregressiivsete mudelitena, mis kasutavad pöörlevaid positsioonimanuseid. Mudelipere treeniti kureeritud mitmekeelsel korpusel, mis hõlmas viit Euroopa keelt. Aleph Alpha teatas väikseima Luminousi mudeli puhul ligikaudu 400 miljardist treeningtoken’ist; suuremate mudelite puhul oli token’ite arv suurem.
Viis dokumenteeritud keelt on inglise, saksa, prantsuse, itaalia ja hispaania keel. Seetõttu sobib luminous-base eriti hästi mitmekeelsetesse Euroopa keeltega seotud töövoogudesse, näiteks sisu genereerimiseks või klassifitseerimiseks mitmes neist keeltest. Selle profiili koostamiseks kasutatud uurimismaterjal ei tõenda, et kõik keeled toimiksid igas ülesandes võrdselt hästi, seega ei tohiks keelekatvust tõlgendada kõigi keelte ühesuguse kvaliteedina.
13 miljardi parameetri suurus on kontrollitud tunnus, kuid see ei määra praegust kontekstiakent ega väljundi maksimaalset pikkust. Esitatud uurimismaterjalist ei leitud kummagi piirangu kohta autoriteetseid mudelipõhiseid väärtusi. Rakendused, mis sõltuvad täpsest token’ieelarvest, peaksid seetõttu piirangu üle kontrollima Aleph Alpha vastava juurutuse dokumentatsioonist.
Mida luminous-base suudab?
luminous-base oli peamiselt teksti sisendit ja teksti väljundit kasutav mudel. Selle dokumenteeritud võimaluste hulka kuulusid:
- Mitmekeelne teksti lõpetamine ja genereerimine
- Väheste näidetega suunamine, mille puhul lisatakse ülesande suunamiseks viibasse näited
- Klassifitseerimine ja loomuliku keele järeldamine
- Loetu mõistmine ja küsimustele vastamine
- Semantiline sarnasus ja infootsing seotud vektor-esituse töövoogude kaudu
- Mitmekeelsete keelemudelite uurimine ja hindamine
Näiteks võis kasutaja esitada saksa-, prantsus-, itaalia-, hispaania- või ingliskeelse teksti katkendi ning paluda mudelil seda jätkata. Klassifitseerimistöövoos võis esitada kategooriate näited ja seejärel paluda mudelil määrata uuele tekstilõigule sobiv märgend. Semantilise otsingu puhul on seotud Luminous-Explore’i töö asjakohasem kui käsitleda luminous-base’i ennast spetsiaalse vektor-esituse lõpp-punktina.
Mudeli väljund on tekst. Dokumenteeritud ei ole pildi-, heli-, video-, muusika- ega kõneväljundit. Esitatud uurimismaterjal ei tõenda ka selle konkreetse mudeli pildi-, heli- või videosisendit.
Jõudlus, kiirus ja kulude kompromissid
Aleph Alpha avaldatud võrdlusaruandes saavutas luminous-base aruande põhiliste võrdlusülesannete keskmiseks tulemuseks 47,6 ja laiendatud ülesannete komplektis 44,0 vastavalt kirjeldatud hindamisseadistusele. Aruandes võrreldi seda muu hulgas mudelitega OpenAI davinci, BLOOM ja OPT. Need on teenusepakkuja avaldatud ajaloolised võrdlustulemused ning neid ei tohiks käsitleda praeguse üldise pingereana.
Sama ajaloolise materjali põhjal jäi luminous-base kirjeldatud hindamiskogumis mudelitele luminous-extended ja luminous-supreme alla. Selle väiksem suurus muutis selle siiski suurematest Luminousi variantidest arvutuslikult tõhusamaks. See tekitab tavapärase kompromissi: väiksem mudel võib olla eelistatud juhul, kui läbilaskevõime, juurutamise hind või ressursinõuded on olulisemad kui võrdlustulemuse maksimeerimine.
Esitatud uurimismaterjal ei anna luminous-base’i kohta praegust avalikku sisendi hinda, väljundi hinda ega korduva tellimuse hinda. Samuti ei ole esitatud kontrollitud praegust kiirusemõõtmist. Seetõttu tuleks igasugust kulude või kiiruse võrdlust käsitleda kvalitatiivse, mitte arvulisena. Mudeli ajalooline suurus viitab väiksemale ressursivajadusele kui pere suuremate liikmete puhul, kuid see ei tähenda kindlat praegust hinna- ega latentsuseelist konkreetses majutatud juurutuses.
Järeldamine, programmeerimine ja tööriistade tugi
luminous-base loodi üldiseks mitmekeelseks keelemudeliks, mitte tänapäevaseks spetsialiseeritud arutlusmudeliks. Olemasolev uurimismaterjal toetab tavalist teksti genereerimist, klassifitseerimist, mõistmist ja järeldamist, kuid ei dokumenteeri eraldi samm-sammulise mõtlemise režiimi, arutlemise juhtimist ega tipptasemel matemaatilise arutlemise võimekust.
Programmeerimist ei ole määratletud mudeli põhispetsialiseerumisena. Nagu üldised keelemudelid sageli, võib see potentsiaalselt genereerida või käsitleda koodi meenutavat teksti, kuid esitatud allikad ei tõenda spetsiaalset programmeerimisalast treeningut, programmeerimise võrdlusteste ega selle konkreetse mudeli koodigeneratsiooni funktsiooni.
Samuti ei kinnita uurimismaterjal selle praeguse luminous-base’i lõpp-punkti puhul funktsioonikutseid, tööriistade kasutamist, veebiotsingut, voogedastust, struktureeritud JSON-väljundit, vahemällu salvestamist, paketttöötlust ega peenhäälestuse tuge. Neid võimalusi ei tohiks järeldada Aleph Alpha laiema või uuema platvormi kohta dokumenteeritud funktsioonidest. Mudeli ajalooline API-kättesaadavus kinnitab API-põhist edastusviisi, mitte konkreetset tänapäevast liidese lepingut.
Kättesaadavus ja piirangud
Kõige olulisem praktiline piirang on praeguse ligipääsu ebakindlus. luminous-base oli ajalooliselt saadaval Aleph Alpha API ja Completion Playgroundi kaudu, kuid praegune avalik dokumentatsioon keskendub PhariaAI-le ega avalda selgelt selle algse mudeli elutsükli staatust ega praegust hinda.
Seetõttu tuleks seda käsitleda pärand- või ajaloolise mudelina, välja arvatud juhul, kui praegune konto, juurutus või teenusepakkuja vastus kinnitab vastupidist. Esitatud uurimismaterjalis ei kirjeldata seda avatud kaaludega mudelina ning olemasolev materjal ei tõenda praegust isemajutust, avalikku peenhäälestust, struktureeritud väljundi, pakktöötluse ega veebiotsingu tuge.
Samuti puuduvad kontrollitud mudelipõhised andmed konteksti pikkuse, väljundi maksimaalse piirangu, teadmiste lõppkuupäeva või praeguse kasutusest kõrvaldamise kuupäeva kohta. Need puudujäägid on tootmise kavandamisel olulised. Meeskond, kes valib mudelit uue rakenduse jaoks, peaks kontrollima mitte ainult lõpp-punkti kättesaadavust, vaid ka token’ipiiranguid, andmete säilitamise tingimusi, päringumäärade piiranguid ja toetatud API-toiminguid.
Millal valida luminous-base?
luminous-base võib sobida juhul, kui projekt vajab konkreetselt ajalooliselt dokumenteeritud Aleph Alpha mudelit mitmekeelseks tekstitööks inglise, saksa, prantsuse, itaalia ja hispaania keeles. See võib olla mõistlik valik teadusuuringute taasesitamiseks, pärandrakenduste jaoks, mitmekeelse teksti lõpetamise katseteks, klassifitseerimise prototüüpideks või Luminous-Explore’i päritoluga seotud semantilise esituse tööks.
Võrreldes mudelitega luminous-extended ja luminous-supreme võib selle väiksem suurus muuta selle praktilisemaks valikuks, kui juurutuse puhul hinnatakse väiksemat arvutusvajadust rohkem kui ajaloolise Luminousi võrdluse parimaid tulemusi. Selline valik tuleks teha alles pärast seda, kui on kinnitatud mudeli jätkuv kättesaadavus ja juurutamise majanduslik sobivus projekti nõuetele.
Kaasaegse tipptasemel arutlemise, täiustatud programmeerimise, multimodaalse sisendi või väljundi, veebipõhiste rakenduste, tööriistapõhiste agentide või selgelt avaldatud konteksti- ja väljundipiiranguid vajavate töökoormuste puhul on tõenäoliselt sobivam mõni muu võimalus. Praegune PhariaAI juurutus võib olla asjakohasem organisatsioonidele, kes otsivad Aleph Alpha uuemat ettevõtetele mõeldud ja suveräänse tehisintellekti keskkonda, kuid esitatud uurimismaterjal ei tõenda, et luminous-base oleks praegune PhariaAI mudel. Iga uue tootmissüsteemi puhul peaksid praegune kättesaadavus ja dokumenteeritud töökindlus olema mudeli ajaloolisest identiteedist tähtsamad.
Kokkuvõte
Aleph Alpha luminous-base on ajalooliselt oluline 13 miljardi parameetriga mitmekeelne mudel, mis keskendub teksti lõpetamisele ja keele mõistmisele viies Euroopa keeles. Selle tugevused on Euroopa keelte katvus, algse Luminousi mudelipere suhteliselt väiksem suurus ning roll semantilise esituse uurimises. Peamised nõrkused on ebakindlus praeguse kättesaadavuse suhtes, avalikult kontrollitud tänapäevaste piirangute ja hinnastuse puudumine ning dokumenteeritud toe puudumine uuematele funktsioonidele, nagu multimodaalne genereerimine, veebiotsing, tööriistakutsed ja struktureeritud väljundid.
Uurimistöö, ajaloolise ühilduvuse või kinnitatud pärandjuurutuse puhul võib luminous-base endiselt asjakohane olla. Uue rakenduse puhul tuleks see aga valida alles pärast seda, kui Aleph Alpha on kinnitanud juurdepääsu ja tööparameetrid.