Mis on luminous-extended?
luminous-extended oli Aleph Alpha üldotstarbeline mitmekeelne suur keelemudel. Mudel sisaldas ligikaudu 30 miljardit parameetrit, mistõttu oli see algse Luminousi mudeliperekonna keskmise suurusega mudel. Aleph Alpha paigutas selle ligikaudu 13 miljardi parameetriga luminous-base'i ja ligikaudu 70 miljardi parameetriga luminous-supreme'i vahele.
Mudel oli loodud autoregressiivseks teksti lõpetamiseks. Praktikas genereeris see teksti, ennustades viiba ja sellele eelneva konteksti põhjal järgmist token'it. Dokumenteeritud ülesannete valik ulatus avatud tekstiloome kõrval ka klassifitseerimise, suletud teadmistega küsimustele vastamise, üldteadmiste põhise arutlemise, loomuliku keele järeldamise ja lugemisest arusaamise ülesanneteni.
luminous-extendedi pakkus Aleph Alpha, Saksamaa tehisintellektiettevõte, mille praegune laiem fookus on suveräänsel, spetsialiseeritud ja ettevõtetele suunatud tehisintellektil. See konkreetne mudel kuulub siiski ettevõtte varasemasse Luminousi kataloogi, mitte mudelite hulka, mida kaasasolevates allikates esitletakse praeguse lipulaeva või aktiivselt reklaamitava tootmismudelina.
Arhitektuur ja keeletugi
Aleph Alpha kirjeldas Luminousi mudeleid ainult dekoodrist koosnevate autoregressiivsete transformer-mudelitena. Arhitektuur kasutas pöörlevaid positsioonimanuseid – tehnikat, mis aitab esitada token'ite paiknemist jadas. Mudelit treeniti kureeritud mitmekeelsel korpusel, mis hõlmas inglise, saksa, prantsuse, itaalia ja hispaania keelt.
Selle peamine eripära oli seega mitmekeelne tekstitöötlus, mitte multimodaalne suhtlus. Kaasasolevas mudelikirjes on nii toetatud sisendi kui ka väljundi tüübiks märgitud tekst. luminous-extendedi puhul ei ole dokumenteeritud pildi-, heli-, video-, muusika-, embedding'u ega muid mittetekstilise väljundi võimalusi. Seda ei tohiks segi ajada võimalustega, mis on saadaval mujal Aleph Alpha laiemas platvormiökosüsteemis.
Mida avaldatud võrdlustestid näitavad
Aleph Alpha ametlikus võrdlustestide materjalis teatati, et luminous-extendedi keskmine tulemus põhitegevuste kogumis oli 51,1 ja laiendatud ülesannete kogumis 45,7. Hindamine hõlmas klassifitseerimist, suletud teadmistega küsimustele vastamist, üldteadmiste põhist arutlemist, loomuliku keele järeldamist ja lugemisest arusaamist.
Samas võrdlustestide materjalis teatati, et väheste näidete abil juhendamine parandas jõudlust. Täpsemalt viis viie näitega juhendamine luminous-extendedi põhitegevuste keskmise tulemuse peaaegu luminous-supreme'i nullnäitega saadud tulemuseni. Väheste näidetega juhendamine tähendab, et enne uue ülesande lahendamise palumist antakse mudelile viibas väike arv näiteid.
Need näitajad on teenusepakkuja avaldatud ajaloolise Luminousi hindamise tulemused, mitte tänapäevane sõltumatu paremusjärjestus. Neid tuleb tõlgendada algse testikujunduse kontekstis ning neid ei tohiks kasutada tõendina, et mudel edestab praegu uuemaid keelemudeleid. Võrdlustest selgitab siiski luminous-extendedi kavandatud rolli: see ei piirdunud lihtsa teksti lõpetamisega, vaid seda testiti ka mitmetel üldistel keele mõistmise ülesannetel.
Arutlemine, programmeerimine, kiirus ja hind
Mudeli dokumenteeritud hindamised hõlmasid mitut arutlemisega seotud ülesannet, sealhulgas üldteadmiste põhist arutlemist, loomuliku keele järeldamist ja suletud teadmistega küsimustele vastamist. See toetab arutlemise käsitlemist ühe kavandatud hindamisvaldkonnana, kuid ei tõenda tänapäevase arutlemisele spetsialiseerunud mudeli võimekust. Selle konkreetse mudeli puhul ei ole kinnitatud ahelmõtlemise režiimi, spetsiaalset arutlemisseadistust ega tänapäevast arutlemise võrdlustesti.
Kaasasolevas uurimismaterjalis ei ole programmeerimist eraldi võimekusena määratletud. Kuna tegemist oli üldise keelemudeliga, võis see potentsiaalselt genereerida koodi meenutavat teksti, kuid programmeerimisele optimeeritud treeninguprofiili, koodivõrdlustesti ega koodi genereerimise funktsiooni ei ole kinnitatud. Seetõttu peaksid tarkvaraarenduseks spetsiaalselt mudelit valivad kasutajad eelistama praegu toetatud mudelit, mille programmeerimisjõudlus on dokumenteeritud.
Kaasasolev toimetuslik hinnang annab luminous-extendedile arutlemise eest 4 punkti 5-st, programmeerimise eest 3 punkti 5-st, kiiruse eest 5 punkti 5-st ja hinna eest 4 punkti 5-st. Need on toimetuslikud hinnangud, mitte Aleph Alpha avaldatud spetsifikatsioonid. Need viitavad algse Luminousi mudeliperekonna sees soodsale kiiruse ja võimekuse suhtele, kuid neid ei tohiks käsitleda tänapäevase mõõdetud latentsuse või kinnitatud hinnavõrdlusena.
Saadavus, hind ja tehnilised piirangud
Aleph Alpha ajaloolistes materjalides kirjeldati luminous-extendedi kui Completion Playgroundi ja ettevõtte API-kliendi kaudu kättesaadavat mudelit. Kaasasolev uurimismaterjal ei kinnita, et täpselt see mudel oleks tänapäeval endiselt juurdepääsetav. Seetõttu on kõige täpsem kirjeldada selle staatust ajaloolise või pärandmudelina, mille jätkuv API kaudu kättesaadavus on kinnitamata.
Kinnitatud tänapäevane hind puudub. Kaasasolevates mudeliandmetes ei ole toetatud sisendi- ega väljundhinda ning Aleph Alpha praegune äriline lähenemine on üldiselt suunatud ettevõtete ja organisatsioonide kokkulepetele, mitte selle mudeli selgelt reklaamitavale tarbijatellimusele.
Mitmed olulised tehnilised piirangud on luminous-extendedi puhul samuti kinnitamata:
- Kontekstiakent ehk sisendi maksimaalset pikkust ei ole kaasasolevates allikates dokumenteeritud.
- Väljundtoken'ite maksimaalset arvu ei ole dokumenteeritud.
- Otsene teadmiste lõppkuupäev ei ole teada.
- Igandamise ega sulgemise kuupäeva ei ole kinnitatud.
- Praegune voogedastuse, funktsioonikutsete, struktureeritud väljundi, vahemällu salvestamise, pakktöötluse või peenhäälestuse tugi ei ole teada.
Need puudujäägid on tootmise kavandamisel olulised. Arendaja ei tohiks eeldada, et praegune API aktsepteerib ajaloolist mudelitunnust, toetab kindlat konteksti suurust või pakub tänapäevaseid vastuse juhtimise võimalusi lihtsalt seetõttu, et mudel kuulus kunagi API-kliendi valikusse.
Peamised tugevused ja piirangud
Selle kõige selgem tugevus oli arvestatava mudelisuuruse ja viit Euroopa keelt hõlmava mitmekeelse toe kombinatsioon. See oli loodud teksti genereerimiseks ja seda hinnati mitmesuguste keeleülesannete põhjal, mistõttu sobis see üldiseks mitmekeelseks eksperimenteerimiseks paremini kui kitsalt spetsialiseerunud teksti lõpetamise süsteem.
Mudel paiknes ka algses Luminousi mudelivalikus kasulikul kesksel kohal. Võrreldes väiksema mudeliga, näiteks luminous-base'iga, pakkus luminous-extended suuremat parameetrite arvu ning oli mõeldud suurema võimekusega valikuna. Võrreldes luminous-supreme'iga esindas see vähem ressursse nõudvat keskmist taset. Kaasasolev uurimismaterjal ei paku kinnitatud tänapäevaseid latentsusnäitajaid, taristunõudeid ega hindu, mistõttu ei saa täpset kasutuslikku kompromissi kvantifitseerida.
Selle peamised piirangud on ebakindel tänapäevane saadavus ja ajakohase tehnilise dokumentatsiooni puudumine. Kinnitatud ei ole konteksti pikkust, väljundi piirangut, hinda, teadmiste lõppkuupäeva ega tänapäevaseid tööriistakasutuse võimalusi. Samuti ei ole seda dokumenteeritud multimodaalse mudeli, programmeerimise spetsialisti, veebiga ühendatud süsteemi ega funktsioonikutseid toetava mudelina. Need piirangud muudavad selle uue tootmisjuurutuse jaoks hindamise keeruliseks.
Millal valida luminous-extended?
luminous-extended võib olla asjakohane ajaloolise uurimistöö, varasema Aleph Alpha eksperimendi kordamise või Euroopa mitmekeelsete keelemudelite võrdlemise korral. See on mõistlik uurimisobjekt ka võrdlustestide jaoks, kui organisatsioonil on juba kinnitatud juurdepääs algsele lõpp-punktile või säilitatud juurutusele.
Selle dokumenteeritud keeletugi muudab mudeli eriti asjakohaseks katsetes, mis hõlmavad inglise-, saksa-, prantsuse-, itaalia- ja hispaaniakeelset teksti lõpetamist või klassifitseerimist. Mudel võib olla kasulik ka teadlastele, kes uurivad väheste näidetega juhendamist, mitmekeelset küsimustele vastamist või Aleph Alpha mudeliperekonna arengut.
Uue rakenduse jaoks tuleks see valida alles pärast seda, kui on kontrollitud, et täpselt see mudel on endiselt saadaval, juurdepääsutingimused on vastuvõetavad ja selle piirangud vastavad rakenduse nõuetele. Praegu toetatud mudel on tõenäoliselt sobivam, kui projekt vajab avaldatud hinda, teadaolevat kontekstiakent, usaldusväärseid teenusetaseme ootusi, tööriista- või funktsioonituge, struktureeritud väljundit, programmeerimisjõudlust või multimodaalset sisendit.
Üldhinnang
luminous-extended on endiselt oluline ajalooline mudel Aleph Alpha algses Luminousi mudeliperekonnas: 30 miljardi parameetriga ainult dekoodrist koosnev mudel, mis oli suunatud mitmekeelsele teksti genereerimisele ja laiale keeleülesannete hindamisele. Selle ametlik võrdlustestide kirje annab kasulikku teavet mudeli kavandatud võimekuse ja luminous-base'i ning luminous-supreme'i vahelise suhtelise positsiooni kohta.
Seda ei tohiks siiski esitleda täielikult dokumenteeritud tänapäevase tootmisvalikuna. Hind, konteksti pikkus, väljundi piirangud, tänapäevased API-funktsioonid ja jätkuv juurdepääs on kõik kinnitamata. Enamiku uute juurutuste puhul on seda kõige mõistlikum käsitleda teadus- või arhiiviviitena, välja arvatud juhul, kui Aleph Alpha või olemasolev juurutus kinnitab praegust tuge.