Mis on Pharia-1-LLM-7B-control?
Pharia-1-LLM-7B-control on Aleph Alpha pakutav avatud kaaludega juhiste järgi häälestatud põhjuslik keelemudel. Praktilises mõttes suudab see lugeda tekstijuhiseid ja koostada tekstilisi vastuseid, mistõttu sobib see näiteks dokumentide kokkuvõtmiseks, struktureerimata tekstist väljade eraldamiseks, struktureeritud juhiste järgimiseks ja lühikese valdkonnapõhise sisu genereerimiseks.
Mudel kuulub Aleph Alpha Pharia-1-LLM-7B mudeliperekonda. Tegemist on eelistustega joondamata kontrollvariandiga. Eraldi välja antud eelistustega joondatud kontrollvariant läbis täiendava eelistuste joondamise ja ohutuskoolituse, kuid Pharia-1-LLM-7B-control sellist täiendavat joondamisetappi ei läbinud. See erinevus on tootmise töövoo jaoks mudelit valides oluline: kontrollmudel on mõeldud vahetult kasutatavaks juhiste järgi häälestatud baasiks, kuid selle käitumist tuleks hinnata kavandatava rakenduse ohutus-, vormingu- ja eeskirjanõuete suhtes.
Aleph Alpha positsioneerib mudelit laiema suveräänse ja spetsialiseeritud tehisintellekti portfelli osana, mitte massituru tarbijatele mõeldud vestlusrobotina. Seda saab kasutada avatud mudelite hoidlatega ning sellele on viidatud Aleph Alpha kliendi- ja intelligentsuskihi tööriistades. Esitatud uuringud ei kinnita praeguse tarbijatele mõeldud tellimuse ega mudelipõhise avaliku majutuse hinna olemasolu.
Peamine eesmärk ja praktilised tugevused
Peamine disainieesmärk on lühike ja kontrollitav tekstigenereerimine. Seetõttu on mudel eriti asjakohane siis, kui rakendus peab hoidma vastuse, kokkuvõtte või eraldatud väärtuse prognoositava pikkusega, selle asemel et koostada pikk üldotstarbeline vastus.
- Kokkuvõtete koostamine: aruannete, kirjavahetuse, tehnilise materjali või muu teksti lühemate versioonide loomine.
- Teabe eraldamine: struktureerimata teksti muutmine valitud faktideks, väljadeks või lühikirjeldusteks.
- Juhiste järgimine: tekstipõhiste teisenduste ja valdkonnapõhiste viipade täitmine.
- Mitmekeelsed tekstipõhised töövood: inglise, saksa, prantsuse ja hispaania keele toetamine – need on keeled, mida Aleph Alpha kasutamiseks konkreetselt esile tõstab.
- Spetsialiseeritud juurutused: mudeli kasutamine inseneritehnika, autotööstuse ja muude organisatsiooniliste töövoogude alusena, kus on oluline ise majutamine või valdkonnaga kohandamine.
Mudeli kirjelduses nimetatakse eeltreeninguandmetes esindatud keeltena ka itaalia, hollandi ja portugali keelt. See ei tähenda, et jõudlus oleks kõigis keeltes võrdne: teenusepakkuja rõhutab kasutuskeeltena konkreetsemalt inglise, saksa, prantsuse ja hispaania keelt.
Arhitektuur ja treeningu üksikasjad
Pharia-1-LLM-7B-control sisaldab ligikaudu 7,04 miljardit parameetrit. Dokumenteeritud arhitektuur hõlmab 27 transformer-kihti, 36 tähelepanupead, nelja võtme-väärtuse pead, peidetud kihi suurust 4608, 128 000 märgiga sõnavara, rühmapäringu tähelepanu ning pöörlevaid positsioonikodeeringuid pöörlemise baasiga 1 000 000.
Parameeter on närvivõrgu genereerimise ajal kasutatav õpitud väärtus; parameetrite arv annab mudeli suurusest ligikaudse ettekujutuse, kuid ei ennusta iseenesest kvaliteeti konkreetse ülesande puhul. Arhitektuuri rühmapäringu tähelepanu võib võrreldes mõne tavapärase tähelepanulahendusega vähendada võtmete ja väärtuste salvestamisega seotud mälunõudeid, kuigi juurutamise kiirus ja mälukasutus sõltuvad endiselt riist- ja tarkvarapinu lahendusest.
Aleph Alpha andmetel kasutati eeltreeninguks ligikaudu 7,7 triljonit märgendit mitmekeelsest veebist kogutud ja struktureeritud andmetest. Dokumenteeritud treeningandmete lõppkuupäev on aprill 2023. Eeltreeningus kasutati kuni 8192 märgiga jadasid ning mudeli kirjelduses on konteksti pikkuseks märgitud 8192 märki. Juhiste järgi häälestamise etapis kasutati ligikaudu 640 000 näidet, millele järgnes väiksem, ligikaudu 3200 näitest koosnev õppekavaetapp.
Kontekstiaken ja väljundi piirangud
Märgitud konteksti pikkus on 8192 märki. Märk on keelemudeli kasutatav väike tekstiosa; olenevalt keelest ja tekstist võib üks märk tähistada tervet sõna, sõnaosa või kirjavahemärki. Praktiliselt tähendab see, et viibad, lisatud lähtedokumendid ja genereeritud tekst peavad mahtuma mudeli toetatud töökonteksti.
8192 märgiga kontekst sobib paljude üksikute dokumentide, väljavõtete, e-kirjade ja suunatud eraldamisülesannete jaoks, kuid see ei tõenda pika konteksti võimekust väga suurte failide või ulatuslike dokumendikogumite puhul. Pikem materjal tuleb võib-olla osadeks jagada ja töödelda etappide kaupa. Esitatud uuringutes ei kinnitatud mudelipõhist ametlikku maksimaalset väljundimärkide arvu, mistõttu ei tohiks rakendused eeldada kindlat genereerimispiiri, mis ületaks üldisi kontekstipiiranguid.
Toetatud sisendid, väljundid ja tööriistad
Tegemist on ainult tekstiga töötava mudeliga. Selle kontrollitud sisend- ja väljundmodaliteedid on tekst: see ei võta loomupäraselt vastu pilte, heli ega videot ega genereeri pilte, heli, videot ega muud mittetekstilist meediat. Seetõttu tuleks seda hinnata keele genereerimise komponendina, mitte multimodaalse assistendina.
Uuringud ei kinnita selle mudeli loomupärast tööriistade kutsumist, funktsioonide kutsumist, veebotsingut ega tegevuste käivitamist. Ümbritsev rakendus võiks teoreetiliselt tõlgendada genereeritud teksti ja ühendada selle välise tarkvaraga, kuid see oleks rakenduskihi integratsioon, mitte kontrollitud sisseehitatud mudelivõimekus. Samuti ei kinnitatud struktureeritud väljundi ega JSON-režiimi tuge. Rangelt masinloetavat väljundit vajavad arendajad peaksid juurutatud konfiguratsiooni testima ning lisama valideerimise või järeltöötluse, mitte käsitlema tavalist juhiste järgimist garanteeritud skeemikohase väljundina.
Voogedastatava vastuse tugi on Aleph Alpha ametlikes kliendimaterjalides viidatud. See võib parandada tajutavat reageerimiskiirust, tagastades genereeritud teksti järk-järgult, kuid voogedastus ei muuda mudeli arutlusvõimet, konteksti pikkust ega väljundipiirangut.
Arutlusvõime, kodeerimine, kiirus ja kulude kompromissid
Pharia-1-LLM-7B-control on üldotstarbeline tekstimudel, mitte mudel, millel oleks dokumenteeritud spetsiaalne laiendatud arutlusrežiim. See suudab järgida mitmeastmelisi juhiseid ja teavet teisendada, kuid esitatud uuringud ei anna tõendeid tipptasemel arutlusvõime kohta. Seda on parem käsitleda kompaktse juhiseid järgiva mudelina suunatud töövoogude jaoks, mitte keerulise matemaatilise või kaalutleva arutluse spetsialistina.
Kodeerimisvõimekust ei ole samuti esmase spetsialiseerumisena dokumenteeritud. Mudel võib genereerida või teisendada koodi tekstina, kuid uuringud ei kinnita koodi käivitamise tööriistu, kodeerimisele suunatud treeninguprofiili ega võrdlustestide tulemusi. Rakendused, mis vajavad usaldusväärset tarkvaraarenduse abi, peaksid mudelit testima oma programmeerimiskeelte, koodirepositooriumide ja valideerimisprotsessi põhjal.
Selle kirje jaoks esitatud toimetuslik hinnang annab kiirusele 7 punkti 10-st ja kulule 8 punkti 10-st. Need on toimetuslikud hinnangud, mitte Aleph Alpha avaldatud võrdlustulemused või hinnad. Väiksem, 7 miljardi parameetriga mudel võib olla atraktiivne, kui organisatsioon väärtustab kohapealset juurutamist, prognoositavaid ressursinõudeid ja suunatud tekstitöötlust palju suuremate mudelite laiemate võimekuste asemel. Tegelik läbilaskevõime ja kogukulu sõltuvad riistvarast, kvantimisest, pakktöötlusest, majutusest ja integratsioonivalikutest.
Avalikku mudelipõhist märgihinda ei kinnitatud. Seetõttu ei tohiks mudelit võrrelda väljamõeldud märgipõhise hinna alusel. Majutatud või ettevõttetasandi juurutuse korral vajaksid organisatsioonid Aleph Alphalt ajakohast hinnapakkumist või juurutusepõhiseid ärilisi tingimusi.
Litsents ja kättesaadavus
Pharia-1-LLM-7B-control on Aleph Alpha mudelihoidlates, sealhulgas Hugging Face'i hoidlates, saadaval avatud kaaludega mudelina. Mudelit levitatakse Open Aleph License'i alusel. Esitatud teave kinnitab konkreetselt luba kasutada mudelit mitteäriliseks teadus- ja haridustegevuseks; see ei kinnita piiranguteta ärilist kasutust.
See litsentsierinevus on ettevõtete jaoks oluline. Kaalude allalaadimine või tehniline käitamine ei tähenda automaatselt, et iga äriline rakendus on lubatud. Enne mudeli kasutamist klientidele suunatud, tulu teenivas või ettevõttesiseses süsteemis vaadake üle kehtiv litsents ja kõik kohaldatavad tingimused, eriti kui juurutus hõlmab edasilevitamist, majutatud juurdepääsu, peenhäälestamist või reguleeritud andmeid.
Millal valida Pharia-1-LLM-7B-control?
See mudel on mõistlik valik siis, kui prioriteediks on suhteliselt kompaktne avatud kaaludega mudel lühikese mitmekeelse tekstitöötluse jaoks. See on eriti asjakohane järgmistel juhtudel:
- dokumentide kokkuvõtete ja klassifitseerimise töötlusvood;
- valitud teabe eraldamine äri- või tehnilisest tekstist;
- inglise-, saksa-, prantsus- või hispaaniakeelsed töövood, kus on kasulik lühike väljund;
- avatud mudeliga tehtavad teadus- ja hariduslikud katsed;
- inseneri- või autotööstuse rakendused, millele tuleb kasuks kohandamine või ise majutatud juurutus;
- organisatsioonid, kes eelistavad spetsialiseeritud Euroopa mudeliökosüsteemi ning peavad hindama suveräänsuse või privaatse juurutuse nõudeid.
8192 märgi pikkune kontekst ja ainult tekstiga töötav ülesehitus sobivad paremini suunatud dokumentide ja piiratud tekstiliste ülesannete jaoks kui suurte dokumentide analüüsiks, piltide mõistmiseks, kõnerakendusteks või videotöötluseks. Kontrollitud loomupärase tööriistakasutuse puudumine tähendab samuti, et töövoogude jaoks, mis peavad veebist otsima, funktsioone kutsuma või tegevusi sooritama, võib sobivam olla mõni teine mudel või eraldi arendatud orkestreerimiskiht.
Millal võib mõni teine valik olla sobivam?
Valige suurem või arutlusele spetsialiseerunud mudel, kui rakendus sõltub keerulisest mitmeastmelisest analüüsist, kõrgtasemel matemaatikast, ulatuslikust kodeerimisabist või pidevalt tugevast jõudlusest ülesannetes, mis ületavad kompaktse 7 miljardi parameetriga mudeli eeldatavaid võimeid. Valige pika kontekstiga mudel, kui viibad sisaldavad sageli väga suuri dokumente või mitut mahukat lähtematerjali.
Multimodaalne mudel sobib paremini siis, kui kasutajad peavad esitama pilte, heli või videot. Kontrollitud struktureeritud väljundi ja funktsioonide kutsumise toega mudel võib olla eelistatavam tootmissüsteemides, mis nõuavad rangeid JSON-skeeme või usaldusväärset suhtlust väliste teenustega. Lõpuks peaksid piiranguteta ärilist juurutust taotlevad organisatsioonid enne selle mudeli valimist litsentsitingimusi võrdlema, sest esitatud uuringud kinnitavad mitteärilist teadus- ja hariduskasutust, kuid ei kinnita laialdast ärilist kasutusõigust.
Kokkuvõte
Pharia-1-LLM-7B-controli tuleks eelkõige käsitleda kompaktse, avatud kaaludega ja juhiste järgi häälestatud mudelina lühikese mitmekeelse teksti genereerimiseks, mitte universaalse tehisintellekti assistendina. Selle tugevamad kasutusjuhud on kokkuvõtete koostamine, teabe eraldamine, kontrollitud teksti lõpetamine ja spetsialiseeritud tekstipõhised töövood, eriti seal, kus on oluline ise majutamine või valdkonnaga kohandamine. Enne kasutuselevõttu tuleb kontrollida 8192 märgi pikkust konteksti piirangut, ainult tekstiga töötavat modaliteeti, kontrollimata maksimaalset väljundipikkust, kontrollitud loomupärase tööriistatoe puudumist, avaliku mudelipõhise hinna puudumist ning Open Aleph License'i ärilisi tagajärgi.