Mis on Pharia-1-LLM-7B-control-aligned?
Pharia-1-LLM-7B-control-aligned on Aleph Alpha Researchi välja töötatud 7 miljardi parameetriga ainult dekooderiga keelemudel. Praktilises mõttes võtab see sisendiks teksti ja genereerib sellele vastuseks teksti. Seda saab kasutada näiteks teksti koostamiseks, klassifitseerimiseks, kokkuvõtete tegemiseks, küsimustele vastamiseks, märgendamiseks ja vestluslikuks suhtluseks.
Mudel kuulub Pharia-1-LLM-7B perekonda ning on mudeli Pharia-1-LLM-7B-control ohutusele joondatud variant. Mõlemad variandid kuuluvad samasse üldisesse mudeliperekonda, kuid joondatud versiooni treeniti täiendavalt, et parandada abivalmidust ning vähendada kahjulikke või ebasoovitavaid vastuseid. See on eelkõige rakenduste ehitusplokk, mitte täielik tarbijatele mõeldud vestlusrobot ega autonoomne agent.
Aleph Alpha positsioneerib Pharia perekonda mitmekeelsete ja spetsialiseeritud juurutuste jaoks, sealhulgas inseneri- ja autotööstuse kasutusjuhtudeks. Seetõttu on Pharia-1-LLM-7B-control-aligned kõige asjakohasem arendajatele ja organisatsioonidele, kes soovivad suhteliselt kompaktset Euroopa keeli toetavat mudelit, mida saab ise käitada või suuremasse süsteemi integreerida.
Väljalaskmine, litsents ja juurdepääs
Aleph Alpha teatas Pharia-1-LLM-7B-control-alignedi väljalaskmisest 26. augustil 2024. Kontrollpunkt on avalikult saadaval Hugging Face'is, sealhulgas ametliku repositooriumi ja Transformersiga ühilduva safetensors-vormingus teisendusega kohalikuks juurutamiseks.
Avalikud kaalud on välja antud Open Alephi litsentsi alusel mitteäriliseks teadus- ja õppetööks. See on oluline praktiline piirang: mudeli allalaadimine ei anna automaatselt õigust kasutada seda ärilises tootmiskeskkonnas. Ärilist juurutust kavandavad organisatsioonid peaksid litsentsi läbi vaatama ja hankima Aleph Alphalt sobivad kasutustingimused.
Aleph Alpha kirjeldab ärilist juurdepääsu ka oma Intelligence Layer SDK ja kliendi juures paiksete installatsioonide kaudu. Esitatud teave ei sisalda selle mudeli avalikku märgiühikupõhist hinda. Majutatud või privaatne äriline juurdepääs on saadaval kokkuleppel, mitte tavapärase avaliku hinnakirja alusel. Avalikus repositooriumis ei ole märgitud, et seda juurutaks Hugging Face'i Inference Provider, mistõttu ei tasu eeldada, et seal on valmis majutatud lõpp-punkt saadaval.
Arhitektuur ja kontekstiaken
Pharia-1-LLM-7B-control-aligned on autoregressiivne põhjuslik transformer. Avaldatud arhitektuur kasutab 27 kihti, 36 tähelepanupead, nelja võtme-väärtuse pead, pöörlevaid positsioonimanuseid, 4608-ne peidetud dimensiooni ja ligikaudu 7,04 miljardit parameetrit.
Mudelil on 8192 märgi suurune kontekstiaken. Kontekstiaken näitab sisendi ja vestlusajaloo hulka, mida mudel suudab ühe päringu jooksul töödelda; see hõlmab viipa ja kogu muud kontekstina edastatud teksti, mitte ainult vastust. Esitatud spetsifikatsioonid ei määratle eraldi väljundi maksimaalset märgipiirangut, mistõttu ei tohiks täpset vastuse maksimaalset pikkust eeldada väljaspool üldist konteksti piirangut ja valitud järeldussüsteemi seatud piiranguid.
Selle märgendaja kasutab SentencePiece Unigrami tehnoloogiat ja selle sõnavaras on 128 000 märki. Märgendaja loodi mitmekeelse Euroopa keelte teksti jaoks, mis võib olla kasulik rakendustes, mis töötlevad saksa, prantsuse, hispaania või muid toetatud keeli. Tegelik märgikasutus sõltub siiski keelest ja sisust.
Keeled, sisendid ja väljundid
Aluseks olev treeningkorpus sisaldab inglise, saksa, prantsuse, itaalia, hispaania, portugali ja hollandi keelt. Mudelikaardil nimetatakse hinnatud keelteks inglise, saksa, hispaania ja prantsuse keelt. See keelevalik on üks mudeli selgemaid eristajaid võrreldes peamiselt inglise keele jaoks optimeeritud mudelitega.
Pharia-1-LLM-7B-control-aligned on ainult tekstipõhine. See võtab vastu tekstisisendit ja väljastab teksti. See ei toeta algupäraselt pilte, heli ega videot ning ei genereeri pilte, heli, videot, muusikat ega muud mittetekstilist meediat. Rakendused, mis vajavad visuaalset mõistmist, kõnetöötlust või meedia genereerimist, vajavad täiendavaid mudeleid ja integratsioonikihte.
Mudel toetab vestluslikku viipamist süsteemi, kasutaja ja assistendi rollidega. Soovitatud viibavorming põhineb Llama viibavormingul. Arendajad saavad mudeli lokaalselt laadida Hugging Face'i Transformersi teisenduse või Aleph Alpha järeldustööriistade abil, arvestades mudeli litsentsi ja juurutusnõuetega.
Mida joondamine muudab?
Algset control-mudelit kohandati juhiste järgimiseks ja mitmevooruliste interaktsioonide käsitlemiseks. Pharia-1-LLM-7B-control-aligned läbis täiendava otsese eelistusoptimeerimise ehk DPO-treeningu. DPO kasutab eelistusandmeid, et soodustada vastuseid, mis vastavad paremini soovitud omadustele, nagu abivalmidus, ohutus ja juhiste järgimine, ilma et joondamisetapis oleks vaja eraldi preemiamudeli töövoogu.
See joondamine on kasulik juhul, kui mudel suhtleb otse kasutajatega või loob sisu, mille puhul on vaja järjepidevamaid käitumuslikke kaitsemeetmeid. Seda ei tohiks siiski käsitleda täieliku ohutussüsteemina. Aleph Alpha dokumentatsioon hoiatab, et mudel võib endiselt genereerida kahjulikku, kallutatud, ebatäpset, aegunud või muul viisil sobimatut sisu.
Tootmiskasutuse jaoks peaksid arendajad lisama rakenduse tasandi kontrollid, näiteks sisendi valideerimise, väljundi ülevaatamise, valdkonnapõhised reeglid, juurdepääsu kontrolli ja inimjärelevalve, kui vea tagajärjed võivad olla olulised. Joondamine võib mõjutada mudeli käitumist, kuid see ei taga faktitäpsust ega vastavust iga organisatsiooni eeskirjadele.
Võimekus ja praktiline jõudlus
Dokumenteeritud kasutusalad hõlmavad üldist teksti genereerimist, klassifitseerimist, kokkuvõtete tegemist, küsimustele vastamist ja märgendamist. Need võimed muudavad mudeli sobivaks töövoogudeks, nagu saabunud teksti sortimine, sisemiste dokumentide kokkuvõtete koostamine, esialgsete mustandite loomine, küsimustele vastamine kontrollitud konteksti põhjal ning inseneri- või äridokumentidele kategooriate määramine.
Selle suhteliselt väike suurus on praktiline eelis. 7 miljardi parameetriga mudel vajab üldjuhul käitamiseks vähem ressursse kui palju suuremad keelemudelid, mistõttu on kohalik või privaatne juurutus realistlikum. Kompromiss seisneb selles, et seda ei positsioneerita tipptasemel mudelina kõige nõudlikumate arutlus-, programmeerimis-, pika konteksti või üldteadmiste ülesannete jaoks.
Müüja avaldatud hinnangud näitavad sarnase suurusega avatud kaaludega mudelitega võrreldes kasulikku mitmekeelset ja insenerivaldkonna jõudlust, kuigi tulemused varieeruvad keele ja ülesande järgi. Neid hinnanguid tuleks käsitleda teenusepakkuja esitatud tõendina, mitte konkreetse rakenduse garantiina. Toimetuslikult on seda mudelit parem mõista kui kompaktset ja juhitavat mitmekeelset mudelit, mitte kui arenenud arutluse või laia autonoomse töö juhtivat süsteemi.
Esitatud võrdlevas hinnangus on selle arutlus- ja programmeerimisvõimekust hinnatud tagasihoidlikuks, samal ajal kui kiirust ja kulutõhusust hinnatakse soodsamalt. Need on toimetuslikud hinnangud, mitte Aleph Alpha spetsifikatsioonid. Need peegeldavad mudeli kavandatud kompromissi: väiksemad juurutusnõuded ja kasulik valdkonnapõhine tekstitöötlus vahetusena väiksema võimekuse vastu keerulistes arutlus- ja programmeerimisülesannetes.
Tööriistad, struktureeritud väljund ja kohandamine
Selle mudeli puhul ei ole kontrollitud algupärast tööriistakasutuse ega funktsioonikutsete võimekust. Seetõttu ei tohiks seda valida eeldusega, et see suudab iseseisvalt kutsuda API-sid, veebis sirvida, koodi käivitada või väliseid rakendusi kasutada. Arendajad võivad genereeritud teksti ümber üles ehitada orkestreerimise, kuid see on rakenduse funktsioon, mitte kinnitatud mudeli algupärane võimekus.
Eraldi JSON-režiimi ei ole esitatud spetsifikatsioonides dokumenteeritud ning ka struktureeritud väljundi tugi on kinnitamata. Mudelit võib suunata JSON-vormingus vastuseid tootma, kuid viipapõhine vormindamine ei ole samaväärne teenusepakkuja tagatud skeemi ega piiratud dekodeerimise režiimiga. Masinloetavat väljundit vajavad rakendused peaksid vastuseid valideerima ja vigase väljundiga arvestama.
Esitatud mudeliandmetes on märgitud, et peenhäälestus on toetatud. Täpset peenhäälestuse töövoogu, toetatud treeningvorminguid, taristunõudeid ega ärilisi tingimusi siin ei täpsustata. Enne tootmiskeskkonna kohandamisprotsessi kavandamist peaksid kasutajad need üksikasjad üle kontrollima.
Peamised tugevused ja piirangud
Tugevused
- Mitmekeelne tugi mitmele Euroopa keelele ning dokumenteeritud hindamine inglise, saksa, prantsuse ja hispaania keeles.
- Suhteliselt kompaktne 7 miljardi parameetriga ülesehitus, mis võib olla privaatseks või lokaalseks järelduseks praktilisem kui palju suuremad mudelid.
- Täiendav DPO-põhine joondamine, mis keskendub abivalmidusele ja ohutusele.
- Kasulik tugi levinud NLP-ülesannetele, sealhulgas genereerimisele, kokkuvõtete tegemisele, klassifitseerimisele, küsimustele vastamisele ja märgendamisele.
- Positsioneerimine inseneri-, auto- ja muude valdkonnapõhiste rakenduste jaoks.
- Allalaaditavate avatud kaalude kättesaadavus mitteäriliseks teadus- ja õppetööks.
Piirangud
- 8192 märgi suurune kontekstiaken on suurte dokumentide analüüsi või pikkade vestluste jaoks tagasihoidlik.
- Algupärast pildi-, heli- ega video sisendi või väljundi tuge ei ole dokumenteeritud.
- Kontrollitud veebotsingu, koodi käivitamise, tööriistakutsete, JSON-režiimi ega funktsioonikutsete liidest ei ole täpsustatud.
- Jõudlus erineb keeliti ja ülesandeti ning mudelit ei esitleta tipptasemel arutlus- ega programmeerimissüsteemina.
- Esitatud treeningandmete lõpptähtaeg on aprill 2023, mistõttu ei paku mudel ilma välise otsinguta ajakohaseid teadmisi maailma kohta.
- Avalik Open Alephi litsents on piiratud mitteärilise teadus- ja õppetööga.
- Allalaaditaval mudelil puudub avalik märgiühikupõhine hind ning äriline juurdepääs korraldatakse kokkuleppel.
Millal seda mudelit valida?
Vali Pharia-1-LLM-7B-control-aligned siis, kui projekt vajab Euroopa keeltele keskenduvat mitmekeelset tekstimudelit, hallatavat parameetrite arvu ja täiendavat ohutusjoondamist. See on mõistlik kandidaat privaatseks katsetamiseks, ettevõttesiseste dokumentide klassifitseerimiseks, kokkuvõtete tegemiseks, mitmekeelseks märgendamiseks, inseneritekstide töövoogudeks ja rakendusteks, kus organisatsioon soovib rohkem kontrolli juurutuse üle kui täielikult majutatud mudeli puhul.
See sobib eriti hästi siis, kui töökoormus mahub 8192 märgi suurusesse konteksti ning ei nõua algupärast meedia mõistmist, reaalajas veebipääsu ega autonoomset tööriistakasutust. Kohaliku juurutuse võimalus võib olla atraktiivne ka siis, kui olulised on andmehaldus või taristu kontroll, kuigi esmalt tuleb üle vaadata litsents ja käitamisnõuded.
Tipptasemel arutluse, täiustatud tarkvaraarenduse, väga pikkade dokumentide, multimodaalse analüüsi, ajakohase teabe otsimise või tööriistu kasutavate agentsete töövoogude jaoks võib sobida paremini teist tüüpi mudel. Suurem või uuem mudel võib pakkuda paremat ülesannete täitmist, samas kui majutatud kommertsmudel võib pakkuda lihtsamat juurdepääsu, hallatud skaleerimist ning dokumenteeritud struktureeritud väljundi või tööriistakutsete funktsioone. Seevastu võib väiksem spetsialiseeritud mudel olla eelistatav siis, kui kiirus, mälukasutus või rangelt määratletud klassifitseerimise kulu on olulisem kui üldise genereerimise kvaliteet.
Kokkuvõte
Pharia-1-LLM-7B-control-alignedi on kõige parem käsitleda kompaktse, mitmekeelse ja ohutusele joondatud avatud kaaludega keelemudelina kontrollitud tekstirakenduste jaoks. Selle peamine tugevus ei ole maksimaalne üldine intelligentsus, vaid Euroopa keelte tugi, valdkonnapõhine positsioneerimine, kohaliku juurutuse võimalus ja täiendav joondamistreening. Peamised kompromissid on piiratud konteksti pikkus, ainult tekstipõhine ülesehitus, kinnitamata agendi- ja struktureeritud väljundi funktsioonid, tagasihoidlik jõudlus tipptasemel ülesannetes, 2023. aasta aprillis lõppenud treeningandmed ning mitteäriline avalik litsents.