Mis on Falcon-180B?
Falcon-180B on 180 miljardi parameetriga põhjuslik, ainult dekooderiga keelemudel, mille töötas välja Technology Innovation Institute (TII) – Abu Dhabi Advanced Technology Research Counciliga seotud rakendusuuringute organisatsioon. TII avaldas selle 6. septembril 2023 Falconi avatud kaaludega mudelite perekonna osana.
Mudel on baas- ehk eeltreenitud kontrollpunkt. See eristus on oluline: Falcon-180B on mõeldud teksti jätkamiseks või genereerimiseks ning uurimistöö ja edasise kohandamise aluseks. See ei ole sama mudel mis Falcon-180B-Chat, mille TII avaldas vestluskasutuseks eraldi. Baasmudelit saab kohandada hilisemate ülesannete jaoks, kuid enne viimistletud assistendina toimimist vajab see üldjuhul sobivat viipavormingut, peenhäälestust või täiendavat joondamistööd.
Falcon-180B-d levitatakse allalaaditavate mudelikaaludena, mitte TII praeguse esimese osapoole tokenipõhise tasulise API kaudu. Organisatsioonid võivad seda ise käitada või kasutada ühilduvat kolmanda osapoole teenindustaristut, järgides mudeli litsentsi ja valitud majutuspakkuja tingimusi.
Arhitektuur ja treenimise üksikasjad
Falcon-180B kasutab ainult dekooderiga transformer-arhitektuuri, mida kasutatakse tavaliselt autoregressiivseks teksti genereerimiseks. Praktilises mõttes ennustab see järgmise tokeni sellele eelneva teksti põhjal. Dokumenteeritud arhitektuur sisaldab pöörlevaid positsioonilisi esitusi, multiquery-attention’it, FlashAttention’it ning paralleelseid tähelepanu- ja mitmekihilise pertseptroni plokke.
Mudelil on 80 kihti, mudeli dimensioon on 14 848, sõnavaras on 65 024 tokenit ning dokumenteeritud jada pikkus on 2 048 tokenit. Jada pikkus näitab mudeli dokumentatsiooni kohaselt tokeniseeritud sisendi maksimaalset hulka, mida mudel saab ühes kontekstis arvesse võtta. Tokenid on tekstiosad, mitte täpselt sõnadega võrdsed üksused, seega tähistab 2 048 tokenit paljudes keeltes märksa väiksemat hulka kui 2 048 tavalist sõna.
TII andmetel treeniti Falcon-180B-d ligikaudu 3,5 triljoni tokeniga. Treeningandmestik põhines peamiselt RefinedWebi andmestikul ning sisaldas ka kureeritud veebi-, raamatu-, vestlus-, koodi- ja tehnilisi allikaid. Treenimiseks kasutati kuni 4 096 A100 40GB GPU-d koos kolmemõõtmelise paralleelsuse ja ZeRO-ga. Need on teenusepakkuja esitatud treeninguandmed, mitte garantii kindla kvaliteeditaseme kohta kõigi hilisemate ülesannete puhul.
Keeled ja tekstivõimekus
Falcon-180B on peamiselt teksti genereeriv mudel. Selle kõige tugevam dokumenteeritud keeleoskus hõlmab inglise, saksa, hispaania ja prantsuse keelt. TII andmetel on mudelil piiratum võimekus ka itaalia, portugali, poola, hollandi, rumeenia, tšehhi ja rootsi keeles.
Mudelit saab kasutada üldiseks keelemudelite uurimiseks, kontrollitud teksti genereerimiseks, domeenikohanduseks ja hindamiseks. Uurimisrühm võib alustada baas-kaaludest, rakendada ülesandespetsiifilist peenhäälestust ning teha saadud mudeli sisemise tekstigeneratsiooniteenuse kaudu kättesaadavaks. Teine kasutaja võib uurida selle abil skaleerimist, mitmekeelset genereerimist või suurte avatud kaaludega mudelite käitumist.
Baasmudeli staatus piirab seda, kui otse saab seda tänapäevase juhiseid järgiva assistendi asemel kasutada. Ilma täiendava kohandamiseta ei pruugi see usaldusväärselt järgida mitmeastmelisi juhiseid, säilitada abivalmis vestlusstiili, tagastada rangelt rakendusepõhist vormingut ega järjepidevalt ohtlikest päringutest keelduda. Kui eesmärk on vestluslik suhtlus, on asjakohane seotud kontrollpunkt Falcon-180B-Chat, kuid seda ei tohiks pidada vahetatavaks Falcon-180B baasmudeliga.
Toetatud modaalsused, tööriistad ja väljundid
Falcon-180B on ainult tekstipõhine. See võtab vastu tekstisisendit ja toodab tekstiväljundit; algupäraselt ei toeta see pilte, heli ega videot ning ei genereeri pilte, heli ega videot. Seetõttu ei sobi mudel multimodaalsete dokumentide mõistmiseks, pildianalüüsiks, kõnetöötluseks ega meedia genereerimiseks ilma eraldi mudelite ja rakenduse komponentide lisamiseta.
Esitatud spetsifikatsioonides ei ole tuvastatud algupärast funktsioonikutseid, tööriistade kasutamist, veebiotsingut, struktureeritud väljundi režiimi ega sisseehitatud koodi käivitamist. Arendajad võivad isehostitud tekstimudeli ümber ehitada väliseid tööriistu, kuid see on rakendustaseme integratsioon, mitte dokumenteeritud Falcon-180B algupärane võimekus. Samamoodi võivad ühilduvad teenindussüsteemid, näiteks Text Generation Inference, pakkuda voogedastust, kuid see ei ole selle kontrollpunkti puhul TII praeguse esimese osapoole API funktsioon.
Konteksti piirangud ja juurutamise nõuded
Dokumenteeritud jada pikkus on 2 048 tokenit ning esitatud uuringus ei avaldata eraldi maksimaalset väljundtokenite arvu. Seetõttu peaksid rakendused käsitlema konteksti piirangut olulise projekteerimispiiranguna. Pikad dokumendid, pikad vestlused või mahukad viiped võivad vajada lühendamist, osadeks jagamist või enne genereerimist töötlemist otsingu- või kokkuvõttepipeline’i kaudu.
Suurem takistus on riistvara. TII väitel on kiireks järeldamiseks vaja ligikaudu 400 GB mälu. Täielik bfloat16-järeldamine nõuab ligikaudu kaheksat A100 80GB GPU-d või samaväärset riistvara. Kvantimine ja muud optimeerimisvõtted võivad tegelikku riistvaravajadust muuta, kuid esitatud allikad ei kinnita konkreetset toetatud kvantimiskonfiguratsiooni ega jõudlustaset.
Falcon-180B-d saab teenindada Text Generation Inference’i ja teiste ühilduvate raamistikega. See võimaldab kaalude ette ehitada HTTP- või ettevõttesisese rakendusliidese, kuid käitamisega seotud koormus jääb juurutava organisatsiooni või majutuspartneri kanda. Meeskonnad peavad arvestama GPU-võimsuse, mudeli laadimise, samaaegsuse, seire, turvalisuse, tarkvaraühilduvuse ja pideva hooldusega.
Hinnastus, juurdepääs ja litsents
Falcon-180B ametlikku esimese osapoole majutatud API-hinda ei ole tuvastatud. Mudelit levitatakse avatud kaaludena, seega ei esitata tarkvarale juurdepääsu TII korduva tellimuse ega tokenipõhise hinnana. See ei tähenda, et juurutamine oleks tasuta: GPU rent, salvestusruum, võrk, arendustöö, elekter ja käitamise tugi võivad kogukulu oluliselt suurendada.
Mudelit levitatakse Falcon-180B TII litsentsi ja sellega seotud vastuvõetava kasutuse eeskirjade alusel. Mudelikaardi kohaselt lubab litsents ärilist kasutust, järgides avaldatud tingimusi. Kõik, kes kavandavad ärilist juurutamist, peaksid kehtiva litsentsi ja vastuvõetava kasutuse nõuded otse üle vaatama, eriti juhul, kui mudelit pakutakse jagatud majutusteenusena, peenhäälestatakse klientidele või integreeritakse tootesse.
Kolmanda osapoole majutus võib pakkuda kasutuspõhist juurdepääsu, kuid selline hind sõltub teenusepakkujast, riistvarakonfiguratsioonist, teeninduse kestusest ja liiklusmustrist. Seda ei tohiks segi ajada TII ametliku Falcon-180B API-hinnaga.
Peamised tugevused ja kompromissid
- Juurdepääs avatud kaaludele: Organisatsioonid saavad mudelikaalud hankida uurimiseks, kohandamiseks ja enda hallatavaks juurutamiseks, selle asemel et sõltuda üksnes suletud majutatud lõpp-punktist.
- Suur mudelimaht: 180 miljardi parameetri ja ligikaudu 3,5 triljoni tokeniga treenimise tõttu positsioneeriti Falcon-180B avaldamise ajal suure jõudlusega avatud mudelina.
- Mitmekeelne tekstikate: Kõige tugevamalt dokumenteeritud keeled on inglise, saksa, hispaania ja prantsuse keel; lisaks toetatakse piiratumalt ka teisi Euroopa keeli.
- Kohandamispotentsiaal: Baas-kontrollpunkti saab peenhäälestada või muul viisil spetsialiseerida domeenipõhiseks uurimistööks ja rakendusteks.
- Kõrge taristukulu: Mudeli suurus muudab kohaliku või privaatse juurutamise väikestele meeskondadele keerukaks ja GPU-dele juurdepääsu omavatele organisatsioonidele kulukaks.
- Tänapäeva standardite järgi lühike kontekst: 2 048 tokeni pikkune jada piirab pikkade dokumentide ja vestluste töötlemise töövooge.
- Piiratud valmislahenduse käitumine: See ei ole juhiseid järgima häälestatud tarbijaassistent ning sellel puuduvad tuvastatud esimese osapoole majutatud API, algupärane veebiotsing ja dokumenteeritud tööriistakutsumise režiim.
Need kompromissid loovad selge võimekuse ja kulu vahelise valiku. Falcon-180B võib olla atraktiivne juhul, kui kontroll mudelikaalude, kohandamise või privaatse juurutamise üle on olulisem kui madal teeninduskulu ja mugavus. Väiksem mudel võib olla parem tehniline valik, kui prioriteedid on reageerimiskiirus, väiksem GPU-vajadus või suur päringumaht. Uuem pika konteksti või juhiseid järgima häälestatud mudel võib sobida paremini vestlustoodete, dokumendirohkete töövoogude või integreeritud tööriistu vajavate rakenduste jaoks.
Sobivus arutlemiseks ja koodi genereerimiseks
Falcon-180B suudab genereerida ja teisendada teksti, sealhulgas koodiga seotud teksti, ning mudeli treeningandmestik sisaldas koodi- ja tehnilisi allikaid. Esitatud uuring ei paku siiski ametlikku arutlemise või koodi genereerimise võrdlustesti ega teenusepakkuja garantiid usaldusväärse tarkvaraarenduse jõudluse kohta. Seetõttu tuleks arutlemise või koodi kvaliteeti hinnata rakendusepõhise testina, mitte eeldada seda parameetrite arvu põhjal.
Ka baasmudeli ülesehitus mõjutab neid kasutusviise. Koodi lõpetamiseks, teksti jätkamiseks või peenhäälestatud domeeniteksti genereerimiseks võib baasmudel olla kasulik. Repositooriumitaseme kodeerimisabi, struktureeritud muudatuste, tööriistapõhise silumise või usaldusväärse mitmeastmelise arutlemise jaoks võib dokumenteeritud tööriistatoega spetsiaalselt juhiseid järgima häälestatud mudelit olla lihtsam kasutada.
Piirangud ja riskid
Falcon-180B-d treeniti suures osas veebist pärineva materjaliga ning see võib korrata andmetes esinevaid faktivigu, kallutatust, stereotüüpe ja ohtlikke mustreid. Ei tohiks eeldada, et see esitab kontrollitud fakte või ohutuid nõuandeid või keeldub päringutest järjepidevalt. Tootmissüsteemid vajavad hindamist, väljundite filtreerimist, juurdepääsukontrolle, seiret ja ülesandespetsiifilisi turvapiiranguid.
Praktiliselt tuleb arvestada ka mudeli vanusega. See on suure avatud kaaludega kontrollpunktina endiselt ajalooliselt oluline, kuid uuemad mudeliperekonnad võivad pakkuda pikemaid kontekstiaknaid, paremat juhiste järgimist, väiksemaid järeldamiskulusid, multimodaalseid sisendeid või küpsemat majutatud tööriistastikku. Esitatud dokumentatsioonis ei ole Falcon-180B kohta avaldatud ka konkreetset teadmiste lõppkuupäeva, mistõttu ei tohiks kasutajad eeldada täpselt määratletud ajakohasuse piiri.
Millal valida Falcon-180B?
Vali Falcon-180B siis, kui vajad suurt allalaaditavat ainult tekstipõhist baasmudelit uurimiseks, kontrollitud isehostimiseks, mudeli kohandamiseks või domeenipõhiseks peenhäälestuseks ning sul on juurdepääs ulatuslikule GPU-taristule. See on eriti asjakohane organisatsioonidele, kes väärtustavad kontrolli mudeli juurutamise üle ja suudavad toime tulla väga suure kontrollpunkti käitamisega seotud arendustööga.
Kaalu muud võimalust, kui vajad väikese kuluga või kerget juurutust, pikka kontekstiakent, viimistletud vestluskogemust, algupärast multimodaalset töötlust, sisseehitatud tööriistu, usaldusväärset struktureeritud väljundit või hallatavat API-t läbipaistva tokenipõhise hinnastusega. Falcon-180B peamine valikuargument ei ole mugavus, vaid avatud kaaludele juurdepääsu, suure mastaabi ja litsentsi alusel mudeli kohandamise võimaluse kombinatsioon.
Kokkuvõte
Falcon-180B on mahukas avatud kaaludega keelemudeli kontrollpunkt, mitte kõikehõlmav majutatud assistent. Selle 180 miljardi parameetri suurune mastaap, keskendumine mitmekeelsele tekstile ja kohandamisvõimalused muudavad selle asjakohaseks uurimistööks ja tõsise taristuga organisatsioonidele. Selle 2 048 tokeni pikkune kontekst, suur mälunõue, baasmudeli käitumine, praeguse ametliku majutatud API puudumine ja dokumenteeritud algupäraste tööriistade puudumine muudavad selle halvasti sobivaks kergetele rakendustele ja kohe kasutatavatele vestlustoodetele.