Mis on Falcon3-3B-Base?
Falcon3-3B-Base on Technology Innovation Institute'i (TII) välja töötatud 3 miljardi parameetriga autoregressiivne keelemudel. See avaldati 2024. aasta detsembris Falcon3 mudeliperekonna osana. Perekonda kuuluvad nii baas- kui ka juhiste järgi häälestatud mudelid mitmes suuruses.
Autoregressiivne keelemudel genereerib teksti, ennustades eelmisele tekstile tuginedes järgmist tokenit. Praktikas võib Falcon3-3B-Base jätkata tekstilõiku, genereerida vastuse laadse jätku, teksti teisendada või olla spetsialiseeritud mudeli lähtekohaks. See ei ole aga sama mis valmis vestlusassistent. Baasversiooni ei ole optimeeritud järjepidevaks juhiste järgimiseks ega vestluskäitumiseks, mida seostatakse juhiste järgi häälestatud mudeliga.
TII levitab mudelit avatud kaaludena oma Hugging Face'i repositooriumi kaudu. See annab arendajatele võimaluse mudel alla laadida, seda ühilduva avatud lähtekoodiga järeldustarkvara abil käitada ja oma rakenduste jaoks kohandada, järgides TII Falcon-LLM License 2.0 litsentsi ning muid kohaldatavaid piiranguid.
Falcon3 mudeliperekonna kontekst
Falcon3-3B-Base on 3 miljardi parameetriga Falcon3 mudeli vundamendimudel. Selle roll erineb juhiste järgi häälestatud sõsarmudeli, näiteks Falcon3-3B-Instructi omast: baasmudel on mõeldud kohandamiseks ja kontrollitud tekstigeneratsiooni katseteks, samas kui tavaliste kasutajavestluste jaoks on juhiste järgi häälestatud mudel üldjuhul sobivam lähtekoht.
Seda erinevust tuleb mudeli hindamisel arvesse võtta. Baasmudelist võib olla kasu jätkuõppe, juhendatud peenhäälestuse, valdkonnaga kohandamise või kohandatud genereerimistorustike puhul, kuid seda ei tohiks hinnata üksnes selle järgi, kas see käitub kohe pärast allalaadimist viimistletud vestlusrobotina.
Arhitektuur ja treenimisandmed
Falcon3-3B-Base kasutab ainult dekooderiga Transformeri arhitektuuri, mis ühildub Transformersi ökosüsteemis kasutatava Llama mudeli teostusega. Dokumenteeritud konfiguratsioon sisaldab 22 dekooderiplokki, 3072-mõõtmelist peitruumi, grupeeritud päringutähelepanu (grouped-query attention), SwiGLU-aktiveerimist, RMSNormi ja ligikaudu 131 000 tokenist koosnevat sõnavara.
Grupeeritud päringutähelepanu kasutab päringupäistest vähem võtme-väärtuse päiseid. Selles konfiguratsioonis on mudelil 12 päringupäist ning 4 võtme-väärtuse päist. Võrreldes lahendusega, kus iga päringupäise jaoks on eraldi võtme-väärtuse päis, võib see arhitektuur vähendada tähelepanuarvutuseks vajalikku mälu ja arvutuskoormust. See on oluline kompaktse mudeli tõhusal serveerimisel.
TII mudeliinfo kohaselt kärbiti Falcon3-3B-Base mudel Falcon3-7B-Base mudelist ja taastati seejärel, kasutades teadmiste destilleerimise eesmärki. Mudelit treeniti ligikaudu 100 gigatokeni abil. Teadaolevalt hõlmas treeningandmete segu veebi-, koodi-, STEM-, kvaliteetset ja mitmekeelset sisu. Need on teenusepakkuja või mudelikaardi kirjeldused treeninguprotsessi kohta ega taga, et mudel toimib kõigis hilisemates ülesannetes võrdselt hästi.
Toetatud keeled ja konteksti piirang
Mudelikaardil nimetatakse toetatud keeltena inglise, prantsuse, hispaania ja portugali keelt. See teeb Falcon3-3B-Base'ist võimaliku valiku mitmekeelseks genereerimiseks ja kohandamiseks rakendustes, kus need keeled on kesksel kohal.
TII dokumenteerib konteksti pikkuseks 8K, mis tähendab, et rakendused peaksid toetatud sisendkonteksti ettevaatlikult käsitlema ligikaudu 8192 tokenina. Token on tekstifragment, mitte alati terve sõna, seega sõltub praktiline tekstihulk, mis konteksti mahub, keelest ja sisust. Repositooriumi konfiguratsioonis on avalikustatud suurem max_position_embeddings väärtus 32 768, kuid seda konfiguratsiooniväärtust ei tohiks automaatselt pidada kinnitatud tööpiiriks. Mudelikaardil toodud 8K on turvalisem dokumenteeritud piirang, välja arvatud juhul, kui konkreetset juurutust on testitud.
Esitatud ametlikest allikatest ei leitud autoriteetset, konkreetselt selle mudeliga seotud teadmiste lõppkuupäeva. Samuti ei ole dokumenteeritud majutatud teenuse maksimaalset väljundtokenite arvu. Väljundi pikkus sõltub serveerimisraamistikust, allesjäänud kontekstimahust ja juurutuse seadetest.
Võimekused ja modaalsused
Falcon3-3B-Base on tekstimudel. See võtab vastu tekstisisendit ja väljastab teksti. Mudel ei toeta algupäraselt pilte, heli ega videot sisendina ning ei genereeri algupäraselt pilte, heli ega videot.
- Tekstisisend: toetatud.
- Tekstiväljund: toetatud.
- Pildi-, heli- ja videosisend: algupäraselt ei ole toetatud.
- Pildi-, heli- ja videoväljund: algupäraselt ei ole toetatud.
- Algupärane tööriista- või funktsioonikutse: selle baasmudeli puhul ei ole dokumenteeritud.
- Struktureeritud väljundi jõustamine: eraldi garanteeritud JSON-režiimi ei ole dokumenteeritud.
Rakendused saavad tekstimudeli ümber siiski väliseid tööriistu luua, tõlgendades genereeritud teksti ja ühendades selle rakenduse koodiga, kuid see on orkestreerimiskiht, mitte Falcon3-3B-Base'i algupärane võimekus. Arendajad, kes vajavad töökindlaid funktsioonikutsed, skeemiga piiratud vastuseid või multimodaalset sisendit, peaksid valima mudeli ja serveerimisplatvormi, mis neid funktsioone selgesõnaliselt pakuvad.
Ootused arutlus- ja kodeerimisvõimele
Esitatud uuringu kohaselt hinnati mudelit keele mõistmise, arutlemise, matemaatika ja koodiga seotud ülesannete põhjal. Seetõttu saab seda kasutada neid valdkondi hõlmavates katsetes, kuid seda ei tohiks esitleda tipptasemel arutlusmudeli ega spetsiaalse kodeerimismudelina.
Toimetuslik võrdlev hinnang annab arutlus- ja kodeerimisoskusele hindeks 5 punkti 10-st. Need on subjektiivsed hinnangud, mitte teenusepakkuja avaldatud võrdlustulemused. Need viitavad keskmisele ootusele: mudel võib olla kasulik kompaktsete keele-, koodi- ja arutlusülesannete puhul, eriti pärast peenhäälestust, kuid rakendused, mis vajavad järjepidevalt sügavat arutlemist, väga töökindlat koodigeneratsiooni või keerukat autonoomset planeerimist, võivad vajada suuremat või spetsialiseeritumat mudelit.
Kuna Falcon3-3B-Base on eeltreenitud, mitte juhiste järgi häälestatud, on viipade koostamise viis oluline. Hoolikalt kujundatud viip võib anda kasulikke jätke, kuid loomulikus keeles antud käskude järjepidevat täitmist ei tohiks eeldada ilma täiendava järeltreenimiseta.
Juurutamine, kiirus ja maksumus
Falcon3-3B-Base on saadaval allalaaditavate BF16-vormingus safetensors-kaaludena. Väiksema mälukasutusega juurutuste jaoks on viidatud ka kvantiseeritud variantidele. Tegelik riistvaravajadus sõltub täpsusest, kvantiseerimisest, pakisuurusest, konteksti pikkusest ja samal ajal töödeldavate päringute arvust.
Selle 3 miljardi parameetri suurus on peamine praktiline põhjus, miks seda suuremale keelemudelile eelistada. Väiksemad mudelid vajavad üldjuhul vähem ressursse ning neid võib olla lihtsam käitada kohalikus või servaarvutuse taristus, kuigi täpne kiirus ja mälukasutus sõltuvad riistvarast ja järelduskonfiguratsioonist. Toimetuslik kiirusehinne on 8 punkti 10-st ja kuluhinne 9 punkti 10-st; need on võrdlevad hinnangud, mitte TII avaldatud mõõtmised ega garantiid.
Esitatud uuringus ei ole mudelile toodud ametlikku majutatud API hinnakirja. Kaalud saab alla laadida ja mudelit ise majutada, kuid isemajutus ei ole tasuta: kasutaja vastutab riistvara, salvestusruumi, elektri, arenduse ja operatiivse hoolduse eest. Ühilduvate serveerimisraamistike hulka kuuluvad Transformers, vLLM ja SGLang. Sellised serveerimisraamistikud võivad pakkuda voogedastust, kuid see ei ole Falcon3-3B-Base'i eraldiseisev ametliku majutatud teenusepakkuja API funktsioon.
Oluline on ka litsents. Mudel on välja antud TII Falcon-LLM License 2.0 alusel, mistõttu peaksid organisatsioonid enne ärilist kasutamist, levitamist, peenhäälestamist või jagatud majutatud teenuse pakkumist litsentsi üle vaatama. Allalaaditavate kaalude olemasolu ei vabasta vajadusest neid tingimusi kontrollida.
Peamised tugevused ja piirangud
Tugevused
- Kompaktne avatud kaaludega vundamendimudel: 3 miljardi parameetri suurus võib olla praktiline kohalikeks katseteks ja piiratud ressurssidega juurutuseks.
- Kohandatavus: Baasmudeli vorm sobib jätkuõppeks, juhendatud peenhäälestuseks ja valdkonnapõhiseks kohandamiseks.
- Mitmekeelne tugi: TII nimetab toetatud keeltena inglise, prantsuse, hispaania ja portugali keelt.
- Avatud juurutusvõimalused: Allalaaditavad kaalud võimaldavad organisatsioonidel valida oma järeldusraamistiku ja taristu.
- Tõhusaks serveerimiseks sobiv arhitektuur: Grupeeritud päringutähelepanu ja mudeli kompaktne suurus võivad võrreldes suuremate mudelitega toetada väiksema ressursivajadusega järeldust, sõltuvalt riistvarast ja konfiguratsioonist.
Piirangud
- Ei ole valmisassistent: See on toores eeltreenitud mudel, mitte juhiseid järgiv vestlustoode.
- Algupärane multimodaalsus puudub: Pildid, heli ja video ei kuulu mudeli dokumenteeritud algupäraste sisend- ega väljundvõimekuste hulka.
- Ametlik majutatud hinnakiri ja teenusegarantii puuduvad: Kasutajad peavad korraldama oma juurutuse või leidma sobiva kolmanda osapoole serveerimislahenduse.
- Ettevaatlikult hinnatav konteksti piirang: TII dokumenteerib 8K konteksti, kuigi repositooriumi konfiguratsioonis esineb suurem positsioonidega seotud väärtus.
- Dokumenteeritud algupärased tööriistad ja garanteeritud struktureeritud väljund puuduvad: Vajaduse korral tuleb funktsioonikutsed, veebiotsing ja jõustatud JSON-vastused lisada väliselt.
- Litsents tuleb üle vaadata: Falcon-LLM License 2.0 võib mõjutada ärilisi, edasi levitatavaid või jagatud majutusega juurutusi.
Parimad kasutusjuhtumid
Falcon3-3B-Base on mõistlik valik siis, kui eesmärk on mudelit juhtida või kohandada, mitte lihtsalt vestlusaken avada. Sobivate projektide hulka kuuluvad:
- Mitmekeelse mudeli peenhäälestamine konkreetse äri- või uurimisvaldkonna jaoks.
- Kompaktsete tekstigeneratsiooniteenuste loomine inglise, prantsuse, hispaania või portugali keeles.
- Jätkuõppe, viibavormingute või mudeli kohandamise katsetamine.
- Kohaliku järelduse käitamine olukorras, kus suurem mudel oleks tarbetult kallis või raskesti juurutatav.
- Servaarvutusele suunatud või ressursiteadlike rakenduste loomine, mis vajavad peamiselt teksti töötlemist ja genereerimist.
- Uuringud, mis käsitlevad autoregressiivset keelemudeldamist, mitmekeelset genereerimist, koodi, matemaatikat või keele mõistmist.
Näiteks võiks arendaja kohandada mudelit järjepidevate tehnilise dokumentatsiooni kavandite genereerimiseks, mitmekeelse teksti klassifitseerimiseks või teisendamiseks või valdkonnapõhiste jätkude loomiseks. Sellised rakendused peaksid sisaldama hindamist ja väljundi juhtimist, mitte eeldama, et baasmudel järgib alati juhiseid või annab faktiliselt usaldusväärseid tulemusi.
Millal valida Falcon3-3B-Base?
Vali Falcon3-3B-Base siis, kui allalaaditavad kaalud, kohandatavus ja suhteliselt tõhus kohalik järeldus on tähtsamad kui kohe kasutusvalmis assistendi käitumine. See on eriti atraktiivne juhul, kui rakenduse meeskond suudab mudelit peenhäälestada või muul viisil kohandada ning soovib vältida sõltuvust majutatud API-st.
Vali selle asemel juhiste järgi häälestatud mudel, kui kasutajad vajavad tavapärast vestlust, loomulikus keeles antud käskude selgemat järgimist või lühemat teed toimiva assistendini. Vali suurem või spetsialiseeritum mudel, kui rakendus sõltub tugevamast arutlusest, täiustatud kodeerimise töökindlusest, pika konteksti töötlemisest, algupärasest multimodaalsest suhtlusest või töökindlatest tööriistakutsetest. Falcon3 perekonnas tuleks baasmudelit käsitleda kohandatava alusena, mitte vaikimisi valikuna lõppkasutajate vestluste jaoks.
Üldjoontes on Falcon3-3B-Base kõige paremini mõistetav kui kompaktne avatud kaaludega ehitusplokk. Selle väärtus tuleneb mõõduka suuruse, mitmekeelse toe, allalaaditavate kaalude ja peenhäälestuspotentsiaali kombinatsioonist. Vastutasuks peab arendaja ise pakkuma suure osa assistendi käitumisest, serveerimistaristust, hindamisest ja rakenduse integratsioonist, mille majutatud vestlustoode tavaliselt valmis kujul kaasa annab.