Falcon3-3B-Instruct

Mis on Falcon3-3B-Instruct?

Falcon3-3B-Instruct on Technology Innovation Institute'i (TII) välja töötatud juhiste järgi häälestatud ainult dekooderiga põhjuslik keelemudel. See kuulub Falcon3 mudeliperre ja sisaldab ligikaudu 3 miljardit parameetrit. Praktikas on see loodud teksti ennustamiseks ja genereerimiseks loomulikus keeles antud juhiste järgimise kaudu, mitte lihtsalt struktureerimata tekstilõigu jätkamiseks.

Mudel on Hugging Face'i kaudu saadaval avatud kaaludega kontrollpunktina TII Falcon-LLM License 2.0 litsentsi alusel. See erineb tavapärase majutatud vestlusroboti tellimuse kasutamisest: kasutajad saavad kaalud alla laadida ja mudelit ühilduva tarkvara abil käitada, järgides litsentsi tingimusi ning arvestades järelduseks vajalikku riistvara. TII ei avalda selle kontrollpunkti jaoks ametlikku sisend- ega väljundmärgi põhist hinda.

Falcon3-3B-Instruct on TII Falcon3 seeria üks väiksemaid ja hõlpsamini juurutatavaid mudeleid. See on mõeldud arendajatele, teadlastele ja organisatsioonidele, kes soovivad mitmekeelset tekstimudelit, mida nad saavad ise käitada või oma süsteemidega integreerida, sõltumata täielikult varalisest kasutuspõhiselt hinnastatavast lõpp-punktist.

Põhiandmed

Mudeli maksimaalne konteksti pikkus on 32 000 tokenit. Token on keelemudeli töödeldav tekstiosa; olenevalt keelest ja vormindusest võib see tähistada sõnaosa, terviklikku lühikest sõna, kirjavahemärki või muud tekstifragmenti. 32K kontekstiaken võimaldab mudelile edastada suhteliselt pikki juhiseid, dokumente või vestlusajalugu, kuid kasutatav ruum tuleb juurutustarkvara kohaselt jagada sisendteksti ja genereeritava vastuse vahel.

Uurimismaterjalides ei ole määratud pakkuja avaldatud teadmiste lõppkuupäeva ega kindlat maksimaalset väljundtokenite arvu. Neid väärtusi ei tohiks tuletada 32K konteksti pikkusest. Tegelikus juurutuses võib saadaolev väljundi pikkus sõltuda ka järeldusmootorist, mälupiirangutest, kvantimisest ja juba edastatud konteksti mahust.

Arhitektuur ja treenimisviis

Falcon3-3B-Instruct kasutab Transformeril põhinevat ainult dekooderiga arhitektuuri. Avaldatud kirjelduse kohaselt sisaldab selle ülesehitus 22 dekoodriplokki, grupeeritud päringutega tähelepanu 12 päringupäise ja 4 võtme-väärtusepeaga, 256-mõõtmelist tähelepanupäist, SwiGLU aktiveerimisfunktsioone, RMSNormi ning ligikaudu 131 000 tokeni suurust sõnavara.

Grupeeritud päringutega tähelepanu kasutab päringupäistest vähem võtme-väärtusepäid. See võib vähendada genereerimise ajal vajalikku mälu ja arvutusmahtu, säilitades samal ajal viiba töötlemiseks mitu tähelepanurada. Kasutaja jaoks tähendab see praktiliselt, et arhitektuur sobib tõhusaks järelduseks, kuigi tegelik kiirus sõltub endiselt suurel määral riistvarast, tarkvarast, kvantimisest ja teeninduse konfiguratsioonist.

TII andmetel kärbiti mudelit ja seejärel taastati see mudelist Falcon3-7B-Base, kasutades 100 gigatokenit veebi-, koodi-, STEM-i, kvaliteetset ja mitmekeelset andmestikku. Avaldatud treeningujärgses etapis kasutati ligikaudu 1,2 miljonit näidet, mis hõlmasid STEM-i, vestlusi, koodi, ohutust ja funktsioonikutsete andmeid. Need on pakkuja avaldatud treeninguandmed, mitte igas valdkonnas garanteeritud jõudlus.

Mida mudel teha suudab?

Falcon3-3B-Instruct on peamiselt tekstisisendi ja tekstiväljundiga mudel. See võtab vastu tekstipäringuid ja genereerib tekstivastuseid. Selle kavandatud kasutusvaldkonnad hõlmavad juhiste järgimist, vestlusabi, lihtsamat arutlemist, matemaatikat, programmeerimist, mitmekeelset genereerimist ning funktsioonikutsete vormindamist või käitumist.

• Juhiste järgimine: See suudab teisendada loomulikus keeles esitatud päringu vastuseks, selgituseks, kokkuvõtteks, liigituseks või muuks tekstivastuseks.
• Vestlus: Juhiste järgi häälestamine toetab vestlusrobotilaadset suhtlust, sealhulgas mitme vooruga vestlusi olemasoleva konteksti piires.
• Programmeerimine: See suudab koodi genereerida, selgitada ja muuta, eriti piiritletud või lihtsamate programmeerimisülesannete puhul. Koodi kvaliteeti tuleb kontrollida, mitte eeldada.
• Matemaatika ja arutlemine: Mudel on mõeldud valitud STEM-i ja arutlusülesannete lahendamiseks, kuid väiksem suurus tähendab, et keerukad mitmeastmelised probleemid võivad vajada kontrollimist või väliseid tööriistu.
• Mitmekeelne tekst: Avaldatud keelevalik hõlmab inglise, prantsuse, hispaania ja portugali keelt.
• Funktsioonikutsete töövood: Treeninguandmed sisaldavad funktsioonikutsete näiteid, mistõttu saab mudelit kasutada töövoogudes, kus see pakub rakenduse funktsioonidele struktureeritud kutseid. See on mudeli käitumine ja treeningu tugi, mitte varaline majutatud tööriista-API.

TII avaldatud võrdlustes sai mudel loetletud GSM8K viie näitega hindamises tulemuseks 74,8, EvalPlusi hindamises 52,9 ja esitatud BFCL AST keskmises 59,3. Need näitajad kirjeldavad konkreetseid hindamisseadeid ja neid ei tohiks käsitada universaalsete täpsusmõõdikutena. Samuti ei kaota need vajadust rakendusepõhise testimise järele, eriti juhul, kui genereeritud kood, matemaatilised vastused või funktsioonikutsed võivad kaasa tuua olulisi tagajärgi.

Modaalsused, struktureeritud väljund ja tööriistad

Hoolimata Falconi laiema ökosüsteemi tööst nägemise, OCR-i, heli ja videoga, on Falcon3-3B-Instruct ise ainult tekstipõhine. See ei võta algupäraselt vastu pilte, heli ega videot ega genereeri pilte, heli, videot, muusikat ega muud mittetekstilist meediat.

Mudelil ei ole dokumenteeritud esmapoole veebotsingu- ega sirvimisvõimalust. See ei saa vastust iseseisvalt ajakohase veebiteabega siduda, välja arvatud juhul, kui arendaja edastab sellele hangitud teksti või ühendab selle välise otsingusüsteemiga. Samamoodi tuleb funktsioonikutsete tuge käsitada rakenduse korraldatava võimalusena: arendaja vastutab saadaolevate funktsioonide määratlemise, mudeli pakutud argumentide valideerimise, kutsete turvalise täitmise ja tulemuste mudelile tagastamise eest.

Esitatud uurimismaterjalides ei tuvastatud pakkuja avaldatud eraldi JSON-režiimi ega garanteeritud struktureeritud väljundi lepingut. Juurutus võib võimaldada väljundit piirata järeldusraamistiku, viipade, grammatika tööriistade või rakendusekoodi abil, kuid neid funktsioone ei tohiks segi ajada mudelitaseme garantiiga.

Juurutus, kiirus ja kulude kompromissid

Mudeli kaalud saab Hugging Face'ist alla laadida ja Transformersiga laadida, kasutades dokumenteeritud AutoTokenizeri ja AutoModelForCausalLM-i lahendust. Mudelikaardil nimetatakse ka juurutusviise, mis hõlmavad vLLM-i, SGLangi, Docker Model Runnerit ja ühilduvaid kohalikke rakendusi. Need võimalused muudavad Falcon3-3B-Instructi sobivaks isemajutatud järelduseks, privaatseteks katseteks, kvanditud juurutusteks ja rakendusteks, mis vajavad teeninduskeskkonna üle suuremat kontrolli.

3 miljardi parameetriga mudel vajab üldjuhul töötamiseks vähem ressursse kui palju suurem mudel, kuid esitatud uurimismaterjalides ei ole täpset riistvaranõuet määratud. Jõudlus sõltub muu hulgas arvulisest täpsusest, kvantimisest, pakisuurusest, viiba pikkusest, kiirendi tüübist ja järeldusmootorist. TII arhitektuurivalikud sobivad tõhusaks genereerimiseks, kuid mudeli väiksem mastaap loob võimekuse kompromissi: selle käitamine võib olla suuremast mudelist kiirem ja odavam, kuid keerulise arutlemise, laiapõhjaliste teadmiste, nüansirikka juhiste järgimise või koodi genereerimise puhul ei pruugi see suuremate süsteemidega samale tasemele jõuda.

Falcon3-3B-Instructi jaoks ei ole ametlikku majutatud märgipõhist hinda. Seetõttu ei ole mudeli otsene kulu tellimustasu ega avaldatud API-hind. Selle asemel maksavad käitajad kaudselt riistvara, pilvearvutuse, salvestusruumi, elektri ning arenduse või majutuse eest. Kui kontrollpunkti kasutatakse kolmanda osapoole teenuse kaudu, võib see teenusepakkuja küsida oma kasutuspõhist tasu, mis on TII mudeli hinnast eraldi.

Peamised tugevused ja piirangud

Tugevused

• Väike avatud kaaludega mudel: Ligikaudu 3 miljardi parameetriga suurus sobib ressursiteadlikuks katsetamiseks ja kohalikuks juurutuseks.
• Selle klassi kohta pikk kontekst: 32K tokeni pikkune kontekstiaken mahutab ulatuslikke viipasid, lähtefaile või vestlusajalugu.
• Mitmekeelne ulatus: Inglise, prantsuse, hispaania ja portugali keel on sõnaselgelt toetatud.
• Lai tekstipõhiste ülesannete valik: Mudel on treenitud vestluste, programmeerimise, STEM-i, ohutuse ja funktsioonikutsetega seotud ülesannete jaoks.
• Juurutuse paindlikkus: Kasutajad saavad kasutada Transformersi ja muid dokumenteeritud teenindustööriistu, selle asemel et sõltuda ühest esmapoole rakendusest.
• Sõltumatus majutatud märgiteenusest: Avatud kaaludega kontrollpunkti saab integreerida kontrollitud keskkonda, järgides litsentsi- ja töökorralduslikke piiranguid.

Piirangud

• Madalam lagi kui suurematel mudelitel: 3 miljardi parameetriga mudel ei asenda piiriesinduslikku süsteemi nõudliku arutlemise, keeruka programmeerimise ega ulatusliku faktipõhise töö puhul.
• Ainult tekstipõhine: See ei saa otse analüüsida pilte, heli ega videot.
• Puudub sisseehitatud juurdepääs ajakohasele teabele: Dokumenteeritud esmapoole veebotsingut ega otsingupõhist teabega sidumist ei ole.
• Väljundipiirang pole määratud: Kontekstiaken on teada, kuid ametlikku maksimaalset genereeritavate tokenite arvu ei tuvastatud.
• Töökorralduslik vastutus: Isemajutus nõuab kasutajatelt riistvara valimist, teenindustarkvara seadistamist, töökindluse jälgimist ja ohutuskontrollide rakendamist.
• Litsents tuleb üle vaadata: Kommerts- ja majutatud juurutusi tuleb kontrollida TII Falcon-LLM License 2.0 ning kohaldatavate aktsepteeritava kasutuse nõuete suhtes.

Esitatud võrdlusskoorid arutlemise, programmeerimise, kiiruse ja kulude kohta on toimetuslikud hinnangud, mitte TII avaldatud reitingud. Need võivad anda üldise positsioneerimise jaoks kasulikku teavet, kuid ei tohiks asendada testimist konkreetse rakenduse viipade, keelte, latentsuseesmärkide ja ohutusnõuetega.

Millal valida Falcon3-3B-Instruct?

Vali Falcon3-3B-Instruct siis, kui prioriteediks on allalaaditav mitmekeelne tekstimudel, mida saab oma kontrolli all käitada ning kasutada tavapärase vestluse, kokkuvõtete, lihtsama programmeerimise, matemaatika või rakendusepõhiste juhiste töövoogude jaoks. See on eriti atraktiivne juhul, kui meeskond soovib kohapeal katsetada, vähendada sõltuvust varalisest API-st või juurutada väiksema mudeli olukorras, kus latentsus ja arvutusressursside eelarve on olulised.

See võib olla mõistlik lähtekoht ka prototüüpidele, mis ühendavad keelemudeli rakenduse funktsioonidega. Ümbritsev tarkvara peaks siiski kontrollima iga genereeritud kutset ja rakendama õigusi, mitte lubama mudelil suvalisi toiminguid täita.

Suurem mudel võib olla sobivam siis, kui ülesanne nõuab keerukat mitmeastmelist arutlemist, suurt töökindlust tundmatutel teemadel, täiustatud tarkvaraarendust või juhiste täpsemat järgimist. Hallatav kommertsmudel võib olla eelistatum, kui organisatsioon vajab toetatud majutatud API-t, prognoositavat teenusehaldust, sisseehitatud jälgimist või dokumenteeritud struktureeritud väljundi garantiid. Piltide, heli või video sisendi jaoks on vaja multimodaalset mudelit. Ajakohaste faktide puhul tuleks Falcon3-3B-Instruct ühendada otsingu või muu kontrollitud teabeallikaga, mitte käsitada seda veebiga ühendatud assistendina.

Kokkuvõte

Falcon3-3B-Instructi on kõige õigem käsitada kompaktse avatud kaaludega mitmekeelse keelemudelina, mitte täieliku tarbijaassistendi või täielikult hallatava API-tootena. Ligikaudu 3 miljardi parameetri, 32K tokeni pikkuse kontekstiakna, juhiste järgi häälestamise ja isemajutuse võimaluste kombinatsioon annab arendajatele praktilise viisi tekstipõhiste rakenduste loomiseks suhteliselt tagasihoidlike ressursinõuetega. Kompromiss on selge: kasutajad saavad juurutuse üle kontrolli ja võivad saavutada väiksemad käituskulud, kuid peavad leppima suurematest mudelitest väiksema võimekusega ning vastutama majutuse, hindamise, ohutuse ja väliste tööriistade integreerimise eest.