Falcon3-1B-Base

Mis on Falcon3-1B-Base?

Falcon3-1B-Base on Technology Innovation Institute'i (TII) välja töötatud eeltreenitud ainult dekooderiga põhjuslik keelemudel. Põhjuslik keelemudel genereerib teksti, ennustades jadas järgmist token'it, mistõttu sobib see teksti lõpetamiseks, keelemudeldamiseks ning kohandamiseks eriotstarbeliste ülesannete jaoks.

Mudel kuulub TII avatud mudelite Falcon3 perekonda. Perekond hõlmab mitmes suuruses baas- ja juhiste järgi häälestatud variante, kuid Falcon3-1B-Base on konkreetselt algne eeltreenitud 1 miljardi parameetriga kontrollpunkt. Seda ei esitleta kohe kasutusvalmis vestlusassistendina. Selle asemel pakub see alust, mida arendajad saavad edasi treenida, märgendatud näidete abil peenhäälestada või teadus- ja valdkonnapõhiste rakenduste jaoks kohandada.

Kontrollpunkti levitatakse Hugging Face'i kaudu TII Falcon-LLM License 2.0 litsentsi alusel. Mudeliga kaasas olevates materjalides on väljalaskeajaks märgitud detsember 2024. Selle kontrollpunktiga ei ole seotud ametlikku majutatud API hinda; kasutajad hangivad tavaliselt kaalud ja käitavad mudelit enda taristus või ühilduva majutusteenuse kaudu.

Milline on selle koht Falcon3 perekonnas?

Falcon3-1B-Base paikneb Falcon3 mudelisarja väiksemas ja tõhususele suunatud otsas. Selle peamine erinevus ei seisne tarbijatele mõeldud funktsioonides, vaid mudeli suuruse, mitmekeelse toe ja kohandatavuse tasakaalus. Võrreldes suuremate keelemudelitega vajab 1 miljardi parameetriga kontrollpunkt katsetamiseks ja kohalikuks järeldamiseks üldjuhul vähem arvutusressursse, kuigi tegelik mälukasutus sõltub endiselt täpsusest, jada pikkusest, pakkide suurusest ja teenindusraamistikust.

„Base“ ehk baasnimetus on oluline. Juhiste järgi häälestatud mudelid treenitakse käskudele etteaimatavamalt ja assistendilaadsemas vormis vastama. Kaasasolevate materjalide põhjal ei ole Falcon3-1B-Base seda viimast spetsialiseerumisetappi läbinud. See võib teksti jätkata või viipa tõhusalt edasi arendada, kuid päringud nagu „tee sellest dokumendist kokkuvõte“ või „kirjuta Pythoni funktsioon“ ei pruugi ilma täiendava kohandamiseta anda järjepidevalt vormindatud vastust.

Kontrollitud tehnilised näitajad

4096 token'i pikkune kontekstiaken on mudeli kohta esitatud maksimaalne konteksti spetsifikatsioon. Kontekst hõlmab nii sisendviipa kui ka teksti, mida mudelil palutakse töödelda, mistõttu sobib see paremini lühikeste dokumentide, fokuseeritud viipade ja tavapäraste teksti lõpetamise töökoormuste kui väga pikkade aruannete või suurte koodibaaside jaoks. Mudelipõhist maksimaalset väljundtoken'ite piirangut läbi vaadatud materjalides ei avaldatud; tegelikku väljundi pikkust piiravad kontekstiaken ja valitud järeldamiskonfiguratsioon.

Võimekus ja toetatud modaalsused

Falcon3-1B-Base on ainult tekstipõhine mudel. See võtab vastu tekstisisendit ja toodab tekstiväljundit. See ei toeta algupäraselt pilte, heli ega videot ega genereeri pilte, heli ega videot. TII Falconi ökosüsteemi laiemat multimodaalset võimekust ei tohiks sellele konkreetsele kontrollpunktile omistada.

Mudeli materjalides kirjeldatakse seda keele mõistmise, teksti genereerimise, programmeerimise, matemaatika, arutlemise ja juhiste järgimise uurimiseks pärast sobivat kohandamist. Need kirjeldused osutavad kavandatud teadus- ja rakendusvaldkondadele, mitte garantiile, et algne kontrollpunkt käitub kohe kasutusvalmis programmeerimisassistendi või arutlussüsteemina.

Programmeerimise puhul saab mudelit kasutada koodi lõpetamise katsetes, valdkonnapõhises kohandamises ja programmeerimisandmestikel peenhäälestamises. Selle suhteliselt väike suurus võib olla kasulik siis, kui latentsus, mälu või juurutamise hind on olulisem kui võimalikult kõrge koodi genereerimise kvaliteet. Arutlemise ja matemaatika puhul võib see olla teadustöö alus või peenhäälestuse lähtekoht, kuid kaasasolev uurimistöö ei esita võrdlustulemusi, mis kinnitaksid kindlat jõudlustaset.

Selle kontrollpunkti puhul ei ole kontrollitud algupärast tööriistade kasutamist, funktsioonikutseid, veeb otsingut, sirvimist, koodi käitamist ega struktureeritud väljundi režiimi. Arendajad võivad isemajutatava mudeli ümber ehitada välise rakendusloogika, kuid seda ei tohiks segi ajada pakkuja määratletud tööriistakasutuse võimekusega. Samuti võivad teenindusraamistikud, nagu vLLM või SGLang, voogedastust toetada, kuid see on juurutusfunktsioon, mitte eraldiseisev arutlemis- või mudelivõimekus.

Juurutamise ja järeldamise võimalused

Falcon3-1B-Base'i saab laadida Hugging Face Transformersi teegi abil, kasutades mudeli tokeniseerijat ja põhjusliku keelemudeli klasse. Ametlikes kasutusmaterjalides kirjeldatakse selle teenindamist ka vLLM-i ja SGLangi abil OpenAI-ga ühilduvate lõpetamise lõpp-punktide kaudu. Need võimalused lubavad kasutada kontrollpunkti kohalikes katsetes, isemajutatavates rakendustes ja kohandatud järeldamisteenustes.

bfloat16 safetensors-vormingus jaotus on mõeldud tänapäevase riistvara ja ühilduva tarkvara jaoks. Väiksem mudel ei tähenda automaatselt, et seda saab mugavalt käitada igas sülearvutis: mälunõuded sõltuvad sellest, kas kaalud säilitatakse bfloat16-vormingus, teisendatakse mõnda teise täpsusvormingusse, kvantiseeritakse või laaditakse koos muude rakenduse komponentidega. Läbi vaadatud materjalid ei määra üht kindlat minimaalset riistvaranõuet, mistõttu tuleks juurutamisotsuseid katsetada kavandatud pakkide suuruse, jada pikkuse ja vastusekiiruse alusel.

Isemajautamine muudab ka kulumudelit. Avatud kontrollpunkti kasutamisel ei ole pakkuja kehtestatud tokenipõhist hinda, kuid kasutaja vastutab endiselt riistvara, elektri, salvestusruumi, arenduse, seire ja hoolduse eest. Kolmanda osapoole kaudu majutatud järeldamine võib lisada kasutustasusid ja platvormipõhiseid tingimusi, mistõttu ei tohiks neid kulusid kirjeldada ametliku Falcon3-1B-Base'i API hinnana.

Tugevused ja piirangud

Peamised tugevused

• Kompaktne juurutusprofiil: 1 miljardi parameetriga suurus sobib katsetamiseks ja rakendustele, mille puhul oleksid suuremad mudelid tarbetult kallid või aeglased.
• Juurdepääs avatud kaaludele: Arendajad saavad kontrollpunkti alla laadida ja järeldamiskeskkonda ise hallata, selle asemel et sõltuda suletud tarbijateenusest.
• Mitmekeelne tugi: Inglise, prantsuse, hispaania ja portugali keele tugi muudab selle asjakohaseks mitmekeelses teadustöös ja valdkonnapõhises kohandamises.
• Paindlik kohandamine: Baaskontrollpunkti saab kasutada edasiseks eeltreenimiseks, juhendatud peenhäälestuseks ja muudeks järgneva treenimise meetoditeks.
• Tõhus arhitektuur: Rühmitatud päringutega tähelepanu ja suhteliselt väike parameetrite arv on mõeldud suuremate mudelivariantidega võrreldes tõhusat järeldamist toetama.

Olulised piirangud

• Juhiste järgi häälestamata: See ei ole optimeeritud suvaliste loomuliku keele käskude järgimiseks ega usaldusväärse assistendivormingu säilitamiseks ilma täiendava treeninguta.
• Lühem kontekst: 4096 token'i piirang sobib fokuseeritud sisenditele, kuid on piirav pikkade dokumentide, ulatuslike vestluste ja suurte koodihoidlate puhul.
• Algupärase multimodaalse toe puudumine: Pildid, heli ja video ei kuulu selle kontrollpunkti kontrollitud sisend- ega väljundvõimekuste hulka.
• Ametliku majutatud hinna ja teenusegarantii puudumine: Mudel on avatud kaaludega väljalase, mitte tarbijatele mõeldud tellimus ega pakkuja hallatav API-toode.
• Kvaliteet sõltub kohandamisest: Algne kontrollpunkt võib usaldusväärseks tootmiskasutuseks vajada peenhäälestust, viipade kujundamist või jätkuvat eeltreenimist.

Uurimismaterjalides on esitatud toimetuslikud võrdlushinnangud arutlemise, programmeerimise, kiiruse ja kulude kohta. Need hinnangud ei ole pakkuja avaldatud võrdlustestid. Need viitavad profiilile, mille keskmes on väike juurutuskulu ja suhteliselt suur kiirus, mitte tipptasemel võimekus, kuid neid ei tohiks käsitleda standardiseeritud jõudlusmõõtmistena.

Hind ja kasutuskulud

Esitatud uurimuses ei ole Falcon3-1B-Base'i ametlikku majutatud API hinda loetletud. Kaalud on saadaval avatud mudelina, mistõttu erineb kontrollpunkti otsene hind selle käitamise kogukulust. Isemajutatav juurutus võib nõuda sobivat GPU-d või muud ühilduvat kiirendit, salvestusruumi, järeldamistarkvara, hooldust ja arendusaega.

Selline kulustruktuur võib olla korduvate või privaatsete töökoormuste korral atraktiivne, eriti kui organisatsioonil on juba ühilduv taristu. Juhukasutuse puhul võib majutatud järeldamisteenuse pakkuja olla lihtsam lahendus, kuid selle hind ja kättesaadavus sõltuvad teenusepakkujast, mitte TII mudelikaardist. Enne mudeli pakkumist jagatud majutatud teenusena või selle ühendamist kommertstootega tuleks üle vaadata ka litsentsitingimused.

Parimad kasutusjuhud

Falcon3-1B-Base sobib teadlastele ja arendajatele, kes soovivad väikest mitmekeelset alusmudelit, mida saab uurida, kohapeal käitada ja kohandada. Praktilised kasutusvõimalused hõlmavad järgmist:

• Kontrollitud valdkondade teksti lõpetamise süsteemid.
• Edasine eeltreenimine organisatsioonipõhisel või keelepõhisel tekstil.
• Juhiste, klassifitseerimise või eraldamise andmestikke kasutavad juhendatud peenhäälestuse katsed.
• Kohalik järeldamine piiratud taristul, kus suurem mudel oleks liiga aeglane või kallis.
• Mitmekeelse keelemudeldamise, programmeerimise, matemaatika või arutlemise uurimine.
• Võrdlustestimine ja prototüüpimine enne suurema või juhiste järgi häälestatud mudeli kasutuselevõttu.

See võib olla kasulik ka kitsalt määratletud rakenduse komponendina, kui arendaja kontrollib viipasid, väljundivormingut ja järeltöötlust. Hoolikalt peenhäälestatud väike mudel võib olla praktilisem kui palju suurem üldotstarbeline mudel, kui ülesanne on korduv ja valdkond piiratud.

Millal valida Falcon3-1B-Base?

Vali Falcon3-1B-Base siis, kui kohalik kontroll, suhteliselt väike järeldamiskulu, avatud kaalud ja järgnev kohandamine on olulisemad kui kohe kasutusvalmis assistendikäitumine. See on eriti asjakohane juhul, kui sihtrakendus vajab ainult teksti, toetab üht neljast loetletud keelest ja saab toimida 4096 token'i pikkuses kontekstiaknas.

Suurem mudel võib olla sobivam siis, kui rakendus vajab tugevamat üldist arutlemist, usaldusväärsemat programmeerimist, pikemat konteksti või paremat jõudlust ilma ulatusliku peenhäälestuseta. Vestlusroboti, küsimustele vastava assistendi või otse kasutajale suunatud rakenduse puhul on juhiste järgi häälestatud Falcon3 variant üldjuhul parem lähtekoht. Kui kasutajad vajavad piltide, heli või video mõistmist, on vajalik multimodaalne mudel. Hallatud kommerts-API võib olla eelistatav juhul, kui prognoositav majutatud kättesaadavus, integreeritud tööriistad, seire ja kasutajatugi on olulisemad kui juurdepääs kaaludele ja kontroll juurutuse üle.

Kokkuvõttes tuleks Falcon3-1B-Base'i mõista pigem kohandatava tehnilise ja teadusliku alusena kui valmis assistendina. Selle väärtus tuleneb väikese jalajälje, mitmekeelse tekstivõimekuse, avatud kaaludega juurutuse ja peenhäälestusvabaduse kombinatsioonist, mitte suurest sisseehitatud funktsioonide hulgast.