Falcon-H1-3B-Base

Mis on Falcon-H1-3B-Base?

Falcon-H1-3B-Base on avatud kaaludega ligikaudu 3 miljardi parameetriga autoregressiivne keelemudel, mille töötas välja Technology Innovation Institute (TII). See avaldati 21. mail 2025 ning seda levitatakse Hugging Face'i tiiuae/Falcon-H1-3B-Base hoidla kaudu.

Sõna Base on oluline. See kontrollpunkt on eeltreenitud teksti jätkamiseks ja genereerimiseks, kuid see ei ole mudeli juhiseid järgiv versioon. Seetõttu tuleks seda käsitleda pigem edasise töö alusena kui valmis vestlusrobotina. Arendajad saavad seda kasutada jätkuõppeks, juhendatud peenhäälestuseks, domeenikohanduseks, keelemudelite uurimiseks, hindamiseks või kohandatud tekstigeneratsioonisüsteemide loomiseks.

Falcon-H1-3B-Base kuulub TII Falcon-H1 mudeliperre, kuid siin käsitletakse just seda mudelit: kompaktset mitmekeelset alusmudelit, mille kontekstiaken on selle suuruse kohta eriti suur.

Hübriidarhitektuur ja 128K kontekst

Falcon-H1-3B-Base kasutab ainult dekooderist koosnevat autoregressiivset arhitektuuri, milles on ühendatud kahte tüüpi jada töötlemise komponendid. Transformeri tähelepanumehhanism on kasulik jadas paiknevate tokenite omavaheliseks seostamiseks, samal ajal kui Mamba-laadsed olekuruumi komponendid on loodud pika jada vältel teabe säilitamiseks, kasutades teistsuguseid arvutus- ja mälulahendusi. Falcon-H1 ühendab need lähenemised hübriidsetes segamisplokkides, selle asemel et tugineda ainult tavapärasele tähelepanumehhanismile.

3B-mudeli kohta dokumenteeritud FalconH1 konfiguratsiooni järgi on mudelil 32 kihti, varjatud dimensioon suurusega 2 560, 10 tähelepanupead, 2 võtme-väärtuse pead ja 32 Mamba pead. Reklaamitud konteksti pikkus on 128K tokenit ehk mudeli andmetes esitatud kujul 131 072 tokenit. Konteksti pikkus tähistab maksimaalset sisendteksti hulka, mida mudel toetatud käituskeskkonnas ühe päringu jooksul töödelda suudab; see ei tähenda, et iga juurutus töötleks täit 128K tokenit sama kiiruse või mälukuluga.

Pikk kontekst on üks mudeli selgemaid praktilisi eripärasid. See võib muuta kontrollpunkti sobivaks katseteks, mis hõlmavad pikki dokumente, pikemaid vestlusi, suuri koodifaile või mitme dokumendiga viipasid. Tegelik läbilaskevõime sõltub aga järeldusmootorist, riistvarast, jada pikkusest, kvantimisest ja valitud teostuse küpsusest. Reklaamitud pikkä konteksti ei tohiks käsitleda odava täiskontekstiga järelduse garantiina.

Keeled ja peamised võimalused

Falcon-H1 mudelipere toetab esialgu 18 keelt: araabia, tšehhi, saksa, inglise, hispaania, prantsuse, hindi, itaalia, jaapani, korea, hollandi, poola, portugali, rumeenia, vene, rootsi, urdu ja hiina keelt. See muudab mudeli asjakohaseks mitmekeelse uurimistöö ning rakenduste jaoks, mis vajavad üht kohalikku kontrollpunkti mitme keeleturu katmiseks.

Selle loomulik väljund on tekst. Mudeli kohta esitatud teave ei viita loomupärasele pildi-, heli-, video-, muusika-, embeding’u- ega kõneväljundile ning Falcon-H1-3B-Base'i ei tohiks käsitleda multimodaalse mudelina. Samuti ei ole dokumenteeritud sisseehitatud veebotsingut, funktsioonikutseid, tööriistade kasutamist, garanteeritud struktureeritud väljundit ega koodi käivitamist. Väline tarkvara võib mudeli ümber potentsiaalselt orkestreerimiskihi lisada, kuid see oleks rakenduse omadus, mitte selle kontrollpunkti kinnitatud loomupärane võimekus.

Mudel suudab genereerida koodi tekstina ning kodeerimine on mõistlik peenhäälestuse või hindamise sihtvaldkond. Olemasolev teave ei kinnita siiski spetsiaalset kodeerimisspetsialiseerumist, kodeerimise võrdlustesti tulemust ega koodi käivituskeskkonda. Rakendused, mis vajavad usaldusväärset koodigeneratsiooni, peaksid väljundeid valideerima ning võivad eelistada spetsiaalselt kodeerimiseks või juhiste järgimiseks kohandatud mudelit.

Alusmudel ja juhiste järgi häälestatud assistent

Falcon-H1-3B-Base ei ole optimeeritud samal viisil nagu vestlusassistent. Alusmudel õpib treeningandmete põhjal järgmise tokeni ennustamise mustreid. Juhiste järgi häälestatud mudelit treenitakse lisaks käskudele, küsimustele ja vestlusvormingutele vastama. Seetõttu võib Falcon-H1-3B-Base vajada hoolikalt kujundatud viipasid, ülesandespetsiifilist peenhäälestust või täiendavat joondamist, enne kui see hakkab assistendilaadses rakenduses järjepidevalt käituma.

TII pakub eraldi kontrollpunkti Falcon-H1-3B-Instruct. See sõsarmudel on sobivam valik, kui peamine vajadus on juhiste otsene järgimine või vestluslik suhtlus. Base-mudeli valimine on mõistlikum siis, kui kohandamise, treenimise, hindamise või viipade üle saavutatud kontroll on tähtsam kui kohe kasutatav assistendikäitumine.

Juurutamine ja kättesaadavus

Mudeli kaalud on saadaval Hugging Face'is ning neid saab kasutada koos Hugging Face Transformersi, vLLM-i või TII Falcon-H1-spetsiifilise llama.cpp-i haruga. Kvantitud versioonid ja kogukonna loodud integratsioonid võivad olla eraldi saadaval, kuid nende kvaliteeti, hooldust ja litsentsitingimusi tuleks iseseisvalt kontrollida.

Falcon-H1-3B-Base on allalaaditav mudel, mitte teenusepakkuja hallatav tokenipõhine API. Selle kontrollpunkti jaoks ei ole ametlikku sisend- ega väljundtokeni hinda. Isehostimise projektiga kaasnevad selle asemel juurutaja valitud riistvara, salvestusruumi, elektri, arenduse ja teenindustaristu kulud. Kolmanda osapoole platvormi kaudu pakutava majutatud juurdepääsu korral, kui see on saadaval, kehtivad selle platvormi hinnad ja tingimused, mitte ametlik Falcon-H1-3B-Base'i API-hinnakiri.

Mudel on välja antud TII Falcon-LLM-i litsentsi alusel. Enne mudeli pakkumist jagatud majutatud teenusena, tuletiste levitamist või selle kasutamist ärilises juurutuses peaksid kasutajad tutvuma kehtiva litsentsiga. Allalaaditavate kaalude olemasolu ei vabasta iseenesest kasutajat käitamis- ega litsentsikohustustest.

Tugevused ja piirangud

Järgmised punktid eristavad mudeli dokumenteeritud omadusi üldistest ootustest selle kohta, mida keelemudel võiks teha.

• Pikk kontekst: dokumenteeritud 128K tokeni pikkune kontekst on ligikaudu 3 miljardi parameetriga mudelite klassis ebatavaliselt suur ning toetab pika konteksti katseid.
• Suhteliselt kompaktne suurus: kolm miljardit parameetrit muudab mudeli suuremate mudelitega võrreldes praktilisemaks kohalikuks testimiseks, kohandamiseks ja piiratud ressurssidega juurutamiseks, kuigi täpsed riistvaranõuded sõltuvad täpsusest, kvantimisest, käituskeskkonnast ja konteksti pikkusest.
• Hübriidne disain: Transformeri ja Mamba arhitektuur on mõeldud ühendama tähelepanumehhanismi modelleerimisvõimekuse olekuruumipõhiste lähenemistega jadade töötlemisel. Tegelik kiirus ja mälukasutus sõltuvad teostusest.
• Mitmekeelsus: esialgne 18 keele tugi annab mudelile laiema sihtrühma kui ainult ingliskeelsel alusmudelil, kuigi kvaliteet võib keeliti erineda ning seda tuleks sihtülesande jaoks hinnata.
• Ei ole valmis assistent: Base-kontrollpunkt ei ole juhiste järgimiseks häälestatud, mistõttu ei tohiks eeldada järjepidevat vestluskäitumist ega käskude järgimist.
• Loomupärane multimodaalsus ja tööriistavoog puuduvad: esitatud spetsifikatsioonid kirjeldavad teksti sisendit ja teksti väljundit, kuid ei näita loomupärast pildi-, heli- ega videosisendit, väliste tööriistade kasutamist, veebotsingut, struktureeritud väljundi garantiid ega koodi käivitamise funktsiooni.
• Ametlik majutatud kasutuse hinnakiri puudub: teenusepakkuja hallatava API puudumise tõttu peavad kasutajad kavandama oma teeninduskulud või kasutama eraldi hinnastatud kolmanda osapoole juurutust.

Järeldamine, kodeerimine, kiirus ja kulude kompromissid

Falcon-H1-3B-Base'i saab kasutada järeldamise või kodeerimise katseteks, kuid esitatud uurimismaterjalid ei sisalda mudelispetsiifilist võrdlustesti, mis tõendaks kindlat järeldamis- või programmeerimistaset. Väike suurus tähendab võrreldes suuremate mudelitega väiksemaid ressursinõudeid ja potentsiaalselt kiiremat kohalikku järeldamist, samas kui 128K kontekst ja hübriidarhitektuur võivad muuta mudeli atraktiivseks pika sisendiga töökoormuste puhul. Need eelised ei taga tipptasemel vastuste kvaliteeti, keeruka järeldamise usaldusväärsust ega koodi järjepidevat korrektsust.

Tootmissüsteemi puhul on kompromiss seega selge: see mudel võib pakkuda palju suurema majutatud mudeliga võrreldes suuremat kontrolli ja potentsiaalselt väiksemaid taristunõudeid, kuid juurutaja peab ise haldama käituskeskkonna seadistamist, hindamist, turvakontrolle, skaleerimist ja mudeli kohandamist. Suurem juhiste järgi häälestatud või majutatud mudel võib olla eelistatavam siis, kui kvaliteet, tugi, tööriistade integratsioon ja prognoositav teenuse toimimine on tähtsamad kui kohalik kontroll ja kulude paindlikkus.

Parimad kasutusjuhud

Falcon-H1-3B-Base sobib hästi järgmisteks kasutusjuhtudeks:

• kohalikud katsed avatud keelemudelite kaaludega;
• mitmekeelne keelemudelite uurimine, mis hõlmab üht või mitut 18 dokumenteeritud keelest;
• jätkuõpe domeenispetsiifilise teksti põhjal;
• juhendatud peenhäälestus spetsialiseeritud kirjutamis-, klassifitseerimis-, ekstraktsiooni- või genereerimisülesande jaoks;
• hübriidsete Transformeri ja olekuruumi mudelite arhitektuuride hindamine;
• pika konteksti katsed dokumentide, lähtekoodi või ulatuslike tekstikogumitega;
• piiratud ressurssidega juurutused, kus 3B mudel on suuremast kontrollpunktist praktilisem.

See sobib vähem olukordadesse, kus nõutakse kohe kasutatavat vestlusrobotit, usaldusväärset loomupärast tööriistakutset, sisseehitatud veebiuuringut, multimodaalset mõistmist, garanteeritud JSON- või skeemipiirangutega väljundit või teenusepakkuja hallatavat avaldatud kasutushinnaga API-t. Sellistel juhtudel võib paremini sobida juhiste järgi häälestatud mudel, multimodaalne mudel või hallatud kommertsteenus.

Millal valida Falcon-H1-3B-Base?

Vali Falcon-H1-3B-Base, kui soovid avatud ja allalaaditavat alusmudelit, vajad kohalikuks juurutamiseks või peenhäälestuseks suhteliselt väikest kontrollpunkti, hindad dokumenteeritud 128K kontekstiakent ning oled valmis ise haldama viipade kujundamist, kohandamist, järeldustaristut ja hindamist. See on eriti huvipakkuv teadlastele ja arendajatele, kes soovivad uurida mitmekeelset või pika kontekstiga käitumist, alustamata palju suuremast mudelist.

Vali mõni teine lahendus, kui sinu prioriteet on viimistletud assistendikogemus, mitte alusmudel. Falcon-H1-3B-Instructi variant sobib paremini otseseks juhiste järgimiseks, samas kui suurem või hallatud mudel võib olla eelistatavam nõudliku järeldamise, tootmiskindluse, loomupäraste tööriistade või ulatuslike multimodaalsete töövoogude puhul. Falcon-H1-3B-Base'i tuleks käsitleda paindliku lähtepunktina, mitte täieliku asendusena igat tüüpi AI-teenustele.