Mis on Falcon2-11B?
Falcon2-11B on Technology Innovation Institute'i (TII) välja töötatud 11 miljardi parameetriga autoregressiivne keelemudel. Autoregressiivne keelemudel genereerib teksti, ennustades eelneva teksti põhjal järgmist tokenit. Praktikas saab Falcon2-11B jätkata tekstilõike, koostada mustandtekste, teha sisust kokkuvõtteid, genereerida mitmekeelset teksti ning olla aluseks edasisele mudeliarendusele.
Ametlik Hugging Face'i repositoorium on tiiuae/falcon-11B. Kuigi repositooriumi nimes kasutatakse nimetust „falcon-11B“, määratleb mudeli dokumentatsioon kontrollpunkti nimena Falcon2-11B. Mudel avaldati 24. mail 2024 Falcon 2 mudeliperekonna osana.
Falcon2-11B on eeltreenitud baasmudel, mitte valmis vestlusassistent. Seda ei ole esitletud juhiste järgi häälestatud vestlusrobotina, millel oleks tarbijaliides, veebiotsing, sisseehitatud tööriistad või tagatud majutatud kättesaadavus. Kasutajad, kes vajavad usaldusväärset juhiste järgimist, vestluskäitumist või konkreetse äriprotsessi tuge, peaksid arvestama vajadusega kontrollpunkti täiendavalt treenida või muul viisil kohandada.
Falcon2-11B koht TII mudelivalikus
Falcon2-11B kuulub TII avatud ja avatud juurdepääsuga Falconi mudelite ökosüsteemi. Falcon 2 väljalaskes on see ainult teksti töötlev 11 miljardi parameetriga mudel. TII avaldas eraldi Falcon2-11B VLM-i kontrollpunkti nimetusega tiiuae/falcon-11B-vlm, mis lisab piltide mõistmise võime. See VLM on eraldi mudel ning seda ei tohiks käsitleda Falcon2-11B võimekusena.
See eristus on kontrollpunkti valimisel oluline. Falcon2-11B sobib ainult tekstipõhiseks keeletöötluseks, piltide mõistmise ülesanne vajab aga selle asemel visuaal-keelelist mudelit. Laiemasse Falconi kataloogi kuulub ka teisi mudeliperekondi, kuid praeguse mudeli põhifunktsioon on allalaaditava mitmekeelse teksti genereerimise baasmudelina toimimine.
Arhitektuur ja treenimise üksikasjad
Falcon2-11B kasutab ainult dekooderiga transformeri arhitektuuri. Dokumenteeritud ülesehitus sisaldab pöörlevaid positsioonimanuseid, mitme päringu tähelepanu (multi-query attention), paralleelseid tähelepanu- ja MLP-plokke ning FlashAttention-2-te. Mudel sisaldab 60 transformeri plokki, mudeli dimensiooniga 4 096, 32 päringupeaga, 8 võtme-/väärtuspeaga ning 65 024 tokenist koosneva sõnavaraga.
Mitme päringu tähelepanu kasutab päringupeadest vähem võtme- ja väärtuspäid. Võrreldes arhitektuuriga, kus igal päringupäisel on oma võtme- ja väärtuspea, võib see vähendada genereerimise ajal vajaminevat mälu ja andmeedastuse ribalaiust. See ülesehitus on oluline kasutajatele, kes kavandavad lokaalset või enda taristus hallatavat järeldamist, kuigi tegelik kiirus ja mälukasutus sõltuvad riistvarast, täpsusest, pakktöötlusest, kvantimisest ja teenindustarkvarast.
TII andmetel kasutati treenimisel rohkem kui 5 000 miljardit tokenit, mis pärinesid RefinedWebist ning kureeritud tehnilistest, koodi-, vestlus- ja mitmekeelsetest andmekogumitest. Dokumenteeritud keeled on inglise, saksa, hispaania, prantsuse, itaalia, portugali, poola, hollandi, rumeenia, tšehhi ja rootsi keel. Treenimise käigus suurendati konteksti pikkust järk-järgult 2 048-lt 4 096-le ja seejärel 8 192 tokenini.
Konteksti pikkus ja väljundi piirangud
Falcon2-11B järjestuse pikkus on 8 192 tokenit. Token on mudeli kasutatav tekstiühik, mis võib tähistada tervet sõna, sõnaosa, kirjavahemärki või muud tekstifragmenti. Konteksti pikkus hõlmab teksti, mida mudel saab ühe järjestuse piires töödelda, sealhulgas viipa ja genereeritud jätku vastavalt kasutatava teeninduslahenduse rakendusele.
Esitatud ametlik dokumentatsioon ei määra selle konkreetse kontrollpunkti jaoks eraldi maksimaalset väljundtokenite arvu. Seetõttu peaksid rakendused määrama genereerimise piirangud valitud järeldamislahenduses, tagades samal ajal, et viiba ja väljundi kogupikkus jääb mudeli toetatud järjestuse pikkuse piiresse. Pikad dokumendid, mahukad viibad või suured otsingutulemused võivad jätta genereeritud teksti jaoks vähem ruumi.
8 192 tokeni piirang sobib tavapäraseks mustandite koostamiseks, kokkuvõtete tegemiseks ja uurimisviipadeks, kuid tegemist ei ole piiramatu pika kontekstiga süsteemiga. Oluliselt pikemate dokumentidega töötamisel võib olla vaja tekst osadeks jagada, teha kokkuvõtteid mitmes etapis või valida mudel, mis on loodud spetsiaalselt suurema kontekstiakna jaoks.
Võimekus ja hindamine
Falcon2-11B peamine võimekus on teksti genereerimine. See sobib teksti jätkamiseks ja mustandite koostamiseks, kokkuvõtete tegemiseks, mitmekeelseks katsetamiseks, koodiga seotud teksti genereerimiseks ning mudeli täiendava treenimise või joondamise uurimiseks. Kuna tegemist on baasmudeliga, ei tohiks eeldada, et see järgib üksikasjalikke juhiseid sama järjepidevalt kui tänapäevane juhiste järgi häälestatud mudel.
Mudeli kaart kajastab viie näitega MMLU skoori 58,37, kümne näitega HellaSwagi skoori 82,91, viie näitega Winogrande'i skoori 78,30 ning viie näitega GSM8K skoori 53,83. Need tulemused annavad lähtepunktid teenusepakkuja avaldatud hindamismaterjalist, kuid võrdlustestide tulemused ei taga kindla rakenduse puhul sama jõudlust. Tulemusi võivad mõjutada viiba vorming, keel, kvantimine, täiendav treenimine ja teeninduse konfiguratsioon.
Selle artikli võrdlusandmebaasis on arutlusvõime hinnang 4 punkti 10-st, kodeerimise hinnang 5 punkti 10-st, kiiruse hinnang 6 punkti 10-st ja maksumuse hinnang 8 punkti 10-st. Need on toimetuslikud hinnangud, mitte TII avaldatud skoorid. Maksumuse hinnang kajastab allalaaditavate kaalude kättesaadavust ja mudelipõhise majutatud API hinnakirja puudumist; see ei tähenda, et juurutamine oleks tasuta, sest riistvara, salvestusruum, elektrikulu, pilveinstantsid ja arendustöö võivad kõik kulusid tekitada.
Modaalsused, tööriistad ja API funktsioonid
Falcon2-11B töötab ainult tekstiga. See võtab vastu tekstisisendi ja väljastab teksti. Mudel ei võta natiivselt vastu pilte, heli ega videot ning ei genereeri pilte, heli ega videot. Piltide mõistmine kuulub eraldi Falcon2-11B VLM-i kontrollpunkti, mitte selle mudeli võimekusse.
Esitatud dokumentatsioon ei tuvasta Falcon2-11B puhul natiivset veebiotsingut, funktsioonikutseid, struktureeritud väljundi režiimi, viipade vahemällu salvestamist ega paketttöötluse API-t. Seetõttu tuleks seda käsitleda pigem rakendusse integreeritava mudeli kontrollpunktina kui tervikliku majutatud API-tootena. Arendajad võivad selle ümber rakenduse tasandil tööriistu ehitada, kuid see erineb sellest, kui mudelil endal oleks teenusepakkuja määratletud tööriistakasutuse tugi.
Dokumentatsioon loetleb ühilduvusvõimalustena Transformersi, vLLM-i, SGLangi, Docker Model Runneri, kvantimistööriistu ja seotud lokaalse järeldamise rakendusi. Täpne kasutuskogemus, sealhulgas voogedastus, pakktöötlus, kvantimisvormingud ja riistvara tugi, sõltub valitud juurutuslahendusest, mitte ühest TII hallatavast lõpp-punktist.
Juurutamine, litsents ja hinnastamine
Mudeli kaalud on kohalikuks või enda taristus hallatavaks juurutamiseks saadaval BF16 safetensors-vormingus. Kasutajad saavad mudelit käitada oma riistvaral või pilvetaristus, kvantida seda erineva mälu- ja kiirusprofiili saavutamiseks ning täiendavalt treenida kitsama ülesande jaoks. Tegelikud nõuded sõltuvad rakendusest ja riistvara konfiguratsioonist ning esitatud uurimus ei määra üht kindlat minimaalset riistvaranõuet.
Falcon2-11B on avaldatud TII Falcon License 2.0 litsentsi alusel. TII kirjeldab seda kui Apache 2.0-l põhinevat lubavat litsentsi, mis sisaldab vastuvõetava kasutuse eeskirju. Kõik, kes kaaluvad ärilist juurutamist, peaksid kehtiva litsentsi ja kasutusnõuded otse üle vaatama, eriti juhul, kui mudel tehakse kättesaadavaks ühise majutatud teenuse kaudu või kohandatakse suure mõjuga rakenduse jaoks.
Selle konkreetse kontrollpunkti ametlikku majutatud API hinda ei ole tuvastatud. Peamine juurdepääsumudel on allalaaditavad kaalud, mistõttu sõltub maksumus taristust. Pilvepõhist järeldamist saab osta ühilduva teenusepakkuja või teenuse kaudu, lokaalne juurutamine aga suunab kulud riistvarale, käitamisele, hooldusele ja arendusele. Tellimishinna puudumist ei tohiks tõlgendada kogukulu puudumisena.
Peamised tugevused ja piirangud
Tugevused
- Avatud kaaludega juurutamine: Kasutajad saavad kontrollpunkti alla laadida ning säilitada majutuse, integratsiooni ja hindamise üle suurema kontrolli kui suletud, ainult majutatud mudeli puhul.
- Praktiline mudeli suurus: 11 miljardi parameetriga mudel pakub kompromissi väga väikeste mudelite ja palju suuremate süsteemide vahel, sõltuvalt valitud riistvarast ja kvantimismeetodist.
- Mitmekeelne tugi: Treeningudokumentatsioon hõlmab konkreetselt inglise keelt ja kümmet Euroopa keelt.
- Kohandatavus: Baaskontrollpunkti saab täiendavalt treenida, kvantida ja integreerida mitme järeldamisraamistikuga.
- Pikem kontekst kui treenimise algfaasides: Dokumenteeritud 8 192 tokeni pikkune järjestus võimaldab töödelda mõõdukalt pikki viipasid ja dokumente.
Piirangud
- Juhiste järgi häälestamata: See ei ole valmis assistent, mistõttu võivad vestluskvaliteet ja ülesannete täitmine vajada täiendavat kohandamist.
- Ainult tekst: Mudel ei saa otse töödelda pilte, heli ega videot. Piltide mõistmiseks on vaja seotud VLM-i kontrollpunkti.
- Tuvastatud majutatud hinnastuse või teenusegarantii puudumine: Juurutamine ja töökindlus sõltuvad kasutaja valitud taristust ja teenusepakkujast.
- Piiratud dokumenteeritud tootefunktsioonid: Ametlikud materjalid ei täpsusta selle kontrollpunkti puhul natiivset veebiotsingut, struktureeritud väljundit, viipade vahemällu salvestamist, paketttöötluse API juurdepääsu ega eraldi maksimaalset väljundipikkust.
- Veebiandmetest pärit kallutatus ja faktivead: Nagu teisedki suurtel veebipõhistel korpustel treenitud mudelid, võib see korrata probleemseid mustreid või genereerida ebaõiget teavet.
- Keelekvaliteet ei ole ühtlane: Dokumenteeritud keelevalik ei tõenda võrdset kvaliteeti kõigis kümnes Euroopa keeles ning esitatud mudelidokumentatsioon ei kinnita jõudlust teistes keeltes.
Millal valida Falcon2-11B?
Vali Falcon2-11B, kui vajad allalaaditavat tekstimudelit, mida saab majutada enda kontrolli all, täiendava treenimise abil kohandada või avatud mudelite uurimise osana hinnata. See on mõistlik valik mitmekeelseks teksti koostamiseks, kontrollitud katseteks, kokkuvõtete töövoogudeks, teksti jätkamiseks ja rakendusteks, kus meeskond soovib ise valida järeldamise riistvara ja tarkvara.
Avatud kaaludega levitamine võib olla majutatud mudelist atraktiivsem ka siis, kui olulised on andmekontroll, võrguühenduseta töö, kohandamine või prognoositav juurdepääs mudelifailidele. Kompromiss seisneb selles, et kasutaja vastutab ise juurutamise, jälgimise, ohutustestide, skaleerimise ja juhiste järgimise kvaliteedi eest.
Teine võimalus võib olla sobivam juhul, kui prioriteediks on viimistletud vestlusassistent, tagatud majutatud teenuse tööaeg, natiivne veebiuuring, sisseehitatud tööriistakutsed, struktureeritud vastused, püsiv isikupärastamine või dokumenteeritud äriline API lihtsa kasutuspõhise hinnastusega. Piltide mõistmiseks on parem valik eraldi visuaal-keeleline mudel. Keerukaks arutlemiseks või usaldusväärseks mitmeastmeliste ülesannete täitmiseks võib eelistada suuremat või uuemal viisil joondatud juhiste järgi häälestatud mudelit, kuigi esitatud uurimus ei määra otsest võrdlust konkreetse alternatiiviga.
Kokkuvõte
Falcon2-11B-d tuleks käsitleda pigem kohandatava baasmudelina kui valmis tarbijatele mõeldud AI-teenusena. Selle peamised eelised on allalaaditavad kaalud, mitmekeelne teksti genereerimine, 8 192 tokeni pikkune kontekst ja ühilduvus enda hallatava juurutamise ning täiendava treenimise töövoogudega. Peamised piirangud on juhiste järgi häälestamise puudumine, ainult tekstiga töötamine, selle konkreetse kontrollpunkti tuvastamata majutatud hind ning avatud mudeli käitamisega kaasnev arendusvastutus.
Teadlastele ja arendajatele, kes soovivad mudeli ja juurutuskeskkonna üle kontrolli, on Falcon2-11B endiselt praktiline Falcon 2 tekstikontrollpunkt. Kasutajatele, kes soovivad eelkõige kohest vestlust, multimodaalset sisendit, veebiühendusega vastuseid või hallatud tootmiskeskkonda, sobib tõenäoliselt paremini majutatud juhiste järgi häälestatud või visuaal-keeleline alternatiiv.