Falcon3-7B-Base

Mis on Falcon3-7B-Base?

Falcon3-7B-Base on Technology Innovation Institute'i (TII) eeltreenitud põhjuslik keelemudel. Põhjuslik keelemudel genereerib teksti, ennustades järgmist tokenit ehk järgmist väikest tekstiüksust sellele eelnevate tokenite põhjal. Praktilises kasutuses sobib see teksti genereerimiseks, keele mõistmiseks, programmeerimiskatseteks, matemaatikaga seotud ülesanneteks ja edasiseks kohandamiseks konkreetsete valdkondade jaoks.

Mudel on Falcon3 mudeliperekonna põhiversioon ehk kontrollpunkt, mitte juhiste järgi peenhäälestatud assistent. See erinevus on oluline. Baasmudel on eeltreenimise käigus õppinud üldisi keelemustreid, kuid seda ei ole spetsiaalselt optimeeritud tavakasutaja juhiste järgimiseks, abistava dialoogi pidamiseks ega soovitud vormingus tulemuste usaldusväärseks tagastamiseks. Arendajad saavad seda sellise käitumise saavutamiseks peenhäälestada, kuid kohe kasutusvalmis vestluskogemust otsivatele kasutajatele sobib üldjuhul paremini juhiste järgi peenhäälestatud mudel.

TII avaldas Falcon3-7B-Base'i 2024. aasta detsembris avatud kaaludega mudelina. Kaalud on saadaval ametlikus Hugging Face'i repositooriumis, mis võimaldab tehniliste oskustega kasutajatel kontrollpunkti alla laadida, kohandada ja enda hallatavas taristus käitada.

Falcon3 mudeliperekonna kontekstis

Falcon3-7B-Base on üks TII väiksemaid avatud põhialusmudeleid. Falcon3 perekond hõlmab suhteliselt tõhusaid mudeleid, mida saab kasutada teadustöös, rakenduste arendamisel ja juurutamisel väljaspool teenusepakkuja hallatavat tarbijatele mõeldud vestlusrobotit. 7 miljardi parameetriga mudelit on võrreldes suurimate keelemudelitega märksa lihtsam hallata, kuigi praktiliseks kohalikuks järelduseks on endiselt vaja sobivat riistvara või kvantimist.

Selle koht mudelivalikus on seega määratud pigem kohandatavuse kui kasutusvalmiduse järgi. Põhiskontrollpunkt annab arendajatele üldise eeltreenitud aluse, mille põhjal saab luua valdkonnaspetsiifilisi või juhiseid järgivaid süsteeme. TII Falcon3 materjalid kirjeldavad ka juhiste järgi peenhäälestatud variante, mistõttu sobivad need vestlusrakenduste võrdluseks paremini kui põhikontrollpunkt ise.

Arhitektuur ja kontrollitud tehnilised andmed

Esitatud mudeliinfo kohaselt on Falcon3-7B-Base'il ligikaudu 7 miljardit parameetrit ning see kasutab ainult dekooderiga Transformeri arhitektuuri. Mudel sisaldab 28 dekooderiplokki ja kasutab rühmitatud päringutähelepanu mehhanismi, milles on 12 päringupäist ja 4 võtme-väärtuse pead. Rühmitatud päringutähelepanu vähendab genereerimise ajal säilitatavate võtme-väärtuse esituste arvu, mis võib muuta järeldamise tõhusamaks kui lahendus, kus iga päringupäise jaoks on eraldi võtme-väärtuse pea.

Mudelil on 131 000 tokeniga sõnavara ja maksimaalne konteksti pikkus 32 768 tokenit, mida kirjeldatakse sageli kui 32K. Kontekstiaken näitab sisendteksti hulka, mida mudel saab ühe päringu käigus arvesse võtta, sealhulgas viipa ja muud kaasatud teksti. See on kasulik pikkade dokumentide, koodifailide või mitme vooruga rakenduse konteksti puhul, kuid tegelik kasutatav maht võib sõltuda teenindusraamistikust, mälupiirangutest ja sellest, kuidas rakendus oma viibad koostab.

Selle kontrollpunkti autoriteetset maksimaalset väljundtokenite piirangut ei ole kindlaks tehtud. Väljundi pikkus sõltub teenindustarkvarast, saadaolevast mälust, genereerimisseadetest ja mudeli kontekstilimiidi piiresse jäävast vabast ruumist.

Keeled ja võimekus

Mudelikaart nimetab toetatud keeltena inglise, prantsuse, hispaania ja portugali keelt. See muudab mudeli asjakohaseks mitmekeelsete teksti genereerimise projektide jaoks, kus organisatsioon soovib kohandada üht avatud kontrollpunkti, selle asemel et tugineda majutatud mudelile, mille juurutamise käitumine ei ole läbipaistev. Esitatud info järgi sisaldab eeltreenimise andmekogum ka veebi-, koodi-, STEM-i, kvaliteetset ja mitmekeelset andmestikku.

Selle kavandatud kasutusvaldkond hõlmab üldist teksti genereerimist, keele mõistmist, koodiga seotud ülesandeid, matemaatikat ja edasist peenhäälestamist. Need on eeltreenitud põhialusmudeli võimed, mitte tagatised ühtlaseks tulemuseks iga ülesande puhul. Baasmudel võib teksti tõhusalt jätkata, kuid anda samal ajal ebausaldusväärseid vastuseid, mitte järgida keerukaid juhiseid või vajada enne tootmises kasutamist ülesandespetsiifilist treenimist.

Falcon3-7B-Base võtab vastu ja väljastab teksti. Dokumenteeritud loomulikku pildi-, heli- ega videosisendit sellel ei ole ning see ei genereeri pilte, heli ega videot. Samuti ei ole selle kontrollpunkti kohta dokumenteeritud esimese osapoole veebiotsingut, sisseehitatud tööriistakutset, funktsioonide käivitamist, struktureeritud väljundi režiimi ega teenusepakkuja hallatavat mälu.

Arutlemine, programmeerimine ja tööriistade kasutamine

Esitatud võrdleva hinnangu järgi on arutlemise skoor 6 punkti 10-st ja programmeerimise skoor 6 punkti 10-st. Need on toimetuslikud hinnangud, mitte TII avaldatud reitingud ega võrdlustestide tulemused. Need väljendavad keskmise taseme hinnangut kompaktsele üldotstarbelisele avatud mudelile, mitte kontrollitud jõudlusgarantiid.

Falcon3-7B-Base'i saab kasutada programmeerimise ja matemaatika katsetes, sest need valdkonnad kuulusid selle kavandatud kasutusala ja eeltreenimise andmekogumi hulka. Siiski ei tohiks seda käsitleda spetsiaalse programmeerimismudelina ega arutlusmudelina, mille mitmeastmeline täpsus on garanteeritud. Arendajad võivad tulemuste usaldusväärseks muutmiseks vajada peenhäälestamist, viipade koostamist, otsingupõhist konteksti lisamist, valideerimist või väliseid täitmistööriistu.

Tööriistade ja funktsioonide tugi on selle kontrollpunkti puhul märgitud kättesaamatuks. See ei takista arendajal kirjutamast rakendust, mis kutsub mudeli ümber tööriistu. See tähendab, et mudel ei paku esitatud tehniliste andmete kohaselt dokumenteeritud loomulikku tööriistakasutuse liidest. Kalkulaator, koodikäivitaja, andmebaas, otsingusüsteem või muu väline funktsioon tuleb juurutusmeeskonnal eraldi integreerida.

Juurutamine, majutus ja litsents

Falcon3-7B-Base'i levitatakse Safetensors-vormingus ametliku Hugging Face'i repositooriumi kaudu. Esitatud uurimuse kohaselt saab seda laadida Transformersi ökosüsteemiga ning teenindada levinud avatud mudelite järeldussüsteemidega, nagu vLLM, Text Generation Inference, SGLang ja ühilduvad kohalikud käituskeskkonnad.

See on ise majutatav kontrollpunkt, mitte mudel, millel oleks dokumenteeritud TII tarbijatele mõeldud tellimus või esimese osapoole tokenipõhine API-hind. Allalaaditavatel kaaludel ei ole esitatud info kohaselt korduvat mudelitasu. Tegelik kulu tuleneb nende käitamiseks kasutatavast taristust: kohalikust riistvarast, renditud arvutusressursist, salvestusruumist, elektrist, arendusajast ja hooldusest. Kui mõni kolmanda osapoole majutusteenus mudelit pakub, võib see teenusepakkuja küsida eraldi tasu ning kehtestada oma kättesaadavuse, privaatsuse ja kasutamise tingimused.

Mudel on välja antud TII Falcon License 2.0 litsentsi alusel. Kõik, kes kavandavad mudeli edasilevitamist, ärilist juurutamist või majutatud teenust, peaksid selle litsentsi ja seotud lubatud kasutuse nõuded üle vaatama, mitte eeldama, et avatud kaalud tähendavad piiranguteta kasutust.

Kiiruse, kulu ja kvaliteedi kompromissid

7B mudel pakub praktilist kompromissi mudeli suuruse ja juurutamise paindlikkuse vahel. Võrreldes palju suuremate mudelitega vajab Falcon3-7B-Base üldjuhul vähem mälu ning võib sobida paremini kohalikuks või spetsiaalsel taristul toimuvaks järelduseks. Esitatud toimetuslikus hinnangus on selle kiiruse skoor 7 punkti 10-st ja kulu skoor 8 punkti 10-st; need on võrdlevad toimetuslikud skoorid, mitte teenusepakkuja väited ega mõõdetud garantiid.

Nende eelistega kaasnevad kompromissid. Väiksem baasmudel võib keeruka arutlemise, nüansseeritud juhiste järgimise, laiaulatuslike teadmistega seotud ülesannete või keeruka koodigenereerimise puhul jääda suurematele majutatud süsteemidele alla. Samuti nõuab see hallatud assistendiga võrreldes rohkem arendustööd, sest käitaja peab valima riistvara, seadistama järeldamise, haldama uuendusi, rakendama kaitsemeetmeid ja hindama väljundi kvaliteeti. Kvantimine võib vähendada riistvaranõudeid, kuid esitatud uurimus ei täpsusta konkreetset kvantimismeetodit ega selle tulemuslikkust.

Parimad kasutusvaldkonnad

Falcon3-7B-Base sobib hästi olukordadesse, kus eesmärk on mudelit ise hallata ja konkreetse kasutusjuhu jaoks kohandada. Sobivad projektid on näiteks:

• Mitmekeelse mudeli peenhäälestamine valdkonnaspetsiifilise kirjutamis- või klassifitseerimisülesande jaoks.
• Uurimistöö keelemudelite, tõhusa järeldamise ja mudelite kohandamise vallas.
• Kohalikud teksti genereerimise süsteemid, kus viibad või dokumendid peaksid jääma organisatsiooni enda taristusse.
• Katsetused inglise-, prantsuse-, hispaania- või portugalikeelse sisuga.
• Programmeerimise ja matemaatika prototüübid, millele saab lisada oma valideerimis- või täitmiskihi.
• Rakendused, mis vajavad avatud kontrollpunkti, mitte kohustuslikku majutatud API-t.

Näiteks võiks meeskond kasutada baasmudelit spetsiaalse ettevõttesisese dokumendiassistendi lähtekohana, seejärel peenhäälestada seda heakskiidetud näidete põhjal ning lisada selle ümber otsingupõhine kontekstiotsing ja valideerimine. Ei tohiks eeldada, et põhikontrollpunkt üksi pakub selle rakenduse jaoks vajalikku vestluskäitumist, turvakontrolle või faktilist usaldusväärsust.

Millal see mudel valida?

Vali Falcon3-7B-Base siis, kui avatud kaalud, ise majutamine, peenhäälestamine ja juurutuse kontroll on olulisemad kui kohene vestluskvaliteet. See on eriti atraktiivne arendajatele, kes suudavad hallata järeldustaristut ja soovivad suhteliselt kompaktset mitmekeelset põhialusmudelit 32K kontekstiaknaga.

Vali juhiste järgi peenhäälestatud Falcon3 variant või mõni muu kohe kasutatav vestlusmudel siis, kui peamine nõue on kasutajajuhiste järgimine ilma täiendava treenimiseta. Suurem majutatud mudel võib olla sobivam, kui rakendus vajab tugevamat arutlusvõimet, laialdast multimodaalset tuge, integreeritud veebiühendust, hallatud skaleerimist või teenusepakkuja toetatud API-t. Kui programmeerimis- või arutlusülesanded on üldisest kohandatavusest tähtsamad, võib parem valik olla ka spetsiaalne programmeerimis- või arutlusmudel.

Falcon3-7B-Base'i tuleks seega mõista kohandatava taristuna, mitte valmis vestlusrobotina. Selle väärtus seisneb selles, et arendusmeeskond saab alla laadida, uurida, peenhäälestada ja enda tehniliste otsuste alusel juurutada mitmekeelse 7B põhialuse.