Falcon Perception

Mis on Falcon Perception?

Falcon Perception on Technology Innovation Institute’i (TII) välja antud 0,6 miljardi parameetriga visiooni-keele mudel. Selle peamine võimekus on loomuliku keele juhitud visuaalne tajumine: kasutaja või rakendus annab mudelile pildi ja tekstipäringu ning mudel tuvastab pildil päringule vastavad objektid või piirkonnad.

Näiteks võib päring paluda süsteemil leida stseenist kindlat tüüpi objekti. Falcon Perception on loodud tagastama struktureeritud ennustusi, mitte üksnes kirjeldama pilti vabas vormis. Need ennustused võivad sisaldada normaliseeritud piirdekasti koordinaate, normaliseeritud mõõtmeid ja COCO-vormingus jookspikkuskodeeringuga maske. Piirdekast näitab, kus objekt asub; eksemplarisegmendi mask tuvastab selle objektiga seotud üksikud pikslid.

Seetõttu on Falcon Perception eelkõige spetsialiseeritud tajukomponent, mitte üldine vestlusassistent. Dokumenteeritud kasutusala hõlmab avatud sõnavaraga tuvastamist, visuaalset maandamist ja eksemplarisegmentimist. „Avatud sõnavara” tähendab, et süsteem saab kasutada objektide loomulikus keeles kirjeldusi, selle asemel et piirduda ette määratud siltide fikseeritud loendiga.

Eesmärk ja koht TII mudelite valikus

Falcon Perception kuulub TII laiemasse avatud ja avatud juurdepääsuga Falconi mudelite perekonda. TII kataloogis on ka keele-, mitmekeelsuse-, araabia keele, heli-, video- ja muid multimodaalseid teadusmudeleid, kuid Falcon Perception on kitsamalt spetsialiseerunud: see teisendab pildi ja teksti põhised juhised lokaliseeritud visuaalseks arusaamiseks.

Seda positsiooni on oluline arvestada, kui võrrelda mudelit suuremate multimodaalsete keelemudelitega. Üldotstarbeline visiooni-keele assistent võib olla parem pildi selgitamisel, järelküsimustele vastamisel, pika vastuse koostamisel või mitmeastmelisel arutlemisel. Falcon Perception keskendub selle asemel arvutinägemise töövoo varasemale ja konkreetsemale etapile: soovitud objektide leidmisele ja nende piiride tuvastamisele.

Esitatud mudeliinfo kohaselt on mudeli kaalud Apache-2.0 litsentsi alusel Hugging Face’is allalaaditavad. Uuringust nähtub ka, et seda ei pakuta ametliku Hugging Face’i järeldusteenuse pakkuja kaudu. Seega tuleks seda käsitleda eelkõige kohaliku või ise hallatava järelduse tegemise mudelina, mitte valmiskujul hostitud vestlusroboti lõpp-punktina.

Kuidas mudel pilte ja teksti töötleb

Falcon Perception kasutab varajase ühendamise arhitektuuri. Pildilaike ja tekstimärke töödeldakse ühes ühises Transformer’is, mis võimaldab tekstipäringul töötlemise ajal visuaalset tõlgendust mõjutada. Praktikas ei lisata tekstiviipa lihtsalt eraldi pildiklassifitseerimise sammu järel, vaid see on osa samast multimodaalsest esitusest, mille alusel määratakse, mida tuleb leida.

Väljund on üles ehitatud visuaalsete eksemplaride ümber. Selle asemel et tagastada üksnes lause „sõidukeid on mitu”, võib mudel anda päringu objektide kohta koordinaadid ja segmenteerimisandmed. COCO-vormingus jookspikkuskodeering on kompaktne viis pikslimaskide esitamiseks; rakendus saab need kuvamiseks, mõõtmiseks, jälgimiseks, kontrollimiseks või järgnevaks automatiseerimiseks dekodeerida.

model.generate vaikeseade on 2 048 uut märki. Ametliku järeldusserveri dokumentatsioonis on maksimaalseks väljundiks määratud 8 192 märki. Need näitajad kirjeldavad genereerimisvõimekust ega tähenda, et iga päring vajaks või saaks maksimaalsest mahust kasu. Tajuväljundid on üldjuhul struktureeritud ja ülesandespetsiifilised, mistõttu ei ole ebatavaliselt pikk genereerimine selle mudeli valimise peamine põhjus.

Sisendid, väljundid ja tehnilised piirangud

Mudeli kirjes on ametliku serverikonfiguratsiooni konteksti pikkuseks märgitud 8 192 märki ja maksimaalseks väljundiks samuti 8 192 märki. Kuna Falcon Perception on visuaalse maandamise mudel, ei tohiks neid märgipiiranguid tõlgendada tõendina, et mudel on mõeldud pikkade dokumentide või pikkade vestluste jaoks. Esitatud uuringus ei avaldata autoriteetset teadmiste piirkuupäeva ning mudelit ei tohiks käsitleda veebiga ühendatud süsteemina.

Peamised tugevused

• Fokuseeritud visuaalne maandamine: Falcon Perception on loodud siduma loomulikus keeles päringuid konkreetsete pildipiirkondadega, mistõttu on see lokaliseerimiseks kasulikum kui mudel, mis genereerib üksnes üldise pildikirjelduse.
• Pikslitasandi eksemplarisegmentimine: Piirdekastid sobivad ligikaudseks lokaliseerimiseks, kuid maskid annavad täpsemad objektipiirid. See erinevus on oluline objektide mõõtmisel, kattuvate objektide eraldamisel või toimingu rakendamisel ainult valitud pikslitele.
• Kompaktne suurus: 0,6 miljardi parameetriga on see mõõtkavalt märksa väiksem kui paljud üldotstarbelised multimodaalsed mudelid. See toetab mudeli positsioneerimist tõhusaks järelduste tegemiseks, katsetamiseks ja kasutamiseks piiratud ressurssidega keskkondades, kuigi tegelik jõudlus ja riistvaranõuded sõltuvad teostusest.
• Avatud kaalud: Allalaaditavad kaalud võimaldavad organisatsioonidel ja teadlastel mudelit uurida, integreerida ja käitada keskkondades, kus piltide saatmine kolmanda osapoole hostitud teenusesse ei ole soovitav.
• Masinloetavad tulemused: Koordinaadid ja jookspikkuskodeeringuga maskid sobivad arvutinägemise töövoogudesse. Tarkvara saab neid kasutada otsesemalt kui vabas vormis teksti.

Need on mudelispetsiifilised tugevused, mida toetavad dokumenteeritud arhitektuur ja väljundid. Neid ei tohiks segi ajada sõltumatute võrdlustulemustega; esitatud uuring ei sisalda võrdlustestide tulemusi, mis tõestaksid mudeli üleolekut kõigist konkureerivatest segmenteerimismudelitest.

Piirangud ja kompromissid

Falcon Perceptioni spetsialiseerumine on ühtlasi selle peamine piirang. Esitatud mudelikirjelduses öeldakse selgesõnaliselt, et see ei ole mõeldud üldotstarbeliseks vestluseks, avatud vastustega visuaalsete küsimuste esitamiseks, pika teksti genereerimiseks, programmeerimiseks, heli- või videomõistmiseks ega mitmeastmeliseks arutlemiseks. Rakendusele, mis vajab pildi üksikasjalikku selgitust, pikka visuaalsetel tõenditel põhinevat vestlust või mitmeastmelist arutlust, võib paremini sobida laiem multimodaalne keelemudel.

Esitatud kirjes ei ole tööriistade kasutamist, funktsioonikutseid, voogedastust, peenhäälestust ega vahemällu salvestamist dokumenteeritud toetatud võimekustena. See ei tähenda tingimata, et kõik juurutusvõtted on võimatud, kuid kasutajad ei tohiks eeldada sellist hallatud API funktsioonide komplekti, mida pakuvad kommertsiaalsed assistendiplatvormid.

Falcon Perceptioni jaoks ei ole tuvastatud ka ametlikku hostitud hinda märgi kohta. Seetõttu ei saa mudelit avaldatud teenusepakkuja hinna alusel otseselt võrrelda tavapärase märgipõhise API-ga. Ise majutamisega kaasnevad siiski kulud, sealhulgas riistvara, salvestusruum, arendusaeg, seire ja hooldus. Kui väline teenusepakkuja pakub hostitud juurdepääsu, võivad sellel olla eraldi hinnad ja tingimused, mis ei kuulu mudeli ametliku kirje juurde.

Lõpuks võib kompaktne mudel hõlmata võimekuse ja tõhususe vahelist kompromissi. Väike suurus on kiire või säästliku järelduse tegemise jaoks atraktiivne, kuid esitatud uuring ei kinnita universaalset kiiruse- või täpsusjärjestust. Enne mudeli kasutamist tootmises peaksid rakendused seda katsetama oma piltide, viipade, objektikategooriate, valgustingimuste ja objektide paiknemistihedusega.

Arutlemine, programmeerimine ja tööriistade tugi

Falcon Perceptioni ei tohiks valida üldiseks arutlemiseks ega programmeerimiseks. Selle väljund keskendub tajupõhistele ennustustele ning uuring annab sellele toimetuslike hinnangutena madala arutlemis- ja programmeerimisskoori, mitte teenusepakkuja avaldatud võrdlustestide tulemusi. Need skoorid võtavad kokku mudeli kavandatud rolli ega ole segmenteerimiskvaliteedi formaalsed mõõdikud.

Veebiotsingu, tööriistade kasutamise ega funktsioonikutsete võimekust ei ole dokumenteeritud. Täielikus rakenduses saab ümbritsev tarkvara tagastatud maskid dekodeerida, piirdekaste joonistada, suunata tuvastused mõnda teise teenusesse või käivitada välise toimingu. Need töövoo funktsioonid kuuluvad rakenduskihile ning neid ei tohiks kirjeldada Falcon Perceptioni sisseehitatud võimekusena.

Hind ja juurdepääs

Falcon Perceptioni ametlikku hostitud sisendi- või väljundihinda ei leitud. Esitatud uuringus kirjeldatud peamine juurdepääsutee on allalaaditavad mudelikaalud Hugging Face’i kaudu koos ametliku lähtekoodi- ja järeldusserveri hoidlatega. See võib muuta mudeli sobivaks organisatsioonidele, kes eelistavad juurutamist ise kontrollida, kuid samal ajal läheb taristu ja kasutamise eest vastutamine kasutajale.

Esitatud info kohaselt on mudel litsentsitud Apache-2.0 alusel. Isegi lubava litsentsi korral peaksid kasutajad üle vaatama kehtivad hoidla tingimused, omistamisnõuded, juurutamiskohustused ja konkreetsel kasutusviisil kehtivad piirangud. Hostitud hinna puudumine ei tähenda, et mudeli käitamine oleks praktikas tasuta.

Parimad kasutusviisid

Falcon Perception sobib hästi süsteemidele, mis vajavad tekstiviibaga juhitavat visuaalset tuvastit või segmentijat. Sobivad rakendused on näiteks:

• Robootikasüsteemid, mis peavad enne käsitsemist või navigeerimist määratud objektid üles leidma.
• Visuaalse kontrolli töövood, mis vajavad objektide piire, mitte ainult pilditasandi silte.
• Tihedalt täidetud stseenide analüüs, kus tuleb eraldada mitu eksemplari.
• Avatud sõnavaraga tuvastamise ja viibaga juhitava segmenteerimise uurimine.
• Kohalikud pilditöötlusvahendid, kus allalaaditavad kaalud on eelistatavad piltide saatmisele hostitud assistendile.
• Eeltöötlusetapid, mis loovad maske või piirkondi hilisemate arvutinägemistoimingute jaoks.

Näiteks võib kontrollirakendus küsida kindlat tüüpi komponenti, dekodeerida tagastatud maski ning arvutada piirkonna asukoha või pindala. Robootika töövoog võib kasutada koordinaate võimalike objektide tuvastamiseks, enne kui eraldi kontroller otsustab, mida teha. Need näited kirjeldavad dokumenteeritud väljunditel põhinevaid mõistlikke integreerimisviise; need ei väida, et mudel juhiks iseseisvalt roboteid või teostaks tööstuslikku sertifitseerimist.

Millal valida Falcon Perception?

Vali Falcon Perception siis, kui põhinõue on loomuliku keelega juhitav lokaliseerimine või eksemplarisegmentimine ning hindad kompaktset avatud kaaludega mudelit, mida saab integreerida oma töövoogu. See on eriti asjakohane siis, kui struktureeritud koordinaadid ja pikslimaskid on olulisemad kui ladusad selgitused.

Vali teist tüüpi mudel siis, kui ülesanne on peamiselt vestlus, pildiga seotud küsimustele vastamine, dokumentide tõlgendamine, programmeerimine, heli- või videoanalüüs, veebiuuringud või mitmeastmeline arutlemine. Selliste töökoormuste jaoks võib paremini sobida suurem üldotstarbeline multimodaalne mudel. Kui objektikategooriad on fikseeritud ja ülesandespetsiifiline maksimaalne täpsus on avatud sõnavaraga viipamisest olulisem, võib eelistada ka tavapärast arvutinägemise tuvastit või segmenteerimismudelit.

Lühidalt öeldes on Falcon Perception kõige parem käsitlus spetsialiseeritud tajumootorina. Selle väärtus tuleneb loomuliku keele päringute ühendamisest täpsete ruumiliste väljunditega, mitte soovist asendada täielikku multimodaalset assistenti. Enne mudeli kasutuselevõttu tootmissüsteemis peaksid meeskonnad kontrollima selle täpsust ja latentsust esinduslikel andmetel, kinnitama riistvaranõuded ning kavandama ise hallatava juurutamise kulud.