Florence-2-base

Mis on Florence-2-base?

Florence-2-base on Microsofti eeltreenitud arvutinägemise alusmudel, millel on 0,23 miljardit parameetrit. Seda levitatakse Hugging Face’i kaudu MIT-litsentsi alusel ning mudeli kaalud on saadaval kohalikuks või enda hallatavas keskkonnas kasutamiseks, mitte dokumenteeritud Microsofti hostitud ja märgipõhise hinnastusega API kaudu.

Mudel kasutab ühtset jada-jadaks arhitektuuri: pildikodeerija tõlgendab visuaalset sisu ning teksti kodeerija-dekooder kasutab tulemuse loomiseks ülesande juhist. Praktikas tähendab see, et sama kontrollpunkt suudab täita mitmesuguseid pildimõistmise ülesandeid, kui sisendviip määrab soovitud ülesande. Väljund on üldjuhul tekst, mis sisaldab kirjeldust, silti, koordinaatide struktuuri või OCR-tulemust.

Florence-2-base kuulub Microsofti Florence-2 mudeliperre. Seda tuleb eristada mudelist Florence-2-base-ft, mis on eraldi peenhäälestatud tuletismudel. Baaskontrollpunkt on eeltreenitud mudel, mis on mõeldud paindlikuks lähtekohaks järelduste tegemisel või edasisel kohandamisel.

Toetatud nägemisülesanded

Florence-2-base on kõige kasulikum siis, kui rakendus peab teisendama visuaalse sisu kirjeldusteks või masinloetavateks piirkondadeks. Dokumenteeritud ülesannete hulka kuuluvad:

• Pildi kirjeldamine: pildi üldise kirjelduse loomine.
• Üksikasjalik kirjeldamine: visuaalse stseeni põhjalikuma kirjelduse koostamine.
• Objektituvastus: objektide tuvastamine ja nende asukoha tagastamine piiritlevate kastidena.
• Tihe piirkondade kirjeldamine: pildi mitme piirkonna kirjeldamine.
• Piirkondade pakkumine: asjakohaste pildipiirkondade pakkumine järgnevaks töötlemiseks.
• Fraasi maandamine: fraasi või kirjelduse sidumine pildil vastava piirkonnaga.
• Optiline märgituvastus: pildil nähtava teksti eraldamine.
• OCR koos piirkonna koordinaatidega: tuvastatud teksti tagastamine koos selle asukohaga.

Need toimingud valitakse ülesandeviipade, mitte eraldi mudeliallalaadimiste kaudu. Näiteks võib rakendus kasutada dokumendipiltide puhul OCR-viipa, laofotode puhul objektituvastuse viipa või ligipääsetavuse metaandmete jaoks kirjeldusviipa. Loodud struktuurid vajavad siiski rakendusepoolset parsimist ja valideerimist, enne kui neid tootmisandmetena käsitletakse.

Tehniline profiil ja piirangud

Avaldatud kontrollpunkt sisaldab ligikaudu 230 miljonit parameetrit ja kasutab float16-kaalusid. Selle konfiguratsioon määrab teksti maksimaalseks positsioonide arvuks 1 024 märki ning ametlikes genereerimisnäidetes kasutatakse kuni 1 024 uut märki. Need näitajad kirjeldavad mudeli tekstitöötluse ja genereerimise konfiguratsiooni; need ei tähenda üldotstarbeliste vestlusmudelite kontekstivõret samas tähenduses.

Florence-2-base võtab vastu pildi- ja tekstisisendi. See ei toeta algupäraselt heli ega videot ning ei genereeri otse pilte, heli ega videot. Selle väljund on tekst, mitte renderdatud pilt ega muu mittetekstiline meedia. Piiritlevad kastid, nelinurksed koordinaadid ja sarnased tulemused esitatakse genereeritud tekstis ning vajavad tavaliselt järeltöötlust.

Florence-2-base’i tugevused

Mudeli peamine eelis on suhteliselt väikeses kontrollpunktis kättesaadav arvutinägemise funktsioonide hulk. Selle asemel et hallata eraldi mudeleid kirjeldamiseks, OCR-i, tuvastuse ja fraaside maandamise jaoks, saab arendusmeeskond ühe viipadel põhineva mudeli abil katsetada mitmesuguseid töövooge. See võib lihtsustada prototüüpimist ja muuta kohaliku kasutuse praktilisemaks kui palju suurema üldotstarbelise nägemis-keelemudeli kasutamine.

Oluline praktiline tugevus on ka avatud MIT-litsents. Meeskonnad saavad kontrollpunkti alla laadida, seda oma keskkonnas käitada ja järgnevate rakenduste jaoks peenhäälestada, kuid vastutavad seejuures andmete, kasutuskeskkonna ja loodud süsteemi hindamise eest. Uurimismaterjalid ja mudeli dokumentatsioon kirjeldavad ka peenhäälestuse töövooge selliste ülesannete jaoks nagu kirjeldamine, tuvastus, klassifitseerimine, segmenteerimine ja OCR.

Kohalik käitamine võib olla kasulik siis, kui pildid peavad jääma organisatsiooni taristusse või kui töökoormus ei õigusta kasutuspõhist hostitud järeldamist. Selle mudeli kohta esitatud toimetuslik hinnang peab selle kiirust ja kulutõhusust suuremate üldotstarbeliste mudelitega võrreldes kõrgeks, samas kui arutlus- ja kodeerimisvõimet hinnatakse madalaks. Need on võrdlevad toimetuslikud hinded, mitte Microsofti avaldatud mõõtmistulemused.

Piirangud ja kompromissid

Florence-2-base on visuaalse analüüsi erimudel, mitte universaalne assistent. See ei ole mõeldud pikaks vestluseks, laialdaste maailmateadmiste, autonoomse tööriistakasutuse ega üldise kodeerimise jaoks. Samuti ei paku see algupärast piltide ega muu meedia genereerimist. Süsteem, mis vajab selgitusi, planeerimist, veebiuuringuid või interaktiivset dialoogi, vajaks üldjuhul mõne teise mudeli lisamist või laiemate võimalustega nägemis-keelesüsteemi.

Genereeritud koordinaate ja silte ei tohiks automaatselt käsitleda täiesti täpsete märkustena. Tootmisrakendused võivad vajada usaldusväärsuskontrolle, ülesandespetsiifiliste viipade testimist, piltide eeltöötlust ja järgnevat valideerimist. Peenhäälestus võib olla asjakohane siis, kui sihtpildid, sõnavara või märkuste vorming erinevad mudeli üldisest eeltreenimisest märkimisväärselt.

Mudeli 1 024 positsiooniga tekstikonfiguratsioon ja näidetes kasutatud 1 024 märgi genereerimispiirang on paljude tänapäevaste vestlusmudelite kontekstivõredega võrreldes tagasihoidlikud. Need on ülesandeviipade ja struktureeritud visuaalsete tulemuste jaoks piisavad, kuid pole mõeldud pikkade dokumentide, ulatuslike vestluste ega suurte tekstipõhiste töövoogude jaoks.

Esitatud uuringus ei ole selle kontrollpunkti kohta dokumenteeritud Microsofti hostitud märgipõhist hinda, pakktöötluse API-t ega voogedastusliidest. Seega sõltub majanduslik eelis riistvara, järeldusmootori, arenduse ja hoolduse kuludest. „Avatud” ei tähenda, et juurutamine oleks tasuta.

Kuidas seda juurutatakse

Ametlik kontrollpunkti identifikaator on microsoft/Florence-2-base. Avaldatud näidetes kasutatakse Hugging Face’i Transformers ökosüsteemi koos AutoProcessor ja AutoModelForCausalLM-ga ning trust_remote_code=True-ga. Tüüpilises töövoos laaditakse protsessor ja mudel, antakse neile pilt ning ülesandeviip, genereeritakse märgid ja kasutatakse seejärel protsessorit ülesandespetsiifilise tulemuse dekodeerimiseks või järeltöötlemiseks.

Praktilise jõudluse tagamiseks soovitatakse esitatud uuringus kohalikku GPU-järeldamist, kuigi võimalikud võivad olla ka ühilduv protsessoril käitamine ja teisendatud käituskeskkonnad. Käitamiskiirus sõltub riistvarast, pildi suurusest, täpsusest, genereerimisseadetest ja järeltöötluse mahust. Mudelikaart ja konfiguratsioon määravad arhitektuuri ning ülesannete käitumise, kuid ei määra üht universaalset latentsusnäitajat.

Parimad kasutusjuhud

• Pildikogudele kirjelduste või ligipääsetavustekstide loomine.
• Siltidelt, ekraanipiltidelt või dokumendifotodelt teksti ja selle asukoha eraldamine.
• Objektide tuvastamine kergetes pilditöötluse töövoogudes.
• Fraasiga seotud pildipiirkondade leidmine.
• Piirkondade kirjelduste loomine visuaalseks kontrolliks või andmestike ettevalmistamiseks.
• Privaatsustundlike prototüüpide loomine, hoides pildiandmed kohalikus taristus.
• Kompaktse nägemismudeli peenhäälestamine konkreetse järgnevaks kasutuseks mõeldud arvutinägemise ülesande jaoks.

Millal valida Florence-2-base?

Vali Florence-2-base siis, kui peamine vajadus on viibaga valitav pildimõistmine ning meeskond hindab suhteliselt kompaktset avatud kontrollpunkti, kohalikku kontrolli ja lubavat litsentsi. See on eriti atraktiivne arendajatele, kes vajavad mitut praktilist nägemisülesannet ilma suure hostitud vestlusmudeli kasutuselevõtuta.

Vali mõni muu lahendus siis, kui rakendus sõltub loomulikust mitmevoorulisest vestlusest, tugevast üldisest arutlusvõimest, kodeerimisest, veebijuurdepääsust, tööriista- või funktsioonikutsetest, algupärasest meediagenereerimisest, heli- või videosisendist või hallatud API-st, mille kasutushinnad ja teenusetaseme käitumine on avaldatud. Peenhäälestatud Florence-2 variant võib olla sobivam, kui baaskontrollpunkt ei paku spetsialiseeritud andmestiku jaoks piisavat täpsust, samas kui laiem nägemis-keelemudel võib olla eelistatav siis, kui visuaalne analüüs on vaid üks osa suuremast assistendi töövoost.

Kokkuvõttes tuleks Florence-2-base’i käsitleda eelkõige kompaktse arvutinägemise alusmudelina, mitte üldotstarbelise multimodaalse vestlusroboti väiksema asendajana. Selle väärtus seisneb kirjeldamise, tuvastuse, maandamise ja OCR-i laadsete ülesannete ühendamises ühes kohapeal juurutatavas kontrollpunktis.