Mis on Florence-2-large?
Florence-2-large on Microsofti avatud kaaludega visiooni-keele mudel. See võtab sisendiks pildi koos tekstilise ülesandekäsuga ning genereerib soovitud tulemuse tekstilise või struktureeritud tekstina. Olenevalt käsust võib tulemuseks olla pildi kirjeldus, objektisildid, piirdekastid, piirkondade kirjeldused või tuvastatud tekst koos koordinaatidega.
Mudel sisaldab ligikaudu 0,77 miljardit parameetrit. Mitut visiooniülesannet toetava alusmudeli kohta on see suhteliselt kompaktne, mis on oluline arendajatele, kes soovivad järeldamist käitada lokaalselt või töödelda suuri pildikogumeid ilma hallatavale multimodaalsele API-le tuginemata.
Florence-2-large kuulub Microsofti Florence-2 mudeliperre ja seda levitatakse Microsofti Hugging Face'i repositooriumi kaudu. See erineb repositooriumi ökosüsteemis mainitud variandist Florence-2-large-ft: siin kirjeldatav large-mudel on eeltreenitud avatud kaaludega kontrollpunkt, samas kui ft-tähis viitab hiljem peenhäälestatud variandile.
Mida Florence-2-large teha suudab?
Florence-2-large kasutab vajaliku pildimõistmise viisi valimiseks ülesandetähiseid ja viipasid. Levinud näited on <CAPTION> lihtsa pildikirjelduse jaoks, <OD> objektide tuvastamiseks ja <OCR> optilise märgituvastuse jaoks. Protsessor teisendab genereeritud jada vajaduse korral kasulikumateks ülesandespetsiifilisteks struktuurideks.
- Piltide kirjeldamine: Genereerib lühikirjeldusi, üksikasjalikke kirjeldusi ja veelgi põhjalikumaid kirjeldusi.
- Objektide tuvastamine: Tuvastab objekte ning tagastab sildid koos piirdekastidega.
- Tihe piirkondade kirjeldamine: Kirjeldab pildi mitut piirkonda, mitte ainult kogu pildi üht üldist sisu.
- Visuaalne maandamine: Seob fraasid või kirjeldused pildipiirkondadega, toetades kirjelduse ja fraasi vahelist maandamist ning sellega seotud annoteerimistöövooge.
- Piirkondade ettepanekud: Genereerib kandidaadipiirkondi järgnevaks arvutinägemise töötluseks.
- OCR: Eraldab piltidelt nähtava teksti.
- Piirkondadega OCR: Tagastab tuvastatud teksti koos nelinurksete koordinaatidega, mis kirjeldavad teksti asukohta.
Need funktsioonid kasutavad sama mudelit ja ühist viipadel põhinevat liidest, kuid need ei ole samaväärsed üldotstarbelise vestluskogemusega. Arendaja valib tavaliselt ülesande, edastab pildi, dekodeerib väljundi ja rakendab protsessori järeltöötlust koordinaatide, siltide või muude struktureeritud tulemuste saamiseks.
Mudeli ülesehitus ja treenimise taust
Florence-2 kasutab ühtset jada-jadaks-arhitektuuri, mitte iga toetatud ülesande jaoks eraldi spetsialiseeritud mudelit. Praktilises mõttes treenitakse mudelit pilti esitama ja genereerima visuaalse teabe erinevaid tekstilisi kodeeringuid vastavalt ülesandekäsule.
Microsofti andmetel treeniti Florence-2 mudeliperet andmestikuga FLD-5B, mis sisaldab ligikaudu 5,4 miljardit visuaalset annotatsiooni 126 miljoni pildi kohta. Selle treenimisviisi eesmärk on anda mudelile laiad võimekused piltide kirjeldamise, tuvastamise, maandamise ja OCR-iga seotud ülesannetes. Need arvud pärinevad teenusepakkuja avaldatud uurimisandmetest ega garanteeri, et tulemused on kõigis valdkondades või pildistiilides võrdselt usaldusväärsed.
Esitatud uurimuse kohaselt on mudeli repositoorium MIT-litsentsiga. See lubav litsents võib muuta Florence-2-large'i atraktiivseks katsetamiseks, sisemiste tööriistade ja enda hallatavate rakenduste jaoks, kuid arendaja vastutab repositooriumi, sõltuvuste, andmeõiguste ja juurutamisnõuete ülevaatamise eest.
Kontrollitud spetsifikatsioonid lühidalt
| Spetsifikatsioon | Florence-2-large |
|---|---|
| Teenusepakkuja | Microsoft |
| Väljalase | Juuni 2024 |
| Mudeli suurus | Ligikaudu 0,77 miljardit parameetrit |
| Mudeli tüüp | Avatud kaaludega multimodaalne visiooni-keele mudel |
| Sisendid | Pildid ja tekstilised ülesandekäsud |
| Väljundid | Tekst, kirjeldused, sildid, koordinaadid ja muud ülesandespetsiifilised tekstistruktuurid |
| Maksimaalne tekstipositsioonide arv | 1 024 põhimudeli konfiguratsioonis |
| Levinud avaldatud genereerimisseadistus | max_new_tokens=1024 |
| Litsents | MIT |
| Microsofti hostitud API hind | Selle täpse mudeli jaoks ei ole ametlikku hinda tuvastatud |
1 024 positsiooni konfiguratsioonipiiri ja levinud avaldatud 1 024 märgi genereerimisseadistust ei tohiks segi ajada hostitud API kontekstiakna garantiiga. Florence-2-large laaditakse üldjuhul lokaalse mudelina ning tegelik mälukasutus, läbilaskevõime ja kasutatav genereerimispikkus sõltuvad samuti Transformersi teostusest, täpsusest, riistvarast ja dekodeerimise konfiguratsioonist.
Kuidas seda juurutatakse?
Florence-2-large on lokaalseks või enda hallatavaks järeldamiseks saadaval Microsofti Hugging Face'i repositooriumis. Avaldatud teostus kasutab Transformersi teeki, AutoProcessor ja Florence'iga ühilduvat põhjuslikku keelemudeliklassi või AutoModelForCausalLM. Repositoorium nõuab kohandatud teostuse jaoks trust_remote_code=True.
See kohandatud koodi nõue on kasulik, sest see pakub Florence-2 ülesannete jaoks vajalikku mudelipõhist töötlust, kuid tekitab ka operatiivse vastutuse. Meeskonnad peaksid kinnistama mudeli versiooni, uurima repositooriumi koodi ja sõltuvusi, testima uuendusi eraldi ning vältima allalaaditud kaugkoodi automaatset usaldamist.
Florence-2-large'i jaoks ei ole tuvastatud ametlikku Microsofti hostitud API hinda ning mudelit ei tohiks kirjeldada standardse Copiloti või Azure'i mudeli lõpp-punktina, millel on avaldatud märgipõhine hinnastus. Otsene kulu on seotud hoopis riistvara, hostimisteenuse või kolmanda osapoole platvormiga, mida selle käitamiseks kasutatakse. See võib korduva pakktöötluse puhul olla kulutõhus, kuid käitaja peab haldama paigaldamist, arvutusvõimsust, seiret ja skaleerimist.
Peamised tugevused ja kompromissid
Mudeli peamine tugevus on selle ulatus mudeli suurusega võrreldes. Üks ligikaudu 0,77 miljardi parameetriga kontrollpunkt toetab piltide kirjeldamist, tuvastamist, maandamist ja OCR-i, mistõttu ei ole iga põhifunktsiooni jaoks vaja eraldi mudelit. Avatud kaaludega levitamine toetab ka privaatseid või võrguühenduseta töövooge, kus piltide saatmine hostitud teenusesse ei ole soovitav.
Selle kompaktne suurus võib pakkuda lokaalse järeldamise ja pakktöötluse puhul kasulikku kiiruse ja kulu kompromissi. Esitatud uurimus hindab kiirust ja kulu soodsalt, kuid need on toimetuslikud hinnangud, mitte Microsofti avaldatud skoorid. Tegelik jõudlus sõltub suurel määral riistvarast, kvantimisest, pildi eraldusvõimest, pakisuurusest ja teostusvalikutest, mistõttu tuleks neid hinnanguid käsitleda praktilise juhisena, mitte kindlate võrdlustulemustena.
Kompromiss seisneb selles, et Florence-2-large on spetsialiseerunud piltide mõistmisele, mitte üldisele arutlemisele. See ei genereeri algupäraselt pilte, heli ega videot. See ei ole loodud üldiseks vestlusabiliseks, programmeerimismudeliks ega autonoomseks agendiks ning uurimus ei tuvasta tööriista- ega funktsioonikutsete liidest. Samuti ei paku see hallatava API mõistes tavalist struktureeritud väljundi režiimi; selle väljund on genereeritud tekst, mida protsessor võib analüüsida ülesandespetsiifilisteks struktuurideks, näiteks kastideks ja OCR-koordinaatideks.
Arutlemine, programmeerimine ja toetatud modaalsused
Florence-2-large'il on pildi- ja tekstisisend ning otsese väljundi modaalsuseks on tekst. See suudab täita visuaalse tõlgendamise ülesandeid, kuid seda ei tohiks segi ajada arenenud üldise arutlemisega. Selle arutlemisvõime on ülesandepõhine: mudel seostab pildi sisu kirjelduste, siltide, piirkondade või tekstiga, kuid keerukas mitmeetapiline analüüs väljaspool neid ülesandeid ei kuulu selle eesmärgipärasesse kasutusvaldkonda.
Programmeerimine ei ole selle peamine võimekus. Arendaja saab mudeli ümber tarkvara kirjutada, kuid Florence-2-large ei ole programmeerimisabiline ning seda ei tohiks valida koodi genereerimiseks. Samuti puuduvad esitatud tõendid algupärase veebotsingu, väliste tööriistade, voogedastuse, pakktöötlus-API või funktsioonikutsete toe kohta. Peenhäälestamine või järgnev kohandamine on mudeli ökosüsteemis võimalik, kuid seotud large-ft kontrollpunkti olemasolu ei tähenda, et iga juurutus sisaldaks hallatavat peenhäälestusteenust.
Avaldatud jõudlus ja selle tõlgendamine
Microsoft avaldab Florence-2-large'i kohta mitmeid null-lähenemisega uurimistulemusi, sealhulgas COCO pildikirjeldamise CIDEr-skoori 135,6, NoCapsi valideerimise CIDEr-skoori 120,8, TextCapsi valideerimise CIDEr-skoori 72,8 ja COCO objektituvastuse valideerimise mAP-i 37,5. Large-mudel edestas Florence-2-base'i varianti ka mitmes avaldatud visuaalse maandamise ja viitavate väljendite võrdlustestis.
Need on teenusepakkuja avaldatud uurimistulemused kindlaksmääratud andmestikel. Need aitavad mõista mudeli kavandatud võimekusi, kuid ei garanteeri tootmiskeskkonna tulemusi. Tulemused võivad muutuda sõltuvalt pildi kvaliteedist, valdkonnast, viiba valikust, dekodeerimisseadetest ja järeltöötlusest. Dokumendi OCR-i töövoogu, jaekaubanduse laosüsteemi või spetsialiseeritud teadusandmestikku tuleks enne juurutamist testida esinduslike piltidega.
Piirangud, millega arvestada
Florence-2-large võib genereerida ebatäpseid kirjeldusi, jätta objekte tuvastamata, anda valed koordinaadid või teha OCR-vigu. Sellised tõrked on eriti olulised siis, kui pildid on väikese eraldusvõimega, tekst stiliseeritud, objektid osaliselt varjatud või juurutusvaldkond erineb mudeli hindamisandmetest.
Genereeritud esitused vajavad samuti ülesandespetsiifilist tõlgendamist. Piirdekastid ja nelinurksed koordinaadid ei moodusta automaatselt täielikku rakendustaseme tuvastus- ega dokumenditöötlussüsteemi. Arendajad võivad vajada valideerimist, usaldusväärsuse käsitlemist, koordinaatide teisendamist ning reegleid vigaste või ebatõenäoliste väljundite tagasilükkamiseks.
Kuna repositoorium kasutab kohandatud mudelikoodi, on oluline kontrollida ühilduvust ja tarneahelat. Versioonide kinnistamine ning täpsete protsessori- ja mudeliversioonide testimine aitab üllatusi vähendada. Ohutuskriitiliste, identiteeditundlike, õiguslike või väga täpset OCR-i ja tuvastamist nõudvate töövoogude puhul on asjakohane inimkontroll või täiendav valideerimine.
Millal valida Florence-2-large?
Valige Florence-2-large, kui vajate kompaktset avatud kaaludega pildimõistmise mudelit ja olete valmis seda lokaalselt või ühilduva kolmanda osapoole teenuse kaudu käitama. See sobib eriti hästi järgmisteks kasutusjuhtudeks:
- Pildikogumitele kirjelduste ja metaandmete genereerimine.
- Andmestike annoteerimine objektikastide, siltide või piirkondadega.
- Dokumendipiltide eeltöötlemine OCR-i ja teksti asukohtade abil.
- Visuaalse otsingu või laohalduse töövoogude loomine.
- Privaatse või võrguühenduseta arvutinägemise järeldamise käitamine.
- Ühe mudeli kasutamine mitme seotud visiooniülesande jaoks, selle asemel et juurutada mitu spetsialiseeritud kontrollpunkti.
Teine lahendus võib olla sobivam, kui projekt nõuab piltide, heli või video genereerimist, vestlusabilist, arenenud üldist arutlemist, koodi genereerimist, sisseehitatud tööriistu, hallatavat skaleerimist või teenusepakkuja tagatud teenusetaseme lepingut. Suurem või spetsialiseeritum visioonisüsteem võib olla eelistatav ka siis, kui kitsa tootmisvaldkonna täpsus on mudeli suurusest ja lokaalse käitamise kulust olulisem. Florence-2-large'i tuleks kõige paremini mõista praktilise mitme ülesandega pildianalüüsi komponendina, mitte üldise multimodaalse assistendi asendusena.