Perception Encoder Audiovisual

Mis on Perception Encoder Audiovisual?

Perception Encoder Audiovisual, mida lühendatakse tavaliselt PE-AV-ks, on Meta avatud lähtekoodiga multimodaalne kodeerija. Selle peamine ülesanne on teisendada eri liiki sisu embedding'uteks ehk arvulisteks vektorkujutisteks, mis kajastavad sisendite vahelisi kasulikke seoseid. Seetõttu saab heli, videot, heli-video klippe ja teksti omavahel võrrelda ka siis, kui need ei ole algselt samas vormingus.

Näiteks saab teksti kirjelduse sobitada helisalvestisega, video võib olla leitav kirjaliku päringu abil või heli seostada selle tekitanud visuaalse sisuga. Seetõttu on PE-AV taju- ja representatsioonimudel, mitte vestluslik keelemudel ega generatiivne meediamudel.

Meta kirjeldab PE-AV-d oma Perception Encoderi teadustöö osana. Ametlik väljalase keskendub audiovisuaalsele vastavusõppele, kasutades kontrastiivõpet, et tuua omavahel seotud heli-, visuaal- ja tekstiesitused embedding'u ruumis üksteisele lähemale ning eraldada vähem seotud näiteid.

PE-AV koht Meta mudelikataloogis

PE-AV-l on Meta avalikult välja antud Perception Modelsi töös spetsialiseeritud roll. See on mõeldud pakkuma multimodaalseid esitusi teistele süsteemidele, mitte toimima täieliku lõppkasutaja rakendusena. Meta kasutab PE-AV-d ka SAM Audio komponendina, kus audiovisuaalne teave aitab ühendada nähtavad inimesed või objektid vastavate helidega. SAM Audio täidab generatiivse heli eraldamise ülesannet; PE-AV pakub tajufunktsioone, mis aitavad suuremal süsteemil eri modaalsuste vahelisi seoseid mõista.

Väljalase sisaldab ka mudelit PE-A-Frame, mis on seotud kaadritaseme mudel ja mõeldud heli sündmuste, videokaadrite ning teksti täpseks joondamiseks. PE-A-Frame ei ole sama mudel mis peamine PE-AV perekond. See on asjakohane siis, kui eesmärk on tuvastada, milline konkreetne videokaader vastab helisündmusele, samal ajal kui PE-AV on sellel lehel kirjeldatud üldisem audiovisuaalne kodeerija.

Toetatud sisendid ja väljundid

PE-AV toetab nelja peamist sisenditüüpi:

• Heli: kõnet, muusikat ja üldisi heliefekte saab esitada heliembedding'utena.
• Video: videokaadrid saab kodeerida visuaalseteks esitusteks.
• Heli-video: ajaliselt seotud heli- ja visuaalset teavet saab töödelda koos.
• Tekst: kirjalikud kirjeldused ja päringud saab teisendada samasse üldisesse esituste ruumi.

Saadud embedding'ud toetavad ainult heli, ainult video, heli-video, heli-teksti, video-teksti ja audiovisuaalse teksti võrdlusi. Praktilises mõttes võiks meediaindeks kasutada PE-AV-d kirjeldatud heli sisaldavate klippide otsimiseks, kõnel põhineva päringuga seotud videote leidmiseks või meedia järjestamiseks selle järgi, kui hästi selle heli ja visuaal vastavad pealdistele.

Mudeli otsene väljund on vektorembedding. See ei tagasta loomupäraselt kirjalikku vastust, pilti, helifaili, videot, kõne lainekuju ega muusikapala. Kõik sildid, pealdised, otsingutulemused või loodud meedia tuleb genereerida eraldi allavoolukomponendiga.

Kontrollpunktid ja video töötlemise valikud

Meta avaldas kuus peamist PE-AV kontrollpunkti. Need on jaotatud kolme ligikaudse parameetrisuuruse vahel ning igal suurusel on tavaline ja fikseeritud kaadrite arvuga versioon:

Tavalised variandid on mõeldud muutuva pikkusega või laiema ajalise katvuse jaoks, samal ajal kui 16 kaadriga variandid kasutavad fikseeritud valimisstrateegiat. Fikseeritud kaadrite arvuga versioonid võivad muuta ressursiplaneerimise ja läbilaskevõime prognoosimise lihtsamaks, kuid need võivad anda vähem ajalist üksikasjalikkust, kui oluline sündmus toimub valitud kaadrite vahel. Kõigi kaadrite variandid võivad säilitada suurema osa klipi ajalisest teabest, kuid nõuavad rohkem töötlemisvõimsust ja mälu.

Eespool toodud parameetrite arv ja kontrollpunktide käitumine on Meta mudelimaterjalides kirjeldatud spetsifikatsioonid. Neid ei tohiks tõlgendada eri riistvara, sisendipikkuste või seadistuste puhul sama kiiruse garantiina.

Õpetamine ja avaldatud jõudlus

Meta õpetas PE-AV-d suuremahulise multimodaalse kontrastiivõppe abil. Uurimuses kirjeldatakse audiovisuaalsete andmete mootorit, mis põhineb enam kui 100 miljonil heli-video paaril ning hõlmab kõnet, muusikat ja üldisi heliefekte. See lai õpetamisulatus on oluline, sest näiteks ainult kõnel õpetatud süsteem ei pruugi sobida üldiseks meediaotsinguks või keskkonnahelide mõistmiseks.

Meta teatab headest tulemustest heli, video ja audiovisuaalse otsingu võrdlusnäitajatel. Need on teenusepakkuja avaldatud uurimistulemused, mitte garantii iga rakenduse jaoks. Tegelik jõudlus võib erineda salvestise kvaliteedi, valdkondliku erinevuse, keele, visuaalse sisu, ajalise valimi ja allavoolu otsingu- või klassifitseerimissüsteemi kvaliteedi tõttu.

PE-AV kontrastiivne ülesehitus muudab selle eriti kasulikuks siis, kui soovitud toiming on võrdlemine. See sobib vähem olukordadesse, kus on vaja klippi ladusas keeles selgitada, pidada mitmeastmelist vestlust või luua uus meediavara.

Milleks saab PE-AV-d kasutada?

PE-AV sobib rakendustele, mis peavad mõõtma heli, pildi ja teksti vahelisi seoseid. Levinud näited on järgmised:

• Modaalsusteülene otsing: heli-, video- või audiovisuaalsete klippide otsimine tekstipäringu või mõne muu meedianäite abil.
• Meedia indekseerimine: suurte heli- ja videokogude jaoks otsitavate esituste loomine.
• Helisündmuste avastamine: kõne, muusika või üldiste heliefektidega seotud klippide leidmine.
• Audiovisuaalne järjestamine: kandidaatklippide järjestamine selle järgi, kui hästi nende heli, pilt ja pealdised omavahel sobivad.
• Kõne ja heli otsing: tekstikirjelduste või teiste helinäidetega seotud salvestiste leidmine.
• Allavoolu tajusüsteemid: embedding'ute pakkumine klassifikaatoritele, hindajatele, pealdiste genereerimise süsteemidele või multimodaalsetele töövoogudele.

Praktilises otsingusüsteemis võiks rakendus kodeerida oma meediateegi ühe korra, salvestada saadud vektorid, kodeerida kasutaja teksti- või helipäringu ning otsida seejärel lähedasi vektoreid. PE-AV ei määra ise lõppkasutaja liidest ega järjestamispoliitikat; need osad tuleb kodeerija ümber ehitada.

Võimekus, piirangud ja juurutamisega seotud kaalutlused

Kuna PE-AV on embedding'u kodeerija, ei ole sellel tavapärast genereeritud teksti kontekstiakent ega maksimaalset väljundtokenite piirangut. Ametlikus kaasasolevas materjalis ei ole mudeli konteksti pikkust ega tokenite genereerimise eelarvet täpsustatud. Selle väljund on embedding, mitte muutuva pikkusega vastus.

Mudel ei paku tavapärase mõtestava vestlusmudeli tähenduses loomupärast arutlusvõimet ega sisseehitatud koodiabi, tööriistade kutsumist, funktsioonide kutsumist, veebiotsingut, JSON-i genereerimist või voogedastatavaid tekstivastuseid. Need ei ole majutatud vestlusliku API puuduvad seadistuslülitid, vaid jäävad mudeli peamisest rollist väljapoole.

PE-AV ei paku ka otsest pildi, heli, video, muusika ega kõne genereerimist. Kui rakendus vajab selliseid väljundeid, tuleb kodeerija ühendada teiste mudelitega. Samuti ei tohiks PE-AV-d valida keelemudeli iseseisvaks asendajaks, kui ülesanne nõuab dialoogi, kokkuvõtete loomist, juhiste järgimist või loomulikus keeles selgitusi.

Meta ametlikud väljalaskematerjalid kirjeldavad avatud kontrollpunkte ja teostust, mitte majutatud tokenipõhist järeldusteenust ega tarbijatele mõeldud tellimusliidest. PE-AV jaoks ei ole esitatud ametlikku majutatud API hinda. Seetõttu tuleb juurutamisel hallata avaldatud mudelikoodi, kontrollpunkte, riistvara ja ümbritsevat järeldustöövoogu. Suurimad, ligikaudu 2B parameetriga variandid nõuavad tõenäoliselt rohkem ressursse kui väiksemad kontrollpunktid, eriti laia ajalise katvusega video töötlemisel; täpne tööaeg sõltub juurutuskeskkonnast ja seda kaasasolevas uurimuses ei täpsustata.

Ametlik mudelikaart märgib, et kontrollpunktid on välja antud Apache 2.0 litsentsi alusel. Enne mudeli juurutamist konkreetses ärilises või reguleeritud töövoos peaksid kasutajad siiski tutvuma asjakohase hoidla ja mudelikaardi tingimustega.

Millal valida PE-AV?

Vali PE-AV siis, kui põhiprobleem on heli, video ja teksti vahelise teabe joondamine või otsimine. See sobib eriti hästi iseseisvalt hallatavale meediaotsingu süsteemile, audiovisuaalsele järjestamistöövoole, helisündmuste avastamise tööriistale või suuremale tajusüsteemile, mis vajab genereeritud vastuste asemel korduvkasutatavaid embedding'uid.

See mudeliperekond pakub ka juurutamisel paindlikkust. Väike või 16 kaadriga kontrollpunkt võib olla eelistatav siis, kui läbilaskevõime, prognoositav videovalim ja väiksemad ressursinõuded on olulisemad kui maksimaalne ajaline katvus. Suurem või kõigi kaadrite variant võib olla sobivam, kui rakendus sõltub üksikasjalikumast audiovisuaalsest teabest ja suudab katta täiendava arvutuskoormuse.

Kui peamine nõue on genereerimine või suhtlus, vali teist tüüpi mudel. Vestluslik keelemudel sobib paremini dialoogiks ja teksti genereerimiseks; spetsiaalne kõne- või helimudel võib olla parem transkribeerimiseks või heli sünteesiks; generatiivne eraldamismudel, näiteks suurem SAM Audio süsteem, on sobivam siis, kui eesmärk on heliväljund eraldada või luua. PE-AV saab neid süsteeme tajukomponendina toetada, kuid see ei ole iseseisvalt täielik rakendus.

Kokkuvõte

Perception Encoder Audiovisual on Meta spetsialiseeritud avatud mudeliperekond, mis teisendab heli, video, heli-video sisu ja teksti omavahel võrreldavateks embedding'uteks. Selle väärtus seisneb modaalsusteüleses tajus: see aitab leida meediatüüpide vahelisi seoseid, toetab otsingut ja pakub esitusi allavoolu audiovisuaalsetele süsteemidele. Selle peamine kompromiss on sama selge: see ei paku majutatud genereerimisliidest ega asenda vestlus- või generatiivset mudelit. Organisatsioonidele, kes suudavad hallata avatud kontrollpunkte ja ehitada ümbritseva töövoo, pakub PE-AV fokuseeritud alust audiovisuaalseks otsinguks ja mõistmiseks.