SAM Audio

Mis on SAM Audio?

SAM Audio on Meta alusmudel viipade abil juhitavaks heli eraldamiseks. Selle ülesanne on eraldada helisegust soovitud heli, mitte genereerida kirjalikku vastust. Helisegu võib sisaldada kõnet, muusikat, instrumente, keskkonnamüra või mitut neist korraga. Kasutaja annab soovitud allikat kirjeldava viiba ning mudel tagastab eraldatud heli.

See eristab SAM Audiot tavapärasest müravähendajast või fikseeritud vokaali eemaldamise filtrist. Fikseeritud protsessor teeb üldjuhul ühe ette määratud toimingu. SAM Audio on loodud järgima kirjeldusi, nagu „haukuv koer“, „rääkiv inimene“, „lauluhääl“ või „elektrikitarr“, sõltuvalt salvestise kvaliteedist ja allika eristatavusest. Mudel võib tagastada ka jääkloo, mis sisaldab pärast sihtheli eraldamist alles jäänud materjali.

Meta avaldas SAM Audio avatud uurimisprojektina 16. detsembril 2025. Väljalase sisaldab uurimismaterjale, avalikku demoversiooni, lähtekoodi ja allalaaditavaid kontrollpunkte. Tegemist on spetsialiseeritud helimudeliga, mitte vestlusmudeli, üldotstarbelise keelemudeli ega majutatud assistendiga.

Kuidas SAM Audio sihtheli tuvastab

SAM Audio toetab kolme peamist viipamisviisi. Tekstiviip kasutab eraldatava heli kirjeldamiseks loomulikku keelt. Näiteks võib kasutaja paluda eraldada „naise kõnehääle“, „trummid“ või „taustaliikluse“. See on kasulik siis, kui sihtheli on võimalik selgelt kirjeldada, kuid seda pole salvestisest lihtne otse valida.

Visuaalset viipamist kasutatakse siis, kui sisend sisaldab videot. Kasutaja saab visuaalses stseenis tuvastada heli tekitava inimese või objekti, võimaldades mudelil siduda valitud allika selle heliga. See võib aidata olukorras, kus kohal on mitu inimest või objekti ning visuaalne kontekst annab teavet, mida ainult heli põhjal ei ole lihtne märgata.

Ajavahemikuviip kasutab märgitud ajavahemikku, mille jooksul soovitud heli esineb. Lühike intervall võib näidata eraldatavat allikat ka siis, kui sõnaline kirjeldus oleks mitmetähenduslik. Näiteks võib kasutaja märkida lõigu, kus üks instrument mängib üksi, ning paluda seejärel mudelil eraldada see instrument kogu helisegust.

Viipamisviise saab kombineerida. Tekst võib sihtheli kirjeldada, visuaalne valik selle allika tuvastada ning ajavahemik näidata, millal see peaks aktiivne olema. See kombinatsioon on üks mudeli peamisi eripärasid: eraldamist juhib kasutaja esitatud teave, mitte ei toimu see täielikult ilma juhisteta.

Arhitektuur ja heliväljundid

Meta uurimismaterjalide kohaselt kasutab SAM Audio DAC-VAE latentruumis töötavat voosobitusel põhinevat difusioon-transformerit. Praktilises mõttes töötab mudel heli tihendatud esitusega ja kasutab eraldatud tulemuse loomiseks generatiivset mürast puhastamise protsessi. Need rakendusdetailid on peamiselt olulised teadlastele ja inseneridele, kes hindavad mudelit kohapeal; tavakasutaja suhtleb mudeliga helisegu ning ühe või mitme viiba kaudu.

Mudelit toetab Perception Encoder Audio-Visual ehk PE-AV, mis pakub multimodaalseks viipamiseks audiovisuaalseid esitusi. See aitab süsteemil ühendada heliriba, videokaadrite, tekstijuhiste ja ajapunktide teabe.

SAM Audio genereerib heli, mitte teksti, pilte ega videot. Tüüpiline tulemus sisaldab sihtheli tüve ja jääktüve. Sihtheli on kasutaja soovitud heli, jääk aga muu materjal, mida ei määratud sihtheliks. See kaheosaline väljund on kasulik dialoogi puhastamisel, monteerimisel ja analüüsimisel, sest säilitab ligipääsu nii eraldatud allikale kui ka salvestise ülejäänud osale.

Kontrollpunktid, väljalaskeolek ja juurdepääs

Ametlik väljalase pakub small-, base- ja large-kontrollpunkte koos vastavate -tv variantidega. Dokumenteeritud kontrollpunktide nimede hulka kuuluvad sam-audio-small, sam-audio-base, sam-audio-large ning visuaalse viipamise või sihtheli korrektsuse small-, base- ja large-variandid.

Kontrollpunkte saab alla laadida; neid ei pakuta avaldatud majutatud API kaudu, mille hinnastus põhineks minutitel või päringutel. Hugging Face’i kontrollpunktidele juurdepääsuks tuleb esitada juurdepääsutaotlus ja autentida. Repositoorium soovitab Pythonit 3.11 või uuemat ning kohapealseks kasutuseks CUDA-ga ühilduvat GPU-d. Uurimismaterjalid on avaldatud Meta SAM-i litsentsi alusel, seega peaksid meeskonnad selle litsentsiga enne mudeli või selle kontrollpunktide tootesse kaasamist tutvuma.

Kontrollitud kontekstiakna piirangut ega väljundi maksimaalset lubatud tokenite arvu ei ole, sest SAM Audio ei ole teksti genereeriv mudel. Asjakohased praktilised piirangud sõltuvad kohalikust rakendusest, saadaolevast GPU-mälust, heli- ja videosisenditest ning valitud kontrollpunktist. Esitatud uurimismaterjalid ei määra üht kindlat salvestise maksimaalset kestust ega universaalset riistvaranõuet peale repositooriumi soovituse kasutada CUDA-ga ühilduvat GPU-d.

Kiirus, mudeli suurused ja kompromissid

Meta teatab oma hindamiskirjelduses ligikaudu 0,7 suurusest reaalaja suhtarvust mudeliskaalade puhul, mis ulatuvad 500 miljonist kuni 3 miljardi parameetrini. Reaalaja suhtarv alla 1 võib viidata testitud tingimustes reaalajast kiiremale töötlusele. Tegemist on teenusepakkuja esitatud hindamistulemusega, mitte garantiiga iga arvuti, salvestise, viibatüübi või tarkvarakonfiguratsiooni puhul.

Kontrollpunktide suurused loovad praktilise kvaliteedi ja kiiruse vahelise kompromissi. Väiksem kontrollpunkt on üldjuhul sobivam lähtekoht siis, kui oluline on kohaliku riistvara võimekus või läbilaskevõime, samas kui suurem kontrollpunkt võib olla eelistatav juhul, kui eraldamise kvaliteet on tähtsam. Esitatud uurimismaterjalid ei anna iga ülesande jaoks kõigi kontrollpunktide universaalset paremusjärjestust, seega peaksid kasutajad valitud varianti tüüpiliste salvestiste peal valideerima.

Toimetuslikud hinnangud liigitavad SAM Audio väga spetsialiseerituks: selle kasulikkus ja kulutõhusus on suurimad viipade abil juhitava heli eraldamise puhul, mitte siis, kui meeskond vajab teksti mõistmist, koodi genereerimist, veebiotsingut või üldotstarbelist multimodaalset abi. Kuna esitatud materjalides ei ole majutatud API hinda, sõltub tegelik kulu kohalikust riistvarast, töötlusajast, salvestusruumist ja käitamise toest.

Peamised tugevused ja piirangud

• Paindlikud sihtheli kirjeldused: Kasutajad saavad kõnet, instrumente, muusikat või keskkonnahelisid tuvastada loomulikus keeles kirjutatud teksti abil, selle asemel et tugineda ainult fikseeritud allikakategooriatele.
• Multimodaalne juhendamine: Videovalikud ja ajavahemikud lisavad teavet, mis võib aidata rahvarohkes salvestises sihtheli täpsemalt määratleda.
• Sihtheli- ja jääkrajad: Väljund on kasulik nii eraldamiseks kui ka hilisemaks monteerimiseks, sest segu ülejäänud osa säilitatakse.
• Mitu kontrollpunkti: Small-, base-, large- ja spetsialiseeritud variandid võimaldavad kohalikel kasutajatel valida kiiruse ja ressursikulu vahel.
• Avatud uurimisprojekti kättesaadavus: Kood ja allalaaditavad kontrollpunktid toetavad eksperimenteerimist, ilma et peaks sõltuma avaldamata majutatud teenuse hinnast.

Mudelil on ka olulised piirangud. SAM Audio ei kasuta heli ennast viipamisviisina. Helisegu on töödeldav materjal, kuid uurimiskirjelduse kohaselt ei saa eraldi helinäidet viibana esitada. Samuti ei ole mudel mõeldud eraldama segust kõiki allikaid ilma juhendamiseta. Seda on parem käsitleda viipadega juhitava eraldamisena, mitte kõigi kuuldavate komponentide täielikult automaatse loendina.

Väga sarnased kattuvad allikad on endiselt keerulised. Näiteks võib raskusi tekitada ühe laulja eraldamine koorist või ühe instrumendi eraldamine tihedast orkestrisalvestisest. Visuaalne viipamine võib aidata, kui video tuvastab allika selgelt, kuid see ei taga puhast eraldamist juhul, kui allikad kattuvad tugevalt või visuaalne ja heliline stseen ei vasta teineteisele.

Milleks SAM Audio kasulik on?

SAM Audio sobib hästi töövoogudesse, mis algavad konkreetse heli valimise soovist. Üks näide on dialoogi puhastamine: kasutaja saab sihtida kõnelejat või kõnelõiku ning kasutada eraldatud rada monteerimiseks või ligipääsetavuse parandamiseks. Helikujundajad saavad välisalvestisest eraldada konkreetse keskkonnaheli. Muusikaprodutsendid ja teadlased saavad segasalvestises uurida vokaale, instrumente või muid komponente.

Muude võimalike kasutusviiside hulka kuuluvad audiovisuaalne heli segmenteerimine, abivahendid, mis muudavad kõne või olulised sündmused paremini kuuldavaks, andmestike ettevalmistamine ning multimodaalse heli monteerimise katsetused. Mudel on eriti asjakohane siis, kui sihtheli ei kuulu ette teada mõne vähese fikseeritud kategooria hulka, vaid seda tuleb konteksti põhjal kirjeldada või valida.

Millal valida SAM Audio?

Vali SAM Audio siis, kui vajad kohapeal käitatavat viipadega juhitavat eraldamist ning saad anda kasuliku teksti-, visuaalse või ajalise vihje. See sobib hästi teadlastele, helitööriistade arendajatele, monteerijatele ja arendajatele, kes peavad eri tüüpi helisid erinevatest salvestistest eraldama, mitte rakendama üht fikseeritud vokaali- või mür filtrit. Allalaaditavad kontrollpunktid on kasulikud ka siis, kui töövoog nõuab kohalikku töötlust majutatud teenuse asemel.

Väiksem kontrollpunkt võib olla praktilisem kiireteks katsetusteks või piiratud riistvara korral, suuremat kontrollpunkti tasub aga proovida siis, kui sihtheli on raskesti eraldatav ja kvaliteet on töötluskulust tähtsam. Meta teatatud ligikaudu 0,7 suurune reaalaja suhtarv viitab, et esitatud hindamistingimustes on võimalik töödelda heli reaalajast kiiremini, kuid tegelikku jõudlust tuleb mõõta sihtriistvaral.

Teistsugune lahendus võib olla sobivam siis, kui ülesanne on kogu helisegu eraldamine ilma viipadeta, sihtallikad on väga sarnased ja kattuvad või piisab lihtsast fikseeritud toimingust. Teksti mõistmiseks, kodeerimiseks või tööriistade kasutamiseks sobiks paremini üldotstarbeline multimodaalne mudel, sest SAM Audio neid funktsioone ei paku. Majutatud heliteenus võib olla eelistatav ka meeskondadele, kes ei soovi hallata CUDA-riistvara, kontrollpunktidele juurdepääsu ja kohalikku järeldamist, kuigi ametlikku majutatud hinnastust ei ole siin võrdluseks esitatud.

Võimekuste kokkuvõte

Kokkuvõttes seisneb SAM Audio väärtus kontrollis, mille see annab kasutajatele heli valimisel. Mudelit tuleks hinnata spetsialiseeritud heli eraldamise süsteemina, pöörates tähelepanu sihtheli täpsusele, jäägi kvaliteedile, töötluskiirusele ja jõudlusele konkreetsete helisegude puhul, mis on kavandatava töövoo jaoks olulised.