Tehisintellekti loodud muusika: mida muusikat genereerivad mudelid loovad

Mida tähendab tehisintellekti loodud muusikaväljund?

Tehisintellekti muusikaväljund on mudeli võimekus muusikalist sisu luua või muuta. Kõige otsesem näide on süsteem, mis tagastab esitatava helifaili: instrumentaalpala, laulu, vokaaliesituse, muusikasilmuse, heliriba või muusikalise jätku.

Mõned mudelid loovad ka struktureeritud muusikaandmeid, näiteks MIDI-faile, noote, akorde, tempoandmeid, eraldi radu või arranžeerimisjuhiseid. Need väljundid võivad tootmisprotsessis kasulikud olla, kuid need ei ole sama mis valmis helisalvestis. MIDI kirjeldab näiteks muusikalisi sündmusi ning vajab enne kuulamiseks instrumenti või süntesaatorit.

Pakkujad kasutavad kattuva tähendusega termineid, nagu muusika genereerimine, laulude genereerimine, generatiivne heli ja heli genereerimine. Need nimetused ei ole täielikult standardiseeritud. Üldine heligeneratsioon võib hõlmata muusikat, kõnet, atmosfäärihelisid või heliefekte, samas kui laulude genereerimine võib tähendada konkreetselt terviklikke vokaalpalasid või seda võidakse kasutada vabamalt ka instrumentaalpalade kohta. Seetõttu tuleks liigitamisel lähtuda mudeli kontrollitud väljundist, mitte selle nimest.

Mida mudel suudab luua?

Muusikaväljundiga mudelid võivad sõltuvalt oma ülesehitusest ja juhtimisvõimalustest luua eri tüüpi muusikalist materjali. Levinud väljundid on järgmised:

• terviklikud laulud koos vokaali, sõnade, saate ja arranžeeringuga;
• instrumentaalpassaažid, taustamuusika, muusikasilmused ja muusikalised visandid;
• lõpetamata salvestise või meloodia jätkud;
• remiksid ning žanri- või instrumentatsiooni muudatused;
• eraldi vokaali-, instrumentaal- või pillirajad;
• videote, mängude, taskuhäälingute, reklaamide ja interaktiivse meedia muusikalised heliribad;
• sümboolsed väljundid, nagu MIDI-noodid, akordid, meloodiad või arranžeerimisandmed.

Mudel võib toetada neist ainult üht vormi. Tekstist muusikat loov süsteem, mis toodab segatud helifaili, erineb süsteemist, mis genereerib redigeeritavaid eraldi radasid või MIDI-faile. Mudelite võrdlemisel on väljundvorming seega sama oluline kui näiline helikvaliteet.

Sisend ei ole sama mis väljund

Mudel võib muusikat vastu võtta, ilma et ta muusikat looks. Heli mõistmise mudel võib analüüsida üles laaditud laulu, tuvastada instrumente, transkribeerida sõnu, liigitada žanri või vastata selle kohta küsimustele, tagastades samal ajal ainult teksti.

Samuti võib mudel kasutada meloodiat või näidissalvestist ainult tingimusliku sisendina. See võib kasutada sisendit uue kompositsiooni suunamiseks, fragmendi jätkamiseks või instrumentatsiooni muutmiseks. Muusikalise sisendi olemasolu ei tõesta iseenesest, et mudelil on muusikaväljund.

Teisalt võib tekstist muusikat loov mudel vastu võtta ainult kirjelduse, näiteks „hoogne elektrooniline lugu soojade analoogsüntesaatoritega“, ja tagastada muusikalise salvestise. Hea kataloog peaks eristama järgmist:

• Muusikaline sisend: laulu, meloodia või salvestise vastuvõtmine analüüsimiseks või mudeli suunamiseks.
• Muusika mõistmine: muusika äratundmine, transkribeerimine, liigitamine või selle kohta küsimustele vastamine.
• Muusika teisendamine: olemasoleva muusikalise materjali redigeerimine, pikendamine, remiksimine või teisendamine.
• Muusikaväljund: esitatava muusika või muusikalise esituse otsene genereerimine.

Kuidas muusikat genereerivad mudelid töötavad?

Üldjoontes õpib muusikamudel seoseid heli, muusikalise struktuuri, keele ja esituse vahel. Mõned süsteemid genereerivad autoregressiivse mudeli abil tihendatud helitokeneid. Teised loovad difusiooniprotsessi abil latentse heliesituse. See esitus dekodeeritakse seejärel esitatavaks helilaineks.

Kasutaja võib sisestada tekstipäringu, sõnad, žanri, meeleolu, tempo, instrumendid, meloodia, akordid, MIDI-faili, näidisheli või lõpetamata salvestise. Tingimuslik suunamine võib olla üldine, näiteks kindla muusikastiili määramine, või täpne, näiteks paluda süsteemil asendada üks osa, säilitades samal ajal allika rütmi.

Need tehnilised valikud mõjutavad tulemust. Lühikeste klippide jaoks loodud mudelid võivad olla kiiresti reageerivad ja odavad, kuid täispika loo puhul vähem järjepidevad. Redigeerimiseks loodud süsteemid võivad pakkuda olemasoleva salvestise üle paremat kontrolli, kuid need ei pruugi olla optimeeritud kompositsiooni nullist loomiseks.

Sisemine genereerimine versus rakenduse funktsioonid

Sisemine muusikaväljund tähendab, et mudel ise genereerib muusikalise heli või muusikalise esituse. Tulemus võidakse tagastada otse helifaili, andmevoo, MIDI-faili või eraldi radade kogumina.

Ümbritsev rakendus võib kombineerida ka mitut mudelit. Üks mudel võib kirjutada sõnad, teine genereerida saate, kolmas sünteesida vokaali ning tootmistarkvara võib lood kokku miksida. Sellisel juhul pakub rakendus muusika loomise võimalust, kuid kõik protsessis osalevad mudelid ei pruugi muusikat genereerida.

Keerukam keelemudel võib teha ka tööriista- või funktsioonikutse, mis sisaldab sõnu, muusikalisi parameetreid või välise muusikateenuse päringut. Keelemudel tegeleb orkestreerimise või juhiste järgimisega, tegeliku muusikaväljundi annab aga väline teenus. See eristus on oluline nii mudelite võimekuse hindamisel kui ka otsustamisel, millele saab API kaudu ligi.

Praktilised kasutusvõimalused

Muusikaväljundiga mudelid on kasulikud, kui inimene vajab muusikalist materjali kiiresti, soovib uurida eri variante või vajab sisu, mida saab kohandada suurema tootmisprotsessi jaoks.

Ideed, demod ja laulude kirjutamine

Laulukirjutaja võib sisestada teema, meeleolu, žanri, tekstifragmendi, akordijärjestuse või meloodia ning saada arendamiseks esialgseid arranžeeringuid. Väljund on sageli kõige väärtuslikum loomingulise lähtepunktina, mitte valmis asendusena kompositsioonile ja produktsioonile.

Tausta- ja heliribamaterjal

Videomonteerijad, mänguarendajad, taskuhäälingute tegijad ja reklaamiloojad saavad genereerida kindla kestuse, meeleolu või stseeni jaoks ajutisi või lõplikke taustalugusid. Tulemuse kasulikkus sõltub sellest, kas süsteem suudab säilitada sobiva struktuuri ja pakkuda kavandatud kasutuseks sobivat litsentsi.

Jätkamine ja teisendamine

Produtsent võib anda mudelile lõpetamata passaaži ning paluda seda pikendada, muuta instrumentatsiooni või luua seotud osa. Helist helisse ja helisisu taastamise töövood on eriti kasulikud siis, kui eesmärk on säilitada osa olemasolevast salvestisest ja muuta teist osa.

Interaktiivne ja kohanduv meedia

Väikese latentsusega süsteemid võivad muusikat esinemise, mängu, installatsiooni või interaktiivse rakenduse ajal genereerida või muuta. Sellistes olukordades võivad reageerimisaeg, voogedastuse tugi, prognoositav kestus ja muusikaliste üleminekute juhtimine olla olulisemad kui maksimaalne täpsus.

Haridus ja katsetamine

Õpetajad, õpilased ja teadlased saavad loodud näidete abil demonstreerida rütmi, harmooniat, arranžeerimist, orkestreerimist või žanrikonventsioone. Struktureeritud väljundid, näiteks MIDI, võivad olla valmis helifailist kasulikumad, kui eesmärk on üksikuid muusikalisi elemente uurida või redigeerida.

Mida mudelite vahel võrrelda?

Mudelite võrdlemisel tuleks keskenduda vajalikule töövoole ja väljundile, mitte ainult sellele, kas näidis kõlab muljetavaldavalt.

• Väljundi tüüp: kontrolli, kas süsteem tagastab täielikke mikse, instrumentaalpalasid, vokaale, silmuseid, eraldi radu, MIDI-faile või mõnda muud struktureeritud vormingut.
• Sisendi tingimuslik kasutamine: uuri, kas toetatud on tekst, sõnad, meloodia, akordid, MIDI, näidisheli või osalised salvestised.
• Päringu järgimine: testi, kas mudel järgib soovitud žanri, instrumentatsiooni, meeleolu, tempot, struktuuri ja sõnadega seotud juhiseid.
• Muusikaline sidusus: kuula, kas rütm, harmoonia, meloodia, arranžeering, üleminekud ja järjepidevus püsivad ajas stabiilsena.
• Redigeerimise juhtimine: kontrolli jätkamise, lõigutasandi redigeerimise, sisu taastamise, remiksimise, näidise mõju tugevuse, seemne ja ajastuse juhtimise võimalusi.
• Helikvaliteet: võrdle diskreetimissagedust, stereo tuge, artefakte, vokaali selgust, instrumentide realistlikkust ja miksikvaliteeti.
• Kestus ja struktuur: kontrolli maksimaalset pikkust, muutuva kestuse tuge ning seda, kas mudel suudab säilitada sidusa salmide ja refrääniga arranžeeringu.
• Latentsus ja läbilaskevõime: need on olulised interaktiivsete rakenduste, otsekasutuse ja suure mahuga sisu genereerimise puhul.
• Vormingud ja integratsioon: kontrolli allalaadimisvorminguid, voogedastus-API-sid, asünkroonseid töid, eraldi radu, metaandmeid ning ühilduvust digitaalsete helitööjaamade või mängumootoritega.
• Juurutamine: selgita välja, kas mudel on saadaval majutatud rakenduse, API, avatud kaalude või lokaalse käituse kaudu ning kas vajalik riistvara on praktiline.
• Õigused ja päritolu: tutvu ärilise kasutuse tingimuste, treeningandmete poliitika, artististiili piirangute, väljundilitsentside ning vesimärgistuse või päritolu tuvastamise mehhanismidega.

Piirangud ja kompromissid

Loodud muusika võib lühikestes lõikudes kõlada veenvalt, kuid pikema kestuse puhul muutuda vähem usaldusväärseks. Lugu võib korrata motiive, kalduda tempos kõrvale, kaotada oma arranžeeringu või muuta ootamatult instrumentatsiooni. Pika vormi järjepidevus on seega lühikese klipi helikvaliteedist eraldiseisev probleem.

Sõnad ja vokaalid toovad kaasa täiendavaid raskusi. Sõnu võidakse hääldada valesti, välja jätta, meloodiaga halvasti ühildada või olla neid keeruline muuta ilma ülejäänud salvestist mõjutamata. Loodud vokaalid ja instrumendid võivad sisaldada ka ebastabiilset tämbrit, ajastusvigu või muid artefakte.

Teine oluline kompromiss puudutab juhtimist. Tekstipäring võib kirjeldada meeleolu või žanri, kuid ei pruugi anda täpset kontrolli iga noodi, lõigu või esituse detaili üle. Näidisheli, eraldi radu, sisu taastamist, MIDI-d või lõigutasandi redigeerimist toetavad mudelid pakuvad üldjuhul suuremat kontrolli, kuid võivad nõuda keerukamat töövoogu ning olla aeglasemad või kallimad.

Väljundvormingud võivad piirata järgmisi tööetappe. Üks segatud helifail võib olla eelkuulamiseks mugav, kuid seda on keeruline redigeerida. Eraldi rajad ja MIDI pakuvad rohkem paindlikkust, kuigi need ei pruugi olla saadaval ning võivad tekitada omaette kvaliteedi- või ühilduvusprobleeme.

Genereerimine võib olla arvutuslikult kulukas, eriti kvaliteetse stereoheli ja pikkade lugude puhul. API-d võivad kasutada asünkroonseid töid, kehtestada kestuse- või samaaegsuspiiranguid või küsida tasu väljundi pikkuse või töötlemismahu järgi. Interaktiivsete rakenduste puhul võib väiksema latentsusega mudel olla eelistatum isegi siis, kui selle loodud heli on vähem detailne.

Ka õigused ja päritolu vajavad praktilist tähelepanu. Ärilise kasutuse tingimused, treeningandmete avalikustamine, artististiili poliitika, nõusolekunõuded ja vesimärgistus erinevad pakkujate ja jurisdiktsioonide lõikes. Loodud lugu ei ole automaatselt iga kasutusviisi jaoks õigustest vabastatud ning stiilipäring ei anna luba elava artisti jäljendamiseks.

Kuidas muusikaväljund erineb seotud võimekustest?

• Kõneväljund: toodab kõneldavat keelt, mitte muusikalist kompositsiooni või esitust.
• Heliefektide väljund: genereerib efekte, atmosfääri- või keskkonnahelisid, mis ei pruugi olla muusikalised.
• Üldine heliväljund: on laiem kategooria, mis võib hõlmata muusikat, kõnet, efekte ja atmosfäärihelisid.
• Sõnade väljund: toodab laulusõnu ilma meloodia, laulmise või saate loomiseta.
• Hääle kloonimine: taasesitab või muudab hääleidentiteeti ega pruugi genereerida ümbritsevat muusikat.
• MIDI-väljund: kirjeldab noote ja esituse juhiseid, kuid vajab kuuldavaks muutmiseks instrumenti või süntesaatorit.
• Muusika mõistmine: analüüsib või kirjeldab olemasolevat muusikat, mitte ei loo uut muusikalist materjali.
• Soovitamine: valib olemasolevaid salvestisi, mitte ei loo uusi.
• Tööriistakutsed: saadavad juhiseid teisele teenusele, mis muusika loob.

Kellel seda tüüpi mudelit tegelikult vaja on?

Muusikaväljundiga mudelid sobivad siis, kui soovitud tulemus on uus muusikaline materjal, mitte olemasoleva salvestise analüüs. Need võivad olla kasulikud loojatele, kes vajavad kiireid visandeid, taustalugusid, variatsioone või eksperimentaalseid arranžeeringuid; arendajatele, kes lisavad rakendustesse muusikafunktsioone; ning teadlastele, kes uurivad juhitavat heligeneratsiooni.

Need võivad olla vale valik, kui ülesanne on peamiselt kõne transkribeerimine, muusikaotsing, žanri liigitamine, sõnade eraldamine, instrumentide tuvastamine või tavapärane helitöötlus. Sellistel juhtudel võib sobivam olla muusikat mõistev, transkribeeriv, esitusi vektoriteks teisendav või signaalitöötluse süsteem.

Parim valik sõltub vajalikust väljundist. Vali mudel, mis toodab otse sellist artefakti, mida sinu töövoog kasutab: kiireks avaldamiseks mõeldud segatud lugu, tootmiseks vajalikud eraldi rajad, nooditasandi redigeerimiseks MIDI või interaktiivseks kasutuseks väikese latentsusega andmevoog.

Praktiline hindamisviis

Enne mudeli valimist testi seda päris projektile vastavate päringute ja sisenditega, mitte ainult näidete põhjal.

1. Genereeri kandidaatidega samade päringute abil lühikesi instrumentaal- ja vokaalinäiteid.
2. Testi žanri, tempot, instrumentatsiooni, struktuuri ja sõnadega seotud nõudeid eraldi.
3. Kui need juhtimisvõimalused on olulised, tee meloodia-, näidisheli-, jätkamise- või redigeerimisteste.
4. Hinda sidusust lühikese, keskmise ja pika kestuse puhul.
5. Kontrolli, kas väljund on valmis miks, eraldi rajad, MIDI või mõni muu redigeeritav vorming.
6. Hinda päringu järgimist eraldi subjektiivsest helikvaliteedist.
7. Pane kirja genereerimisaeg, väljundipiirangud, samaaegsus, töökindlus ja kogukulu.
8. Enne ärilist kasutust tutvu litsentsimise, treeningandmete avalikustamise, stiilipiirangute ja päritolufunktsioonidega.
9. Kontrolli, kas muusika genereerib mudel ise või eraldi teenus, mida rakendus kasutab.

Põhieristus on lihtne: muusikaline sisend või muusika mõistmine ei tähenda automaatselt muusikaväljundit. Mudel kuulub sellesse kategooriasse siis, kui see loob või muudab muusikalist materjali otse ning sellises vormis, mida saab muusikana kasutada.