Mis on Lyria RealTime?
Lyria RealTime on Google DeepMindi eksperimentaalne mudel interaktiivseks muusika loomiseks. Selle peamine eripära on pidev genereerimine: erinevalt mudelist, mis võtab vastu viiba ja tagastab valmis loo või lühikese heliklipi, hoiab see aktiivset muusikavoogu, mida saab esituse ajal mõjutada.
Mudel on loodud peamiselt instrumentaalmuusika jaoks. Arendajad saavad kirjeldada muusikalisi ideid teksti abil, kombineerida mitut kirjeldust kaaludega ning muuta muusikasätteid mudeli töötamise ajal. Näiteks võib rakendus ühendada ambient-pad'id elektrooniliste löökpillidega ja seejärel järk-järgult suurendada löökpillide mõju või muuta muusikalist suunda vastavalt elava visuaalse stseeni arengule.
Selle kanooniline Gemini API mudeliidentifikaator on models/lyria-realtime-exp. Eksperimentaalne staatus on oluline: juurdepääsu tingimused, limiidid, käitumine ja kättesaadavus võivad muutuda ning Google ei avalda Lyria RealTime'i jaoks praegu Gemini API hinnalehel mudelipõhist hinda.
Kuidas voogedastusmudel töötab?
Rakendused ühenduvad Lyria RealTime'iga püsiva kahesuunalise WebSocketi-seansi kaudu. WebSocket on pikaajaline võrguühendus, mis võimaldab mõlemal poolel sõnumeid saata ilma iga kord uut päringut alustamata. Sel juhul saadab mudel rakendusele heli ning rakendus saab mudelile tagasi saata viipasid ja konfiguratsiooniuuendusi.
Genereeritud heli edastatakse töötlemata 16-bitise PCM-ina sagedusel 48 kHz stereos. PCM on helinäidiste tihendamata esitusviis, mistõttu peab vastuvõttev rakendus olema valmis andmeid töötlema, puhverdamiseks salvestama ja esitama. See erineb tavapärase tihendatud muusikafaili, näiteks MP3, või valmis allalaaditava loo vastuvõtmisest.
Pidev voogedastus toob kaasa ka arendusülesandeid. Võrguvärin või genereerimise latentsuse ajutine kõikumine võib esituse katkestada, kui rakendus ei hoia helipuhvrit. Google dokumenteerib juhtimislatentsuseks kuni ligikaudu kaks sekundit. Seetõttu ei tohiks viipade uuendusi käsitleda garanteeritult koheste muudatustena.
Viibad ja muusika reaalajas juhtimine
Lyria RealTime aktsepteerib kaalutud tekstiviipasid. Kaalutud viibad võimaldavad arendajatel väljendada mitut muusikalist kontseptsiooni ja juhtida nende suhtelist mõju. Seanss võib kombineerida kirjeldusi nagu „minimaalne techno“, „soojad analoogsüntesaatorid“ ja „kinolik pinge“, määrates igale ideele erineva kaalu.
Lisaks kirjeldavatele viipadele toetab mudel muusikaloome konfiguratsiooni, mis hõlmab järgmisi muusikalisi omadusi:
- Tempo ehk BPM
- Helistik või skaala
- Tihedus
- Heledus
- Juhendatus
- Temperatuur
- Genereerimisrežiim
Need juhtimisvõimalused on kasulikud siis, kui mudel on lõimitud interaktiivsesse rakendusse, mitte lihtsalt viibakasti kasutamisel. Näiteks võib MIDI-kontroller mõjutada muusikaparameetreid, samal ajal kui visuaalne installatsioon saab kasutaja tegevusele reageerides viipade kaalusid muuta.
Reaalajas suunamine eeldab hoolikalt kavandatud üleminekuid. Viiba järsk muutmine võib põhjustada järsu muusikalise muutuse. Sujuvama tulemuse saamiseks võivad arendajad viipade kaalusid aja jooksul interpoleerida või kasutada heli ristkustutust. Mõne muudatuse, sealhulgas teatud BPM-i või skaala muutmise korral, võib olla vaja mudeli kontekst lähtestada, mis võib tekitada järsu ülemineku.
Kontrollitud tehnilised andmed
| Omadus | Dokumenteeritud üksikasjad |
|---|---|
| Pakkuja | Google DeepMind |
| Mudeliperekond | Lyria |
| API mudeli ID | models/lyria-realtime-exp |
| Staatus | Eksperimentaalne |
| Sisend | Kaalutud tekstiviibad ja muusikaloome konfiguratsioon |
| Väljund | Töötlemata 16-bitine PCM-heli |
| Helivorming | 48 kHz stereo |
| Ühendus | Püsiv kahesuunaline WebSocket |
| Dokumenteeritud juhtimisl— | Kuni ligikaudu kaks sekundit |
| Vokaalid | Mudeli dokumentatsiooni kohaselt ei ole toetatud |
Google ei dokumenteeri Lyria RealTime'i jaoks esitatud uurimismaterjalides tavapärast teksti kontekstiakent, väljundi maksimaalset tokenite arvu ega mudelipõhist heli kestuse piirangut. Need keelemudeli väljad ei ole pidevalt juhitava muusikavoo puhul otseselt kohaldatavad. Samuti ei ole avaldatud mudelipõhist sisendi- ega väljundihinda.
Modaalsused ja võimalused
Lyria RealTime võtab vastu tekstiviipasid ja muusikaloome sätteid ning toodab heli. Dokumenteeritud sisend ei ole üldine multimodaalne sisendliides: esitatud tehnilised andmed ei näita pildi-, video- ega helisisendi tuge. Selle väljund on otse heli, mitte tekst, pildid või video.
Mudeli helivõimekus on suunatud konkreetselt muusika genereerimisele. Seda ei ole dokumenteeritud kõnesüntesaatori, transkriptsioonisüsteemi, üldise helianalüüsi mudeli ega tekstiloome mudelina. Samuti ei paku see üldotstarbelist arutlus- ega koodiväljundit. Rakenduses kasutatav arutlus või kood kuulub ümbritsevale tarkvarale, mitte Lyria RealTime'i genereeritud väljundisse.
Tööriistade kasutamist ja funktsioonide väljakutsumist ei ole mudeli võimalustena dokumenteeritud. WebSocketi ühendus on API transpordimehhanism, mitte tõend selle kohta, et mudel suudaks iseseisvalt väliseid tööriistu kutsuda. Arendajad saavad mudeli ümber luua juhtnuppe, MIDI-integratsiooni, visuaalset sünkroonimist või muud rakendusloogikat, kuid need funktsioonid rakendatakse rakenduse tasandil.
Millistes valdkondades on Lyria RealTime kõige tugevam?
Mudeli peamine tugevus on käimasoleva instrumentaalse esituse interaktiivne juhtimine. Tavapärane muusikageneraator võib olla kasulik siis, kui soovitakse valmis klippi. Lyria RealTime sobib paremini olukordadesse, kus muusika peab muutuvatele sisenditele reageerima.
- Pidev taasesitus: See on loodud voo hoidmiseks, mitte üksteisest eraldatud klippide korduvaks genereerimiseks.
- Reaalajas suunamine: Arendajad saavad aktiivse seansi ajal saata viipade ja konfiguratsiooni muudatusi.
- Muusikaparameetrite juhtimine: Tempo, helistik, tihedus, heledus, juhendatus, temperatuur ja genereerimisrežiim pakuvad otsesemat juhtimist kui üks kirjeldav viip.
- Kaalutud kontseptsioonid: Mitut stiili, instrumenti, meeleolu või muud muusikalist ideed saab kombineerida ja nende mõju reguleerida.
- Esitusele sobiv väljund: 48 kHz stereo-PCM sobib rakendustele, mis peavad heli otse töötlema ja esitama.
- Interaktiivsete rakenduste disain: Püsiv kahesuunaline ühendus toetab näiteks viipadel põhinevaid DJ-liideseid ja MIDI-juhitavaid muusikasüsteeme.
Need tugevused on praktilised, mitte võrdlustestidel põhinevad. Esitatud uurimismaterjalid ei sisalda võrdlevaid kuulamistulemusi, latentsuse võrdlusuuringuid konkureerivate süsteemidega ega väidet, et Lyria RealTime toodab teistest mudelitest paremat muusikat.
Piirangud ja kompromissid
Lyria RealTime ei ole üldotstarbeline lugude genereerimise mudel. Selle dokumenteeritud fookus on vokaalideta instrumentaalmuusikal. Seetõttu sobib see halvasti tavapärase valmis loo loomiseks, kui vaja on sõnu, juhtvokaali või viimistletud vokaaliseadet. Selliste vajaduste korral suunab Google'i dokumentatsioon kasutajad selle reaalajamudeli asemel uuemate mitt voogedastavate Lyria mudelite poole.
Eksperimentaalne staatus tekitab ebakindlust. Limiidid, juurdepääs, toetatud funktsioonid ja töö käigus ilmnev käitumine võivad muutuda. Avaldatud mudelipõhise hinna puudumine muudab esitatud teabe põhjal usaldusväärse minutipõhise tootmiskulu arvutamise keeruliseks.
Reaalajas voogedastus viib osa keerukusest arendaja õlule. Rakendus vajab helipuhvrit, et tulla toime võrguvärina ja genereerimise muutuva latentsusega. Samuti peab see otsustama, kuidas käsitleda katkenud ühendusi, viipade üleminekuid, järske lähtestamisi ja heli taasesitust. Prototüübi loomine võib olla lihtne, kuid tootmiskvaliteediga kasutuskogemus nõuab selget ülemineku- ja taasteloogikat.
Muusikalised muutused ei pruugi olla täiesti sujuvad. Viipade järsud muudatused võivad tekitada järske üleminekuid ning BPM-i või skaala muutmine võib nõuda konteksti lähtestamist. Kui rakendus vajab täpset ja korratavat ülesehitust, võib fikseeritud helifail või mitt voogedastav genereerimistöövoog olla lihtsamini hallatav.
Parimad kasutusjuhud
Lyria RealTime sobib hästi rakendustele, kus muusika peaks reageerima inimestele, juhtnuppudele või sündmustele:
- Interaktiivsed muusikainstallatsioonid ja audiovisuaalsed etendused
- Viipadel põhinevad DJ- ja reaalajas remiksimise liidesed
- MIDI-juhitavad muusikarakendused
- Tehisintellekti abil toetatud improvisatsioon ja muusikaliste ideede arendamine
- Kohanduv taustamuusika mängude, näituste või elavate keskkondade jaoks
- Loovtööriistad, mis võimaldavad kasutajatel žanri, meeleolu, instrumentatsiooni, tempot ja intensiivsust reaalajas uurida
See on eriti asjakohane siis, kui kasutaja hindab vahetut muusikalist avastamist rohkem kui etteaimatavat ja lõplikult valmis seadet. Mudel võib pakkuda pidevalt arenevat instrumentaalset tausta, mis reageerib rakenduse olekule.
Millal valida Lyria RealTime?
Vali Lyria RealTime siis, kui keskne vajadus on reaalajas suunatav instrumentaalheli. See sobib arendajatele, kes vajavad pikaajaliselt töötavat voogu, kaalutud viipade juhtimist ja muusikaparameetreid, mida saab seansi ajal muuta.
Vali teist tüüpi mudel siis, kui vajadus on valmis loo, vokaalide, sõnade, kindla pikkusega ekspordi või väga korratava seade järele. Valmis lugude loomiseks võib paremini sobida mitt voogedastav muusikamudel, samas kui tavapärane heliteek võib olla eelistatavam juhul, kui prognoositav ajastus, kindel litsentsimine ja täpne korratavus on generatiivsest varieeruvusest olulisemad.
Arvesse tasub võtta ka tehnilist kompromissi. Lyria RealTime pakub väiksemat latentsust kui töövoog, kus küsitakse korduvalt valmis heliklippe, kuid eeldab aktiivset ühendust, puhverdamist, taasesituse haldamist ja üleminekute juhtimist. Kuna Google ei avalda esitatud dokumentatsioonis mudelipõhist hinda, tuleks kulusid võrrelda alles pärast Gemini API kehtivate juurdepääsu- ja arveldustingimuste kontrollimist.
Kättesaadavus ja hinnastamine
Lyria RealTime on Gemini API kaudu saadaval eksperimentaalse identifikaatoriga models/lyria-realtime-exp. Seda saab kasutada ka Google AI Studio integratsioonide kaudu. Kuna mudel on eksperimentaalne, võivad selle kättesaadavus ja limiidid erineda.
Esitatud uurimismaterjalides ei ole praegusel Gemini API hinnalehel loetletud mudelipõhist sisendihinda, väljundihinda, tokenihinda, helisekundi hinda ega päringu hinda. Seetõttu ei ole täpset kuluhinnangut siin võimalik kontrollida. Enne tootmisrakenduse kasutuselevõttu peaksid arendajad tutvuma Google'i Gemini API ajakohase dokumentatsiooni ja kontopõhiste tingimustega.
Kokkuvõttes on Lyria RealTime Google'i Lyria perekonnas spetsialiseerunud kohal: see on mõeldud reaalajas instrumentaalseks esituseks ja interaktiivseks juhtimiseks, mitte üldiseks keeletöötluseks ega tavapäraseks ühekordseks loo genereerimiseks. Selle väärtus seisneb võimaluses kujundada elavat muusikavoogu, samas kui peamised kulud on eksperimentaalne kättesaadavus ja voogedastuse üleminekute töökindlaks muutmiseks vajalik arendustöö.