Aquesta publicació explicarà el contingut següent:
- Què és el Jukebox d'OpenAI?
- Com funciona el Jukebox d'OpenAI?
- Com utilitzar el Jukebox d'OpenAI?
- Característiques de Jukebox
Què és el Jukebox d'OpenAI?
Jukebox és un sistema d'aprenentatge profund que pot generar música des de zero, tenint en compte algunes aportacions com ara lletres, gènere, artista o estat d'ànim. Jukebox utilitza un gran conjunt de dades de més d'1,2 milions de cançons de diverses fonts, com ara Spotify, YouTube i fitxers MIDI, per conèixer els patrons i les característiques de la música.
Com funciona el Jukebox d'OpenAI?
Jukebox consta de tres components principals: un codificador VQ-VAE, un descodificador de transformador i un mostrador superior.
Codificador VQ-VAE
El codificador VQ-VAE s'encarrega de comprimir l'àudio en brut en una representació de dimensions inferiors que preservi la informació essencial de la música. El codificador utilitza una tècnica anomenada quantificació vectorial (VQ) per mapar cada segment de l'àudio en un dels 2048 fitxes.
Descodificador de transformador
Aquestes fitxes s'alimenten després al descodificador del transformador, que és una xarxa neuronal que pot generar seqüències de fitxes basades en l'entrada i el coneixement musical après. El descodificador pot generar fitxes que corresponen a la lletra, la melodia, l'harmonia, el ritme, el timbre i altres aspectes musicals.
Millora de mostres
El mostreig addicional és el component final que torna a convertir els testimonis generats en àudio d'alta qualitat. El subsampler utilitza un altre VQ-VAE per reconstruir l'àudio a partir de les fitxes mentre afegeix detalls i matisos que falten a la representació de dimensions inferiors. El subsampler també pot utilitzar informació addicional, com ara incrustacions de gènere o d'artista, per afinar la sortida i fer-la sonar més realista i diversa.
Com utilitzar el Jukebox d'OpenAI?
Per utilitzar Jukebox, heu de tenir accés a una GPU potent o a un servei de computació en núvol que pugui executar el codi Jukebox. Podeu trobar l'script i les instruccions sobre com instal·lar i executar Jukebox GitHub . També podeu trobar alguns exemples de cançons generades per Jukebox a SoundCloud baix:
Per generar les teves pròpies cançons amb Jukebox, has de proporcionar alguns paràmetres d'entrada com ara lletres, gènere, artista o estat d'ànim. També podeu especificar la temperatura de mostreig, que controla com serà aleatòria i creativa la sortida.
Una temperatura més alta significa més diversitat i novetat, mentre que una temperatura més baixa significa més coherència i similitud amb l'entrada. També podeu triar el nivell de qualitat i complexitat de la sortida, que va des de 5b (el més alt) fins a 1b (el més baix). Un nivell superior significa més fidelitat i detall, però també més temps i recursos de càlcul.
Un cop hàgiu configurat els vostres paràmetres d'entrada, podeu executar el codi Jukebox i esperar que generi la vostra cançó. Depenent de la configuració i el maquinari, això pot trigar de minuts a hores o fins i tot dies. A més, controleu el progrés i escolteu mostres intermèdies al llarg del camí. Quan acabi la generació, podeu descarregar la vostra cançó com a fitxer MP3 i gaudir de la vostra obra mestra musical.
Característiques de Jukebox
El jukebox es pot utilitzar per a diversos propòsits, com ara:
- Creació de música original per a ús personal o comercial
- Remescla o mostreig de cançons existents
- Generar música per a estats d'ànim, temes o ocasions específics
- Explorant diferents gèneres i estils de música
- Divertir-se i ser creatius
Conclusió
Jukebox és una eina increïble que us pot ajudar a crear música original i diversa amb el mínim esforç. Podeu utilitzar-lo per experimentar amb diferents gèneres i estils, per remesclar cançons o artistes existents o per expressar les vostres pròpies emocions i idees a través de la música. El Jukebox no és perfecte; de vegades pot produir errors, errors o sortides sense sentit.