AudioCraft permite generar fácilmente audio y música de alta calidad a partir de texto.
«Imagina a un músico profesional que pueda explorar nuevas composiciones sin tener que tocar una sola nota en un instrumento. O el propietario de una pequeña empresa que agrega fácilmente una banda sonora a su último anuncio de video en Instagram».
Esa es la promesa de AudioCraft, la nueva herramienta de inteligencia artificial de Meta, que genera audio y música realistas y de alta calidad a partir de texto.
AudioCraft consta de tres modelos: MusicGen, AudioGen y EnCodec. MusicGen, que se entrenó con música propiedad de Meta y con licencia específica, genera música a partir de indicaciones de texto, mientras que AudioGen, que se entrenó con efectos de sonido públicos, genera audio a partir de indicaciones de texto. Se suman a una versión mejorada del decodificador EnCodec, que permite generar música de mayor calidad con menos artefactos.
«Estamos abriendo estos modelos, brindando acceso a investigadores y profesionales para que puedan entrenar sus propios modelos con sus propios conjuntos de datos por primera vez y ayudar a avanzar en el campo del audio y la música generados por IA», dijeron desde Meta.
«AudioCraft funciona para música, sonido, compresión y generación, todo en el mismo lugar. Debido a que es fácil de construir y reutilizar, las personas que desean construir mejores generadores de sonido, algoritmos de compresión o generadores de música pueden hacerlo todo en la misma base de código y construir sobre lo que otros han hecho».
