La inteligencia artificial Riffusion genera música a partir de mensajes de texto
Los entusiastas Seth Forsgren y Heik Martiros desarrollaron la red neuronal Riffusion , que genera música basada en mensajes de texto. Aprende y acumula información sobre música con la ayuda de sonogramas, una forma visual de representar sonidos. Este formato es fundamentalmente diferente de la notación musical y le permite visualizar sonidos arbitrarios en cualquier combinación.
Un sonograma es un tipo de gráfico que traza el tiempo de cada sonido en un eje y su frecuencia en el otro. Cada píxel tiene su propio color, lo que significa la amplitud del sonido en un momento dado. Los sonogramas se construyen utilizando el modelo de aprendizaje digital Stable Diffusion , por lo que son fáciles de asociar con el texto. Por ejemplo, pídale a la IA que proponga y diga “jazz con notas de lluvia de verano”.
Riffusion es una especie de experimento: gracias a una aplicación web especial, los usuarios pueden crear melodías y combinaciones de sonidos arbitrarias. Todo el proceso se visualiza automáticamente, el resultado se almacena en la base de datos para una mayor capacitación de IA. Estrictamente hablando, la mayoría de las melodías creadas por Riffusion suenan bastante extrañas, pero este es un gran ejemplo de una tecnología de manipulación de sonido en tiempo real muy prometedora.
