Facebook se han planteado si era posible predecir computacionalmente los movimientos corporales de los músicos acorde a las piezas musicales que están tocando, especialmente las manos, llevando a cabo una investigación cuyos resultados han quedado plasmados en el documento Audio to Body Dynamics que la compañía presentó en la Conference on Computer Vision and Pattern Recognition (CVPR) de este año. Lo que se buscaba, básicamente, es lograr que un avatar animado que se moviese de la misma manera en la que lo haría un pianista o un violinista humano a la hora de tocar su instrumento musical. Esta investigación abre las puertas a que en un futuro se permita aprender a tocar instrumentos musicales con la ayuda de la Inteligencia Artificial y la Realidad Aumentada. Los investigadores han desarrollado una red neuronal Long-Short-Term-Memory (LSTM) y han empleado una recopilación de videos de violinistas y pianistas disponibles públicamente en Internet para el entrenamiento de dicha red neuronal, procesando fotograma a fotograma de los vídeos buscando la correlación de los movimientos en los puntos de referencias del cuerpo de los músicos, con el interés puesto en la parte superior del cuerpo y en las manos, con las características de las señales musicales. Luego, han trasladado estos puntos de referencia a un avatar 3D animado, que realizará un movimiento u otro en base a la entrada de audio que se reciba. Sin duda, esto permitirá que a largo plazo se permita el aprendizaje de instrumentos musicales simplemente imitando los movimientos del propio avatar. [gallery]]]>
Related Posts
Google hará que Meet esté disponible en Zoom y otras plataformas
Google confirmó en una publicación de blog que los dispositivos Zoom Rooms y Google Meet podrán unirse a las sesiones…
Netflix publicó las primeras imágenes de su serie animada "Fast & Furious: Spy Racers"
Netflix ha revelado las primeras imágenes y el póster de su nueva serie animada «Fast & Furious: Spy Racers», la…
Instagram agrega una nueva herramienta de «Búsqueda de mapas» para maximizar el descubrimiento de negocios
Instagram ha lanzado una prueba en vivo de una nueva función llamada «Búsqueda de mapa» en Australia y Nueva Zelanda,…