Facebook se han planteado si era posible predecir computacionalmente los movimientos corporales de los músicos acorde a las piezas musicales que están tocando, especialmente las manos, llevando a cabo una investigación cuyos resultados han quedado plasmados en el documento Audio to Body Dynamics que la compañía presentó en la Conference on Computer Vision and Pattern Recognition (CVPR) de este año. Lo que se buscaba, básicamente, es lograr que un avatar animado que se moviese de la misma manera en la que lo haría un pianista o un violinista humano a la hora de tocar su instrumento musical. Esta investigación abre las puertas a que en un futuro se permita aprender a tocar instrumentos musicales con la ayuda de la Inteligencia Artificial y la Realidad Aumentada. Los investigadores han desarrollado una red neuronal Long-Short-Term-Memory (LSTM) y han empleado una recopilación de videos de violinistas y pianistas disponibles públicamente en Internet para el entrenamiento de dicha red neuronal, procesando fotograma a fotograma de los vídeos buscando la correlación de los movimientos en los puntos de referencias del cuerpo de los músicos, con el interés puesto en la parte superior del cuerpo y en las manos, con las características de las señales musicales. Luego, han trasladado estos puntos de referencia a un avatar 3D animado, que realizará un movimiento u otro en base a la entrada de audio que se reciba. Sin duda, esto permitirá que a largo plazo se permita el aprendizaje de instrumentos musicales simplemente imitando los movimientos del propio avatar. [gallery]]]>
Related Posts
Bose anunció cuatro nuevos modelos de audífonos inalámbricos
Dos de los modelos incorporan la opción de cancelación de ruido, casi emblemática de la empresa Bose anuncia cuatro nuevos…
App de Youtube para iOS se actualizó y ahora es compatible con Google Cardboard
Ahora los usuarios de iPhone que deseen ver videos de Youtube en Realidad virtual ya pueden actualizar la app de…
El Realme GT Neo2 anunciado oficialmente en China
Realme ha presentado oficialmente el Realme GT Neo2. Es otro posible éxito de ventas del fabricante chino. El teléfono es…