Estos días he estado investigando acerca de sistemas de captura de movimiento para grabar animaciones para mi personaje. Cómo tengo a disposición un impresionante presupuesto de 0€ y poco espacio he buscado opciones lo más económicas posible.
Mi idea era capturar animaciones para seguir con el desarrollo de mi personaje, entre ellas necesito animaciones de caminar, correr, agacharse, pulsar botones y crafteo de objetos del inventario. Ahora me encuentro en una fase del desarrollo muy temprana, el prototipo, esto implica que quiero obtener una base jugable para evaluar si mi idea es divertida de jugar y me he dado cuenta que no es el mejor momento para complicar el desarrollo.
Así que he decidido que por ahora voy a comprar assets de animación con los que crear el prototipo del juego.
Sin embargo he visto soluciones interesantes para hacer captura de movimiento.
Existen trajes como Rokoko o Shadow para capturar movimiento directamente en Unreal mediante sus respectivos Live Link plugins. Estas soluciones son muy precisas y parecen funcionar bien pero también son caras, por ejemplo un traje Rokoko para desarrollo de videojuegos con captura facial y de dedos cuesta sobre unos 4.000$. No puedo alcanzar este presupuesto y no he podido probar estos sistemas.
También hay soluciones en la nube basadas en machine learning como Plask o Deepmotion. Se paga por uso o una cuota mensual, cada sistema tiene sus normas pero generalmente funcionan de la siguiente manera: grabas un vídeo en el que se hacen los movimientos que se quieren capturar, subes el video y su sistema extrae los movimientos. Probé con Plask.ai y el resultado fue este:
No obstante hay limitaciones en Plask y no captura el movimiento de los dedos de las manos (Deepmotion si lo permite pagando un extra).
Luego se obtiene la animación en un fichero FBX, el cual habrá que modificarlo para ajustar el movimiento en bucle, etc. Estos sistemas no me convencieron porque el resultado había que trabajarlo mucho y no es lo más interesante para mi en estos momentos.
Otro sistema que me ha gustado y sobre el que estaré atento es Pose AI. Es una app para iOS entrenada como se hace con un sistema machine learning para detectar en tiempo real los movimientos a través de la cámara. Se puede conectar directamente a Unreal Engine con su plugin y permite la grabación de animaciones con la herramienta Take Recorder.
Pese a que ya no está en fases de desarrollo, por ahora, Pose AI no es ideal para grabar movimientos ya que no tiene mucha precisión con algunos movimientos, como por ejemplo caminar agachado. Pero siguen mejorando su fiabilidad y precisión y puede ser interesante en un futuro.
También he investigado la captura de movimientos usando un Kinect. Este experimento no lo he llevado a cabo hasta el final ya que Kinect no es muy preciso, por ejemplo no capta con detalle el movimiento de los dedos por ejemplo.
El próximo paso es investigar sobre los sistemas de animación facial para permitirme hacerme una idea de lo que necesitaré en un futuro para desarrollar este juego.