Recerca sobre MOCAP

Aquests dies he estat investigant sobre sistemes de captura de moviment per gravar animacions per al meu personatge. Com tinc a disposició un impressionant pressupost de 0€ i poc espai he buscat opcions tan econòmiques com sigui possible.

La meva idea era capturar animacions per seguir el desenvolupament del meu personatge, entre les quals necessito animacions de caminar, córrer, ajupir-se, prémer botons i crafteig d'objectes de l'inventari. Ara em trobo en una fase del desenvolupament inicial, el prototip, això implica que vull obtenir una base jugable per avaluar si la meva idea és divertida de jugar i m'he adonat que no és el millor moment per complicar el desenvolupament.

Així que he decidit que ara com ara compraré assets d'animació amb els quals crear el prototip del joc.

Tot i això he vist solucions interessants per fer captura de moviment.

Hi ha vestits com Rokoko o Shadow per capturar moviment directament a Unreal mitjançant els seus respectius Live Link plugins. Aquestes solucions són molt precises i semblen funcionar bé però també són cares, per exemple un vestit Rokoko per a desenvolupament de videojocs amb captura facial i de dits costa sobre uns 4.000$. No puc assolir aquest pressupost i no he pogut provar aquests sistemes.

Rokoko suit, image from newatlas.com

També hi ha solucions al núvol basades en machine learning com Plask o Deepmotion. Es paga per ús o una quota mensual, cada sistema té les seves normes però generalment funcionen de la següent manera: graves un vídeo on es fan els moviments que es volen capturar, puges el vídeo i el seu sistema extreu els moviments. Vaig provar amb Plask.ai i el resultat va ser aquest:

MOCAP PlaskAI

No obstant això hi ha limitacions a Plask i no captura el moviment dels dits de les mans (Deepmotion si ho permet pagant un extra).

Després s'obté l'animació en un fitxer FBX, el qual cal modificar-lo per ajustar el moviment en bucle, etc. Aquests sistemes no em van convèncer perquè el resultat s'havia de treballar molt i no és el més interessant per a mi en aquests moments.

Un altre sistema que m'ha agradat i sobre el que estaré atent és Pose AI. És una app per a iOS entrenada com es fa amb un sistema machine learning per detectar en temps real els moviments a través de la càmera. Es pot connectar directament a Unreal Engine amb el seu plugin i permet l'enregistrament d'animacions amb l'eina Take Recorder.

MOCAP PoseAI

Tot i que ja no està en fases de desenvolupament, per ara, Pose AI no és ideal per gravar moviments ja que no té molta precisió amb alguns moviments, com per exemple caminar ajupit. Però continuen millorant-ne la fiabilitat i precisió i pot ser interessant en un futur.

També he investigat la captura de moviments usant un Kinect. Aquest experiment no ho he dut a terme fins al final ja que Kinect no és gaire precís, per exemple no capta amb detall el moviment dels dits per exemple.

MOCAP Kinect

El proper pas es investigar sobre els sistemes d'animació facial per permetre'm fer-me una idea de qué necessitaré en un futur per desenvolupar aquest joc.