Reconocimiento de secuencias gestuales adquiridas con Kinect utilizando HMMs

Carmona Balfagón, Victoria
Miguel Artiaga, Antonio (dir.)

Universidad de Zaragoza, EINA, 2017
Departamento de Ingeniería Electrónica y Comunicaciones, Área de Teoría de la Señal y Comunicaciones

Ingeniero de Telecomunicación

Resumen: Kinect es el accesorio de las videoconsolas más modernas que permite jugar a videojuegos usando sólo el cuerpo, sin ningún tipo de control. Con su conjunto de sensores es posible jugar como en la vida real, pues las siluetas de los jugadores son capturadas por dichos sensores para posteriormente ser emparejadas con un modelo de esqueleto. En este proyecto, se implementa un reconocedor de secuencias gestuales utilizando el sensor Kinect. Con el kit de desarrollo de software liberado por Microsoft, grabamos diferentes movimientos en ficheros de texto creando una base de datos con la que trabajaremos durante el desarrollo del proyecto. En primer lugar, construimos el reconocedor en Matlab. Para ello, es necesario realizar el entrenamiento de los modelos ocultos de Markov (HMMs), obteniendo la secuencia óptima de estados con el algoritmo de Viterbi y reestimando los parámetros en cada una de las iteraciones (método de Baum-Welch). Una vez calculados los HMMs, implementamos la función de reconocimiento obteniendo el gesto que proporcione mayor verosimilitud. El siguiente paso, es implementar el sistema en lenguaje C++ que es el lenguaje de programación usado en el SDK de Kinect. Por último, se implementa una aplicación con distintos juegos de identificación de movimientos cuya base será el reconocedor construido. Se trata de una herramienta útil para los terapeutas que trabajan con niños con movilidad reducida y problemas de interacción. Dispone de varias opciones de configuración y un apartado de entrenamiento que permite crear HMMs de diferentes movimientos. La aplicación contiene 4 juegos diferentes: Gestos, Adivinanzas, Frases y Evocación que podrán ayudar a los niños a mejorar su capacidad motora y coordinación, así como su capacidad de razonamiento al relacionar las distintas imágenes con sus movimientos.

Tipo de Trabajo Académico: Proyecto Fin de Carrera