Evaluación de un sistema multimodal de reconocimiento de emociones

Ballano Pablo, Sergio
Baldassarri Santa Lucía, Sandra (dir.) ; Cerezo Bagdasari, Eva (dir.)

Universidad de Zaragoza, CPS, 2011
Departamento de Informática e Ingeniería de Sistemas, Área de Lenguajes y Sistemas Informáticos

Máster Universitario en Ingeniería de Sistemas e Informática

Resumen: En el presente Trabajo Fin de Máster se ha llevado a cabo la implementación y evaluación de un algoritmo de fusión multimodal para detección de emociones propuesto anteriormente. Ello ha implicado la realización de las siguientes tareas: La mejora del módulo de detección facial previo, permitiendo la detección de expresiones faciales de forma automática y posibilitando el procesado de largas secuencias de vídeo. El desarrollo de un módulo de detección de emociones en texto, basado en el diccionario de Whissell, capaz de proporcionar una salida emocional en el espacio continuo. El desarrollo de una aplicación, en forma de mensajería instantánea, que permite a dos usuario interactuar emocionalmente por medio de expresiones faciales (vídeo), texto y emoticonos y que recoge todos los datos necesarios para el posterior cálculo de las salidas emocionales de cada uno de los módulos estudiados. La implementación del algoritmo de fusión y la prueba de su funcionamiento gracias a los módulos faciales, de texto y a los emoticonos. El diseño de un método de evaluación para sistemas de detección de emociones continuas y el desarrollo de todas las herramientas necesarias para su aplicación. Dicho método ha sido empleado para estudiar el efecto de la fusión multimodal en las tasas de acierto. El análisis de los resultados obtenidos, identificando las virtudes y los defectos tanto del algoritmo de fusión como del módulo de detección facial.

Palabra(s) clave (del autor): evaluación ; fusión multimodal ; computación afectiva

Tipo de Trabajo Académico: Trabajo Fin de Master