Aplicación de realidad aumentada para los objetos de un museo

Delgado Vellosillo Alfonso
Murillo Arnal, Ana Cristina (dir.)

Universidad de Zaragoza, EINA, 2018
Departamento de Informática e Ingeniería de Sistemas, Área de Lenguajes y Sistemas Informáticos

Graduado en Ingeniería Informática

Resumen: En este Trabajo de Fin de Grado, se ha desarrollado una aplicación de realidad aumentada para dispositivos móviles. Esta aplicación se ha desarrollado para ser utilizada en el museo de informática del edificio Ada Byron, ubicado en el campus Río Ebro de la Universidad de Zaragoza. La función de esta aplicación consiste en reconocer los diferentes objetos que alberga el museo, y añadir información sobre su visualización en el móvil en tiempo real. Para el desarrollo de la aplicación, se plantearon dos tareas principales. La primera era crear un sistema de reconocimiento de objetos lo suficientemente rápido y robusto como para funcionar de forma correcta en un dispositivo móvil, utilizando técnicas de visión por computador. La segunda tarea era la de crear una visualización con información adicional relativa a los objetos detectados. La mayor parte del trabajo se ha invertido en la creación del sistema de detección y localización de objetos, dejando una visualización de información más sencilla que pueda ejecutarse en móviles de gama media. \\ Para la creación de la aplicación prototipo, se han implementado tres módulos principales. El primero es un módulo de reconocimiento de objetos basado en \textit{deep learning}, que mediante el uso de redes neuronales convolucionales (CNNs), es capaz de reconocer diferentes objetos en una imagen. Para el desarrollo de este módulo, se ha utilizado \textit{TensorFlow}, un entorno de desarrollo para la creación y el uso de CNNs. Se compararan diferentes arquitecturas y opciones a la hora de construir una CNN capaz de reconocer los objetos del museo, teniendo en cuenta tanto su corrección en el reconocimiento como su facilidad para integrar dentro de la aplicación móvil, y finalmente se decidió utilizar un modelo existente, \textit{Inception}, re-entrenado para los objetos seleccionados. La función de este módulo dentro del sistema es la de determinar tres posibles objetos que se encuentren en la imagen para luego localizar uno de ellos de forma más robusta y precisa.%definitiva. El segundo módulo, es un módulo de reconocimiento basado en %técnicas de visión por computador el uso de características locales de imágenes (\textit{local features}), cuya función es la de localizar con más precisión en la imagen uno de los objetos reconocidos por el módulo anterior. Este módulo se ha desarrollado utilizando la librería \textit{OpenCV}, en un entorno mixto entre Java (aplicación base) y C++ (módulo). Durante su creación se evaluaron dos tipos de detectores de características (ORB y BRISK), y finalmente, para su correcto funcionamiento en tiempo real se utilizaron los puntos ORB. El módulo de visualización implementado, utiliza como el módulo anterior la librería \textit{OpenCV}, y aporta una visualización sencilla de información relacionada con el objeto detectado por los módulos anteriores. Estos tres módulos han sido integrados en la aplicación presentada como prototipo final, y se ha probado su correcto funcionamiento en el museo con un conjunto de quince objetos seleccionados. No se ha podido incorporar todos los objetos porque para cada objeto a añadir es necesario recopilar una gran cantidad de imágenes diferentes (60-70) para re-entrenar la CNN. Todos los objetivos se han cumplido satisfactoriamente, y se ha conseguido una aplicación funcional y fácil de gestionar. Se ha planteado como trabajo futuro, la mejora del módulo de visualización mediante el uso de herramientas más complejas para realidad aumentada que se encuentran en desarrollo a día de hoy, como es \textit{ARCore}, pero que actualmente solo funcionan correctamente en móviles de últimas generaciones.

Tipo de Trabajo Académico: Trabajo Fin de Grado