Reconocimiento de objetos en imágenes panorámicas

Guerrero Viu, Julia
Fernández Labrador, Clara (dir.) ; Guerrero Campo, José Jesús (dir.)

Universidad de Zaragoza, EINA, 2019
Departamento de Informática e Ingeniería de Sistemas, Área de Ingeniería de Sistemas y Automática

Graduado en Ingeniería Informática

Resumen: Este trabajo describe el desarrollo de un sistema de reconocimiento de objetos en imágenes panorámicas. Las imágenes panorámicas, con su amplio campo de visión, suponen un gran potencial para tareas de reconocimiento en interiores, ya que incluyen el contexto completo de las escenas. Sin embargo, también representan un reto para lidiar con los efectos de distorsión, debidos a su proyección esférica y a la resolución variable, ası́ como con la falta de datos masivos etiquetados. Tras una intensa investigación sobre el estado del arte en reconocimiento de objetos, y sus particularidades sobre panorámicas, se ha detectado la escasez de modelos concretos que trabajen con este tipo de imágenes.
En este trabajo, se ha desarrollado un modelo basado en aprendizaje profundo, llamado Panoramic BlitzNet. Utiliza como base la red BlitzNet y aborda las tareas de detección de objetos y segmentación semántica en imágenes equirectangulares de interior. Está compuesto por una red totalmente convolucional (FCN) compartida prácticamente en su totalidad por las dos tareas, que cuenta con conexiones skip y que realiza reconocimiento multi-escala. Este modelo trabaja con las panorámicas completas, lo que representa una de las claves de su éxito. Además, se analiza en profundidad el impacto de las convoluciones equirectangulares, que sustituyen a las convencionales para adaptarse mejor al dominio esférico. Adicionalmente, se ha llevado a cabo una aproximación a la tarea de segmentación por instancias, ası́ como una prueba de concepto para combinar el reconocimiento de objetos con la reconstrucción del layout 3D en habitaciones.
El modelo se ha entrenado y evaluado utilizando el dataset SUN360, adaptado para incluir máscaras de segmentación. Los resultados experimentales son claramente satisfactorios, respaldando la importancia de desarrollar sistemas especı́ficos que trabajen con imágenes panorámicas y la utilidad del aprendizaje conjunto de dos tareas de interpretación de escenas. Los resultados demuestran la efectividad del modelo, superando a otros métodos de estado del arte en reconocimiento de objetos con panorámicas en entornos de interior.

Tipo de Trabajo Académico: Trabajo Fin de Grado