| TAZ-TFG-2019-2646 |
Redes neuronales profundas para mejorar la robustez de ORB-SLAM2
Izquierdo Barranco, Sergio
Tardós Solano, Juan Domingo (dir.)
Universidad de Zaragoza,
EINA,
2019
Informática e Ingeniería de Sistemas department, Ingeniería de Sistemas y Automática area
Graduado en Ingeniería Informática
Abstract: Los sistemas de SLAM (Simultaneous Localization And Mapping) permiten la generación de un
mapa sobre un entorno desconocido mientras se calcula la localización del agente en ese mismo espacio. El sistema ORB-SLAM2, desarrollado por la Universidad de Zaragoza, permite la generación de estos mapas utilizando cámaras como únicos sensores. Para ello, el sistema se basa en una extracción exhaustiva de puntos de interés ORB que posteriormente, y mediante su emparejamiento entre distintas imágenes, le servirán para conocer el desplazamiento del agente. Sin embargo, la utilización del extractor ORB para este propósito implica que no se utiliza ningún conocimiento empírico del entorno en el que se mueve el agente, resultando en que no todos los puntos extraídos son idóneos para el sistema.
Este trabajo aprovecha los grandes avances en el aprendizaje profundo para superar las limitaciones del sistema original añadiendo un componente de inteligencia mediante el aprendizaje con redes neuronales. Con este objetivo hemos intentado, en primer lugar, añadir este aprendizaje como una capa por encima del extractor ORB para predecir la robustez de los puntos de interés a partir de la localización del punto en la imagen, su descriptor y los niveles de gris de la región donde aparece el punto. El resultado obtenido es negativo, lo que nos permite concluir que la falta de robustez de los puntos ORB depende de factores aleatorios que no es posible aprender.
Con esta conclusión se ha decidido en segundo lugar sustituir completamente tanto la extracción como el emparejamiento de los puntos en el sistema, implementando de nuevo uno de los principales módulos de ORB-SLAM2. En este nuevo sistema creado, una red neuronal marca las zonas de interés de una imagen, y un nuevo sistema de seguimiento se encarga de rastrearlas entre distintos fotogramas. Estas mejoras consiguen que el porcentaje de puntos rastreados correctamente por el sistema cambie drásticamente del 3% al 56%.
mapa sobre un entorno desconocido mientras se calcula la localización del agente en ese mismo espacio. El sistema ORB-SLAM2, desarrollado por la Universidad de Zaragoza, permite la generación de estos mapas utilizando cámaras como únicos sensores. Para ello, el sistema se basa en una extracción exhaustiva de puntos de interés ORB que posteriormente, y mediante su emparejamiento entre distintas imágenes, le servirán para conocer el desplazamiento del agente. Sin embargo, la utilización del extractor ORB para este propósito implica que no se utiliza ningún conocimiento empírico del entorno en el que se mueve el agente, resultando en que no todos los puntos extraídos son idóneos para el sistema.
Este trabajo aprovecha los grandes avances en el aprendizaje profundo para superar las limitaciones del sistema original añadiendo un componente de inteligencia mediante el aprendizaje con redes neuronales. Con este objetivo hemos intentado, en primer lugar, añadir este aprendizaje como una capa por encima del extractor ORB para predecir la robustez de los puntos de interés a partir de la localización del punto en la imagen, su descriptor y los niveles de gris de la región donde aparece el punto. El resultado obtenido es negativo, lo que nos permite concluir que la falta de robustez de los puntos ORB depende de factores aleatorios que no es posible aprender.
Con esta conclusión se ha decidido en segundo lugar sustituir completamente tanto la extracción como el emparejamiento de los puntos en el sistema, implementando de nuevo uno de los principales módulos de ORB-SLAM2. En este nuevo sistema creado, una red neuronal marca las zonas de interés de una imagen, y un nuevo sistema de seguimiento se encarga de rastrearlas entre distintos fotogramas. Estas mejoras consiguen que el porcentaje de puntos rastreados correctamente por el sistema cambie drásticamente del 3% al 56%.
Tipo de Trabajo Académico: Trabajo Fin de Grado
Permalink:
El registro pertenece a las siguientes colecciones:
Academic Works > Trabajos Académicos por Centro > escuela-de-ingeniería-y-arquitectura
Academic Works > End-of-grade works