Guiado de ciegos mediante un simulador de visión protésica en entornos virtuales

Montano Oliván, Lorenzo
Pérez Yus, Alejandro (dir.)

Bermúdez Cameo, Jesús (ponente)

Universidad de Zaragoza, EINA, 2019
Departamento de Informática e Ingeniería de Sistemas, Área de Ingeniería de Sistemas y Automática

Máster Universitario en Ingeniería Biomédica

Resumen: La información del entorno es percibida por las personas a través de los sentidos. La
vista es el sentido que proporciona una mayor riqueza de información acerca de la escena
y de la ubicación de los objetos en la misma. Gracias a ella somos capaces de percibir y
reconocer diferentes objetos y de navegar con facilidad por el entorno que nos rodea. Un
gran número de personas se ven privadas de este sentido debido a las diferentes patologı́as
existentes que degeneran gradualmente las vı́as visuales e incluso pueden conducir a la
ceguera. Dependiendo de la gravedad de estas lesiones, es posible colocar una prótesis
en alguna parte del sistema visual que permite percibir mediante estimulación eléctrica
unos puntos de luz blanca conocidos como fosfenos. Con ellos se puede representar, por
ejemplo, una información simplificada de la escena que ayude al sujeto a desplazarse sin
colisionar.
Estas prótesis representan la información captada por una cámara, procesada con técni-
cas de visión artificial, para llevar a cabo la estimulación de los fosfenos. Sin embargo,
el rango dinámico y la resolución visual proporcionados por estos implantes visuales es
muy reducido en comparación con la visión humana por lo que es conveniente seleccio-
nar la información que se representa. Por ello es importante desarrollar algoritmos que
permitan extraer de la escena la información más relevante, con el fin de facilitar la
navegación de las personas con discapacidad visual. Estos algoritmos pueden facilitar la
percepción en general (representación icónica, información simplificada) pero también
ayudar directamente en tareas concretas, como por ejemplo el guiado, a través de reali-
dad aumentada. Para poder evaluar las distintas estrategias en una fase previa al ensayo
en pacientes, se han desarrollado los llamados simuladores de visión protésica, los cuales
facilitan la implementación de estos algoritmos y su evaluación en sujetos sanos.
En este proyecto se plantea por primera vez, hasta nuestro conocimiento, la integración
de un sistema de guiado en un simulador de visión protésica basado en técnicas de
navegación convencionales. El objetivo es facilitar la navegación de las personas con
visión reducida, mediante la representación sobre la imagen de fosfenos de la dirección
hacia la que se deben mover para alcanzar una ubicación deseada.
El sistema de guiado desarrollado se ha evaluado inicialmente en un entorno virtual,
y posteriormente en un entorno real utilizando una cámara RGB-D. Para ello se han
integrado técnicas de SLAM visual (Simultaneous Localization and Mapping) con técni-
cas de planificación de trayectorias sobre un mapa que se va actualizando durante el
movimiento, representando en él los obstáculos detectados en tiempo real. La escena
y la trayectoria planificada se proyectan sobre la imagen de fosfenos percibida por la
persona.
--------------------------------------------------------------------------------------------
Information about the environment is perceived by people through their senses. Sight
is the sense that provides the greatest wealth of information about the scene and the
location of the objects in it. Thanks to it we are able to perceive and recognize different
objects and easily navigate the environment around us. Many people are deprived of
this sense due to the different existing pathologies that gradually degenerate the visual
pathway and can even lead to blindness. Depending on the severity of these lesions, it
is possible to place a prosthesis in some part of the visual system that allows perceiving
white dots of light elicited by electrical stimulation, known as phosphenes. These dots
can represent, for example, simplified information about the scene that helps the subject
to move without colliding.
These prostheses represent the information captured by a camera, processed with compu-
ter vision techniques, to carry out the stimulation of phosphenes. However, the dynamic
range and visual resolution provided by these visual implants are very small compared
to human vision, so it is convenient to select the information to be represented. For this
reason, it is important to develop algorithms that are able to extract the most relevant
information from the scene, in order to facilitate the navigation for the visually impai-
red. These algorithms can help in general perception (iconic representation, simplified
information) but also help directly in specific tasks, such as guiding through augmen-
ted reality. In order to be able to evaluate the different strategies in a pre-trial phase
in patients, so-called prosthetic vision simulators have been developed to facilitate the
implementation of these algorithms and their evaluation in healthy subjects.
In this project it is proposed, –to the best of our knowledge– for the first time, the
integration of a guidance system in a prosthetic vision simulator based on well-known
navigation techniques. The goal is to facilitate the navigation of visual impaired peo-
ple, by representing the direction they must follow to reach a desired location with
phosphenes.
The guidance system developed has been evaluated initially in a virtual environment,
and then in a real setting using an RGB-D camera. For this purpose, visual SLAM (Si-
multaneous Localization and Mapping) techniques have been integrated with trajectory
planning techniques on a map that is continuously updated with the obstacles detec-
ted while the user is moving, in real time. The scene and the planned trajectory are
projected onto the phosphene image perceived by the person.

Tipo de Trabajo Académico: Trabajo Fin de Master