Modelado 3D del colon a partir de colonoscopias reales mediante geometría multivista

Subías Sarrato, José Daniel
Martínez Montiel, José María (dir.)

Universidad de Zaragoza, EINA, 2021
Departamento de Informática e Ingeniería de Sistemas, Área de Ingeniería de Sistemas y Automática

Graduado en Ingeniería Informática

Resumen: El proyecto EndoMapper tiene como objetivo utilizar secuencias de colonoscopias reales, para lograr realizar Simultaneous Localization and Mapping(SLAM) en el intestino humano. Utilizar técnicas como Structure from Motion(SfM) permite estructurar en grupos los vídeos de manera automática, en regiones donde se sabe que el entorno es aproximadamente rígido. Esto da la oportunidad a los investigadores de probar a realizar SLAM en las zonas donde puede asumirse rigidez. Adicionalmente en estas regiones también es factible el poder probar a crear modelos fotorrealistas mediante Stereo, utilizando algoritmos como Multi-View Stereo(MVS). El software COLMAP permite crear reconstrucciones dispersas de regiones rígidas usando SfM, para posteriormente intentar densificarlas mediante MVS.
Durante la realización del proyecto se ha trabajado sintonizar COLMAP, tanto el SfM como el MVS, para el procesamiento de secuencias de endoscopia médica. Por una parte se a optimizado la implementación de SfM para trabajar con el modelo de cámara Fisheye Kannala-Brandt, que utiliza el endoscopio. Eliminando así una selección de modelos innecesaria en este tipo de secuencias de vídeo, consiguiendo así una reducción del tiempo de cómputo del 45\%. Como segundo punto positivo el sistema desarrollado, logra realizar una mejor agrupación de las imágenes de las secuencias que pertenecen a una misma zona. Esto se ha podido comprobar haciendo un análisis de la segmentación realizada para una secuencia de vídeo completa.
Como parte complementaria se ha tratado de estimar la profundidad de cada píxel de cada imagen de la entrada, con el objetivo de generar un mapa de profundidad y de normales para cada fotograma. Esto ha sido posible al conocer mediante SfM que regiones son rígidas. Para poder utilizar MVS, tomando como medidas a optimizar la fotoconsistencia entre los píxeles, y la consistencia geométrica entre su posiciones 3D. Los parámetros predefinidos de COLMAP están ajustados para trabajar con edificios y fotografías tomadas de internet. Trabajar con endoscopias ha supuesto ajustar los parámetros del programa para adaptar el proceso de densificación.
Podemos concluir con que el software COLMAP permite estructurar de forma no supervisada los vídeos endoscopias. Simplificando notablemente la identificación de secciones de vídeo donde SLAM es mas prometedor, además de proporcionar un etiquetado para el entrenamiento de sistemas de aprendizaje automático o incluso Stereo

Tipo de Trabajo Académico: Trabajo Fin de Grado