| TAZ-TFG-2021-1958 |
Estudio comparativo e interpretabilidad de modelos estáticos y temporales de redes neuronales en la predicción de la evolución de la enfermedad de Alzheimer dentro del TadPole challenge
Sánchez Aquilué, José Manuel
Hernández Giménez, Mónica (dir.) ; Mayordomo Cámara, Elvira (dir.)
Universidad de Zaragoza,
EINA,
2021
Departamento de Informática e Ingeniería de Sistemas, Área de Lenguajes y Sistemas Informáticos
Graduado en Ingeniería Informática
Resumen: En la actualidad la investigación tiene delante el considerable desafío de avanzar en la lucha contra la demencia, cuya manifestación más común se da por medio de la enfermedad de Alzheimer. Se trata de una afección neurodegenerativa que provoca pérdida de memoria, de concentración y alteraciones en el comportamiento, y para la cual todavía no se conoce un método de diagnóstico preciso que no involucre una biopsia post-mortem.
Con la misión de contribuir a la mejora de las aplicaciones biomédicas en el diagnóstico de la enfermedad de Alzheimer, EuroPOND Consortium y ADNI elaboraron el concurso TADPOLE Challenge. Los participantes debían resolver una serie de problemas de regresión y clasificación con los métodos estadísticos o de aprendizaje automático que estimasen oportunos. Entre esos retos, nosotros nos hemos dedicado a estudiar la predicción del estado clínico. Dadas una serie de muestras de biomarcadores de pacientes extraídas de la base de datos de ADNI, buscábamos averiguar su estado de salud en corto y medio plazo, entre uno y cinco años. Dentro de los predictores había de tipo demográfico (edad, raza, sexo…), biológico, puntuaciones de test cognitivos, el factor genético e imagenes cerebrales, y entre las posibles categorías de diagnóstico podíamos distinguir los estados cognitive normal (CN), mild cognitive impairment (MCI) y Alzheimer's disease (AD).
Cuando se dio por finalizado el concurso, se presentó el conjunto de test (D4), sobre el que se evaluaron los modelos presentados para construir el ranking. En muchos otros contextos las redes neuronales han superado a las técnicas clásicas de aprendizaje automático. Sin embargo, aquí ocurrió lo contrario, el mejor método basado en deep learning ocupó la novena posición y el peor, la cuadragésima octava de un total de 58 métodos incluidos en el challenge.
En este trabajo hemos reproducido los modelos de aprendizaje profundo que se presentaron a TADPOLE challenge. Esto ha supuesto, en primer lugar, un estudio del estado del arte de las redes neuronales pre-alimentadas y recurrentes y su aplicación en materia de predicción de diagnósticos. Tras la fase de documentación pudimos implementar sistemas de redes neuronales. En concreto redes profundas, poco profundas, recurrentes y LSTM, un tipo de recurrencia que presenta un buen rendimiento en secuencias largas. Existen dos maneras de plantear este problema, en función del tipo de arquitectura que se utilice. Ora se interpreta cada muestra como un dato aislado, ora fundamentar la predicción en el historial completo del paciente. Por lo general, los métodos recurrentes presentan mejores resultados, debido a la evidente dependencia que existe entre las muestras de un mismo paciente. A pesar de que las redes profundas no tuvieron mucho éxito en el concurso (mAUC de 0,737 y BCA de 0,605), los algoritmos reproducidos en este TFG han logrado una mejor puntuación, una mAUC de 0,857 y un BCA de 0,77 sobre D4. Por el contrario, los modelos recurrentes quedaron ligeramente por debajo que los presentados en TADPOLE. Nuestros modelos alcanzaron hasta una mAUC de 0,861 y un BCA de 0,781, frente a la mejor RNN de TADPOLE, que ostenta una mAUC de 0,897 y un BCA de 0,803.
Una vez garantizado que los modelos indicados son reproducibles, y por consiguiente, se podrían hacer accesibles para el uso clínico, quedaría asegurar la interpretabilidad, condición sine qua non para la profesionalización de estas técnicas en el terreno de la biomedicina. El análisis se ha realizado mediante SHAP y llegando a la conclusión de que los atributos a los que más peso les otorgan las redes son aquellos en los que se apoyan los expertos clínicos a la hora de establecer el diagnóstico. Además se ha completado el estudio con una mirada a la configuración interna de las redes, mediante la herramienta TensorBoard. En esta observación contemplamos como el peso que le asigna la red en la primera capa a cada feature es directamente proporcional a la importancia que le concede SHAP. Asimismo hay una gran cantidad de pesos adquieren el valor de cero, en otras palabras, las redes no están desarrollando todo su potencial, una elevada proporción de neuronas no contribuyen nada, o lo hacen insignificantemente, al resultado final.
Los códigos fuente de este proyecto están recogidos en este repositorio: https://github.com/jmsaquilue/TFG
Con la misión de contribuir a la mejora de las aplicaciones biomédicas en el diagnóstico de la enfermedad de Alzheimer, EuroPOND Consortium y ADNI elaboraron el concurso TADPOLE Challenge. Los participantes debían resolver una serie de problemas de regresión y clasificación con los métodos estadísticos o de aprendizaje automático que estimasen oportunos. Entre esos retos, nosotros nos hemos dedicado a estudiar la predicción del estado clínico. Dadas una serie de muestras de biomarcadores de pacientes extraídas de la base de datos de ADNI, buscábamos averiguar su estado de salud en corto y medio plazo, entre uno y cinco años. Dentro de los predictores había de tipo demográfico (edad, raza, sexo…), biológico, puntuaciones de test cognitivos, el factor genético e imagenes cerebrales, y entre las posibles categorías de diagnóstico podíamos distinguir los estados cognitive normal (CN), mild cognitive impairment (MCI) y Alzheimer's disease (AD).
Cuando se dio por finalizado el concurso, se presentó el conjunto de test (D4), sobre el que se evaluaron los modelos presentados para construir el ranking. En muchos otros contextos las redes neuronales han superado a las técnicas clásicas de aprendizaje automático. Sin embargo, aquí ocurrió lo contrario, el mejor método basado en deep learning ocupó la novena posición y el peor, la cuadragésima octava de un total de 58 métodos incluidos en el challenge.
En este trabajo hemos reproducido los modelos de aprendizaje profundo que se presentaron a TADPOLE challenge. Esto ha supuesto, en primer lugar, un estudio del estado del arte de las redes neuronales pre-alimentadas y recurrentes y su aplicación en materia de predicción de diagnósticos. Tras la fase de documentación pudimos implementar sistemas de redes neuronales. En concreto redes profundas, poco profundas, recurrentes y LSTM, un tipo de recurrencia que presenta un buen rendimiento en secuencias largas. Existen dos maneras de plantear este problema, en función del tipo de arquitectura que se utilice. Ora se interpreta cada muestra como un dato aislado, ora fundamentar la predicción en el historial completo del paciente. Por lo general, los métodos recurrentes presentan mejores resultados, debido a la evidente dependencia que existe entre las muestras de un mismo paciente. A pesar de que las redes profundas no tuvieron mucho éxito en el concurso (mAUC de 0,737 y BCA de 0,605), los algoritmos reproducidos en este TFG han logrado una mejor puntuación, una mAUC de 0,857 y un BCA de 0,77 sobre D4. Por el contrario, los modelos recurrentes quedaron ligeramente por debajo que los presentados en TADPOLE. Nuestros modelos alcanzaron hasta una mAUC de 0,861 y un BCA de 0,781, frente a la mejor RNN de TADPOLE, que ostenta una mAUC de 0,897 y un BCA de 0,803.
Una vez garantizado que los modelos indicados son reproducibles, y por consiguiente, se podrían hacer accesibles para el uso clínico, quedaría asegurar la interpretabilidad, condición sine qua non para la profesionalización de estas técnicas en el terreno de la biomedicina. El análisis se ha realizado mediante SHAP y llegando a la conclusión de que los atributos a los que más peso les otorgan las redes son aquellos en los que se apoyan los expertos clínicos a la hora de establecer el diagnóstico. Además se ha completado el estudio con una mirada a la configuración interna de las redes, mediante la herramienta TensorBoard. En esta observación contemplamos como el peso que le asigna la red en la primera capa a cada feature es directamente proporcional a la importancia que le concede SHAP. Asimismo hay una gran cantidad de pesos adquieren el valor de cero, en otras palabras, las redes no están desarrollando todo su potencial, una elevada proporción de neuronas no contribuyen nada, o lo hacen insignificantemente, al resultado final.
Los códigos fuente de este proyecto están recogidos en este repositorio: https://github.com/jmsaquilue/TFG
Tipo de Trabajo Académico: Trabajo Fin de Grado
Enlace permanente:
El registro pertenece a las siguientes colecciones:
Trabajos académicos > Trabajos Académicos por Centro > Escuela de Ingeniería y Arquitectura
Trabajos académicos > Trabajos fin de grado