Visual and multimodal perception in immersive environments.pdf

Visual and multimodal perception in immersive environments

Malpica Mallo, Sandra
Gutiérrez Pérez, Diego (dir.) ; Masiá Corcoy, Belén (dir.)

Universidad de Zaragoza, 2023

Resumen: En esta tesis utilizamos la realidad virtual (VR) como herramienta para comprender mejor la percepción visual y el comportamiento atencional del ser humano. Aprovechamos las propiedades intrínsecas que proporciona la VR para construir estudios de usuarios adaptados a un conjunto de temas diversos. La realidad virtual proporciona un mayor control sobre la información sensorial en comparación con los medios tradicionales, así como interacciones más naturales con el entorno y una sensación de realismo mayor. Estas cualidades, junto con la sensación de presencia y la inmersión, aumentan la validez ecológica de los estudios de usuarios realizados en VR. Esto permite a los investigadores explorar escenarios más cercanos al mundo real de forma segura y reproducible. Al aumentar los conocimientos disponibles sobre la percepción visual, pretendemos proporcionar a los investigadores en informática gráfica más herramientas para superar las limitaciones actuales del campo, ya sean causadas por el hardware o el software. Comprender la percepción visual y el comportamiento atencional del ser humano es una tarea difícil: medir directamente estos procesos cognitivos de alto nivel no suele ser factible, más aún sin dispositivos de grado médico (que suelen ser invasivos para el usuario). Por ello, debemos medir datos relacionados observables, tanto cualitativos como cuantitativos. Estos datos se procesan posteriormente para obtener información sobre el comportamiento humano y crear pautas o modelos de alto nivel siempre que sea posible. Presentamos las aportaciones de esta tesis en torno a dos temas: la percepción visual de estímulos realistas y la percepción multimodal en entornos inmersivos. El primer tema está dedicado a la apariencia visual y tiene dos contribuciones distintas. En primer lugar, hemos creado una métrica de similitud de apariencia basada en el aprendizaje por medio de estudios de usuarios a gran escala y un modelo de deep learning que correla con la percepción humana. Además, estudiamos cómo las características visuales asemánticas de bajo nivel pueden utilizarse para alterar la percepción del tiempo en realidad virtual, manifestando la interacción entre la percepción visual y temporal en intervalos temporales de hasta tres minutos. En cuanto al segundo tema, la percepción multimodal, primero hemos recopilado un estudio en profundidad del estado del arte del uso de diferentes modalidades sensoriales en entornos inmersivos. Además, presentamos un efecto de supresión intermodal en realidad virtual, en el que diferentes señales auditivas degradan significativamente la percepción visual. Por último, mostramos cómo la sincronización temporal es clave para percibir correctamente los eventos multimodales y mejorar la percepción de ciertas propiedades incluso cuando la calidad visual disminuye.
En definitiva, esta tesis profundiza en la comprensión de la percepción humana en entornos inmersivos. Este conocimiento puede beneficiar no solo a los investigadores de las ciencias cognitivas, sino también a los investigadores del campo de la informática gráfica, especialmente a los que tratan con realidad virtual, que podrán utilizar nuestros hallazgos para crear mejores experiencias de usuario.

Resumen (otro idioma):