000008031 001__ 8031 000008031 005__ 20150325140029.0 000008031 037__ $$aTAZ-PFC-2012-406 000008031 041__ $$aspa 000008031 1001_ $$aMartínez Millán, Daniel 000008031 24500 $$aInterface de usuario multimodal asistido con agente virtual 000008031 260__ $$aZaragoza$$bUniversidad de Zaragoza$$c2012 000008031 506__ $$aby-nc-sa$$bCreative Commons$$c3.0$$uhttp://creativecommons.org/licenses/by-nc-sa/3.0/ 000008031 520__ $$aEn este Proyecto Fin de Carrera se ha desarrollado una interfaz multimodal asistida con un agente virtual 3D, sobre la que estudiantes de educación secundaria pueden realizar consultas para obtener información de diversos temas científico-mecánicos disponibles en la Wikipedia, y obtener información de la Web utilizando para ello diversas Web API disponibles en la red. Este proyecto se enmarca dentro del proyecto Alfa III GAVIOTA de la Unión Europea. Como herramienta multimodal, la aplicación permite que las consultas que se realicen puedan efectuarse mediante interacción tradicional, utilizando dispositivos de entrada convencionales como el ratón, o por voz mediante lenguaje natural. Además la aplicación desarrollada muestra la información recibida de los servicios Web integrados, en forma de hipertexto, multimedia, y síntesis de voz. Para permitir la comunicación multimodal se ha desarrollado una interfaz WIMP (Windows, Icons, Menus, Pointer) para la interacción tradicional sobre la que se incorpora el agente 3D, y para la comunicación por voz se ha integrado un reconocedor de voz que se apoya en la utilización de gramáticas ABNF y la herramienta Loquendo ASR. Para obtener la gramática que contiene las reglas que emplea el reconocedor de voz en la interacción, se han utilizado herramientas externas que permiten validar la correcta definición de esas reglas y el alcance que tienen en el reconocimiento. Del mismo modo permiten comprobar las interpretaciones semánticas de las consultas, que serán utilizadas para llamar a los procedimientos específicos especializados en ese tipo de solicitudes. Una vez obtenida la semántica de una consulta, se procede al análisis de ésta, para reconocer el tipo de solicitud realizada y la información específica proporcionada. Posteriormente se realiza la comunicación con los servicios Web disponibles, de los que se reciben los datos solicitados que hay que analizar para adecuarla a la salida de la interfaz, y así mostrar la información ya sea utilizando la interfaz WIMP o a través de síntesis de voz, utilizando para ello la herramienta Loquendo TTS. Para permitir la simulación del habla del agente 3D, se ha desarrollado un analizador de símbolos fonéticos X-SAMPA, que convierte estos símbolos en información fácilmente interpretable por el agente 3D, permitiéndole así poder realizar una representación labial correcta de cada uno de los fonemas posibles. La interfaz WIMP muestra la información recibida por los servicios Web, y permite visualizar imágenes recibidas, reproducir elementos multimedia, y acceder a las páginas web que contienen la información completa solicitada. Además de las funcionalidades presentadas, la herramienta desarrollada destaca por disponer de las herramientas necesarias para que nuevas funcionalidades puedan ser incorporadas de forma sencilla, y permitir que pueda ser utilizada en futuros proyectos sobre interacción multimodal. 000008031 521__ $$aIngeniero en Informática 000008031 540__ $$aDerechos regulados por licencia Creative Commons 000008031 6531_ $$ainterface 000008031 6531_ $$amultimodal 000008031 6531_ $$aagente virtual 000008031 6531_ $$ainteracción persona-ordenador 000008031 700__ $$aMarco Rubio, Javier$$edir. 000008031 700__ $$aSerón Arbeloa, Francisco José$$edir. 000008031 7102_ $$aUniversidad de Zaragoza$$bInformática e Ingeniería de Sistemas$$cLenguajes y Sistemas Informáticos 000008031 8560_ $$f537071@celes.unizar.es 000008031 8564_ $$s4980704$$uhttps://zaguan.unizar.es/record/8031/files/TAZ-PFC-2012-406.pdf$$yMemoria (spa) 000008031 909CO $$ooai:zaguan.unizar.es:8031$$pdriver$$pproyectos-fin-carrera 000008031 950__ $$a 000008031 980__ $$aTAZ$$bPFC$$cEINA