Anotación semántica de grandes colecciones de vídeos a partir de su audio

Delgado Llamas, Daniel
Baldassarri Santa Lucía, Sandra (dir.) ; Álvarez Pérez-Aradros, Pedro (dir.)

Universidad de Zaragoza, EINA, 2015
Departamento de Informática e Ingeniería de Sistemas, Área de Lenguajes y Sistemas Informáticos

Graduado en Ingeniería Informática

Resumen: En Internet existen numerosos servicios de alojamiento y visualización de vídeos. Este tipo de plataformas permiten realizar búsquedas entre las grandes colecciones de vídeos que almacenan. Estas búsquedas comparan la consulta realizada por el usuario con la información que disponen de cada uno de sus vídeos. La fuente de información para este tipo de búsquedas puede ser muy distinta dependiendo de cada servicio de alojamiento. En general, los elementos más importantes que clasifican un vídeo son: el título y las etiquetas asociadas a cada vídeo y que describen su contenido. El título y las etiquetas de un vídeo son, normalmente, asignados de forma manual por el usuario que aloja el vídeo en el servidor. El etiquetado de vídeos consiste en asociar o añadir a la información del vídeo un conjunto de palabras o metadatos (datos que describen otros datos) que permita clasificar o describir el contenido del vídeo. Esta tarea, con colecciones de vídeos muy grandes, resulta muy costosa y a veces difícil de realizar por un usuario por desconocimiento del contenido del vídeo. En general, el etiquetado manual produce un conjunto de etiquetas que describen el contenido de los recursos multimedia de forma genérica. Este proyecto pretende conseguir que este proceso de etiquetado manual, por parte del usuario, se realice de forma automática, permitiendo así reducir costes en el tiempo de etiquetado y generando unas etiquetas que describan mejor el contenido del vídeo utilizando información presente en el audio del mismo, mejorando de esta forma la relevancia de las etiquetas con respecto al etiquetado manual. Este proceso de etiquetado consiste, en primer lugar, en obtener o descargar el vídeo solicitado, siguiendo con la extracción de su audio y el posterior reconocimiento de voz del mismo para obtener el mayor número de palabras, de este audio, en forma de texto. A continuación, a partir de un proceso de votación, en el que a partir de los resultados obtenidos mediante el uso de algoritmos de extracción de términos, se determinan las palabras más relevantes que serán utilizadas como etiquetas para clasificar el vídeo. Estas etiquetas obtenidas pasan un proceso de validación, por parte de usuarios, para comprobar que son adecuadas y corresponden al contenido del vídeo. Se decidió que este proceso de validación se realizase de forma externa al sistema de etiquetado de vídeos para que el sistema pudiese continuar aunque la validación no hubiera finalizado. Finalmente, estas etiquetas pasan por un proceso en el que se relacionan estas palabras más relevantes con conceptos de una ontología (esquema conceptual dentro de varios dominios con la finalidad de facilitar el intercambio de información entre diferentes sistemas y entidades) de referencia, obtenida del repositorio de información estructurada llamado dbpedia para obtener mayor significado e información sobre el vídeo procesado. Este proceso de etiquetado de vídeos se encapsula dentro de un servicio que permite la entrada de vídeos y genera como resultados un conjunto de metadatos que describen los vídeos en base a su contenido. Este proceso de etiquetado consta de unas etapas con una alta complejidad, como puede ser la extracción del audio o el reconocimiento de voz, que genera la necesidad de una búsqueda de herramientas a integrar en este proceso que resuelvan cada etapa. Finalmente, se lleva a cabo una evaluación de este proceso de etiquetado automático, valorando aspectos como el rendimiento (costes de computo) o la calidad (tasa de aciertos) de algunos de los elementos que intervienen en ese proceso.

Tipo de Trabajo Académico: Trabajo Fin de Grado