000060823 001__ 60823
000060823 005__ 20170323124744.0
000060823 037__ $$aTAZ-TFG-2016-1832
000060823 041__ $$aspa
000060823 1001_ $$aAlonso Ruiz, Íñigo
000060823 24200 $$aDocker based crawler customization and monitoring infraestructure
000060823 24500 $$aInfraestructura de personalización y monitorización de crawlers basada en Docker
000060823 260__ $$aZaragoza$$bUniversidad de Zaragoza$$c2016
000060823 506__ $$aby-nc-sa$$bCreative Commons$$c3.0$$uhttp://creativecommons.org/licenses/by-nc-sa/3.0/
000060823 520__ $$aAlgunos proyectos requieren la creación de arañas web o crawlers para obtener datos concretos de la web. Estas arañas suelen ser construidas enfocadas para un uso concreto y su configuración es bastante compleja y costosa en lo que en tiempo se refiere. El objetivo de este Trabajo de Fin de Grado es el desarrollo de un sistema de creación, personalización, y monitorización de crawlers basado en contenedores virtuales Docker definidos mediante un pequeño lenguaje de configuración o DSL (Domain Specific Language) sencillo y de un sistema de persistencia de datos para la información recolectada por los crawlers. El sistema está desarrollado para poder ser utilizado para uso individual, o colectivo. Puede ser gestionado a través de línea de comandos, dando posibilidad a un uso más rápido a usuarios más expertos, o vía web, donde el sistema será gestionará la posibilidad de ser usado por varios usuarios a través de una interfaz usable y sencilla. Las funcionalidades que ofrece sobre los crawlers incluyen desde su creación, configuración, monitorización de su estado, control del mismo e incluso un buscador e indexador propio para tratar la información recogida de forma personalizada acomodándose a las necesidades de cada sistema. A pesar de que un sistema de crawling completo pueda ser muy costoso de crear, gracias a Docker y su reutilización de partes de sistemas ya construidos, la creación es casi inmediata, aparte de otras muchas ventajas que ofrece como su portabilidad y ligereza (tamaño en memoria) respecto a las máquinas virtuales convencionales. Así pues, a través de un desarrollo incremental guiado por pequeñas iteraciones, y dirigido por pruebas (inspirado en la conocida aproximación TDD - Testing Driven Development) se ha ido construyendo un sistema en constante evolución, unificando varias tecnologías para conseguir como resultado un sistema potente que posibilita la construcción casi inmediata de instancias de sistemas de crawling.
000060823 521__ $$aGraduado en Ingeniería Informática
000060823 540__ $$aDerechos regulados por licencia Creative Commons
000060823 700__ $$aLópez Pellicer, Francisco Javier$$edir.
000060823 7102_ $$aUniversidad de Zaragoza$$bInformática e Ingeniería de Sistemas$$cLenguajes y Sistemas Informáticos
000060823 8560_ $$f665959@celes.unizar.es
000060823 8564_ $$s2277913$$uhttps://zaguan.unizar.es/record/60823/files/TAZ-TFG-2016-1832.pdf$$yMemoria (spa)
000060823 909CO $$ooai:zaguan.unizar.es:60823$$pdriver$$ptrabajos-fin-grado
000060823 950__ $$a
000060823 951__ $$adeposita:2017-03-23
000060823 980__ $$aTAZ$$bTFG$$cEINA