Página principal > Interfaz gestual para el control de un robot humanoide con una cámara RGB-d > premis
Universidad de Zaragoza Custodiado por la Biblioteca de la Universidad de Zaragoza Premis-plugin for CDSInvenio, developed by Miguel Martín Miguel Martín González
oai:zaguan.unizar.es:9866 2015-03-25
spa Parrilla Bel, Luis Murillo Arnal, Ana Cristina Interfaz gestual para el control de un robot humanoide con una cámara RGB-d https://zaguan.unizar.es/record/9866/files/TAZ-PFC-2012-819.pdf La divulgación científica, cuya finalidad es hacer accesible la ciencia al público en general, es una tarea que cada vez está tomando mayor relevancia. Este proyecto trata el estudio de dos campos de investigación atractivos para el público en general y con muchos resultados interesantes en los últimos años, como son la robótica y la visión por computador. En particular, el proyecto se centra en el uso del dispositivo Kinect como interfaz para la interacción con el robot RoboNova-1, y en el diseño de una actividad basada en ello para utilizar como taller de divulgación científica. La aparición del sensor Kinect ha supuesto una revolución en el campo de la visión por computador y de la robótica, por las posibilidades que ofrece el mapa de profundidad capturado (imagen aumentada con información de distancia a la cámara del elemento representado en cada píxel) y por su bajo coste. Gracias al mapa de profundidad que Kinect aporta en tiempo real, se facilita mucho el trabajo de reconocimiento y segmentación de objetos en 3D. Esta característica facilita la segmentación de las distintas partes de una persona enfrente de la cámara, convirtiendo la kinect en un dispositivo muy apto para crear interfaces con gestos. El objetivo general del proyecto es la implementación de un interfaz gestual, mediante cámaras RGB-d, con un robot humanoide y diseñar con ello una actividad orientada a la divulgación de la robótica y la inteligencia artificial para niños y jóvenes. En el proceso de desarrollo podemos distinguir dos partes importantes, que son el reconocimiento de los gestos y la comunicación con el robot humanoide. Para el reconocimiento de los gestos se usa la imagen con información 3D captada por la cámara RGB-d para identificar y segmentar donde esta el usuario de la aplicación. La figura de la persona nos sirve para crear una estructura de esqueleto que captará los movimientos de la persona y en los brazos se seleccionan las zonas que determinarán las manos en 3D. Posteriormente este subconjunto de puntos en 3D se proyecta en blanco sobre una imagen negra, obteniendo la mano en 2D. Tras el filtrado del ruido, estas imágenes serán utilizadas por los métodos de clasificación para determinar a que gesto pertenece cada captura. El robot RoboNova-1 dispone de un software propio para su programación desde Windows. Esta aplicación nos permitirá introducir programas y secuencias de movimiento en la memoria interna del robot utilizando el programa RoboBasic. La comunicación con el robot se realizará mediante un módulo diseñado para otro robot, por lo que hubo que adaptarlo a las especificaciones de protocolos de comunicación utilizados por el chip MR-C3024 del RoboNova-1. La aplicación desarrollada se divide en dos bloques. El primero contiene las aplicaciones que nos servirán para capturar los datos necesarios en el entrenamiento de los métodos de clasificación de gestos. En el segundo bloque encontramos la aplicación principal que hará uso del interfaz gestual y con la que se evaluará el rendimiento de los métodos de clasificación. Una vez desarrollado el interfaz se preparó un taller que se llevó a cabo durante la celebración de la “V Semana de la ingeniería y arquitectura”. En él participaron estudiantes desde 3º de ESO hasta 2º de Bachiller. Durante una demostración se les explicó el funcionamiento del sistema y posteriormente fue probado por los estudiantes. Se obtuvo un buen resultado en el funcionamiento y buena aceptación entre los asistentes. 2014-11-27 9866 20150325140147.0 TAZ-PFC-2012-819 spa Parrilla Bel, Luis Interfaz gestual para el control de un robot humanoide con una cámara RGB-d Zaragoza Universidad de Zaragoza 2012 by-nc-sa Creative Commons 3.0 http://creativecommons.org/licenses/by-nc-sa/3.0/ La divulgación científica, cuya finalidad es hacer accesible la ciencia al público en general, es una tarea que cada vez está tomando mayor relevancia. Este proyecto trata el estudio de dos campos de investigación atractivos para el público en general y con muchos resultados interesantes en los últimos años, como son la robótica y la visión por computador. En particular, el proyecto se centra en el uso del dispositivo Kinect como interfaz para la interacción con el robot RoboNova-1, y en el diseño de una actividad basada en ello para utilizar como taller de divulgación científica. La aparición del sensor Kinect ha supuesto una revolución en el campo de la visión por computador y de la robótica, por las posibilidades que ofrece el mapa de profundidad capturado (imagen aumentada con información de distancia a la cámara del elemento representado en cada píxel) y por su bajo coste. Gracias al mapa de profundidad que Kinect aporta en tiempo real, se facilita mucho el trabajo de reconocimiento y segmentación de objetos en 3D. Esta característica facilita la segmentación de las distintas partes de una persona enfrente de la cámara, convirtiendo la kinect en un dispositivo muy apto para crear interfaces con gestos. El objetivo general del proyecto es la implementación de un interfaz gestual, mediante cámaras RGB-d, con un robot humanoide y diseñar con ello una actividad orientada a la divulgación de la robótica y la inteligencia artificial para niños y jóvenes. En el proceso de desarrollo podemos distinguir dos partes importantes, que son el reconocimiento de los gestos y la comunicación con el robot humanoide. Para el reconocimiento de los gestos se usa la imagen con información 3D captada por la cámara RGB-d para identificar y segmentar donde esta el usuario de la aplicación. La figura de la persona nos sirve para crear una estructura de esqueleto que captará los movimientos de la persona y en los brazos se seleccionan las zonas que determinarán las manos en 3D. Posteriormente este subconjunto de puntos en 3D se proyecta en blanco sobre una imagen negra, obteniendo la mano en 2D. Tras el filtrado del ruido, estas imágenes serán utilizadas por los métodos de clasificación para determinar a que gesto pertenece cada captura. El robot RoboNova-1 dispone de un software propio para su programación desde Windows. Esta aplicación nos permitirá introducir programas y secuencias de movimiento en la memoria interna del robot utilizando el programa RoboBasic. La comunicación con el robot se realizará mediante un módulo diseñado para otro robot, por lo que hubo que adaptarlo a las especificaciones de protocolos de comunicación utilizados por el chip MR-C3024 del RoboNova-1. La aplicación desarrollada se divide en dos bloques. El primero contiene las aplicaciones que nos servirán para capturar los datos necesarios en el entrenamiento de los métodos de clasificación de gestos. En el segundo bloque encontramos la aplicación principal que hará uso del interfaz gestual y con la que se evaluará el rendimiento de los métodos de clasificación. Una vez desarrollado el interfaz se preparó un taller que se llevó a cabo durante la celebración de la “V Semana de la ingeniería y arquitectura”. En él participaron estudiantes desde 3º de ESO hasta 2º de Bachiller. Durante una demostración se les explicó el funcionamiento del sistema y posteriormente fue probado por los estudiantes. Se obtuvo un buen resultado en el funcionamiento y buena aceptación entre los asistentes. Ingeniero en Informática Derechos regulados por licencia Creative Commons interfaz gestual robótica visión por computador kinect rgb-d Murillo Arnal, Ana Cristina dir. Universidad de Zaragoza Informática e Ingeniería de Sistemas Ingeniería de Sistemas y Automática 538907@celes.unizar.es 10857353 https://zaguan.unizar.es/record/9866/files/TAZ-PFC-2012-819.pdf Memoria (spa) oai:zaguan.unizar.es:9866 driver proyectos-fin-carrera TAZ PFC EINA URI https://zaguan.unizar.es/record/9866 SUPPORTED 0 MD5 https://zaguan.unizar.es/record/9866/files/TAZ-PFC-2012-819.md5 0 image/x.djvu 6 http://djvu.sourceforge.net/abstract.html DJVU/6 Profile information Lizardtech Document Express Enterprise 5.1 0 URI https://zaguan.unizar.es/record/9866/files/TAZ-PFC-2012-819.pdf disk Minimum View Print Visualization of DJVU requires specific software, like DjVu Browser Plugin URI http://creativecommons.org/licenses/by-nc/3.0 URI http://creativecommons.org/licenses/by-nc/3.0 license URI http://creativecommons.org/licenses/by-nc/3.0 You are free to adapt, copy, transmite or distribute the work under the following conditions: (1) You must attribute the work in the manner specified by the author or licensor (but not in any way that suggests that they endorse you or your use of the work). (2) You may not use this work for commercial purposes (3) For any reuse or distribution, you must make clear to others the license terms of this work (4) Any of the above conditions can be waived if you get permission from the copyright holder (5) Nothing in this license impairs or restricts the author's moral rights This object is licensed under Creative Common Attribution-NonCommercial 3.0 (further details: http://creativecommons.org/licenses/by-nc/3.0/). Universidad de Zaragoza Automatizacion de Bibliotecas Edif. Matematicas, Pedro Cerbuna 12, 50009 Zaragoza auto.buz@unizar.es