Reconocimiento de gestos y voz mediante inteligencia artificial incorporada en un microcontrolador.

Aldea Cebollo, Roberto
Martín del Brío, Bonifacio (dir.)

Universidad de Zaragoza, EINA, 2022
Departamento de Ingeniería Electrónica y Comunicaciones, Área de Tecnología Electrónica

Graduado en Ingeniería Electrónica y Automática

Resumen: En la actualidad, la inteligencia artificial se puede encontrar cada vez en un mayor número de dispositivos sin que los usuarios sean conscientes de ello, un ejemplo es el uso de una palabra para activar un dispositivo y ejecutar acciones más complejas, tal como realizan ‘Oye Siri’ o ‘Alexa’.En este trabajo, por un lado, se estudia la implementación de algoritmos de inteligencia artificial en un dispositivo basado en un microcontrolador estándar de bajo coste y recursos de procesamiento limitados. En concreto se va a utilizar la placa Arduino Nano 33 BLE, desarrollada específicamente para este tipo de aplicaciones, la cual incluye diversos sensores de voz y movimiento. El objetivo es explorar nuevas posibilidades de interacción humano-computador, haciendo uso de un dispositivo de interacción para reconocer comandos de voz y / o movimientos gestuales. A modo de demostrador, este proyecto se ha centrado en realizar los controles más básicos a la hora de llevar a cabo una presentación usando un programa de presentaciones tipo Microsoft PowerPoint o similar. Como segundo objetivo, se plantea el estudio y uso de la plataforma online Edge Impulse para el desarrollo del proyecto completo, desde la captura de datos y generación del dataset, extracción de características, desarrollo de modelos de aprendizaje automático, entrenamiento, evaluación e implementación en el microcontrolador. El proceso completo de desarrollo de sistemas inteligentes basados en microcontroladores se realiza desde dicha plataforma de forma totalmente online, desde un navegador de internet. Como conclusiones podemos destacar que uno de los aspectos más importantes a la hora de crear un modelo de inteligencia artificial es tener una base de datos lo suficientemente amplia para entrenar adecuadamente el clasificador, en nuestro caso, hemos desarrollado nuestras propias bases de datos. Por otro lado, comprobamos que el tipo de extracción de características que se realice sobre los datos puede ser más importante que el modelo clasificador concreto para obtener los mejores resultados.

Tipo de Trabajo Académico: Trabajo Fin de Grado