Robot grasping with Bayesian optimization informed with foundational models

Pérez González, Eduardo
Martínez Cantín, Rubén (dir.)

Universidad de Zaragoza, EINA, 2025
Departamento de Informática e Ingeniería de Sistemas, Área de Ingeniería de Sistemas y Automática

Máster Universitario en Robótica, Gráficos y Visión por Computador

Resumen: Esta tesis de máster investiga técnicas avanzadas de manipulación robótica utilizando una mano robótica humanoide, combinando tecnologías de vanguardia en inteligencia artificial, como el aprendizaje autosupervisado (DINO) y la optimización bayesiana. El objetivo principal es desarrollar una canalización robusta y eficiente capaz de mejorar las estrategias de agarre mediante la integración de datos visuales y contextuales. La investigación se centra en aprovechar las características visuales preentrenadas extraídas por DINO y combinarlas con métricas espaciales dentro de un marco de optimización bayesiana, introduciendo un enfoque consciente del contexto que mejora la adaptabilidad y precisión en tareas de agarre. Este trabajo se centra en desarrollar un proceso de entrenamiento que permita a los robots aprender a agarrar objetos de manera más precisa y eficiente. Para ello, se utiliza un enfoque que combina la extracción de información visual detallada, la evaluación de la calidad del agarre y la integración de estas características en un modelo avanzado de optimización. El método se probó en un entorno simulado con diferentes objetos, y los resultados mostraron que, a medida que el sistema va practicando con más objetos, mejora notablemente su capacidad de agarre. Una de las claves del éxito es el uso de contexto: el sistema aprende de su entorno y utiliza esa información para adaptarse mejor a nuevas situaciones. Esto le permite generar configuraciones de agarre más estables y fiables. En las primeras etapas, cuando el modelo tiene pocos datos, su desempeño es limitado, pero conforme acumula más experiencia, se vuelve más robusto y eficiente. Esto es especialmente útil para tareas complejas, donde el sistema logra un rendimiento superior al utilizar el conocimiento del contexto. En resumen, este trabajo combina técnicas de Optimización Bayesiana, aprendizaje autosupervisado y conocimiento contextual previo para mejorar la capacidad de los robots en la manipulación de objetos. Los resultados son prometedores y marcan un avance importante hacia sistemas robóticos más inteligentes y capaces de trabajar en entornos dinámicos y desafiantes. Este estudio sienta las bases para futuros desarrollos en percepción robótica y manipulación autónoma.

Tipo de Trabajo Académico: Trabajo Fin de Master