000118609 001__ 118609 000118609 005__ 20220920150208.0 000118609 037__ $$aTESIS-2022-186 000118609 041__ $$aeng 000118609 1001_ $$aMoya Garcia, Beatriz 000118609 24500 $$aLearned simulation as the engine of physical scene understanding 000118609 260__ $$aZaragoza$$bUniversidad de Zaragoza, Prensas de la Universidad$$c2022 000118609 300__ $$a199 000118609 4900_ $$aTesis de la Universidad de Zaragoza$$v2022-123$$x2254-7606 000118609 500__ $$aPresentado: 16 06 2022 000118609 502__ $$aTesis-Univ. Zaragoza, , 2022$$bZaragoza, Universidad de Zaragoza$$c2022 000118609 506__ $$aby-nc$$bCreative Commons$$c3.0$$uhttp://creativecommons.org/licenses/by-nc/3.0/es 000118609 520__ $$aLa cognición humana evoca las habilidades del razonamiento, la comunicación y la interacción. Esto incluye la interpretación de la física del mundo real para comprender las leyes que subyacen en ella. Algunas teorías postulan la semejanza entre esta capacidad de razonamiento con simulaciones para interpretar la física de la escena, que abarca la percepción para la comprensión del estado físico actual, y el razonamiento acerca de la evolución temporal de un sistema dado. <br />En este contexto se propone el desarrollo de un sistema para realizar simulación aprendida. Establecido un objetivo, el algoritmo se entrena para aprender una aproximación de la dinámica real, para construir así un gemelo digital del entorno. Entonces, el sistema de simulación emulará la física subyacente con información obtenida mediante observaciones de la escena. Para ello, se empleará una cámara estéreo para adquirir datos a partir de secuencias de video. <br />El trabajo se centra los fenómenos oscilatorios de fluidos. Los fluidos están presentes en muchas de nuestras acciones diarias y constituyen un reto físico para el sistema propuesto. Son deformables, no lineales, y presentan un carácter disipativo dominante, lo que los convierte en un sistema complejo para ser aprendido. Además, sólo se tiene acceso a mediciones parciales de su estado ya que la cámara sólo proporciona información acerca de la superficie libre. <br />El resultado es un sistema capaz de percibir y razonar sobre la dinámica del fluido. El gemelo digital cognitivo así construido proporciona una interpretación del estado del mismo para integrar su evolución en tiempo real, aprendiendo con información observada del gemelo físico. El sistema, entrenado originalmente para un líquido concreto, se adaptará a cualquier otro a través del aprendizaje por refuerzo produciendo así resultados precisos para líquidos desconocidos. <br />Finalmente, se emplea la realidad aumentada (RA) para ofrecer una representación visual de los resultados, así como información adicional sobre el estado del líquido que no es accesible al ojo humano. <br />Este objetivo se alcanza mediante el uso de técnicas de aprendizaje de variedades, y aprendizaje automático, como las redes neuronales, enriquecido con información física. Empleamos sesgos inductivos basados en el conocimiento de la termodinámica para desarrollar un sistema inteligente que cumpla con estos principios para dar soluciones con sentido sobre la dinámica. <br />El problema abordado en esta tesis constituye una dificultad de primer orden en el desarrollo de sistemas robóticos destinados a la manipulación de fluidos. En acciones como el vertido o el movimiento, la oscilación de los líquidos juega un papel importante en el desarrollo de sistemas de asistencia a personas con movilidad reducida o aplicaciones industriales. <br /> 000118609 520__ $$aCognition evokes human abilities for reasoning, communication, and interaction. This includes the interpretation of real-world physics so as to understand its underlying laws. Theories postulate the similarity of human reasoning about these phenomena with simulations for physical scene understanding, which gathers perception for comprehension of the current dynamical state, and reasoning for time evolution prediction of a given system. In this context, we propose the development of a system for learned simulation. Given a design objective, an algorithm is trained to learn an approximation to the real dynamics to build a digital twin of the environment. Then, the underlying physics will be emulated with information coming from observations of the scene. For this purpose, we use a commodity camera to acquire data exclusively from video recordings. We focus on the sloshing problem as a benchmark. Fluids are widely present in several daily actions and portray a physically rich challenge for the proposed systems. They are highly deformable, nonlinear, and present a dominant dissipative behavior, making them a complex entity to be emulated. In addition, we only have access to partial measurements of their dynamical state, since a commodity camera only provides information about the free surface. The result is a system capable of perceiving and reasoning about the dynamics of the fluid. This cognitive digital twin provides an interpretation of the state of the fluid to integrate its dynamical evolution in real-time, updated with information observed from the real twin. The system, trained originally for one liquid, will be able to adapt itself to any other fluid through reinforcement learning and produce accurate results for previously unseen liquids. Augmented reality is used in the design of this application to offer a visual interpretation of the solutions to the user, and include information about the dynamics that is not accessible to the human eye. This objective is to be achieved through the use of manifold learning and machine learning techniques, such as neural networks, enriched with physics information. We use inductive biases based on the knowledge of thermodynamics to develop machine intelligence systems that fulfill these principles to provide meaningful solutions to the dynamics. This problem is considered one of the main targets in fluid manipulation for the development of robotic systems. Pursuing actions such as pouring or moving, sloshing dynamics play a capital role for the correct performance of aiding systems for the elderly or industrial applications that involve liquids. <br /> 000118609 521__ $$97102$$aPrograma de Doctorado en Ingeniería Mecánica 000118609 6531_ $$atermodinamica 000118609 6531_ $$amecanica de fluidos 000118609 6531_ $$ainteligencia artificial 000118609 6531_ $$aredes neuronales 000118609 700__ $$aCueto Prendes, Elías $$edir. 000118609 700__ $$aGonzález Ibáñez, David $$edir. 000118609 7102_ $$aUniversidad de Zaragoza$$b 000118609 830__ $$9514 000118609 8560_ $$fcdeurop@unizar.es 000118609 8564_ $$s10658938$$uhttps://zaguan.unizar.es/record/118609/files/TESIS-2022-186.pdf$$zTexto completo (eng) 000118609 909CO $$ooai:zaguan.unizar.es:118609$$pdriver 000118609 909co $$ptesis 000118609 9102_ $$a$$b 000118609 980__ $$aTESIS