Realidad Aumentada en tiempo real para Conducción Remota a través de 5G

Abstract

[ES] Las redes de comunicación 5G han revolucionado el control remoto en tiempo real, abriendo nuevas oportunidades en aplicaciones de realidad aumentada (AR) y robótica avanzada. Este trabajo de fin de máster presenta el diseño, desarrollo e implementación de un sistema de realidad aumentada (AR) que integra objetos virtuales interactivos en el contexto de la conducción remota de robots a través de redes 5G. Este sistema permite a los usuarios interactuar de forma inmersiva con objetos AR, posicionados a partir de la señal GNSS recibida por los robots, de forma superpuesta al flujo de video transmitido por una cámara 360.

Las interacciones con estos objetos virtuales influyen directamente en el comportamiento de los robots en forma de bonificaciones o penalizaciones, afectando parámetros como la velocidad, dirección y acciones específicas, lo que añade una capa de gamificación y control dinámico a la experiencia de conducción. Además, la interacción con estos objetos AR es sentida por el usuario en forma de estímulos hápticos que aumentan su inmersión en la conducción.

El trabajo describe la arquitectura completa de la solución, dividida en tres nodos principales: red 5G, robot y usuario. La conducción remota de los robots se realiza a través de una infraestructura 5G, aprovechando la baja latencia y alta velocidad de transmisión de datos para garantizar que las interacciones con los objetos AR se reflejen en tiempo real. El control se realiza desde cockpits inmersivos cada uno compuestos por un volante con pedales, un visor de realidad virtual, y un chaleco háptico.

La evaluación de la implementación se realza mediante medidas subjetivas (experiencia de usuario en el evento IEEE PIMRC) y objetivas (principalmente latencia a varios niveles de red y aplicación). De esta forma, se analiza el impacto de la AR en la condución remota, y se analizan posibles optimizaciones y trabajo futuro.

[EN] 5G Communication Networks have revolutionized real-time remote control, opening new opportunities in augmented reality (AR) applications and advanced robotics. This master s thesis presents the design, development, and implementation of an augmented reality (AR) system that integrates interactive virtual objects into the context of remote driving of robots through 5G networks. This system allows users to interact immersively with AR objects, positioned based on the GNSS signal received by the robots, overlaid on the video stream transmitted by a 360-degree camera.

Interactions with these virtual objects directly influence the behavior of the robots in the form of bonuses or penalties, affecting parameters such as speed, direction, and specific actions, adding a layer of gamification and dynamic control to the driving experience. Moreover, the interaction with these AR objects is felt by the user through haptic stimuli that enhance their immersion in driving.

The thesis describes the complete solution architecture, divided into three main nodes: 5G network, robot, and user. The remote driving of robots is carried out through a 5G infrastructure, leveraging low latency and high data transmission speeds to ensure that interactions with AR objects are reflected in real time. The control is performed from immersive cockpits, each equipped with a steering wheel and pedals, a virtual reality headset, and a haptic vest.

The implementation evaluation is carried out through subjective measures (user experience during the IEEE PIMRC event) and objective measures (mainly latency at various network and application levels). In this way, the impact of AR on remote driving is analyzed, and possible optimizations and future work are explored.