- -

Una estrategia híbrida de aprendizaje por refuerzo informada por RRT* para la planificación de caminos de robots móviles en minería a cielo abierto

RiuNet: Repositorio Institucional de la Universidad Politécnica de Valencia

Compartir/Enviar a

Citas

Estadísticas

  • Estadisticas de Uso

Una estrategia híbrida de aprendizaje por refuerzo informada por RRT* para la planificación de caminos de robots móviles en minería a cielo abierto

Mostrar el registro sencillo del ítem

Ficheros en el ítem

dc.contributor.author Zapata, Sebastian es_ES
dc.contributor.author Urvina, Ricardo es_ES
dc.contributor.author Aro, Katherine es_ES
dc.contributor.author Aguilar, Eduardo es_ES
dc.contributor.author Auat Cheein, Fernando es_ES
dc.contributor.author Prado, Alvaro es_ES
dc.date.accessioned 2025-01-15T13:23:38Z
dc.date.available 2025-01-15T13:23:38Z
dc.date.issued 2024-12-28
dc.identifier.issn 1697-7912
dc.identifier.uri http://hdl.handle.net/10251/213810
dc.description.abstract [EN] This work introduces a hybrid path planning strategy for differential-drive robotic vehicles, combining reinforcement learning methods with sampling techniques. Specifically, Q-Learning (QL) is used to find a global path by exploring and exploiting environ-mental information, where an agent learns to take actions while maximizing rewards. The agent uses a random sampling method based on Rapidly-exploring Random Trees (RRT?) to speed up the search of feasible navigation points, combining the advanta-ges of QL with RRT? (MQL) to improve sampling and generate smooth and feasible paths in high-dimensional spaces (Smooth Q-Learning - SMQL). The effectiveness of the proposed hybrid method was validated under open-pit mining conditions through a performance analysis based on criteria of maneuverability, completeness, reachability, and robustness in environments such as straight roads, narrow spaces, intricate areas, and helicoidal configurations with terrain constraints. Simulations and field experi-ments demonstrated that SMQL overcomes the individual limitations of QL and RRT?, achieving suitable exploration of the search space and rapid convergence of rewards. Paths previously planned with SMQL and MQL are tested on a motion controller and a Husky A200 robot, achieving a reduction in error cost of 81.9 % and 76.4 % and control effort of 79.8 % and 83.5 % compared to QL, respectively. It is expected that these results will impact energy resource savings for the robot when following planned routes in mining environments. es_ES
dc.description.abstract [ES] Este trabajo introduce una estrategia híbrida de planificación de caminos para vehículos robóticos tipo diferencial, combinando métodos de aprendizaje por refuerzo con técnicas de muestreo aleatorio. Específicamente, se utiliza aprendizaje por refuerzo basado en Q-Learning (QL) para encontrar un camino global mediante la exploración y explotación de la información del entorno, donde un agente aprende a tomar acciones maximizando recompensas. El agente utiliza un método de muestreo RRT? (Rapidly-exploring Random Trees) para obtener puntos factibles de camino y acelerar la búsqueda, combinando las ventajas de QL con RRT? (MQL) para mejorar el muestreo y generar caminos suaves y factibles en espacios de alta dimensionalidad (Smooth Q-Learning - SMQL). Se realizó un análisis de rendimiento del método híbrido propuesto en condiciones de minería a cielo abierto, considerando criterios de maniobrabilidad, completitud, alcanzabilidad y robustez en entornos: i) rectos, ii) estrechos, iii) intrincados, y iv) tipo helicoidal con restricciones de terreno. Mediante simulaciones se demostró que SMQL supera las limitaciones de QL y RRT?, al lograr mejor exploración y alcanzar r´ápida convergencia de recompensas. Por completitud, caminos previamente planificados con SMQL y MQL se prueban en un controlador de movimiento y un robot Husky A200, alcanzando una reducción del costo de error del 81.9 % y 76.4 % y esfuerzo de control del 79.8 % y 83.5 % en comparación con QL, respectivamente. Se espera que estos resultados tengan un impacto en el ahorro de recursos energéticos del robot al seguir rutas planificadas en ambientes mineros. es_ES
dc.description.sponsorship Los autores agradecen el apoyo de ANID mediante Proyecto Fondecyt de Iniciación en Investigación 2023, N° 11230962. Se agradece al apoyo al Centro Avanzado de Ingeniería Eléctrica y Electrónica - AC3E, Chile (ANID FB 0008). También se reconoce el apoyo de la Universidad Católica del Norte bajo el proyecto 202203010029 -VRIDT-UCN, y al proyecto Anillo de Investigación en Ciencia y Tecnología -ACT210052. es_ES
dc.language Español es_ES
dc.publisher Universitat Politècnica de València es_ES
dc.relation.ispartof Revista Iberoamericana de Automática e Informática industrial es_ES
dc.rights Reconocimiento - No comercial - Compartir igual (by-nc-sa) es_ES
dc.subject Path planning es_ES
dc.subject Q-learning es_ES
dc.subject RRT* es_ES
dc.subject Autonomous mobile robot es_ES
dc.subject Open-pite mining es_ES
dc.subject Planificación de camino es_ES
dc.subject Robot móvil autónomo es_ES
dc.subject Minería a cielo abierto es_ES
dc.title Una estrategia híbrida de aprendizaje por refuerzo informada por RRT* para la planificación de caminos de robots móviles en minería a cielo abierto es_ES
dc.title.alternative A hybrid reinforcement learning strategy informed by RRT* for path planning of mobile robots in open-pit mining es_ES
dc.type Artículo es_ES
dc.identifier.doi 10.4995/riai.2024.21581
dc.rights.accessRights Abierto es_ES
dc.description.bibliographicCitation Zapata, S.; Urvina, R.; Aro, K.; Aguilar, E.; Auat Cheein, F.; Prado, A. (2024). Una estrategia híbrida de aprendizaje por refuerzo informada por RRT* para la planificación de caminos de robots móviles en minería a cielo abierto. Revista Iberoamericana de Automática e Informática industrial. 22(1):57-68. https://doi.org/10.4995/riai.2024.21581 es_ES
dc.description.accrualMethod OJS es_ES
dc.relation.publisherversion https://doi.org/10.4995/riai.2024.21581 es_ES
dc.description.upvformatpinicio 57 es_ES
dc.description.upvformatpfin 68 es_ES
dc.type.version info:eu-repo/semantics/publishedVersion es_ES
dc.description.volume 22 es_ES
dc.description.issue 1 es_ES
dc.identifier.eissn 1697-7920
dc.relation.pasarela OJS\21581 es_ES
dc.contributor.funder Agencia Nacional de Investigación y Desarrollo de Chile es_ES
dc.contributor.funder Fondo Nacional de Desarrollo Científico y Tecnológico, Chile es_ES
dc.contributor.funder Universidad Católica del Norte, Chile es_ES


Este ítem aparece en la(s) siguiente(s) colección(ones)

Mostrar el registro sencillo del ítem