실시간 계층적 심층강화학습 기반 드론 궤적 생성 알고리즘 파라미터 제어 (Real-Time Hierarchical Deep Reinforcement Learning-Based Drone Trajectory Generation Algorithm Parameter Control)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 48권 / 10호 / 1238 ~ 1246페이지
· 저자명 : 지창훈, 한연희, 문성태

초록

최근 드론의 사용이 증가하면서 드론 궤적 생성 알고리즘 연구가 활발히 진행되고 있다. 드론 궤적 생성 알고리즘은 장애물 회피를 고려하면서 실시간 궤적 생성하는 것을 목표로 한다. 드론 궤적 생성 알고리즘 연구는 최근숲과 같은 복잡한 동적 환경에서 안전하고 효율적인 궤적을 생성하고, 여러 대의 드론을 동시에 제어하는 등 큰진전을 보여줬다. 하지만, 드론의 안정성을 위해 대부분의 드론 궤적 생성 알고리즘은 드론의 최대 속도와 최대가속도를 파라미터화 하여 비교적 낮은 수치로 제한한다. 이러한 속도 관련 파라미터 제한은 드론의 효율성과 실용성을 저하한다. 본 논문에서는 계층적 강화학습 기반 실시간 환경을 고려한 드론의 최대 속도 파라미터와 최대가속도 파라미터를 설정하는 계층적 심층강화학습 기반 능동적 파라미터 제어 알고리즘을 제안한다. 제안하는 계층적 심층강화학습 기반 능동적 파라미터 제어 알고리즘에서 계층적 강화학습의 상위 계층 에이전트는 실시간 환경을 고려하여 최대 속도 파라미터와 최대 가속도 파라미터를 설정하고 하위 계층 에이전트는 이를 활용하여 실시간 궤적을 생성한다. 또한, 최대 속도와 최대 가속도를 설정하는 모든 드론 궤적 생성 알고리즘에 적용 가능하다. 시뮬레이션을 통해 계층적 심층강화학습 기반 능동적 파라미터 제어 알고리즘을 적용한 드론 궤적 생성 알고리즘이 기존보다 뛰어난 성능의 속도, 경로 길이, 경로 부드러움을 가지고 있음을 보여준다.

영어초록

With the increasing use of drones, research on drone trajectory generation algorithms has gained significant momentum. These algorithms aim to generate real-time trajectories while considering obstacle avoidance. Recent advancements have shown promising results in generating safe and efficient trajectories in complex dynamic environments, such as forests, as well as controlling multiple drones simultaneously. However, most existing drone trajectory generation algorithms impose limitations on the maximum speed and acceleration parameters to ensure drone stability. These restrictions on speed-related parameters hinder the efficiency and practicality of drones. In this paper, we propose a novel approach called “Hierarchical Deep Reinforcement Learning-Based Active Parameter Control Algorithm” that addresses this limitation. This algorithm dynamically sets the maximum speed and acceleration parameters of a drone based on the real-time environment using a hierarchical reinforcement learning framework. The upper layer agent in the hierarchy is responsible for adjusting the maximum speed and acceleration parameters considering the current environmental conditions. The lower layer agent then utilizes these parameters to generate a real-time trajectory. Notably, this approach can be applied to all drone trajectory generation algorithms that involve setting maximum speed and maximum acceleration. Through extensive simulations, we demonstrate that applying the proposed algorithm to drone trajectory generation algorithms results in superior performance in terms of speed, path length, and path smoothness. These improvements showcase the potential of our approach in enhancing the efficiency and overall capabilities of drones operating in complex and dynamic environments.

참고자료

· 없음