장애물과 신호등을 고려한 디지털 가상환경 모델 구현 및 심층강화학습기반 다차선 자율주행 연구 (Implementation of Digital Virtual Environment Model Considering Obstacles and Traffic Lights, and Research on Multi-Lane Autonomous Driving Based on Deep Reinforcement Learning)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 49권 / 6호 / 862 ~ 873페이지
· 저자명 : 이재영, 유상조

초록

본 논문에서는 심층강화학습을 활용한 디지털 가상 도로 환경에서의 자율주행 시스템을 제안한다. ML-unity 기반으로 도로 상에서 다양한 장애물과 신호등이 배치된 다차선 도로 환경을 디지털 가상환경을 이용하여 구현하고, 자율주행 시스템 개발을 위해 차량에 현재 도로 및 주행환경을 관측할 수 있는 여러 센서를 배치 하였다. 장애물, 신호등, 주변 차량 정보를 디지털 가상환경 모델을 통해 획득하고 이를 심층강화학습 모델의 상태 공간에 맵핑하여 주행거리 및 주행시간 관점의 성능을 최대화 하기 위한 주행 방향 조향 및 속도를 제어 하기 위한 행동을 동적으로 결정한다. 본 논문에서는 우선순위 경험 재생 기반 DQN(Deep Q-Network)과 융합된 탐험 전략 및 새로운보상함수 설계를 통해 빠른 학습 및 안정된 주행을 할 수 있도록 시스템을 설계하였다. 디지털 가상 공간에서의실험을 통해 제안된 시스템은 vanilla DQN 보다 차선 유지, 장애물 회피, 신호등 준수에 따른 주행을 성공적으로수행함을 검증하였다.

영어초록

In this paper, a self-driving system in a digital virtual road environment utilizing deep reinforcement learning is proposed. Using ML-Unity, a digital virtual environment is created to simulate a multi-lane road with various obstacles and traffic lights. Multiple sensors are deployed on the vehicle to observe the current road and driving environment, facilitating the development of the autonomous driving system. Information about obstacles, traffic lights, and surrounding vehicles is acquired through the digital virtual environment. This information is then mapped to the state space of the deep reinforcement learning model to dynamically determine actions, such as driving direction and speed, to maximize performance in terms of driving distance and time. The paper introduces a system design that combines priority experience replay-based Deep Q-Network (DQN) with exploration strategies and a novel reward function to achieve fast learning and stable driving. Through experiments in the digital virtual space, the proposed system is validated to successfully perform lane-keeping, obstacle avoidance, and compliant driving with traffic signals compared to vanilla DQN.

참고자료

· 없음