스마트 팩토리 구축을 위한 동적인 환경에서의 DQN 강화학습 기반 로봇 최적 이동 경로 탐색 (DQN Reinforcement Learning: The Robot’s Optimum Path Navigation in Dynamic Environments for Smart Factory)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 44권 / 12호 / 2269 ~ 2279페이지
· 저자명 : 박광석, 박진만, 윤완규, 유상조

초록

스마트 팩토리에서 사용되는 로봇들은 대부분 사용자가 원격 조종하거나, 라인 트레이서 기법으로 대부분 출시되어 상용화 되었다. 이 로봇들은 지정된 공정 위치 또는 알람 경보가 작동된 위치로 이동하여 부속품을 전달하거나 수리를 하는 데 사용된다. 하지만 이러한 방법들은 수시로 변하는 공정 라인 배치와 고장 발생 위치에 의해기존의 알고리즘을 적용하기 어렵다는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 상황 변화에 능동적이고 유연하게 대처할 수 있는 강화학습 모델을 제안한다. 제안하는 모델은 강화학습 알고리즘의 하나인 심층Q-네트워크를 이용한 모델로써 공장 내부 구조를 촬영한 이미지를 받아 현재 로봇의 위치에 대한 최적의 이동 경로를 도출해 낸다. 해당 방법을 통해 본 논문에서 제시하는 상황 변화에 능동적이고 유연하게 대처할 수 있는 시스템을 구축할 수 있다. 또한, 해당 시스템을 이용하면 에너지 절감 및 생산성 향상에 큰 기여를 할 수 있게 된다. 모의실험 결과 학습하지 않은 새로운 환경에서도 최적의 경로로 이동하는 결과를 보임으로써 제안된 방법이공장 내부의 구조 및 상황들을 고려하여 효율적으로 최적 경로를 도출하는 것을 확인하였다.

영어초록

Most of the robots used in smart factory are controlled by users or are commercially available with line-tracer techniques. These robots are used to carry out accessories or repair by moving them to a designated position or to a position where alarms are activated. However, there is a problem with these methods that it is difficult to apply the existing algorithms due to frequently changing process line layout and a position where alarms are activated. To solve these problems, this paper proposes a reinforcement learning model that can be actively and flexibly dealt with the change of situation. The proposed model is a model using Deep Q-Network, one of the enhanced learning algorithms, that receives images of the internal structure and derives the optimal path of movement for the current location of robots. This method allows the establishment of a system that can be proactive and flexible in responding to the changes in circumstances. In addition, the system will greatly contribute to energy savings and productivity gains. The simulation results showed that even in new unlearned environments it was found that the proposed method effectively elicited the optimal path taking into account the structure and conditions inside the plant.

참고자료

· 없음