클러터 환경에서 로봇 파지를 위한 역학 예측 신경망 기반 강화학습 방법 (Deep Reinforcement Learning based on Dynamics Prediction Network for Robotic Grasp in Cluttered Environments)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 58권 / 11호 / 66 ~ 76페이지
· 저자명 : 김병완, 박영빈, 서일홍

초록

본 연구는 둘 이상의 물체가 서로 겹치거나 인접하여 로봇 파지 포인트를 파악하기 어려운 클러터 환경(cluttered environment)에서 역학 예측 신경망(Dynamics Prediction Network, DPN)을 이용하여 작업환경과 로봇 행동 사이의 역학 관계를 학습하고 파지 작업을 수행하는 강화학습 방법을 제안한다. 클러터 환경에서 파지 포인트를 찾을 수 없는 상황을 해결하기 위해 비파지 동작을 활용하며, 제안하는 역학 예측 신경망을 이용한 강화학습 방법은 파지뿐 아니라 비파지 동작 학습에서도 효과적임을 보여준다. 학습 환경을 추계(stochastic world)가 아닌 결정계(deterministic world)로 가정하여 전이 확률(state transition probability)을 1로 고정함으로써 DPN은 현재 상태(current state), 현재 행동(current action), 다음 상태(next state)의 일대일 대응관계를 학습한다. 학습 단계에서 추가적으로 진행되는 DPN으로 인한 학습 부담을 줄이기 위하여 매개변수 공유(parameter sharing)를 학습 모델에 적용하였다. 제안하는 방법은 매개변수 공유와 DPN으로 학습에서의 부담뿐 아니라 동작 모델의 가중치 메모리 크기를 절반으로 줄이면서도 블록 테스트 환경에서 8%의 파지 성공률 향상을 보였다. 실세계 물체를 3D 스캔하여 구성한 새로운 테스트 환경 실험에서 23%의 파지 성공률 향상을 보여 물리적 상호작용 학습으로 일반화(generalization)가 잘 이루어졌음을 보였다.

영어초록

In this paper, we propose a reinforcement learning method to learn the dynamic relationship between the workspace and robot actions using Dynamics Prediction Network(DPN). We perform the grasping tasks with this deep Q network model in cluttered environments where it is difficult to find the grasp point because two or more objects overlap or adjoin each other. We use non-prehensile actions to solve the situation in which the grasp point cannot be found in the cluttered environment. DPN learning is effective in learning not only prehensile actions but also non-prehensile actions. Assuming that the learning environment is a deterministic world rather than a stochastic world, then the state transition probability is fixed at 1. The DPN learns one-to-one correspondence between the current state, current actions, and next state. Parameter sharing was applied to the training model in order to reduce the training computations due to the DPN model being added during the training phase. The proposed method applied both parameter sharing and DPN appropriately, reducing the burden on learning as well as the size of the weight memory of the operating model by half, and showed an 8% improvement in the grasping success rate of the block test environments. In the experiments of new test environments constructed by 3D scanning objects of the real world, the grasping success rate improved by 23%, showing that the generalization of physical interaction learning was well done.

참고자료

· 없음