[공학] 강화학습을 사용한 실시간 이동 물체 추적에 관한 연구(A Study of Real Time Object Tracking using Reinforcement Learning )

소개

초음파 센서만을 장착한 이동 로봇으로는 자율 주행시 로봇이 목표지점에 도착하였는지의 여부를 확인 할 수 없다는 결점을 가지고 있다. 따라서 본 논문에서는 CCD 카메라를 이용하여 대상의 색상과 형태를 파악한 후 강화학습을 통한 목표 대상의 위치를 실시간적으로 추적하는 알고리즘의 방법을 제안한다.

목차

없음

본문내용

과거의 이동로봇 시스템은 완전한 자율주행이 주된 목표였으며 그때의 영상정보는 단지 모니터링을 하는 보조적인 수단으로 사용되었다. 그러나 지금은 이동 물체의 추적, 대상 물체의 인식과 판별, 특징 추출과 같은 다양한 응용분야에서 영상정보를 이용하는 연구가 활발히 진행되고 있다. 또한 제어 측면에서는 전통적인 제어기법으로는 해결하기 힘들었던 여러 가지 비선형적인 제어를 지능제어 방법을 통하여 많이 해결하곤 하였다. 그러한 지능제어에서 신경망을 많이 사용하기도 한다. 최근에는 신경망의 학습에 많이 사용하는 방법 중 강화학습이 많이 사용되고 있다. 강화학습이란 동적인 제어평면에서 시행착오를 통해, 목적을 이루기 위해 각 상황에서 행동을 학습하는 방법이다. 그러므로 이러한 강화학습은 수많은 시행착오를 거쳐 그 대응 관계를 학습하게 된다. 제어에 사용되는 제어 파라메타는 어떠한 상태에 처할 수 있는 상태와 행동들, 그리고 상태의 변화, 또한 최적의 해를 구할 수 있는 포상알고리즘에 대해 다양하게 연구되고 있다.
본 논문에서 연구한 시스템은 비젼시스템과 Strong Arm 보드를 이용하여 대상물체의 색상과 형태를 파악한 후 실시간으로 물체를 추적할 수 있게 구성하였으며, 또한 물체 이동의 비선형적인 경향성을 강화학습을 통하여 물체이동의 비선형성을 보다 유연하게 대처하여 보다 안정하고 빠르며 정확하게 물체를 추적하는 방법을 실험을 통하여 제안하였다.

참고자료

· [1] 정재은, 유닉스시스템 프로그래밍, 한빛미디어, 2003
· [2] Rafaedl C. Gonzalez , Richard E. Woods "Digital Image Processing", 그린출판사, 1998
· [3] 이상엽 ,"Visual C++ programming Bible", 영진출판사, 1999
· [4]. Randy Crane, 영상처리 이론과 실제, 홍릉과학출판사, 1997
· [6] 김종환 ,"로봇 축구 시스템", 대영사, 2000