버퍼 활용 무작위 빈 패킹 문제를 위한 강화학습-휴리스틱 결합 모델 (Reinforcement Learning with Heuristics for Buffer-Utilized Random Bin Packing Problem)

서지정보

· 발행기관 : 한국물류과학기술학회
· 수록지 정보 : 물류과학기술연구 / 4권 / 1호 / 1 ~ 18페이지
· 저자명 : 김민지, 이강훈, 장병탁

초록

본 논문에서는 강화학습과 휴리스틱을 결합하여 매 순간 무작위로 물체가 주어지지만 작은 크기의 적재 버퍼를 활용할 수 있는 bin packing problem (BPP) 문제를 해결하는 방법을 제안한다. 이때 한번 놓인 물체의 위치는 변경될 수 없다. 이러한 환경은 전반적인 물류 프로세스 자동화의 물결에도 아직 원활히 해결되지 않은 상차 환경과 유사하다. 휴리스틱은 인간의 직관에 따라 신속한 최적화가 가능하고, 강화학습은 환경에 대한 반응성이 뛰어나므로 두 방법을 결합한 방법은 실제 물류 환경으로의 적용이 용이하다. 강화학습을 통해 학습한 모델이 신규 물체 및 버퍼 내 일부 물체들에 대한 각각의 가치를 판별하고 그에 따른 최적의 물체를 선택하면, 선택된 물체는 정의된 휴리스틱 알고리즘에 따라 물체의 최적 방위와 위치를 고려하여 배치된다. 이런 방식으로 결합된 자동화 방법은 버퍼를 효과적으로 활용하여 적재 효율을 증대시킬 수 있다. 실험을 통해 실제로 본 연구에서 제시한 방법을 통해 버퍼를 함께 고려했을 때 휴리스틱 모델만을 사용했을 때보다 적재 효율이 증가함을 확인하였다.

영어초록

In this paper, we propose a reinforcement learning algorithm combined with heuristics to solve the bin packing problem (BPP) where the objects are randomly given and once placed objects cannot be moved, but the small load buffer can be utilized. This setting resembles the loading problem which has not been resolved despite of logistics automation. Since heuristics can be rapidly optimized by human intuition, and reinforcement learning is highly responsive to the environment, the combined method is highly available in the real-world industries. When the model learned through reinforcement learning determines the optimal object among the new object and objects in the buffer, then defined heuristics find optimal position and orientation for placement of the selected object. Through experiments, we verified the effectiveness by comparing the loading efficiency between the heuristic-only system and the combined system presented in this study.

참고자료

· 없음