머신러닝을 이용한 뇌체조 인식 (Brain Gymnastics Recognition using Machine Learning)

서지정보

· 발행기관 : 한국디지털콘텐츠학회
· 수록지 정보 : 디지털콘텐츠학회논문지 / 24권 / 6호 / 1295 ~ 1304페이지
· 저자명 : 임소미, 김예은, 김영찬, 최승호

초록

치매를 예방하기 위한 다양한 솔루션이 보급되고 있지만 장소나 이용 등에 관한 불편한 점들이 있다. 또한 운동하는데 있어 올바르게 하는지를 스스로 체크하기가 힘들다. 이를 개선하고자 다양한 환경에서도 치매예방을 할 수 있는 뇌체조 인식 프로그램을 제안한다. 제안한 방법은 뇌체조 손동작을 녹화한 동영상에서 이미지 프레임을 추출한다. Object detection을 통해 뇌체조 손동작을 학습시킨 모델에 의해 사용자 손의 좌표를 검출했다. 그리고 Mediapipe 라이브러리를 이용하여 skeleton extraction을 실행했다. 직접 수집한 데이터를 바탕으로 각 동작에 따른 데이터 세트를 구축하고 레이블링했다. 6가지 머신러닝 분류기를 통해 2가지 뇌체조 동작을 Precision, Recall, 그리고 AUC score 등의 성능 지표를 통해 분석했다. 이를 통해서 제안 방법이 뇌체조 동작을 인식할 수 있음을 확인했다.

영어초록

Various solutions are being distributed for the prevention of dementia, but there are some inconveniences regarding the location and use. Additionally, it is difficult to check whether the exercise is being correctly done. To address this issue, we propose a brain gymnastic awareness program that can prevent dementia in various environments. The proposed method extracts image frames from video recordings of brain gymnastic hand movements. The coordinates of the user's hand are detected by a model that learned brain gymnastic hand movements through object detection. Then, skeleton extraction was performed using the Mediapipe library. Collecting data directly, we built and labeled a dataset for each behavior. Two brain gymnastic movements were analyzed using six machine learning classifiers. Through performance indicators such as precision, recall, and AUC score, it was confirmed that the proposed method can recognize brain gymnastic movements.

참고자료

· 없음