인공지능 학습을 이용한 스마트 안경의 문자인식 (Character Recognition in Smart Glasses Using Artificial Intelligence Learning)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 56권 / 6호 / 55 ~ 60페이지
· 저자명 : 박재훈, 김재욱, 김수찬

초록

구글 글래스와 같은 스마트 안경에 응시점 추정 기술을 접목하여 사용자가 관심에 응시점이 고정될 경우, 이 정보를 자동 추출하여 사용자의 편의성을 높이고자 하였다. 동공의 중점과 글린트의 방향 벡터를 적용하여 응시점을 추정하고, 응시 영역의 이미지로부터 딥러닝 기술을 통해 문자를 인식하였다. 인식한 글자나 문장은 사용자 편의를 위해 음성으로 출력한다. 시스템은 라즈베리 파이 3 기반에 2개의 USB 카메라와 스피커로 구성하였다. 제안한 시스템에서 글자인식 모델의 정확도는 학습셋에서는 92%, 테스트 셋에서는 91%였다. 보정과정에서 모니터와의 거리, 머리의 움직임을 고정했을 때 응시점을 측정범위 ±25°에서 수평 0.8°, 수직 1.1°의 오차를 갖고 초당 10 프레임으로 처리할 수 있었다. 제안한 시스템은 기존의 고정된 시스템에서 진행하는 방식을 벗어나 착용형으로 사용자가 자유롭게 이동하면서 사용자가 응시한 글자를 인식한 후 음성으로 그 의미를 알려준다. 시각 기능이나 외국어 도움을 받고자 할 때 유용할 것으로 사료된다.

영어초록

We applied the gaze point estimation technique to smart glasses such as Google Glass to enhance user’s convenience by automatically extracting gazed information when the gaze is fixed to the user's interest. The gaze point was estimated by applying the pupil center and the glint direction vector, and the characters at gazed area were recognized from the image of the gaze area by the deep learning technique. The recognized letters and sentences are output as voice for user convenience. The system consists of two USB cameras and speakers based on the Raspberry Pi 3 model. In the proposed system, the accuracy of the character recognition model was 92% in the learning set and 91% in the test set. When the distance to the monitor and the movement of the head were fixed during the calibration process, the gaze point could be processed at 10 frames per second within ± 25° in the measurement range with an error of 0.8° horizontally and 1.1° vertically. The proposed system is advanced from conventional fixed-system approaches and it informs vocally the semantics of recognized characters when the smart glass wearer moves freely and fixes gazes. Additionally, it can be applied in assisting the visual function or foreign language.

참고자료

· 없음