입 모양 인식 시스템 전처리를 위한관심 영역 추출과 이중 선형 보간법 적용 (Region of Interest Extraction and Bilinear Interpolation Application for Preprocessing of Lipreading Systems)

서지정보

· 발행기관 : 한국정보처리학회
· 수록지 정보 : 정보처리학회 논문지 / 13권 / 4호 / 189 ~ 198페이지
· 저자명 : 한재혁, 김용기, 김미혜

초록

입 모양 인식은 음성 인식의 중요 부분 중 하나로 음성 인식을 위한 입 모양 인식 시스템에서 입 모양 인식 성능을 개선하기 위한 여러 연구가진행됐다. 최근의 연구에서는 인식 성능을 개선하기 위해 입 모양 인식 시스템의 모델 구조를 수정하는 방법이 사용됐다. 본 연구에서는 모델 구조를수정하는 것으로 인식 성능을 개선하는 기존의 연구와 달리 모델 구조의 변화 없이 인식 성능을 개선하는 것을 목표로 한다. 모델 구조의 수정 없이인식 성능을 개선하기 위해, 사람이 하는 입 모양 인식에서 사용되는 단서를 참고해 입 모양 인식 시스템의 기존 관심 영역인 입술 영역과 함께 턱,뺨과 같은 다른 영역을 관심 영역으로 설정하고 각 관심 영역의 인식률을 비교해 가장 높은 성능의 관심 영역을 제안한다. 또한, 관심 영역 크기를정규화하는 과정에서 보간법의 차이로 인해 발생하는 정규화 결과의 차이가 인식 성능에 영향을 준다고 가정하고 최근접 이웃 보간법, 이중 선형 보간법,이중 삼차 보간법을 사용해 동일한 관심 영역을 보간하고 각 보간법에 따른 입 모양 인식률을 비교해 가장 높은 성능의 보간법을 제안한다. 각 관심영역은 객체 탐지 인공신경망을 학습시켜 검출하고, 각 관심 영역을 정규화하고 특징을 추출하고 결합한 뒤, 결합된 특징들을 차원 축소한 결과를저차원 공간으로 매핑하는 것으로 동적 정합 템플릿을 생성했다. 생성된 동적 정합 템플릿들과 저차원 공간으로 매핑된 데이터의 거리를 비교하는것으로 인식률을 평가했다. 실험 결과 관심 영역의 비교에서는 입술 영역만을 포함하는 관심 영역의 결과가 이전 연구의 93.92%의 평균 인식률보다3.44% 높은 97.36%의 평균 인식률을 보였으며, 보간법의 비교에서는 이중 선형 보간법이 97.36%로 최근접 이웃 보간법에 비해 14.65%, 이중 삼차보간법에 비해 5.55% 높은 성능을 나타내었다. 본 연구에 사용된 코드는 https://github.com/haraisi2/Lipreading-Systems에서 확인할 수 있다.

영어초록

Lipreading is one of the important parts of speech recognition, and several studies have been conducted to improve the performanceof lipreading in lipreading systems for speech recognition. Recent studies have used method to modify the model architecture of lipreadingsystem to improve recognition performance. Unlike previous research that improve recognition performance by modifying modelarchitecture, we aim to improve recognition performance without any change in model architecture. In order to improve the recognitionperformance without modifying the model architecture, we refer to the cues used in human lipreading and set other regions such aschin and cheeks as regions of interest along with the lip region, which is the existing region of interest of lipreading systems, and comparethe recognition rate of each region of interest to propose the highest performing region of interest In addition, assuming that the differencein normalization results caused by the difference in interpolation method during the process of normalizing the size of the region ofinterest affects the recognition performance, we interpolate the same region of interest using nearest neighbor interpolation, bilinearinterpolation, and bicubic interpolation, and compare the recognition rate of each interpolation method to propose the best performinginterpolation method. Each region of interest was detected by training an object detection neural network, and dynamic time warpingtemplates were generated by normalizing each region of interest, extracting and combining features, and mapping the dimensionalityreduction of the combined features into a low-dimensional space. The recognition rate was evaluated by comparing the distance betweenthe generated dynamic time warping templates and the data mapped to the low-dimensional space. In the comparison of regions ofinterest, the result of the region of interest containing only the lip region showed an average recognition rate of 97.36%, which is 3.44%higher than the average recognition rate of 93.92% in the previous study, and in the comparison of interpolation methods, the bilinearinterpolation method performed 97.36%, which is 14.65% higher than the nearest neighbor interpolation method and 5.55% higher thanthe bicubic interpolation method. The code used in this study can be found a https://github.com/haraisi2/Lipreading-Systems.

참고자료

· 없음