자동차 번호판 인식을 위한 2중 용도의 인코더-디코더 모델 (Dual-Use Encoder-Decoder Model for License Plate Recognition)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 48권 / 1호 / 51 ~ 60페이지
· 저자명 : 박천덕, 김백섭

초록

최근 머신 러닝 기술이 빠르게 발전함에 따라 신경망 모델을 이용한 번호판 인식이 높은 성능을 보이고 있다. 머신 러닝의 성능에 영향을 좌우하는 중요한 두 가지 요소는 데이터와 모델이며 주어진데이터의 특성에 가장 적합한 모델을 선택하고 최적화할 때 높은 성능을 얻을 수 있다. 번호판 인식용 데이터는 이미지와 다양한 레이블로 구성되는데 이중에서 글자 클래스 레이블은 필수 불가결이지만 글자의위치와 크기를 알 수 있는 글자 경계 박스 레이블은 옵션으로 드물게 제공된다. 글자 경계 박스 레이블이제공되는 경우에는 이미지에서 글자를 검출하여 인식하는 모델을 사용할 수 있다. 반면 글자 경계 박스레이블 없이 클래스 레이블만 제공되는 경우에는 글자의 위치를 알 수 없기 때문에 다양한 모델 선택에제약이 생기는데, 이런 경우 일반적으로 인코더-디코더 모델을 사용한다. 인코더-디코더 모델은 검출 기반모델에 비해 성능이 낮다. 실제로 번호판 인식을 위해 데이터를 수집하는 경우 이미지와 글자 클래스 레이블로 구성된 데이터와 글자 경계 박스 레이블이 추가된 데이터가 섞여 있게 되는데 기존 방법은 클래스레이블만 사용해서 전체 데이터를 사용해 인코더-디코더 모델을 학습시키거나, 일부 글자 경계 박스 레이블이 있는 데이터만 사용해서 분리-인식 모델을 학습시키는 두 가지 방법 중 하나를 선택해야만 한다. 본논문에서는 글자 경계 박스 레이블이 있는 데이터와 없는 데이터가 섞여 있는 경우에도 모든 데이터를 사용할 수 있는 번호판 인식 모델을 제안한다. 제안된 모델은 경계 박스 레이블이 없어도 사용할 수 있도록Resnet[1]과 Transformer[2]를 인코더-디코더 모델로 조합하였고 경계 박스 레이블이 있는 경우에는 그에 대한 손실함수를 추가하여 효과적인 학습을 할 수 있도록 하였다. 글자 클래스 레이블만 있는 대만의AOLP[3] 데이터에 대해 실험 결과 기본 방법들보다 높은 99.55%의 인식 정확도를 보였다. 경계 박스 레이블이 추가되어 있는 한국의 KarPlate[4] 데이터에 대해서는 98.82%의 인식률을 보여 기존의 검출 기반방법보다 성능이 약간 높아졌다. 여기에 글자 클래스 레이블만 있고 경계 박스 레이블은 없는 데이터를추가하는 경우 99.25%로 인식률이 향상되었다.

영어초록

Due to the rapid, continuous development of machine learning, the neural network model shows high performance in the field of license plate recognition. The most important factors in the performance of machine learning are the data and the model. Most license plate datasets are only given character sequence labels. In such cases, an encoder-decoder model is typically used to recognize character sequences. Detection-based models are better than encoder-decoder models, but they can only be used when character-bounding box labels are included in the dataset, which requires a high labeling cost. In this paper, we suggest an encoder-decoder model that can be used regardless of the presence or absence of character bounding box labels. It includes a combination of the Resnet [1] encoder and the Transformer [2] decoder. The proposed model not only achieves high recognition performance in the absence of character-bounding box labels, but also improves the performance by exploiting bounding box labels when they are available. In case of the Taiwan AOLP [3] dataset containing character sequence labels only, the proposed model shows 99.55% accuracy, which is higher than those of the conventional methods. Further, for the Korean KarPlate [4] dataset which includes additional character bounding box labels, the accuracy of the proposed model is 98.82%. This is still slightly higher than those of the conventional methods, but it is worth noting that the accuracy is improved to 99.25% when the data without character bounding box labels are added.

참고자료

· 없음