이미지 정합 pseudo-labeling을 이용한GAN 기반의 seamless 차량번호판 합성영상 생성 (GAN-based Synthetic Generation of Seamless License Plate Images using Pseudo-labeling of Image Registration)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 60권 / 4호 / 55 ~ 64페이지
· 저자명 : 김형래, 김학일

초록

본 논문에서는 적대적 생성 네트워크(GAN)를 이용한 차량번호판 합성영상 생성과 이를 위한 이미지 정합 기반 pseudo- labeling 방법을 제안한다. AI-HUB의 공공 데이터는 차량번호판 영역에 모자이크와 같은 개인정보 비식별화가 적용된 이미지로 구성되어 있으나, 이는 이미지가 훼손되었을 뿐만 아니라 학습 데이터로서의 유용성이 저하된 것이다. 따라서 본 논문은 개인정보로부터 자유롭고 실제 영상과 이질감이 없는 차량번호판 합성영상 생성 네트워크를 소개한다. 제안하는 GAN 기반 Masked-pix2pix 네트워크의 학습을 위해, 가상번호판을 생성하고 원본 영상과의 특징점 매칭 및 이미지 정합을 수행하는 pseudo-labeling 기법으로 이미지 쌍을 구축한다. 학습된 결과는 PSNR과 SSIM의 값이 각각 42.08dB, 97.84%로 Pix2pix에 비해 0.17dB, 0.82%p 높게 측정되어 네트워크의 우수성을 증명하였다. 또한, 주야간 환경 조건에서의 강인함과 해외 번호판에서의 적용 가능성을 보여 알고리즘의 일반성을 높였다.

영어초록

This paper proposes a vehicle license plate image synthetic generation method using the Generative Adversarial Network(GAN) and an image registration-based pseudo-labeling method for this. The AI-HUB public datasets consist of images with de-identification of personal information such as mosaicking applied to the license plate areas, however it not only contaminates the images, but also reduces usability as training data. This paper introduces a license plate synthetic image generation network that is free from personal information and indistinguishable from real images. For the training of the proposed GAN-based Masked-pix2pix network, a virtual license plate is created, and image pairs are constructed using a pseudo-labeling technique that performs feature matching and image registration with the original image. As a result of training, the PSNR and SSIM are 42.08dB and 97.84%, respectively, which are 0.17dB and 0.82%p higher than Pix2pix, proving the superiority of the network. In addition, the generality of the algorithm is demonstrated by improving its robustness in day and night environmental conditions and its applicability to overseas license plates.

참고자료

· 없음