모바일 디바이스 화면의 클릭 가능한 객체 탐지를위한 싱글 샷 디텍터 (Single Shot Detector for Detecting Clickable Object in Mobile Device Screen)

서지정보

· 발행기관 : 한국정보처리학회
· 수록지 정보 : 정보처리학회 논문지 / 11권 / 1호 / 29 ~ 34페이지
· 저자명 : 조민석, 전혜원, 한성수, 정창성

초록

모바일 디바이스 화면상의 클릭 가능한 객체를 인지하기 위한 데이터셋을 구축하고 새로운 네트워크 구조를 제안한다. 모바일 디바이스 화면에서클릭 가능한 객체를 기준으로 다양한 해상도를 가진 디바이스에서 여러 애플리케이션을 대상으로 데이터를 수집하였다. 총 24,937개의 annotationdata를 text, edit text, image, button, region, status bar, navigation bar의 7개 카테고리로 세분화하였다. 해당 데이터셋을 학습하기 위한 모델구조는 Deconvolution Single Shot Detector를 베이스라인으로, backbone network는 기존 ResNet에 Squeeze-and-Excitation block을 추가한Squeeze-and-Excitation networks를 사용하고, Single shot detector layers와 Deconvolution module을 Feature pyramid networks 형태로 쌓아올려 header와 연결한다. 또한, 기존 input resolution의 1:1 비율에서 오는 특징의 손실을 최소화하기 위해 모바일 디바이스 화면과 유사한 1:2비율로 변경하였다. 해당 모델을 구축한 데이터셋에 대하여 실험한 결과 베이스라인에 대비하여 mean average precision이 최대 101% 개선되었다.

영어초록

We propose a novel network architecture and build dataset for recognizing clickable objects on mobile device screens. The data wascollected based on clickable objects on the mobile device screen that have numerous resolution, and a total of 24,937 annotation datawere subdivided into seven categories: text, edit text, image, button, region, status bar, and navigation bar. We use the DeconvolutionSingle Shot Detector as a baseline, the backbone network with Squeeze-and-Excitation blocks, the Single Shot Detector layer structureto derive inference results and the Feature pyramid networks structure. Also we efficiently extract features by changing the input resolutionof the existing 1:1 ratio of the network to a 1:2 ratio similar to the mobile device screen. As a result of experimenting with the datasetwe have built, the mean average precision was improved by up to 101% compared to baseline.

참고자료

· 없음