피부영상 털 제거를 위한 트랜스포머 기반 인페인팅 기법:기존 방법의 적용성 평가 (Transformer-based Image Inpainting Approach to Hair Removal in Skin Images: Applicability Evaluation of Existing Methods)

서지정보

· 발행기관 : 한국차세대컴퓨팅학회
· 수록지 정보 : 한국차세대컴퓨팅학회 논문지 / 18권 / 6호 / 137 ~ 146페이지
· 저자명 : 이영찬, 박범진, 유원상

초록

피부영상에서 털 제거는 자동화된 피부진단을 위한 필수적인 전처리 과정이다. 기존의 털 제거 기법은 대부분 영상처리에 기반한 방식이었지만, 털이 많은 피부에는 성능이 크게 저하되는 문제점이 있다. 다른 접근방식으로서 심층학습 모델에 기반한 인페인팅 기법을 고려할 수 있는데, 털이 많은 피부영상 학습 데이터의 부족으로 인하여 심층학습 기반 털 제거 모델은 거의 보고된 바 없다. 본 논문에서는 피부영상에서 털 제거를 위한 영상 인페인팅 기법으로서 트랜스포머 기반 심층학습 모델인 BAT-Fill의 적용성을 평가한다. BAT-Fill은 양방향 자기회귀 트랜스포머(BAT) 기반의 거친 네트워크와 생성적 적대 신경망(GAN) 기반의 정제 네트워크로 구성되어 있다. 인페인팅은 일반적으로 이웃 픽셀의 특징으로부터 점차적으로 채워가는 방식으로 이루어지는 반면, 가느다란 털이 많이 분포되어 있는 피부에서는 이웃 피부의 특성을 정확하게 추출하기 어렵다. 트랜스포머는 서로 다른 영역 사이의 유사성을 학습하여 피부를 복원하는 방식으로서, 전역적인 피부 특징으로부터 지역적인 피부 특성을 정확하게 복원하는 것을 가능하게 한다. 모델에 대한 성능 평가 결과, BAT-Fill이 기존 방법에 비해서 PSNR 및 SSIM에서는 유의미한 차이가 없었으나 FID에서는 피부영상 털 제거에서 실감성과 인지적 품질이 향상되었음을 보여준다.

영어초록

Hair removal in skin images is the essential preprocessing task for automatized skin cancer detection. Most existing methods for hair removal are based on image processing, but their performance tends to be significantly degraded in hairy skin images. As an alternative, an image inpainting approach based on deep learning can be taken into account, while few deep learning models for hair removal have been reported due to the lack of datasets. In this paper, we evaluate the applicability of BAT-Fill which is a transformer-based deep learning model as an image inpainting method for hair removal in skin images. BAT-Fill consists of not only the coarse network based on bidirectional autoregressive transformers but also the refinement network based on generative adversarial network (GAN). While a typical process of image inpainting is to progressively fill the inner hidden block using the properties of neighbor pixels, it is challenging to accurately extract the skin properties of neighbor pixels when hairs are largely distributed. The transformer is a solution for reconstructing the skin texture by learning the similarity of pixel properties between two distant areas, where local skin textures can be accurately predicted using global skin properties. The model assessment shows that BAT-Fill is effective to enhance the perceptual quality of the hair-removed image as it exhibits significant improvement in FID although it does not in PSNR and SSIM.

참고자료

· 없음