약지도 의미론적 영상 분할을 위한 개별 이미지 별 유사성 강화 프로토타입 기법 (Affinity Enhanced Image-Specific Prototypes for Weakly Supervised Semantic Segmentation)

서지정보

· 발행기관 : 한국방송∙미디어공학회
· 수록지 정보 : 방송공학회 논문지 / 29권 / 1호 / 10 ~ 18페이지
· 저자명 : 임정선, 안수빈, 이수찬

초록

많은 약지도 학습 의미론적 영상 분할 방법은 이미지 분류를 위해 훈련된 네트워크에서 추출한 픽셀 수준 피쳐를 활용한다. 클래스 활성화 맵 생성, 픽셀 유사성을 기반으로 유사 피쳐 정의, 특징 군집을 기반으로 클래스 별 특징 프로토타입을 생성하는 데 픽셀 수준 피쳐가 사용 된다. 본 논문은 이전 연구들을 향상시키기 위해 친화도 기반 세분화를 이미지-클래스 별 프로토타입 생성에 통합하는 방법을 제안하며, 이로 인해 클래스 별 특징 프로토타입으로 인한 클래스 활성화 맵 생성 성능이 크게 향상 된다. 이러한 프로토타입은 개선된 의사 레이블을 만들어내며, 궁극적으로 의미론적 영상 분할을 개선한다. 실험 결과는 기준 방법과 비교하여 의미 있는 개선이 있으며, 최신 기법과 유사한 수준의 결과를 가진다. 논문 코드는 https://github.com/IJS1016/AE_SIPE에서 제공한다.

영어초록

Many weakly supervised semantic segmentation methods rely on the pixel-level features extracted from networks trained forimage classification. These features can be used to create class activation maps for semantic scores, define pixel affinity as featuresimilarities, and construct per-class feature prototypes based on feature clustering. This paper proposes a method that enhancesprevious works by incorporating affinity-based refinement into the generation of image-specific per-class prototypes, resulting insignificantly improved representative strength. These prototypes then lead to improved pseudo-labels, ultimately improvingsegmentations. Experimental results show significant improvements compared to baseline methods, and are on par with recentstate-of-the-art methods. The code is available at https://github.com/IJS1016/AE_SIPE.

참고자료

· 없음