Transformer의 개별 가지치기를 이용한 효율적인 이미지 캡셔닝 기법 (Efficient Image Captioning Using Individual Pruning on Transformer)

서지정보

· 발행기관 : 한국방송∙미디어공학회
· 수록지 정보 : 방송공학회 논문지 / 29권 / 5호 / 752 ~ 755페이지
· 저자명 : 권오설

초록

본 논문에서는 이미지 캡셔닝에서 개별 가지치기 기법을 통해 효율적인 트랜스포머 네트워크를 제안한다. 일반적으로 이미지 캡션모델은 사전 학습된 CNN 인코더, 트랜스포머 인코더 및 디코더의 세 가지로 구성된다. 본 연구에서는 캡션 모델의 각 구성 요소를개별적으로 최적화하도록 설계한 가지치기(Pruning) 기술을 통해, 전체 구조가 기존 캡셔닝 모델과 다르더라도 인코더 또는 디코더 네트워크와 같은 유사한 구성 요소를 공유하는 모델에 대한 적용성을 넓혔다. 또한 디코더에서 캡셔닝을 위한 손실함수를 적용함으로써성능을 향상시켰다. 본 모델을 영문 및 한글 버전에 적용한 결과 기존 대비 우수한 성능을 확인하였다.

영어초록

In this letter, we propose an efficient transformer network using individual pruning techniques in image captioning. Typically, animage caption model consists of three things: a pre-trained CNN encoder, a transformer encoder, and a decoder. In this study, aproposed pruning technique was designed to optimize each component of a caption model individually and shared similarcomponents, such as encoder or decoder networks, even if the overall structure is different from conventional captioning models.
Additionally, proposed method was applied a loss function for captioning in the decoder. As a result of applying this model to theEnglish and Korean versions, superior performance was confirmed compared to the existing model.

참고자료

· 없음