비전 트랜스포머를 통한 Full Transformer 비디오 캡셔닝 모델 제안 (A Full Transformer Video Captioning Model via Vision Transformer)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회 컴퓨팅의 실제 논문지 / 29권 / 8호 / 378 ~ 383페이지
· 저자명 : 임희주, 최용석

초록

컴퓨터 비전 분야에서 트랜스포머 모델을 사용하는 방안이 크게 대두되고 있다. 이미지를 뿐만 아니라 비디오 데이터에 대해서도 트랜스포머를 활용한 성능향상에 대해서 활발한 연구가 진행 중이다. ViViT[6]에서는 비디오의 시간적인 정보와 공간적인 정보를 두 종류의 트랜스포머로 학습하는 방안을 제안했다. 허나 처음 제안된 ViT를 포함하여 ViViT 및 또 다른 ViT 활용 모델들의 경우에도 학습된 CLS token 만을 사용하며 나머지 patch sequence는 고려하지 않는다. 본 연구에서는 self-attention을 통해 학습된 patch sequence의 정보를 활용하는 다양한 방안을 실험하였다. 이후 해당 방안들을 feature extraction network로 하여 비디오 캡셔닝 태스크를 수행하였다. 네가지 매트릭을 통해 성능평가를 진행하였고 캡셔닝 결과는 appearance feature 만을 사용했음에도 BLEU-4, METEOR, ROUGE-L 매트릭에서 SOTA 모델들과 근접한 결과를 보였다.

영어초록

In the field of computer vision, a method to use a transformer model is emerging. Active research is underway on performance improvement using transformers not only for images but also for video data. ViViT proposed learning the temporal and spatial information of the video with two types of transformers. However, in the case of the ViViT and other using ViT models, including the first proposed ViT, only the learned CLS Token is used, and the remaining Patch sequence is not considered. In this study, various methods using the information of Patch Sequence learned through Self-attention are experimented. Thereafter, a video captioning task is performed using the corresponding method as a feature extraction network. Performance evaluation is conducted through four metrics, and the captioning results for the MSVD dataset of the final proposal network are close to those of the SOTA models in the BLEU-4, METEOR, and ROUGE-L metrics, even though only the appearance feature is used.

참고자료

· 없음