E2E 딥러닝 비디오 코덱의 VCM 내부 코덱 적용을 통한 성능 향상에 관한 연구 (Improving VCM Performance by applying E2E Deep Learning based Video Codecs)

서지정보

· 발행기관 : 한국방송∙미디어공학회
· 수록지 정보 : 방송공학회 논문지 / 29권 / 3호 / 330 ~ 340페이지
· 저자명 : 전상균, 이동민, 추현곤, 서정일

초록

컴퓨터 비전 인공지능 엔진이 임무를 수행함에 있어서 임무 수행 능력은 유지하면서 처리하는 영상 정보의 양을 최대한 줄이는 것을 목표로 하는 기계를 위한 비디오 부호화 기술(VCM)에 대한 국제 표준화가 진행되고 있다. VCM은 백본 네트워크 잠재공간의Feature를 대상으로 하는 FCM과 이미지나 영상 신호를 대상으로 하는 VCM으로 구분하여 표준화가 진행되고 있으나, 부호화기의 최종 단계에서 영상 데이터를 압축하고 비트스트림을 생성하는 단계에서는 기존의 영상 부호화 표준인 VVC를 내부 코덱으로 사용하고있다. 이는 FCM과 VCM의 성능 개선을 제한하는 결과를 초래하고 있으며, 딥러닝 네트워크와 E2E 딥러닝 영상 부호화 네트워크를동시에 훈련하여 성능을 최적화할 가능성도 배제하게 된다. 본 논문에서는 이러한 문제를 해결하고자 FCM과 VCM의 내부 코덱을 딥러닝 기반 코덱으로 변경함으로써 FCM과 VCM의 성능 개선 가능성을 확인하였다.

영어초록

Efforts for international standardization of Video Coding for Machine(VCM) aim to reduce video data processed by computervision AI while maintaining performance. VCM is divided into two tracks: FCM focuses on the backbone networks’ latent spacefeatures, and VCM on image and video signals. Currently, FCM and VCM uses VVC standard codec for compressing video dataand generating bitstream at internal codec. This limits performance imporvements and rulls out the simultaneous training deeplearning networks for optimization. This paper suggests replacing FCM and VCM’s internal codec with a deep learing based codec,demonstrating potential enhancements in FCM and VCM’s performance.

참고자료

· 없음