뉴럴네트워크의 잔차 파라미터를 활용한 AI0PCC 기반 스트리밍 프레임워크 (AI-PCC based Streaming Framework using Residual Parameters of Neural Networks)

서지정보

· 발행기관 : 한국방송∙미디어공학회
· 수록지 정보 : 방송공학회 논문지 / 28권 / 6호 / 720 ~ 732페이지
· 저자명 : 이민석, 김준식, 이성배, 김규헌

초록

최근 3차원 포인트 클라우드의 획득/표현 장비가 발전함에 따라 자율주행 등의 응용 분야에서 포인트 클라우드의 활용에 관한 기술 연구가 활발히 진행 중이다. 그러나 포인트 클라우드 기반의 응용 프로그램 상용화에는 여러 제한 사항이 존재하며, 이 중 하나는 포인트 클라우드 콘텐츠의 막대한 데이터 크기이다. 이러한 제한 사항을 해결하기 위해 여러 포인트 클라우드 압축 기술이 개발되고 있으며, 최근 인공지능 기반의 AI-PCC(AI-based PCC) 기술이 등장하였다. AI-PCC는 압축 성능이 우수하다는 장점이 있으나, 압축된 포인트 클라우드 비트스트림과 함께 뉴럴네트워크를 구성하는 파라미터들이 전송되어야 한다는 한계가 존재한다. 이는 AI-PCC 뉴럴네트워크 내부의 파라미터가 학습 방식에 따라 다르게 설정되기에 발생하는 문제이다. 큰 크기를 갖는 뉴럴네트워크 파라미터를 수시로 전송한다면 대역폭 이용에 있어 효율이 많이 떨어지기에 AI-PCC를 활용한 포인트 클라우드의 전송 및 소비는 어려움이 있다. 따라서 본 논문은 AI-PCC의 잔차 파라미터를 INNC(Incremental Neural Network Coding) 기반으로 압축 후 전송하여 효율적인 AI-PCC 기반 스트리밍을 가능케 하는 프레임워크를 제안한다.

영어초록

Recent advancements in 3D point cloud capture and expression technologies have led to progressions in point cloud usage forapplications such as metaverse or autonomous driving. However, several challenges exist when trying to use point clouds incommercial applications. One of these key challenges is the vast size of point cloud contents. Various technologies for efficientPCC(Point Cloud Compression) are undergoing active development to resolve this limitation. The most recent approach forcompressing point clouds is AI-PCC(AI-based PCC), which refers to PCC technologies using neural networks usually applying theconcept of the well-known VAE(Variational Auto Encoder). Even though AI-PCC achieves great performance, it faces a problem:the server needs to transmit the parameters of the AI-PCC neural network along with the compressed point cloud bitstream. Thereason for transmitting the parameters is that AI-PCC codecs have been trained with different parameters on different datasetsaccording to their predetermined quality rate, and this can cause critical memory and bandwidth issues when implementing astreaming protocol. Therefore, this paper proposes a framework for AI-PCC streaming by compressing the residual parameters ofAI-PCC neural networks using INNC(Incremental Neural Network Compression).

참고자료

· 없음