생성 AI와 음성 인식을 활용한 메타버스 가상 면접 플랫폼 (Metaverse Virtual Interview Platform Leveraging Generative AI and Speech Recognition)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 22권 / 6호 / 163 ~ 173페이지
· 저자명 : 윤채원, 양성은, 박재성, 시종욱, 정유철, 김성영

초록

본 논문에서 제안하는 새로운 가상 면접 플랫폼은 메타버스와 인공지능의 결합을 통해 구현된 시스템이다. 음성 생성 및 합성, GPT 기반의 질문 생성 기술을 활용하여, 사용자와 인터뷰 모델 간의 상호작용을 강화하고 감정이 담긴 음성 데이터를 통한 면접을 제공한다. GPT-4를 기반으로 하는 면접 질문 생성은 역량과 잠재 능력을 효과적으로 평가하기 위해 프롬프트 엔지니어링을 적용한다. 가상 면접 환경은 유니티 엔진을 통해 구축되며, 디지털 휴먼을 활용한 가상 면접관과 립싱크 기술의 적용으로 실제 면접과 유사한 상황을 보여준다. 제안 방법은 답변을 분석해 상세한 면접 결과를 제공하는 기능이 포함되기 때문에, 참여자들이 실제 면접 전에 자신의 능력을 점검하고 면접 기술을 향상시킬 수 있는 기회를 제공할 수 있다.

영어초록

This paper proposes a new virtual interviewing platform, implemented through the combination of the metaverse and artificial intelligence. Utilizing voice synthesis and generation, along with GPT-based question generation techniques, it enhances the interaction between users and the interview model and provides an interview experience enriched with emotion-laden voice data. The GPT-4 based interview question generation employs prompt engineering to effectively assess competencies and potential abilities. The virtual interviewing environment is built using the Unity engine and features digital human interviewers with lipsync technology, creating a scenario akin to real-life interviews. The proposed method includes a feature for analyzing responses to provide detailed interview results, thereby offering participants the opportunity to assess their capabilities and enhance their interview skills before the actual interview.

참고자료

· 없음