적대적 데이터 생성 기반 단락 재순위화 학습 프레임워크 (Training Framework for Passage Re-ranking based on Generating Adversarial Data)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 20권 / 10호 / 39 ~ 45페이지
· 저자명 : 배용진, 이공주

초록

본 논문에서는 적대적 데이터 생성에 기반한 단락 재순위화 모델 학습 프레임워크를 제안한다. 질의응답 시스템 관점에서 적대적 단락은 질문과 의미상으로 유사하여 정답 단락으로 제출될 가능성이 크지만, 정답은 포함하고 있지 않아 시스템의 정확률을 하락시키는 단락을 의미한다. 학습 프레임워크에는 적대적 데이터 생성을 위한 듀얼 인코더 모델과 재순위화를 위한 크로스 인코더 모델을 포함하고 있으며, 초기 학습 후에는 기 구축된 학습데이터와 듀얼 인코더로 생성한 적대적 데이터를 기반으로 크로스 인코더 모델을 반복적으로 학습하였다. 실험 결과 위키피디아 컬렉션에서 재순위화 성능은 MRR 0.8573, MAP 0.8152로 베이스라인 대비 MRR 0.0866, MAP 0.0862가 향상되었다.

영어초록

In this paper, we proposed the training framework for passage re-ranking based on generating the adversarial data. From a QA(Question Answering) system of view, the adversarial passage is semantically similar to the question, so it is more likely to be submitted as a correct passage, but it does not contain the correct answer, which is the cause of lowering the accuracy of the QA system. The training framework includes a dual-encoder model for generating the adversarial data and a cross-encoder model for re-ranking, After the initial training, the cross-encoder model was repeatedly trained based on the training data and the adversarial data generated from the dual-encoder. As a result of the experiment, the re-ranking model achived MRR 0.8573 and MAP 0.8152 in the wikipedia collection, which improved MRR 0.0866 and MAP 0.0862 compared to the baseline.

참고자료

· 없음