정보 검색 시스템 평가를 위한 한텍(HANTEC) 적합성 정보의 평가 및 수정 구축 (Evaluation and Reconstruction of HANTEC Relevant Information for Information Retrieval System Evaluation)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 9권 / 4호 / 167 ~ 172페이지
· 저자명 : 강현규, 전흥석, 오염덕

초록

정보검색 시스템 평가를 위한 한글 테스트 컬렉션인 한텍(HANTEC) 테스트 컬렉션 2.0이 배포되었다. 테스트 컬렉션 HANTEC 2.0은 정보검색 시스템 평가를 위해 12만건의 문서 집합과 50개의 질의 집합, 그리고 각 질의에 대한 적합성 정보로 구성되어 있다. 보다 더 정확한 정보검색 시스템의 평가를 위해서는 무엇보다도 정확한 적합성 정보가 중요하다. 따라서 수동방법을 통하여 적합성 정보를 검토한다. 본 논문에서는 풀링 방법과 HANTEC 2.0 적합성 정보를 검증한다. 수동 적합성 정보 판정을 위한 도구를 만들었으며 적합성 판정 기준을 정하여 적합성을 판정하였다. HANTEC 2.0과의 적합성 정보 비교평가를 함으로서 풀링방법 및 현재 배포된 HANTEC 2.0 적합성 정보의 유용성을 비교 검증 하였다. 새로이 구축된 수동 적합성 판정 결과는 정보검색 시스템 평가에 사용될 수 있을 것이다.

영어초록

HANTEC 2.0 (A Korean Test Collection) is distributed for evaluation of information retrieval systems. Test Collection HANTEC 2.0 consists of 120,000 document sets, 50 query sets, and relevance information for each query. For more thorough and accurate evaluation of information, the relevance information is very important. Thus, by using manual method, we review the relevance information. In this paper we validate the pooling method and the relevance information in HANTEC 2.0. We created a tool for manual review of relevance information, set standards for relevance information, and evaluated the relevancy according to the standards. By comparing relevance information with HANTEC 2.0, we verify pooling method and currently distributed HANTEC 2.0 relevance information's usefulness. The results through new constructed relevant information will be used for the evaluation of information retrieval systems.

참고자료

· 없음