Introduction to Information Retrival(챕터7)

소개

Introduction to Information Retrival 챕터정리 ppt

목차

7.1 Efficient scoring and ranking

7.2 Components of an information retrieval system

7.3 Vector space scoring and query operator interaction

본문내용

7.1 Effcient scoring and ranking

Index elimination(인덱스 제거)
① 포함된 어휘의 idf가 미리 정한 기준점을 초과하는 문서만 다룬다.
Low-idf term들의 포스팅 리스트는 일반적으로 길기 때문에 기준점에서 이것을 제거하면 우리가 계산해야 할 문서의 수가 크게 줄어든다.


② 쿼리의 어휘 중 많은 수를 포함하는 문서만 다룬다.
쿼리를 결합쿼리로 보면 쿼리의 전부나 혹은 많은 부분을 포함하는 문서의 스코어만을 계산한다.
이 설계의 위험성은 코사인 계산 이전의 쿼리의 전부가 포함된 문서만 걸러냄으로 확보된 후보 대상 K의 수가 적어질 수 있다는 것.

IDF : 해당 단어의 일반적인 중요도 자주 사용되는 단어는 IDF값이 낮고 아닌 경우 높다. (전체문서의 수/단어t에 대한 문서의 빈도)
낮은 idf의 어휘들은 stopwords로 취급되고 스코어링에 영향을 주지 않는다.

Static quality ordered index

많은 검색엔진에서 각 문서 d에 대한 유효한 쿼리g(d)에 대한 측정을 가지고 있다. 그것은 쿼리 독립적이고 정적이다.
쿼리 측정은 0과 1사이로 보여질 것이다.

참고자료

· 없음