Introduction to Information Retrival(챕터4)

소개글

Introduction to Information Retrival 챕터정리 ppt

목차

4. Index construction
4.1 Construction of large indexes
4.2 Distributed indexing
4.3 Dynamic indexing
4.4 Other types of indexes

본문내용

4.1 Construction of large indexes

최근 사용되는 대용량 데이터들은 메모리만으로 정렬하는데 문제가 있음.

메모리가 부족할 경우 디스크를 이용할 수 있다. 하지만 속도가 느려진다.

해결책은 블록병합알고리즘 : 빠르지만 빈약한 메모리와 느리지만 방대한 디스크간의 효율적인 교환을 성사시킴.

만약 포스팅 파일의 크기가 가용 메모리의 소형 팩터 안에 있다면, 압축 기술이 도움될 것입니다. 하지만 많은 대형 모음의 포스팅 파일은 압축 과정을 거친 후에도 메모리 안에 담을 수 없다.

일정하게 정해진 사이즈의 블록이 꽉 찰 때까지 포스팅을 메모리에 termID-docID쌍으로 정렬.

인버트 인덱스를 만들기 위해 정렬하여 디스크에 저장

디스크에 저장된 모든 데이터를 하나의 인덱스로 통합.

모든 블록파일을 동시에 열고 읽기와 최종 병합인덱스에 쓰기 위한 버퍼 유지.

각 블록의 다음 아이템은 버퍼를 이용해서 고르고 우선순위 설정을 사용하여 다음 포스팅을 설정

참고 자료

없음