[공학]우리나라 검색엔진의 전망

소개

우리나라의 검색엔진들의 향후 발전방향과 미래시대의 대안 모색(A+)

목차

◎ 인터넷 검색 엔진
◎ 기존 검색엔진의 문제점과 최근 동향

본문내용

◎ 인터넷 검색 엔진
인터넷에 흩어진 정보를 검색할 때 가장 먼저 사용하게 되는 것이 검색 엔진일 것이다. 검색 엔진은 약간의 차이점은 있겠지만 대체로 검색 로봇 (search robot), 인덱스 (index), 질의 서버 (query server)의 세 가지 구성요소를 가지고 있다. 검색 로봇은 spider, wanderer등으로도 불리며 주기적으로 웹 공간에 존재하는 문서를 수집하여 인덱싱 할 수 있도록 도와준다. 인덱스는 검색 로봇이 모아준 문서를 데이터베이스에 저장하는 작업을 하는데 빠르고 효율적인 검색을 위해 주로 키워드와 문서를 연결해주는 역 인덱스 (inverted index) 방법을 많이 사용한다. 질의 서버는 사용자의 질의 검색어를 입력으로 받아서 인덱스를 참조하여 검색결과를 출력해준다.
대부분의 검색 엔진은 로봇이 찾아온 문서의 타이틀뿐 아니라 문서 전체의 내용을 인덱싱하는 전문 인덱싱 (full-text indexing) 방법을 택한다. 인덱싱은 특정단어에 대해 관련 있는 문서들의 링크로 구성되는데 하나 이상의 문서가 같은 단어와 연관이 있을 경우 어느 문서가 더 관련이 있는지를 구별할 필요가 있게 된다. 이것은 사용자에게 결과를 출력해 줄 때 가장 우선순위가 높은 것부터 순서대로 보여줄 때 중요한 판단 요소가 될 수 있다. 우선순위를 결정하는 데 가장 많이 사용되는 것은 TF-IDF 알고리즘이다. TF (term frequency)는 한 단어가 한 문서 내에 등장하는 횟수를 나타내고 DF (document frequency)는 한 단어가 검색된 N개의 문서의 집합 중에서 몇 개 문서에 등장하는 가를 나타낸다. 특정 검색어가 한 문서에 많이 나타난다면 그 문서는 해당 검색어에 대해 중요한 문서라고 판단할 수 있지만 여러 문서에 걸쳐 모두 나타난다면 그 단어에 대한 중요도는 떨어진다고 볼 수 있다. 따라서 문서의 우선순위를 구하려면 TF값과 DF의 역인 IDF (inverse document frequency) 값을 곱한 값으로 나타낸다.

검색 엔진을 구성할 때 다음과 같이 몇 가지 고려해야 할 issue가 있다. 첫째는 검색 로봇의 항해 전략 (traversal strategies)이다. 웹에 존재하는 문서는 대부분 하이퍼링크를 이용하여 다른 정보 사이트와 연결되어 있는데 인덱싱을 위해서는 하나의 문서에서 출발하여 그 문서 내에 있는 여러 링크를 어떠한 순서로 검색할 지 결정하여야 한다. 대표적으로 깊이 우선 (depth first)과 넓이 우선 (breadth first) 방법이 있지만 깊이 우선 방법은 하나의 정보 호스트에 너무 오래 머물러 있는 등의 문제점이 많기 때문에 대부분 넓이 우선 방법을 택한다

참고자료

· 없음