한국방송통신대-2020기말-비정형데이터분석

소개글

"한국방송통신대_2020기말_비정형데이터분석"에 대한 내용입니다.

목차

1. Hadoop에서 또 한 가지 중요한 요소 중 한 가지로 맵리듀스를 꼽을 수 있다. 맵리듀스의 주요 내용을 약술하고(5점), 이 방식이 중요 요소로 손꼽히게 된 이유를 빅데이터의 특징과 연관지어 설명하시오(5점).

2. 프로그래밍 언어 중 인터프리터 방식 언어의 특징을 컴파일 방식과 비교하여 설명하시오(5점). 또한 대표적인 인터프리터 언어와 컴파일 방식 언어는 어떠한 것들이 있는지 교재 외의 사례를 포함하여 조사하시오(5점).

3. UCI Machine Learning Repository에서 텍스트 데이터 세트 하나를 다운로드하고 그 특징을 요약하여 기술하시오(10점).

4. 텍스트 데이터의 분석을 위한 기본 가설에 대해 설명하시오(10점).

5. R을 이용하여 로빈슨 크루소 각 장별 텍스트 데이터를 분석하시오. 분석은 강의 및 교재를 참고하되 다음의 절차를 따르시오(30점).
1) 자신의 학번 끝번호를 3으로 나누고 나머지를 구하시오(2점).
2) 나머지가 0인 경우 제2장과 제5장, 1인 경우 제4장과 제6장, 2인 경우 제5장과 제7장을 선택하여 각각 불러들이시오(3점).
3) 불러들인 두 챕터의 텍스트 데이터 전처리를 수행하시오(5점).
4) 탐색적 자료분석을 통해 선택한 두 챕터를 비교하시오(5점).
5) 단어빈도, 문서빈도, 장서빈도의 정의를 기술하시오(5점).
6) 코사인 유사도의 정의를 기술하고 선택한 두 챕터의 코사인 유사도를 구하시오(10점).

본문내용

1. Hadoop에서 또 한 가지 중요한 요소 중 한 가지로 맵리듀스를 꼽을 수 있다. 맵리듀스의 주요 내용을 약술하고(5점), 이 방식이 중요 요소로 손꼽히게 된 이유를 빅데이터의 특징과 연관지어 설명하시오(5점).
1) 맵리듀스 주요 내용
맵리듀스(MapReduce)는 구글에서 대용량 데이터 처리를 분산 병렬 컴퓨팅에서 처리하기 위한 목적으로 제작하여 2004년 발표한 소프트웨어 프레임워크다. 이 프레임워크는 페타바이트 이상의 대용량 데이터를 신뢰도가 낮은 컴퓨터로 구성된 클러스터 환경에서 병렬 처리를 지원하기 위해서 개발되었다. 이 프레임워크는 함수형 프로그래밍에서 일반적으로 사용되는 Map과 Reduce라는 함수 기반으로 주로 구성된다. 흩어져 있는 데이터를 수직화하여, 그 데이터를 각각의 종류 별로 모으고(Map), Filtering과 Sorting을 거쳐 데이터를 뽑아내는(Reduce) 분산처리 기술과 관련 프레임워크를 의미한다. 일반적인 맵리듀스의 논리적 흐름은 다음 과정으로 이루어 진다.
1. 입력(Input): 텍스트 데이터를 받아들이는 과정,
2. 스플리팅(Splitting) : 데이터를 행별로 나누는 단계. 단순하게 각 행별로 문자열 데이터를 분리하여 그 다음 단계로 신속하게 전달하는 과업을 수행
3. 매핑(Mapping) : 행별로 무자열을 입력받아 <key, value> 형태로 출력. <단어, 출현 횟수>와 같은 의미
4. 셔플링(Shuffling) : 같은 key를 가지는 데이터끼리 분류하는 과정. 분류(Sorting) 과정을 포함하기도 함
5. 리듀싱(Reducing) : 각 key별로 출현 회수, 즉 빈도수를 합산해서 출력하게 되고 최종 출력 데이터는 합쳐서 하둡 파일 시스템에 저장
2) 맵리듀스가 방식이 Hadoop의 중요 요소로 손꼽히게 된 이유(빅데이터의 특징과 연관하여)
맵리듀스를 사용하기 전에는 전용 스토리지에 저장된 대량의 데이터를 강력한 몇 개의 컴퓨터의 스토리지(하드디스크)로 복사한후 처리하는 방식을 사용했다.

참고 자료

없음