조선대 빅데이터분석 기말 개인정리본, 보고 A+맞았습니다.

목차

없음

본문내용

6장 정렬
- 정렬은 맵리듀스의 핵심 기능이다.
- 원래 키를 기준으로 정렬되기 때문에 하나의 리듀스 태스크 만으로도 정렬이 쉽게 가능하지만 여러 데이터노드로 하나만 사용하는 것은 비효율적임
- 하둡은 보조정렬, 부분정렬, 전체정렬
- 부분정렬
1) 입력 데이터를 시퀀스 파일로 생성
2) 시퀀스 파일을 맵파일로 변경
3) 맵파일에서 데이터를 검색

1) 기존 키의 값들을 조합한 복합키를 정의한다. 이때 키의 값 중에서 어떤 키를 그룹핑 키를 사용할지 결정
2) 복합키의 레코드를 정렬하기 위한 비교기를 정의
3) 그룹핑 키를 파티셔닝할 파티셔너를 정의
4) 그룹핑 키를 정렬하기 위한 비교기를 정의

- 전체정렬 (하나의 파티션만 사용해서 쉽게 정렬 가능)
1) 입력 데이터를 샘프링해서 데이터의 분포도를 조사
2) 데이터의 분포도에 맞게 파티션 정보를 미리 생성
3) 미리 생성한 파티션 정보에 맞게 출력 데이터를 생성
4) 각 출려 데이터를 병합

빅데이터 이슈
1) Big volume – 분산 파일 시스템, HDFS
2) Heavy Computation – 병렬 및 분산처리, (MapReduce, MPI, CUDA)
3) Meaningful Analysis – 데이터분석 / 일반, 맞춤형 분석, (R, Python, Mahout)
4) Persuading Report – 시각화, (R, D3.js)

참고 자료

없음