[요약정리] 빅데이터의이해 3장 빅데이터 기술

소개글

<요약정리>
빅데이터의 이해
3장 빅데이터 기술

목차

1. 빅데이터 기술의 개요
1) 관계형 데이터베이스 관리 시스템(RDBMS : Relational database management systems)
2) 빅데이터
3) 분산 시스템(Distributed system)

2. 비분산 빅데이터 처리: 빅메모리와 빅애널리틱스
1) R

3. 맵리듀스와 하둡(1.0 기준)

4. 하둡의 역사

5. 하둡과 데이터 분석

6. 하둡 시스템의 구성
1) 하둡 분산 파일 시스템(HDFS)
2) 맵리듀스(MapReduce)
3) 완전 분산 모드와 의사 분산 모드, 독자 모드

7. Rhadoop을 이용한 통계 계산 알고리즘의 맵리듀스 구현

8. 빅데이터 기술의 정리

본문내용

1. 관계형 데이터베이스 관리 시스템(RDBMS : Relational
database management systems)
- 대량의 데이터를 처리하기 위한 대표적인 기존 기술
- 데이터가 행과 열로 이루어진 테이블 간의 관계로 저장
- 정형 데이터 저장

2. 빅데이터
- 데이터의 크기가 방대하여 기존의 시스템으로는 획득, 저장, 관리, 혹은 분석이 불가능한 데이터Mckinsey Global Institute, 2011

3. 분산 시스템(Distributed system)
1. 개요
- 여러 대의 서버가 네트워크를 통해 통신하며 공통의 계산문제를 푸는 시스템
- 여러 개의 작업으로 나누어 하나의 작업을 한 대 이상의 서버에 할당하여 각각의 작업을 동시에 병렬로 해결하는 방식
- 저비용, 고성능 : 저성능 서버를 여러 대 연결하여 만든 클러스터가 비슷한 성능의 고성능 서버 한 대보다 저렴할 수 있다.

2. 신뢰성(Fault tolreance)
한 두대가 고장을 일으킨다 해도 전체 시스템은 운영 가능함

3. 확장성(Scalability)
컴퓨터 네트워크를 한 대 연결하는 것으로 전체 분산 시스템의 성능 향상 가능

4. 클라우드 컴퓨팅(Clouds Computing)
1960년대부터 꾸준히 연구, 최근 초고속 인터넷 등의 발달로 인해 분산 시스템으로 구성되어 높은 확장성을 갖는 컴퓨팅 자원을 인터넷을 통해 제공하는 서비스

5. 아파치 재단의 하둡(Hadoop)
- 분산 시스템의 환경이 데이터 처리 위주로 구성
- 데이터의 위치를 추적하는 방식으로 분산 파일 시스템을 구현
- 시스템 일부가 고장 나도 중단 없이 작동 가능한 분산 시스템의 신뢰성을 계승
- 비교적 낮은 가격의 서버로 데이터 기반 분산처리 시스템 구성 가능
- 오픈소스로 제작되어 시스템 구축에 큰 비용이 들지 앟는다

참고 자료

없음