빅데이터 레포트

목차

1. 빅데이터의 개념과 처리과정
1-1. 빅데이터의 개념
1-2. 빅데이터 구체화 7단계

2. 빅데이터 수집, 저장관리기술
2-1. 수집기술
2-2. 저장관리기술

3. 빅데이터 처리기술
3-1. 일괄 처리기술
3-2. 실시간 처리기술
3-3. 처리 프로그래밍 지원기술

4. 빅데이터 분석기술
①텍스트 마이닝
②오피니언 마이닝
③소셜 네트워크 분석
④리얼리티 마이닝
⑤분류
⑥군집화
⑦기계 학습
⑧감성 분석

5. 빅데이터 표현기술

6. 빅데이터 활용 사례
6-1. 유가정보
6-2. 유튜브
6-3. 의료분야

본문내용

①수집
- 데이터 소스들로부터 수집된 데이터는 복수의 노드(nod)로 분배되며 각각의노드는 데이터 서브셋(data subset)을 병렬로 처리한다.

②처리
- 시스템 역시 마찬가지로 고성능의 병렬성(parallelism)을 통해 각 노드의 데이터를 고속으로 계산한다. 노드들은 산출된 결과 데이터를 인간과 기계 모두가 사용할 수 있는 보다 활용성이 높은 데이터 셋으로 ‘줄인다’.

③관리
- 종종 빅데이터는 서로 다른 업무 시스템들에서 독립적으로 처리 되기도 한다. 때문에 관리자에게는 이를 이해하고 정의하며 분류하는, 그리고 정리하고 감시하는 모든 과정에서 안정성 확보에 주의를 기울여야 할 필요가 있다.

④측정
- 기업들은 종종 이러한 데이터가 소비자 행동 양식이나 기록과 어느 정도의 수준으로 통합될이지, 그리고 통합이나 교정 수준이 증가할 것인지를 측정하게 될 것이다. 이 때 비즈니스 기준(business requirement)은 측정 및 진행 중인 추적 과정의 유형을 알리는 역할을 해야한다.

⑤소비
- 도출된 데이터의 사용은 프로세싱의 최초 기준에 부합해야 한다. 예를 들어, 소셜 미디어 활동과 관련한 수 테라바이트 규모의 데이터를 수집한다면, 그 속에서 소셜 미디어 데이터와 소비자 구매 욕구 증대라는 두 변수 사이의 상관 관계를 끄집어 내 이해할 수 있어야 할 것이다. 또한 소셜 미디어 데이터에 대한 접근 및 업데이트 기준 역시 수립해야 할 필요가 있다. 이는 기기 간 데이터 접속(machine-to-,achine data access)과정에 있어서도 중요한 역할을 한다.

⑥저장
- ‘서비스로써의 데이터(data as a service)'라는 새로운 트렌드가 정립되어감에 따라, 데이터의 저장이 단기적 일괄 처리 방식이나 장기적 유지 방식 중 어느 것을 따르던 저장 솔루션의 선택에 신중을 기해야 함은 변함 없는 사실일 것이다.

⑦데이터 거버넌스(data governance)
- 데이터 거버넌스는 비즈니스 주도의 정책 수립 및 데이터 관리 과정이다.

참고자료

· 없음