빅데이터 구축과 활용
- 최초 등록일
- 2016.08.19
- 최종 저작일
- 2016.08
- 3페이지/ 한컴오피스
- 가격 1,000원
목차
1. 소셜 미디어 분석 단계
2. 빅데이터 기본 기술
3. 빅데이터 기술과 DW/BI 기술의 차이점
4. 빅데이터 아키텍처
5. 빅데이터 테마 도출 프로젝트 시 각 팀의 역할
본문내용
o 소셜 미디어 분석 단계
1단계 크롤링 서비스 : 사용자 요구사항(웹사이트 키워드/동의어, 불용어) -> 크롤링
(소셜미디어 웹사이트) -> 크롤된 데이터 -> 포스트 프로세싱
2단계 자연어 처리 : 자연어 처리(N-gram) -> 텍스트 분석 -> 시각화
3단계 최종 사용자 : 활용
o 빅데이터 기본 기술
실시간 처리
- CEP(Complex Event Processing) : 연속적으로 입력되는 스트리밍(Streaming) 데이터를 실시간으로 처리하는 방법
- 에스퍼(Esper) : 대표적인 오픈 소프트웨어
빅데이터 검색, 쿼리
- NoSQL(Not Only SQL) DB : 대용량 데이터를 분산 처리하기 위한 비관계형 데이터베이스(Non-relational database), 가용성(Availability)과 분할 내성(Parition tolerance)을 가지고 수천 개의 노드로 확장하는 것은 가능하나 일관성(Consistency) 부분은 약함
참고 자료
빅데이터로 일하는 기술|장동인|한빛미디어|2014.12.16