빅 데이터 기술

소개글

빅 데이터 기술 입니다

목차

1. 수집 기술
2. 저장 기술
3. 분석 기술
4. 결론

본문내용

빅데이터의 수집대상은 로그와 데이터다. 로그는 로그는 서버 컴퓨터에 남아있는 IP주소, OS 등으로 메타데이터로 이해하면 된다.
데이터 소스는 두 곳으로 조직 ‘내부’와 ‘외부’다. 소스에 따라 수집 방법이 다르다.
(1) 내부는 기존의 데이터 베이스에 포함되어 있다면 DBMS를 사용하면 된다.
내부의 비정형 데이터 (문자, 이메일, 게시판 등)에서 데이터를 추출하고자 한다면 ETL을 사용한다. Extraction, transformation, loading의 준말로 추출, 변한, 적재를 뜻한다. 수집하면서 중복은 제거하고 쓸데없는 것은 버리는 정제를 실행한다.
(2) 외부데이터는 공공 데이터, 데이터기업의 데이터 등 두 가지로 구분한다.
데이터 기업은 구글, 페이스북, 네이버 등을 뜻한다. 페이스북은 그 자체로 빅데이터 플랫폼이다.

1.2. 종류
(1) 크롤링 엔진이 있다.
‘크롤링’이란 ‘긴다’는 뜻으로 웹 페이지를 기어다니면서 복사본을 생성한다는 뜻이다. Html parsing(분해한다는 뜻, html 구조는 버리고 내용만 뽑는다.

참고 자료

없음