[요약정리] 빅데이터의이해 4장 빅데이터의 수집

소개글

<요약정리>
빅데이터의이해
4강 빅데이의 수집

목차

1. 빅데이터의 수집기술
1) 빅데이터의 구분: 내부데이터 / 외부데이터
2) 외부데이터: 정부, 데이터 기업에 의해 공개
3) 공공데이터
4) 데이터 수집

2. 검색 데이터의 수집
1) 네이버 트렌드
2) 구글 트렌드

3. 웹페이지 데이터의 수집
1) 웹페이지의 구조 분석

본문내용

1. 빅데이터의 수집기술
1. 빅데이터의 구분: 내부데이터 / 외부데이터
내부데이터: 정부 및 기업의 업무과정에서 생성, 데이터베이스 등에 저장되어 업무에 활용, 비공개
외부데이터: 인터넷에 접속하여 구할 수 있는 데이터, 웹페이지, 정부 및 공공기관 공개
데이터, 웹포턱 데이터, 소셜네트워크 데이터, 대부분 반정형, 비정형 데이터

2. 외부데이터: 정부, 데이터 기업에 의해 공개
- 정부 통계청 KOSIS의 데이터베이스 형태
- 공공데이터라는 이름응로 공개 API, 파일 공개

4. 데이터 수집
- 기업 및 정부의 내부 데이터와 외부의 다양한 원천의 데이터를 검색하고 수집하고 이를 변환, 통합하는 것
- 광의적 정의 : 앞서의 정의에 반정형 또는 비정형 데이터를 분석할 수 있는 정형 데이터로 변환하는 데이터 통합과 정리도 포함
- 검색, 수집, 변환의 연속과정으로 구성, 수집된 데이터는 저장되어 분석

참고 자료

없음