빅데이터

목차

1. 빅데이터 (Big Data) ?
2. 빅데이터 시장 현황
3. 빅데이터의 특성 및 요건
4. 빅데이터 처리 기술
5. 빅데이터의 활용

본문내용

● 대용량 데이터를 획득, 저장, 분석해 가치 있는 정보와 스토리를 추출하고 이를 의사결정이나 미래 예측에 활용하는 기술

⦁1980년대 미국에서 처음 나온 용어로 사전적 의미로는 ‘PC에서 처리할 수 없는 엄청난 양의 데이터’를 뜻하였으나 시간의 흐름에 따라 개념이 점차 바뀜

⦁오라클과 같은 데이터베이스 시스템에 다소곳이 저장되어 처리가 되기를 기다리는 정형화된 데이터(structured data)보다는 사용자들이 웹이나 앱을 사용하면서 발생하는 각종 로그 데이터나 센서로부터 끊임없이 발생하는 스트리밍 데이터와 같은 비정형적인 대용량 데이터(large scale unstructured data)를 다루기 위해 등장한 기술 트렌드라고 이해할 수 있음

⦁산업계에서 빅데이터를 바라보는 시각은 두가지임 ⓛ비정형 데이터를 중심으로 효과적으로 데이터를 처리하는 기술 ②정형 데이터베이스에서 대규모 저장 시스템을 연구하는 분야 : 업계에서 이야기 되고 있는 빅데이터는 전자의 경우이며, 후자는 기존 데이터베이스와 장비 시장을 장악하고 있는 글로벌 기업들을 중심으로 부각되는 기술로 광의의 빅데이터를 의미

<중 략>

⦁하둡 : 하둡은 대용량의 데이터 처리를 위해 개발된 오픈소스 소프트웨어임. PC수준의 저가 하드웨어를 병렬로 연결해 엔터프라이즈 수준의 데이터 저장소로 만드는 기술.

오라클 등 기존 DB의 경우에도 병렬처리가 가능했지만, 확장할 수 있는 노드의 개수가 한정적, 반면 하둡은 수십, 수백대를 넘어 수만대의 노드를 연결해 거대한 데이터 클러스터를 만들 수 있음
(성능저하 및 장애에 대응하고 효율적 운용을 위한 프로세스 필수 - ‘클라우데라 매니저’, ‘호튼웍스 매니지먼트 센터’)

참고 자료

없음