빅데이터 기술

목차

1. 빅데이터 기술
1-1. 빅데이터 기술 동향
1) 실시간 빅데이터 분산 시스템 동향
2) 빅데이터 솔루션과 서비스
3) 처리 기술
4) 분석 기술
5) 수집 기술
6) 저장관리기술
7) 시각화 기술
1-2. SNA(빅데이터 소셜 네트워크 분석)
1) SNA의 발전
2) 기업에서의 SNA 활용
3) SNA의 정의
4) 소셜 네트워크 분석 과정
5) 빅데이터 종류별 주요 분석 기술

본문내용

1-1. 빅데이터 기술 동향
1) 실시간 빅데이터 분산 시스템 동향
실시간 빅데이터 분산 시스템은 최근 여러 분야에서 적용되고 있는 상황이다. 우선 국내의 경우에는 금호타이어가 타이어의 생산 공정부터 최종 판매 단계까지의 제품 이력을 추적 관리할 수 있도록 제품에 RFID 태그를 부착하고 있다. 해외의 경우에도 트위터가 안티스팸(Anti-Spam) 정책에 실시간 빅데이터 분산시스템을 활용하고 있으며, 하루에 10억 건이 넘는 트윗들을 실시간으로 분석한다. 또한, 독일은 브라질 월드컵에서 빅데이터 분석 기술을 적용하였다. 이를 통해 선수들의 운동량부터 순간속도, 심박수, 슈팅 동작 등을 분석함으로써 팀이 우승하는데 도움이 되었다.
현대사회에서는 빅데이터 기술에서 방대한 양의 데이터가 홍수처럼 쏟아지고 있고, 구조화가 되지 않는 상태이기 때문에 분산병렬환경에서 데이터를 처리하는 기술인 하둡(Hadoop)이 주목을 받기 시작하였다. 하둡은 분산병렬환경에서 데이터를 처리하는 기술로 대용량의 데이터를 맵리듀스라는 병렬 처리 프레임워크를 이용하여 처리한다. 하지만, 최근 들어서는 실시간으로 대량 생산되는 데이터가 급격히 많아지고 있는 상황에서 하둡과 같은 일괄 처리 방식의 시스템만으로는 한계가 보이기 시작하였다. 이러한 문제를 해결하기 위해 인메모리에서의 데이터 처리 기술과 대용량 스트리밍 데이터를 처리하기 위한 기술들이 제시되고 있다. 최근 데이터의 양이 급격히 증가하고 있는 상황 속에서 하둡이라는 빅데이터 플랫폼이 개발되었고, 빅데이터 처리의 중요성이 부각되면서 여러 기업들이 하둡 시스템을 채용하여 빅데이터를 처리하고 있는 실정이다. 또한, 실시간적으로 데이터가 생성되는 스트리밍 데이터인 경우에는 스톰, 용자의 작업이 연산 집약적이고, 데이터의 교환이 적은 병렬화된 작업에는 스파크가 효율적으로 활용되고 있다. 향후, 데이터 특성과 작업 특성이 더욱 다양하게 생성되면 이로 인해 효율적인 빅데이터 플랫폼이 개발될 것으로 예상되며, 최근 빅데이터가 계속 생성되고 이슈화되고 있는 상황에서 빅데이터 플랫폼 기술의 중요성은 꾸준히 상승할 것으로 전망된다.

참고 자료

없음