Spark(스파크)

소개

실시간 빅데이터 분석툴인 스파크(Spark)에 대한 간략 소개서입니다.
여러 내용을 정리하여 작성하였으며 보고서로 활용가능합니다.

목차

1. 스파크
2. 스트리밍 분석과 스파크
3. 스파크의 스트리밍 분석 기술
4. 탄력적 분산 데이터셋(RDD)
5. 스파크 사용사례
6. 스파크에 대한 전망

본문내용

■ 스파크
1. 스파크는 캘리포니아 버클리 대학에서 개발을 하였다. 현재는 이 대학 연구원들이 창업한 스타트업 데이터브릭스(Databricks.가 개발을 주도하고 있다. 정식버전인 스파크 1.0이 공개된 것은 2014년 5월이다.
2. 스파크는 짧은시간에 빅데이터 처리 소프트웨어 대명사인 하둡의 뒤를 잇고있는 차세대 빅데이터 처리의 주역으로 급부상하고 있다.
3. 오픈소스 빅데이터 저장 솔루션인 아파치 하둡(Apache Hadoop.은 지난 수년동안 BI 업계에서 회자되고 있다. 하지만 실행 가능한 대안으로 보다 주목을 받고 있는 것은 아파치 스파크(Apache Spark.라고 할 것이다.

■ 스트리밍 분석과 스파크
1. 스파크를 사용한 스트리밍 분석
도요타 USA는 스파크를 사용함으로써 이전에 36시간 걸리던 기계학습의 처리시간을 불과 9분으로 단축시켰다라고 공개하였다.

참고자료

· 박종훈(2015), 1년만에 빅데이터의 주역이 된 스파크, 정보통신기술진흥센터