스트리밍 기술

목차

1. Streaming 기술의 필요성
2. 실시간 처리 Solution
3. 실시간 서비스 수준이 의미하는 것은 무엇인가?
4. 실시간 시스템의 특성
5. Streaming의 EDA 아키텍처
6. Streaming과 일반 방식의 비교
7. 현재 분석플랫폼의 아키텍처
8. Spark의 동작원리
9. 회복가능한 분산 데이터 셋(RDD)
10. Scala필요성

본문내용

1. Streaming 기술의 필요성
대용량 데이터 분석이 Value를 만들어 내기 위해서는 실시간으로 의미있는 결과를 제공해야 함
1) 금융 : 주식트레이딩, 사기방지
2) 제조공정 : 이상감지
3) 마케팅 : 실시간분석/추천/광고
4) 보안 : 테러방지, 해킹감지

2. 실시간 처리 Solution
1) Apache Kafka
- Linkedin SNA팀에서 개발하고 서비스에 사용
- 2014년 기준 2,200억/1일 메시지 처리

2) Esper
- 1990년대부터 시작된 전통적인 Event Stream처리 기술
- 복합적인 event를 참조하여 패턴을 파악하는 기술
- Data Window, Pattern Matching기능이 핵심
- 10억분의 1초(ns)단위의 성능

3) STORM
- Twitter의 실시간 스트리밍 데이터 분석 솔루션
- Real-time Hadoop라고 보면 됨

4) Infinispan
- In-memory HDFS같은 존재

참고 자료

없음