머신러닝 기반 모니터링 대시보드 기술 문서

소개

"머신러닝 기반 모니터링 대시보드 기술 문서"에 대한 내용입니다.

목차

0. 모니터링 및 데이터 분석 대상
0.1. 모니터링 및 데이터 분석 대상 개요
0.2. 상세 데이터 유형
0.2.1. 시스템 로그 메시지(Syslog message data)
0.2.2. 네트워크 패킷(Network packet data)
0.2.3. 시스템 자원(System metric data)
0.2.4. 전력 품질(Power quality management data)
0.3. 모니터링 및 데이터 분석 목적
0.4. 모니터링 및 데이터 분석 전략
0.3.1. 변화율 계산
0.3.2. 유사도 기법
0.5. 모니터링 및 데이터 분석에 사용되는 언어
0.5.1. Python
0.5.2. Scala
0.5.3. Python과 Scala의 결합
0.6. 모니터링 및 데이터 분석에 사용되는 기술
0.6.1. BASE64
0.6.2. DEFLATE
0.6.3. JSON
0.6.4. REST

1. 그라파나 플러그인
1.1. 플러그인 사양 개요
1.2. 플러그인 개발환경 구성 및 테스트
1.2.1. npm (node package manager) 설치
1.2.2. grunt 설치
1.2.3. bower 설치
1.2.4. 빌드(build) 진행하기
1.2.5. 그라파나(Grafana) 설치하기
1.2.6. 플러그인 설치하기
1.3. 사용 언어
1.3.1. JS(Javascript, Nodejs)
1.3.2. ECMAScript2015(Javascript)
1.3.2.1. ECMAScript2015
1.3.2.1. ECMAScript2015 컴파일러
1.3.2.3. BABELJS ES2015 (ECMAScript2015) 컴파일러 설정
1.3.3. JSON
1.3.4. SVG
1.4. 주 라이브러리 역할 및 사용 방법
1.4.1. jQuery
1.4.2. D3.js
1.4.3. snap.js
1.5. 플러그인 연동 제품
1.5.1. Method-Draw
1.5.2. Ventus
1.6. 동적 SVG 제어
1.6.1. 조건에 따른 SVG 객체의 속성 변화

2. 데이터 수집 및 적재
2.1. 데이터 수집 및 적재 환경 개요
2.2. 사용 제품
2.2.1. Beats (Filebeat, Metricbeat, Packetbeat, Libbeat(devel))
2.2.2. Apache Kafka
2.2.2. Logstash
2.2.3. Elasticsearch
2.2.4. Kibana

3. 데이터 처리 및 머신러닝
3.1. 데이터 처리 및 머신러닝 사양 개요
3.2. 머신러닝 상세 사항
3.2.1. 이상 탐지 (Anomaly detection)
3.2.2. K-means 알고리즘
3.2.3. NCD 알고리즘
3.2.4. 변화율 계산
3.2.3. 타임 윈도우 (Time window)
3.2.4. 실시간 데이터 처리 및 검증

4. 결론
4.1. 연산 결과
4.2. 결과 해석
4.3. 결론

5. 향후 방향

본문내용

0.5. 모니터링 및 데이터 분석에 사용되는 언어
0.5.1. Python
다양한 종류의 처리 및 분석 방법을 제공하고 빠른 아이디어 구현에 도움을 주는 언어를 기반으로 모니터링 및 데이터 분석의 전처리를 지원한다 Python.

0.5.2. Scala
JVM( ) Scala JAVA 자바 가상머신 위에서 해석과 실행이 가능한 언어는 를 기반으로 하는 플랫폼을 효율적으로 운용하기 위해 사용된다.

0.5.3. Python Scala 과 의 결합
Python , Scala 이 가지는 처리 방법의 다양성 및 빠른 아이디어 구현의 장점과 가 가지는 언어 기반의 플랫폼을 효율적으로 운용할 수 있는 장점을 동시에 활용하기 JAVA 위해 서로 결합하여 사용할 수 있다.

0.6. 모니터링 및 데이터 분석에 사용되는 기술
0.6.1. BASE64
BASE64 64 는 바이너리 형태를 가진 모든 데이터를 개의 아스키 문자로 표현하도록 돕는 알고리즘이다 데이터 처리 전 표현 방식의 일관성을 가질 필요가 있는 데이터를 처리하기 위해 사용되었다.
0.6.2. DEFLATE
DEFLATE , 는 압축 알고리즘의 일종으로 본 프로젝트에서는 압축 알고리즘의 결과값 압축 후 길이 를 활용하는 알고리즘에 적용하기 위해 사용되었다 ( ) .
0.6.3. JSON
Key-Value 자바스크립트에서 바로 사용할 수 있는 데이터 포맷이다 구조를 가지고 있어 값으로 데이터에 접근할 수 있는 것이 특징이다 플러그인 개발만이 아닌 상위 또 Key 는 하위 프로젝트 전반의 데이터 교환을 위해서 사용되었다.
0.6.4. REST
HTTP POST/GET 의 규격을 활용하여 데이터 입출력 및 데이터베이스 명령을 수행하기 위해 사용되었다.

참고자료

· 없음