[ADsP] 3과목 데이터 분석 핵심노트

소개

"[ADsP] 3과목_데이터 분석_핵심노트"에 대한 내용입니다.

목차

1장 1절. 데이터 분석 기법의 이해

2장 1절. R소개
2장 2절. R기초
2장 3절. 입력과 출력

3장. 데이터 마트
3장 1절. 데이터 변경 및 요약
3장 2절. 데이터 가공
3장 3절. 기초 분석 및 데이터 관리

4장 1절. 통계분석의 이해
4장 2절. 기초 통계 분석
4장 3절. 회귀분석
4장 4절. 시계열 분석
4장 5절. 다차원척도법
4장 6절. 주성분분석

5장1절. 데이터 마이닝의 개요
5장 2절. 분류분석
5장 3절. 앙상블분석
5장 4절. 인공신경망 분석
5장 5절. 군집분석
5장 6절. 연관분석

참고서적

본문내용

[3과목 데이터 분석]
1장 1절 데이터 분석 기법의 이해
1. 데이터 처리 과정
- 데이터웨어하우스(DW)나 데이터마트(DM)을 통해 분석데이터를 가져와 사용
- 신규시스템이나 DW에 없는 데이터는 기존 운영시스템(legacy)이나 스테이징영역(Staging Area), ODS(Operating Data Store, 운영데이터장소)에서 데이터를 가져와 DW의 데이터와 결합하여 활용 (가급적이면 ODS에서 가져옴)
2. 시각화 기법
- 가장 낮은 수준의 분석이지만 잘 사용하면 복잡한 분석보다 더 효율적이며, 대용량 데이터를 다룰 때와 탐색적 분석을 할 때 시각화는 필수임
(SNA(사회연결망 분석)을 할 때 자주 활용됨)
3. 공간분석(GIS)
- 공간적 차원과 관련된 속성들을 시각화하는 분석으로 지도 위에 관련된 속성을 생성하고, 크기, 모양, 선, 굵기 등으로 구분하여 인사이트를 얻음
4. 탐색적 자료분석(EDA)
- 다양한 차원과 값을 조합해 가며 특이점이나 의미있는 사실을 도출하고 분석의 최종목적을 달성해가는 과정
- 기존의 통계학이 정보의 추출에서 가설 등에 치우쳐 자료가 가지고 있는 본연의 의미를 찾는데 어려움이 있어, 이를 보완하기 위해서 주어진 자료만 가지고 충분히 정보를 찾을 수 있도록 개발한 분석방법
[EDA 4가지 주제]
- 저항성(저항적인 자료는 자료의 일부 변동에 따른 영향을 적게 받는 것)
- 잔차 계산(개별 관측값이 흐름으로부터 얼마나 벗어나 있는지 계산)
- 자료변수의 재표현(로그변환, 제곱근변환, 역수변환 등)
- 그래프를 통한 현시성(시각화)
5. 통계분석
- 어떤 현상을 종합적으로 한눈에 알아보기 쉽게 일정한 체계에 따라 숫자와 표, 그림의 형태로 나타내는 것 (모집단으로부터 표본을 추출)
6. 데이터 마이닝
- 대표적인 고급 데이터 분석법으로 대용량의 자료로부터 정보를 요약하고 미래에 대한 예측을 목표로 자료에 존재하는 관계, 패턴, 규칙들을 탐색하고 이를 모형화함으로써 이전에 알려지지 않은 유용한 지식을 추출하는 분석방법

참고자료

· 윤종식, 2020, ADsP 데이터 분석 준전문가(2020), 데이터에듀