2022 빅데이터분석기사 필기시험 대비(수제비 교과서 요점정리)

소개글

2022 4회 빅데이터분석기사 합격자 필기 요약본입니다

*두음으로 쉽게 암기하실 수 있도록 빨간색으로 단어를 표기하였습니다

*주의)
큰 제목만 있고 본문 내용이 없는 경우가 간혹 있습니다
이는 중요도에 비해 내용이 지나치게 많아
요약본으로서의 의미를 상실할 우려가 있어서 넣지 않았습니다
필요한 내용은 수제비 교재를 참고하시면 될 것 같습니다.

목차

없음

본문내용

1과목)빅데이터 분석 기획
CHAPTER1 빅데이터 이해
01 빅데이터 개요 및 활용
1)빅데이터의 특징
(1)빅데이터 개념 (데정식혜 DIKW 피라미드)
데이터에서 가치를 추출해서 결과 분석하는 기술
>데이터: 객관적 사실
Ex)A사이트 가방=3만원, B사이트 가방=4만원
>정보: 데이터 간의 관계
Ex)B사이트가방이 A사이트 가방보다 비싸다
>지식:여러 정보를 분류, 일반화, 패턴 예측
Ex)A가 싸니까 A사이트에서 악세서리 종류 구입할 계획이다
>지혜:응용
Ex)A사이트가 다른 물건도 더 쌀 것이다

(2)빅데이터 단위
1bit=0,1
1byte=8bit
KB<MB<GB<TB<PB<EB< ZB<YB 103배씩
TB이상=빅데이터

(3)빅데이터 특징 (규다속3V신가5V정휘7V)
>규모:빅데이터 분석 규모,
>다양성:정형/반정형/비정형,
>속도:빅데이터 수집,분석,활용 속도,
>신뢰성:노이즈, 오류 제거해서 데이터 품질 높이자 ,
>가치:비즈니스, 연구에 활용되어 유용한 가치를 창출하자
>정확성
>휘발성

< 중 략 >

(1)비정형 데이터의 개념
이미지, 영상, 텍스트처럼 구조화되어 있지 않은 데이터 정형=숫자 데이터

(2)비정형 데이터의 유형
① 텍스트
② 이미지

(3)비정형 데이터의 탐색 방법
① 텍스트
파싱->탐색
② 동영상, 이미지
화소(픽셀)을 이진파일형태로 변환 후 응용소프트웨어 이용 해서 탐색, 최근에는 CNN (딥러닝) 사용

(4)텍스트 데이터 탐색 방법
분석 목적 설정>데이터 수집
>[(4)데이터탐색: 데이터 전처리, 변환]
>[(5)특징추출: 텍스트 분류>텍스트 군집화>텍스트 요약]
>분석결과 시각화 및 활용

① 데이터 전처리(비정형->정형)
:어절로 분리,불필요한 문장성분 제거
-text level전처리: HTML 태그, XML 문법 제거
-sentence level : 마침표,문장부호 사용해서 문장 구분

참고 자료

빅데이터 분석기사 필기 수제비