머신러닝을 이용한 빅데이터 품질진단 자동화에 관한 연구

최초 등록일
2019.01.05
최종 저작일
2019.01
12페이지/파일확장자 어도비 PDF
가격 4,700원 할인쿠폰받기
판매자한국학술정보(주)
다운로드
장바구니

* 본 문서는 배포용으로 복사 및 편집이 불가합니다.

서지정보

발행기관 : 사)한국빅데이터학회 수록지정보 : 한국빅데이터학회지 / 2권 / 2호
저자명 : 이진형 ( Jin-hyoung Lee )

한국어 초록

본 연구에서는 빅데이터의 품질을 진단하는 방법을 자동화하는 방법을 제안하고 있다. 빅데이터의 품질진단을 자동화해야 하는 이유는 4차 산업혁명이 이슈화 되면서 과거보다 더 많은 볼륨의 데이터를 발생시키고 이 데이터들을 활용 하려는 요구가 증가하기 때문이다. 데이터는 급증하지만 데이터의 품질을 진단하기 위해 많은 시간이 소비된다면 데이터를 활용하기 위해 많은 시간이 걸리거나 데이터의 품질이 낮아질 수 있다. 그러면 이러한 낮은 품질의 데이터로부터 의사결정이나 예측을 한다면 그 결과 또한 잘못된 방향을 제시할 것이다. 이러한 문제를 해결하기 위해 많은 데이터를 신속하게 진단하고 개선할 수 있는 머신러닝 이용한 빅데이터 품질 향상을 위한 진단을 자동화 할 수 있는 모델을 개발하였다. 머신러닝을 이용하여 도메인 분류 작업을 자동화하여 도메인 분류 작업 시 발생할 수 있는 오류를 예방하고 작업 시간을 단축시켰다. 연구 결과를 토대로 데이터 변환의 중요성, 학습되지 않은 데이터에 대한 학습 시킬 수 있는 방안 모색, 도메인별 분류 모델을 개발에 대한 연구를 지속적으로 진행한다면 빅데이터를 활용하기 위한 데이터 품질향상에 기여할 수 있을 것이다.

영어 초록

In this study, I propose a method to automate the method to diagnose the quality of big data. The reason for automating the quality diagnosis of Big Data is that as the Fourth Industrial Revolution becomes a issue, there is a growing demand for more volumes of data to be generated and utilized. Data is growing rapidly. However, if it takes a lot of time to diagnose the quality of the data, it can take a long time to utilize the data or the quality of the data may be lowered. If you make decisions or predictions from these low-quality data, then the results will also give you the wrong direction. To solve this problem, I have developed a model that can automate diagnosis for improving the quality of Big Data using machine learning which can quickly diagnose and improve the data. Machine learning is used to automate domain classification tasks to prevent errors that may occur during domain classification and reduce work time. Based on the results of the research, I can contribute to the improvement of data quality to utilize big data by continuing research on the importance of data conversion, learning methods for unlearned data, and development of classification models for each domain.

참고 자료

없음

자료문의

제휴사는 별도로 자료문의를 받지 않고 있습니다.

판매자 정보

한국학술정보(주)는 콘텐츠 제작에 도움이 되는 솔루션을 기반으로 풍부한 문화 콘텐츠를 생성하여 새로운 삶의 가치를 창조합니다.

본 학술논문은 한국학술정보(주)와 각 학회간에 저작권계약이 체결된 것으로 AgentSoft가 제공 하고 있습니다.
본 저작물을 불법적으로 이용시는 법적인 제재가 가해질 수 있습니다.

찾던 자료가 아닌가요?아래 자료들 중 찾던 자료가 있는지 확인해보세요

상세하단 배너
우수 콘텐츠 서비스 품질인증 획득
최근 본 자료더보기
머신러닝을 이용한 빅데이터 품질진단 자동화에 관한 연구