데이터베이스 고급 기술

소개글

데이터베이스 고급 기술

목차

없음

본문내용

데이터 웨어하우징(Data Warehousing)
데이터 웨어하우징(Data Warehousing)의 출현 배경
폭발적으로 증가하는 대량의 데이터를 효과적으로 분석하여 의사 결정에 필요한 정보를추출하기 위해 출현하였다.
기존의 분석 처리 도구인 OLTP(On-Line Transaction Processing) 방식으로는 유용한 정보나 고급 지식 정보 추출이 불가능하였으므로 효율적인 OLAP(On-Line Analytical Processing) 업무지원(의사 결정 지원)이 불가능하였다. 이로 인하여 데이터 웨어하우징이란 개념이 출현하게 되었다.
데이터 웨어하우징의 구성 요소
기존 데이터 변환 및 추출
통합 과정
데이터 웨어하우스에 loading 관리 과정
미들웨어(Middleware)
사용자들의 액세스 과정
데이터 웨어하우징을 구축하는 이유
기존에 구축되어 있는 응용 시스템들은 전사적인 지식 정보 지원 시스템을 염두에 두고 구축된 것이 아니라 현업 부서의 특정 업무를 자체 운영(Operation)하기 위하여 구축된 전산 시스템이기 때문이다.
경영자가 의사 결정을 위해 요구하는 정보 요구사항(Requirement)은 특정 부서의 전산팀이 처리하는 업무 내용과 다르기 때문에 기존의 응용 시스템으로는 경영 정보를 즉시 지원하기가 어렵다.
의사 결정 지원 경영 정보는 여러 시스템의 다양한 데이터를 통합하여 추출하여야 하기 때문이다.
데이터 웨어하우징의 특징
주제 중심적(Subject-oriented) 구성
통합된(Integrated) 내용
시간에 따라 변화되는(Time-variant) 값의 유지
비갱신성(Non-volatile)
데이터 웨어하우징의 장점
정형화된 질의를 이용하여 즉시 원하는 데이터를 추출하여 다차원으로 분석할 수 있다.
비정형화된 질의이더라도 데이터 모델링에 의해 즉시 그 데이터를 조건에 맞도록 원하는 데이터를 추출할 수 있다.
시장 변화에 대한 기업의 신속한 응대가 가능하다.
전략적인 정보 도구로 활용할 수 있다.
데이터 웨어하우징의 응용 분야
고객정보 관련 업무
구매정보 관련 업무
마케팅 관련 업무
배송 및 물류 관련 업무
원가 관리 관련 업무
데이터 마이닝(Data Mining)
데이터 마이닝(Data mining)이란 방대한 양의 데이터베이스로부터 의사 결정 지원을 위하여 데이터를 분석하는 기술이다.
데이터 마이닝의 출현배경
정보화 시대의 기업 환경적 요인
정보화 시대의 기업 환경에서 기업이 생존하고 발전하기 위해서는 지속적으로 소비자의 동향을 파악하고, 자사는 물론 경쟁사의 경영전략까지 효과적으로 분석하고 대처할 수 있는 능력이 절실히 요구된다. 이를 가능케 하는 것이 바로 지식정보이다.
정보 기술의 발전에 따른 기술적 요인
정보 기술은 업무의 자동화를 촉진시켰으며, 대량의 데이터를 전자적으로 수집하고 보관하는 기능을 가능케 하였다. 기업 경영 측면에서 데이터는 중요한 시장, 경쟁자, 고객 등에 관한 정보를 내재하고 있다. 그러나 가공되지 않은 데이터 자체는 아무런 의미가 없다. 따라서 기업들은 정보 기술을 이용하여 데이터를 분석하고, 결과를 해석하는 자동화 된 데이터 분석 방법에 관하여 높은 관심을 갖게 되었다.
데이터 마이닝의 정의
대량의 데이터가 축적되어 있는 데이터베이스로부터 데이터간의 정보를 분석하고, 유용한 정보 도는 지식을 추출하는 과정을 데이터 마이닝(Data Mining)이라고 부른다.
데이터 마이닝의 특징
데이터 마이닝 기술들은 과거의 데이터로부터 비계획적으로 수집되어 축적된 대량의 데이터베이스로부터 대용량의 데이터를 다룬다.
데이터 마이닝 기술들은 초고속 컴퓨터의 처리능력을 이용하여 실용화되고 있다.
데이터 마이닝 기술들은 데이터베이스의 구체적 사실 값으로부터 특정 패턴(새롭고 유용한 정보 또는 지식)을 추출하는 것이므로 귀납적 학습 방법을 주로 사용한다.
데이터 마이닝 기술들은 공학 분야, 기업 업무 분야, 의학 분야, 과학 분야, 사회학 분야 등의 다양한 분야에서 이용이 가능하다.
데이터 마이닝 기술의 주요 관심사는 통계적 추론과 검정보다는 예측모형의 일반화에 있다. 데이터 마이닝 기술들은 기반 메모리를 디스크 기반으로 하고 있으며, 데이터베이스의 크기는 대용량의 데이터베이스를 대상으로 하고 있다.
데이터 마이닝 기술들은 기업의 다양한 의사 결정 지원을 하기 위해서 사용된다.
데이터 마이닝 기술들은 통계학, 전산과학, 인공지능, 기계학습(machine learning), 데이터 시각화(data visualization), 병렬 처리 기술 등의 다양한 분야의 기술들과 원천 기술을 공유한다. 즉, 다양한 분야에서 이용되고 있는 복합기술이다.
데이터 마이닝의 처리과정
적용업무 정의 단계
데이터 마이닝을 요구한 문제에 대한 명세화와 데이터 마이닝의 목표에 대한 명확한 정의를 내리는 단계이다. 즉, 데이터 마이닝에 의해 추출된 결과를 어떤 의사 결정 지원에 활용할 것인지를 실제 업무와의 연계성을 충분히 고려하여 문제를 정의하고 목표를 결정하는 단계이다.
데이터베이스 구축 단계
적용될 데이터베이스나 데이터를 선택하는 단계로서 필요한 데이터 웨어하우스 또는 데이터 마트를 구축하여 대량의 데이터베이스를 준비하는 단계이다.
데이터 마이닝 기법 적용 단계
데이터 마이닝 기법의 기능을 선택하여 적용하는 단계이다. 데이터 마이닝 기법의 기능은 다음과 같이 다양한 기능으로 분류할 수 있다.
데이터 샘플링 및 선택(Data Sampling/Selection)
데이터 정제(Data Cleaning)
데이터 코딩(Data Coding)
데이터 보강(Data Enrichment)
데이터 마이닝 모델링(Data Mining Modeling)
분류화(Classification)
추정 및 예측
군집화(Clustering)
변형 및 탐색(Transformation/Exploration)
가시화 및 보고(Visualization/Reporting) 등
데이터 정제(Data Cleaning) 기능은 부정확 데이터 값이나 불필요한 레코드를 삭제하는 일이다. 그리고, 데이터 코딩(Data Coding)은 분석하는데 불필요한 데이터를 삭제하거나 정리 및 조정하는 일이며, 보강은 기존 데이터에 새로운 정보를 추가하거나 연결하는 일이다.
해석과 평가 단계
데이터 마이닝 과정에서 추출된 결과물이나 분석 결과를 토대로 적용 업무에 부합하는지 판단하기 위한 토론과 해석에 의한 평가 단계이다. 해석과 평가 단계에서는 최종 사용자나 분석 전문가들과 충분한 토론을 거처 잘못된 부분이 있으면 다시 향상된 정보를 얻기 위해 데이터 마이닝의 초기 단계로 피드백(Feedback)하여 다시 처리하여야 한다. 데이터 마이닝에 의해 추출된 결과물은 사용자가 쉽게 해석이 가능한 지식(용어 또는 의사결정 정보)으로 표현되어야 하며, 1단계(적용업무 정의 단계)에서 정의된 문제와 목표(평기기준)에 의해 평가되어야 한다. 만약에 평가 단계에서 잘못된 부분이 있는 경우에는 이전 단걔로 피드백하여 다시 반복처리가 필요하다.
데이터 마이닝 결과의 통합
데이터 마이닝 과정에서 유용한 정보로 추출되어 평가된 성공적인 결과를 사후 처리를 위해 다른 시스템에 통합하는 단계이다. 이 통합된 결과는 의사 결정 지원을 위해 사용되며, 사후 처리를 위해 다른 시스템에 통합되거나 필요로 하는 사용자를 위해 문서화된다.
의사 결정 단계
데이터 마이닝에 의해 추출된 새롭고 유용한 정보 또는 지식을 기반으로 수립된 새로운 유용한 전략이나 의사결정 등을 실 업무에 지원하는 단계이다.
데이터 마이닝의 접근 방법
연관(Association) 규칙
하나의 연관된 관계(정보)를 알 경우에 다른 연관된 관계(정보)를 예측할 수 있다라고 가정하면, 이들의 관계는 종속관계가 존재한다. 연관 규칙을 찾아내는 방법은 대량의 데이터베이스로부터 존재하는 데이터간의 종속관계를 찾아내는 일이다.
연속(Sequence) 규칙
연속 규칙이란 연관 규칙에 시간관련 정보를 포함한 형태를 말한다. 즉, 연속 규칙은 시간성 때문에 연관 규칙보다 더 구체적이다.
분류(Classification) 규칙
분류 규칙은 데이터 마이닝에서 가장 많이 사용되는 접근 방법에 대한 적용 기술이다. 분류 규칙은 대량의 데이터베이스로부터 분류별 특성을 추출하여 분류 모형을 생성하고, 이를 기반으로 새로운 레코드의 분류 값을 예측하는 것을 의미한다.
데이터 군집화(Data Clustering)
데이터 군집화는 대량의 데이터베이스로부터 유사한 레코드 특성을 지닌 작은 그룹으로 여러 개 분할하는 것을 말한다. 데이터 군집화는 또 다른 데이터 마이닝 작업을 하고자 할 경우에 선행작업으로 하는 경우가 많다.
데이터 마이닝의 응용분야
은행업 분야 및 신용카드업 분야
서비스별 홍보 대상 고객 특성 분석 및 선정
신용카드 도용패턴 특성 분석 및 추적
이탈 예상 고객 특성 분석 및 선정
우수 고객 특성 분석 및 선정
주식 거래 규칙 특성 분석 및 발견
신용평가 모형 특성 분석 및 개발 등
보험업 분야
보험료 청구 사기 패턴 특성 분석 및 예측
클래임 처리시간에 영향을 미치는 요소 특성 분석 및 발견
고객분류를 통한 보험료 가격 특성 분석 및 정책 수립 등
제조업 분야
제품의 수요 특성 분석 및 예측
경쟁사의 입찰액 특성 분석 및 예측
최종 생산품의 품질에 영향을 미치는 요인 특성 분석 및 발견
대리점 여신 평가 특성 분석 및 모형개발 등
소매업 분야 및 마케팅업 분야
판매실적에 영향을 미치는 요소 특성 분석 및 발견
제품 특성 분석 및 교차 판매
서비스 특성 분석 및 교차 판매
고객분류, 그룹별 특성 분석 및 발견
고객의 구매패턴과 선호도 특성 분석 및 발견
프로모션, 광고, 이벤트의 효과 특성 분석 및 측정
DM(Direct Mail)에 응답할 가능성이 높은 고객 특성 분석 및 예측 등
유통업 분야
상품 특성 분석 및 교차 판매
상품 카달로그 특성 분석 및 디자인
매장 진열 전략 특성 분석 및 수립
통신업 분야
우수 고객 특성 분석 및 선정
서비스간의 연관관계 특성 분석 및 발견
이탈 예상 고객 특성 분석 및 선정
장거리 전화의 부정한 이용 패턴 추적 및 특성 분석
무선 전화의 부정한 이용패턴 추적 및 특성 분석 등
의료업 분야
환자의 특성에 다른 의약품의 부작용 특성 분석
환자의 질병 진단이나 질병에 대한 특성 분석 등

참고 자료

없음