본문내용
1. 서론
IMF 이후 우리 사회에는 신지식인 또는 지식근로자라는 용어가 유행하고 있다. 그러나 이 용어는 검증을 거치지 않고 급속히 확산되어 사용되고 있으며, 신지식인 개념이 전통적인 지식인 개념과 충돌할 수 있다는 학계의 우려도 제기되고 있다. 피터 드러커에 따르면, 20세기에 가장 중요한 경영 기여는 제조분야에서 육체근로자의 생산성을 50배나 증가시킨 것이었다. 그러나 21세기에는 지식작업과 지식근로자의 생산성 향상이 가장 중요한 과제가 될 것이다. 이는 부의 창출 도구가 생산시설에서 지식근로자의 생산성으로 이동되었을 뿐만 아니라, 근로자의 생산성 내용 자체가 달라졌기 때문이다. 따라서 테일러와 드러커의 생산성에 관한 견해와 업적을 역사적 관점에서 이해할 필요가 있다.
2. 데이터마이닝의 개념과 특징
2.1. 데이터마이닝의 정의
데이터마이닝이란 수집된 데이터로부터 발견되지 않은 유용한 지식을 찾기 위한 일련의 기술이다.
CRM 시스템의 기능적 요구사항 중 하나로 응용 기술 활용(ERP, CRM, SCM)과 기술적인 인프라스트럭처(데이터 웨어하우스, 데이터마이닝, OLAP)를 들 수 있다. 즉, 데이터마이닝은 CRM을 수행하기 위한 요소 기술 중 하나로 볼 수 있다.
데이터마이닝은 운영 시스템으로부터 수집된 데이터를 분석하여 CRM을 수행할 수 있도록 구체적인 비즈니스 규칙을 만들어내는 과정이다. 이를 통해 CRM에서 활용할 수 있는 연관 규칙, 분류 규칙, 군집화 규칙, 순차 패턴 등 다양한 형태의 지식을 창출할 수 있다.
2.2. 데이터마이닝의 특징
데이터마이닝의 특징은 다음과 같다.
첫째, 개발된 예측 모형이 새로운 데이터에서도 얼마나 잘 적용되는지에 대해서 초점을 두고 있다. 데이터마이닝은 통계학, 인공지능, 전산학과 같은 공학 기반의 지식을 기반으로 만들어지고 검증되어 왔기 때문에, 새로운 데이터에서의 모형 적용성이 중요하다.
둘째, 데이터를 얼마나 잘 정의하고 수집하고 있는지가 매우 중요하다. 데이터마이닝은 대용량의 자료를 실시간으로 다룰 수 있어 산업 현장에서 유용하게 활용될 수 있지만, 이를 위해서는 분석 대상이 되는 데이터의 확보와 정제 과정이 선행되어야 한다.
셋째, 데이터마이닝은 CRM을 수행하기 위한 요소 기술 중 하나이다. 데이터마이닝은 운영 시스템으로부터 수집된 데이터를 분석하여 CRM을 수행할 수 있도록 구체적인 비즈니스 규칙을 만들어내는 과정이다. 이러한 데이터마이닝의 결과물은 CRM에서 활용될 수 있는 다양한 형태의 지식을 제공한다.
2.3. 데이터마이닝과 CRM
데이터마이닝과 CRM의 관계는 다음과 같다. 데이터마이닝은 CRM을 수행하기 위한 요소 기술 중 하나이다. 즉, 데이터마이닝은 운영 시스템으로부터 수집된 데이터를 분석하여 CRM을 수행할 수 있도록 구체적인 비즈니스 규칙을 만들어내는 과정이라고 할 수 있다.
데이터마이닝은 CRM을 위해 제공할 수 있는 지식의 형태가 다양하다. 연관규칙을 통해 구매된 상품들 간의 연관성, 교차 판매 대상 상품, 상품 패키지 구성 정보를 제공할 수 있다. 분류 규칙을 통해 기 구분된 고객 그룹별 속성, 고객이탈 수준 등급, 신용등급 정보를 도출할 수 있다. 군집화 규칙을 통해 탐색적인 고객군집 별 속성, 제품 카테고리, 매장 관리 정보를 파악할 수 있다. 순차패턴 분석을 통해 연속 판매 프로그램, 로열티 강화 프로그램을 개발할 수 있다. 일반화 규칙을 통해 고객이탈 수 예측, 고객등급 예측, 구매 추세 예측 정보를 얻을 수 있다.
이처럼 데이터마이닝은 CRM 수행을 위해 필요한 다양한 지식을 제공할 수 있다. CRM에서는 이러한 데이터마이닝 기반의 지식을 활용하여 고객과의 관계를 형성, 유지, 강화해 나갈 수 있다. 따라서 데이터마이닝은 CRM의 핵심 요소 기술 중 하나라고 할 수 있다.
3. 데이터마이닝 프로세스
3.1. 표본 추출
표본 추출은 데이터마이닝 프로세스의 첫 단계로, 전체 데이터 집단에서 분석 대상이 되는 표본을 추출하는 과정이다.
데이터마이닝 분석을 위한 표본 추출 시에는 다음과 같은 고려사항이 있다. 첫째, 분석 목적에 부합하는 적절한 표본을 선정해야 한다. 둘째, 선정된 표본이 전체 모집단을 대표할 수 있어야 한다. 셋째, 표본의 크기가 너무 작거나 너무 크지 않도록 적절해야 한다.
구체적인 표본 추출 방법으로는 단순임의추출, 층화추출 등이 있다. 단순임의추출은 모집단에서 무작위로 표본을 추출하는 방법이다. 층화추출은 모집단을 몇 개의 동질적인 층으로 나눈 뒤 각 층에서 비율에 따라 표본을 추출하는 방법이다.
데이터마이닝에서는 일반적으로 표본을 학습 데이터, 평가 데이터, 검증 데이터의 세 가지로 구분한다. 학습 데이터는 모형 개발에 사용되며, 평가 데이터는 모형의 성능을 측정하는데 활용된다. 검증 데이터는 최종적으로 모형의 일반화 성능을 평가하는데 사용된다.
이와 같이 적절한 표본 추출은 데이터마이닝 분석의 핵심 단계로, 분석 목적에 부합하는 표본 설계와 선정이 매우 중요하다.
3.2. 데이터 탐색
데이터 탐색은 데이터마이닝 프로세스의 핵심 단계 중 하나로, 분석에 활용될 데이터의 특성을 파악하는 작업이다.
데이터 탐색 단계에서는 데이터에 포함된 변수들이 어떠한 분포를 가지고 있는지, 변수들 간의 관계는 어떠한지를 파악하게 된다. 이를 통해 분석 목적에 맞는 적절한 변수들을 선별하고, 추후 데이터 모델링 단계에서 효과적인 분석 기법을 적용할 수 있다.
먼저, 데이터 탐색 단계에서는 변수들의 분포를 파악하게 된다. 변수가 수치형인지 범주형인지, 연속적인 값을 가지는지 이산적인 값을 가지는지를 확인한다. 또한 변수들의 평균, 중앙값, 표준편차 등의 기초 통계량을 분석하여 변수의 특성을 이해하게 된다.
다음으로, 변수들 간의 관계를 탐색한다. 상관분석을 통해 변수들 간의 상관관계를 확인하고, 이를 바탕으로 변수들의 관계 패턴을 이해할 수 있다. 이는 추후 데이터 모델링 단계에서 종속변수와 독립변수를 선정하는 데 도움이 된다.
또한 데이터 탐색 단계에서는 이상치(outlier) 탐지와 결측치 처리 등의 데이터 품질 향상 작업도 수행된다. 이상치와 결측치는 데이터 모델링 단계에 부정적인 영향을 미칠 수 있기 때문에, 이를 사전에 파악하고 적절히 처리하는 것이 중요하다.
종합해보면, 데이터 탐색 단계는 분석에 활용될 데이터의 특성을 이해하고 데이터 품질을 향상시키는 핵심적인 단계라고 할 수 있다. 이를 통해 데이터마이닝 프로세스의 성공적인 수행이 가능하게 된다.
3.3. 데이터 변환 및 변수선정
데이터 변환 및 변수선정은 데이터마이닝 프로세스의 중요한 단계이다. 분석의 목적에 적합한 형태로 데이터를 변환하고 분석에 필요한 변수를 선정하는 작업이 이루어진다.
먼저, 데이터 변환 단계에서는 데이터의 원시 형태를 분석의 목적에 맞게 변환한다. 이 때 변수의 형태를 구분하고 필요에 따라 재코딩, 표준화, 파생변수 생성 등의 작업을 수행한다. 예를 들어 연속형 변수는 적절한 구간으로 구분하여 범주형 변수로 변환할 수 있다. 또한 분포가 편향된 변수는 로그 변환 등의 방법으로 정규성을 개선할 수 있다.
다음으로 변수선정 단계에서는 분석 목적에 가장 적합한 변수들을 선정한다. 일반적으로 종속변수에 유의미한 영향을 미치는 독립변수들이 선정된다. 이 때 전문가의 지식과 통계적 기법을 함께 활용한다. 전문가의 지식을 바탕으로 관련성이 예상되는 변수들을 1차적으로 선별하고, 이후 상관분석, 회귀분석 등을 통해 통계적 유의성을 검증한다. 유의미한 변수들을 최종 모형에 포함시키게 된다.
데이터 변환 및 변수선정 과정에서는 분석의 목적과 데이터의 특성을 종합적으로 고려해야 한다. 선별된 변수들은 모형의 설명력과 예측력에 직접적인 영향을 미치므로, 이 단계에서의 의사결정이 매우 중요하다. 또한 변수선정 과정에서는 다중공선성, 과적합 등의 문제를 해결하기 위해 변수 간 상관관계와 영향력을 면밀히 진단한다.
데이터마이닝에서 데이터 변환과 변수선정은 핵심적인 단계로, 분석 목적과 데이터 특성을 종합적으로 고려하여 이루어져야 한다. 이를 통해 보다 의미 있고 정확한 분석 결과를 도출할 수 있다.
3.4. 데이터 모델링
데이터 모델링 단계는 데이터마이닝 프로세스의 중요한 부분으로, 초기에 해결하고자 했던 경영문제의 특성에 맞는 적절한 기법을 통해 모형을 개발하는 과정이다.
먼저 앞 단계에서 선정된 변수들이 추가적으로 수정될 수 있다. 모형 개발에 사용되는 변수에 대해서는 몇 가지 사항을 고려해야 한다. 첫째, 투입되는 변수는 종속 변수에 영향력을 줄 수 있는 변수가 중심이 된다. 둘째, 통계적으로 유의한 영향을 주는 변수들만이 사용되는 것은 아니다. 셋째, 경우에 따라 각 변수들을 표준화해 주거나 기타 변환을 수행해야 할 수 있다.
다음으로 데이터 모델링 단계에서는 여러 종류의 모형을 평가하여 가장 적합한 후보를 선정하는 것이 중요하다. 평가 지표로는 신뢰성, 타당성, 정확성, 유용성 등이 고려되어야 한다. 이때 학습 데이터 표본과 검증 데이터를 활용한다.
결과적으로 데이터 모델링은 데이터마이닝 프로세스에서 분석 목적에 가장 적합한 모형을 개발하는 핵심 단계라고 할 수 있다. 적절한 변수 선정과 모형 평가를 통해 최적의 모형을 도출하는 것이 이 단계의 주요 목표이다.
3.5. 모형 평가
모형 평가는 데이터마이닝 프로세스의 마지막 단계로, 개발된 예측 모형이 새로운 데이터에서도 얼마나 잘 적용되는지를 평가하는 단계이다.
데이터마이닝 기법들은 대용량의 데이터를 활용하여 통계학, 인공지능, 전산학 등의 지식을 기반으로 개발되고 검증된다. 이때 모형 평가는 해당 모형의 정확성, 신뢰성, 유용성 등을 종합적으로 판단하는 중요한 과정이 된다.
모형 평가의 주요 지표로는 정분류율, 오분류율, 민감도, 특이도 등이 있다. 정분류율은 모형이 전체 표본을 정확하게 분류한 비율을 나타내며, 오분류율은 모형이 잘못 분류한 비율을 의미한다. 민감도는 실제로 참인 경우를 정확하게 찾아내는 비율이며, 특이도는 실제로 거짓인 경우를 정확하게 찾아내는 비율을 나타낸다.
이러한 지표들을 활용하여 여러 가지 모형을 비교 평가할 수 있으며, 가장 적합한 모형을 선정하게 된다. 이때 학습 데이터 표본과 별도의 검증 데이터를 활용하여 모형의 일반화 성능을 확인하는 것이 중요하다.
모형 평가 과정에서는 모형의 신뢰성, 타당성, 정확성, 유용성 등이 종합적으로 고려된다. 이를 통해 실제 업무에 적용 가능한 우수한 모형을 선정할 수 있게 된다.
4. 연관규칙분석
4.1. 연관규칙 마이닝이란?
연관규칙 마이닝이란 대규모의 데이터 항목들 중에서 유용한 연관성과 상관관계를 찾는 기법이다. 상품 또는 서비스 간의 관계를 살펴보고, 이로부터 유용한 규칙을 찾아내고자 할 때 이용된다.
연관규칙 마이닝의 원리는 상품 혹은 서비스의 거래 데이터로부터 상품간의 연관성 정도를 측정하여 연관성이 많은 상품들을 파악하는 것이다. 예를 들어, 상품 A가 구매된 경우 상품 C도 구매된다와 같은 연관성 규칙을 찾아내는 것이다.
이때 상품이 거래된 빈도를 바탕으로 연관성과 관련된 세 가지 판단 기준, 즉 지지도, 신뢰도, 향상도가 고려된다. 지지도는 전체 거래 중에서 A와 C를 함께 포함하는 거래에 대한 확률을 나타내며, 신뢰도는 A를 구매한 경우 C를 구매할 확률을 의미한다. 향상도는 A를 구매한 경우 C를 구매하는 것이 독립적인 관계인지 아니면 상관관계가 있는지를 나타낸다.
연관규칙 마이닝은 다양한 분야에서 활용될 수 있다. 카드사에서 VIP 고객들을 군집화하여 일반 고객군과의 차이점을 파악하거나, 일반 고객 중 VIP에 가까운 고객을 대상으로 교차 판매 마케팅 전략을 수립하는 데 사용될 수 있다. 또한 프랜차이즈 기업이나 여러 매장을 운영하는 기업에서는 유사한 성향의 매장을 군집화하여 차별화된 관리를 할 수 있다.
이와 같이 연관규칙 마이닝은 데이터에 내재된 패턴과 관계를 발견함으로써 고객에 대한 이해를 높이고, 이를 바탕으로 효과적인 마케팅 전략을 수립하는 데 도움을 준다.
4.2. 원리
연관규칙 마이닝의 원리는 다음과 같다.
대규모의 데이터 항목들 중에서 유용한 연관성과 상관관계를 찾는 것이 연관규칙 마이닝의 핵심이다. 구체적으로는 상품 또는 서비스 간의 관계를 살펴보고, 이로부터 유용한 규칙을 찾아내는 것이 목적이다.
연관규칙 마이닝에서는 상품 거래 데이터로부터 상품간 연관성 정도를 측정하여 연관성이 높은 상품들을 파악한다. 예를 들어 상품 A가 구매된 경우 상품 C도 함께 구매된다는 연관성 규칙을 도출할 수 있다.
이때 상품이 거래된 빈도를 바탕으로 연관성과 관련된 세 가지 판단 기준인 지지도, 신뢰도, 향상도를 고려한다.
지지도는 전체 거래 중에서 A와 C가 함께 포함된 거래의 비율을 나타내어 전반적인 거래 규모를 의미한다. 신뢰도는 A가 발생했을 때 C가 발생할 조건부 확률을 나타내어 A 구매 시 C 구매 가능성을 의미한다. 향상도는 A와 C의 독립적인 관계인지, 양의 상관관계가 있는지를 측정한다.
이를 통해 연관규칙 마이닝은 상품 간 관계성을 파악하고, 교차판매나 상품 패키징 등의 마케팅 전략 수립에 활용될 수 있다.
4.3. 향상도의 의미
향상도의 의미는 다음과 같다. 향상도(Lift)는 상품 A를 구매한 고객들 중에서 상품 C를 동시에 구매한 비율과 전체 고객들 중에서 상품 C를 구매한 비율의 비율을 의미한다. 즉, 상품 A와 상품 C의 구매가 독립적인지 아니면 서로 상관관계가 있는지를 나타내는 척도이다.
향상도가 1보다 큰 경우, 상품 A와 상품 C의 구매 사이에 양의 상관관계가 존재한다는 것을 의미한다. 이는 상품 A를 구매한 고객이 상품 C를 구매할 확률이 전체 고객들의 상품 C 구매 확률보다 ...
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26