R프로그램을 활용한 여러사례 데이터분석방법

소개글

여러사례들을 여러 데이터마이닝 기법들을 활용하여 R프로그램으로 분석하는 방법을 소개한 리포트 입니다.

목차

1. 보스턴 주택가격예측 (다중회귀분석)
2. 개인 대출 수락 여부 (K 근접 이웃분석)
3. ebay사의 경쟁 경매 데이터 (분류 회귀나무)

본문내용

6.1 보스턴 주택가격 예측 (다중회귀분석)
(a) 데이터를 학습 세트와 검증 세트로 나누는 이유는 무엇인가? 학습 세트와 검증 세트는 어떠한 용도로 사용되는가? CRIM, CHAS 및 RM를 사용하는 함수로서 주택가격 중앙값에 대한 다중선형회귀모델을 만드시오.

데이터를 학습 세트와 검증 세트로 나누는 이유 : 가장 좋은 모델은 현재 우리가 가지고 데이터의 분류/예측 성능을 최대로 하는 모델일 것이다. 그러나 모델을 구축하고 구축된 모델을 평가한느 데 같은 데이터를 사용한다면 그 평가결과는 정확하다고 할 수 없다. 그 이유는 모델 자체의 성능이 우수하여 좋은 예측결과를 낼 수도 있지만 평가 데이터의 선택이 우연히 좋아 정확한 결과를 낼 수도 있기 때문이다. 이런 문제를 해결하기 위해 데이터를 두 부분으로 나눈 후 한 부분의 데이터를 사용하여 모델을 구축하고 다른 한 부분의 데이트터를 이용하여 국축된 모델의 성능을 평가한다.

학습데이터 : 학습데이터는 모델 구축 시 사용되는 데이터이며, 여러 모델을 비교할 경우 같은 학습데이터를 사용한다.

검증데이터 : 검증데이터는 학습데이터로부터 구축된 여러 보델의 성능을 비교할 때 사용된다. 몇 몇 알고리즘에서는 검증데이터를 이용하여 모델의 파라메타를 조정함으로써 가장 정확한 모델을 선택한다.

<중 략>

모델을 구축 시, 학습세트를 통해 모델을 구축하고 검증세트는 모델의 파라미터를 조정함으로써 가장 정확한 모델을 선택한다. 검증세트를 이용하여 선정된 모델은 과접합의 위험도를 가지고 있기 때문에 모델이 미래의 새로운 데이터에 얼마만큼 예측/분류 성능을 보일지 평가세트에 평가된다.

학습세트로 구축된 모델을 최적화 시키는 파라미터(k=5)를 검증세트를 이용하여 결정하고 이 모델이 새로운 데이터에 대해 어떠한 결과를 보이는지 테스트세트로 확인한다. 테스트세트는 검증세트에 의해 필터된 모델의 성능을 평가하는 것이기 때문에 학습세트에 의한 분류행렬과 테스트세트의 분류행렬 결과의 차이는 존재 할 수 있다.

참고 자료

없음