다중회귀분석에 대한 이론정리

소개

자료분석 과목에서 배운 다중회귀분석을 체계적으로 정리해 보았습니다.

목차

0. 정규성 검정


1. 다중 회귀 모형과 회귀 계수 추론


2. 다중회귀모형의 적합성 검정


3. 회귀진단

3.1 잔차분석
3.2 영향력 관찰값
3.3 다중공선성


4. 변수 선택

4.1 모든 가능한 회귀
4.2 축자제곱합과 부분 제곱합
4.4 후진 소거법
4.3 전진 선택법
4.5 단계별 선택법

본문내용

1. 다중 회귀 모형과 회귀 계수 추론



는 번째 측정된 종속변수의 값.
는 번째 측정된 독립변수의 값.
는 모집단 회귀계수.
는 번째 측정된 의 오차항으로 서로 독립이며 N(0, )을 따른다.
종속 변수 y에 영향을 미치는 독립 변수가 k개인 경우의 다중회귀모형을 다음과 같이 나타낸다.

다중회귀분석에서는 식의 표현이나 계산을 편리하게 하기 위해 일반적으로 행렬과 벡터를 사용한다. 위의 다중회귀모형을 행렬과 벡터를 이용하여 다음과 같이 쓸 수 있다.




이 때 회귀 계수 의 최소제곱추정량 은 다음과 같이 구해진다.




다중회귀분석에서 회귀계수의 추론은 t-통계량을 이용하여 실시한다.

검정통계량 :
신뢰 구간 :
그리고 이를 이용하여 에 대한 검정통계량과 에 대한 100(1-)% 신뢰구간은 다음과 같이 주어진다.


2. 다중회귀모형의 적합성 검정
다중회귀모형의 적합성 검정은 단순회귀모형의 경우와 동일하다. 즉, 종속변수 y의 총변동 SST는 추정된 회귀식에 의해 설명되는 변동 SSR과 잔차에 의한 변동 SSE로 분해된다. 이러한 변동으로부터 다음의 분산분석표를 얻을 수 있다.

<다중회귀모형의 분산분석표>

요인
자유도
제곱합
평균제곱
F-값
회귀
k
SSR
MSR=SSR/k
=MSR/MSE
잔차
n-k-1
SSE
MSE=SSE/(n-k-1)

합
n-1
SST




분산분석표에 주어진 F-값은 설정된 다중회귀모형식의 유의성 검정에 사용되는데 이때의 귀무가설은 다중회귀 모형이 적합하지 않다는 것이다. 즉,


: 적어도 한 개 이상의 는 0이 아니다.


F-값이 이면 유의 수준 에서 귀무가설을 기각한다.


3. 회귀진단
다중회귀분석에서는 회귀모형의 적합성을 검정하고, 이상점, 영향력 관찰치, 다중공선성 등의 존재여부를 파악하여 회귀모형의 타당성을 검토하는 과정을 회귀 진단이라고 한다.

3.1 잔차분석
설정된 모형의 적합성을 보다 정확하게 판단하기 위해서는 단순회귀 분석에서 모형의 기본 가정들을 반드시 검정해봐야 한다. 즉, 오차의 독립성, 등분산성, 정규성을 검토해봐야 한다. 하지만 오차항들은 관측될 수 없으므로 이들의 일종의 추정량인 잔차를 통하여 이들 가정의 타당성을 검토해본다.

참고자료

· SAS/STAT-회귀분석, 성내경, 1991
· SAS 프로그래밍과 데이터 분석, 함형범, 2007
· 교과서