회귀분석의 기본개념 정리

소개

통계 대학원 진학을 위해 공부하는 학부생을 위한 회귀분석 개념정리 노트

목차

없음

본문내용

1. 회귀분석의 기원
영국의 유전학자 갤턴의 자녀키와 부모키의 관계연구에서 ‘자녀의 키는 무한정 작아지거나 커지는 것이 아니라 전체 키 평균으로 돌아가려는 경향이 있다’에서 유래
2. 회귀분석이란?
이론이나 경험적 근거에 의해 설정된 독립변수와 종속변수 사이의 인과관계에 따른 선형적 관계식을 구해서 어떤 설명변수가 주어졌을때 이에 따른 종속변수를 예측
3. 회귀계수 : 설명변수 x가 한 단위 증가할 때 종속변수가 얼마나 변하는지 나타낸 값.
표준화 회귀계수 : 서로 다른 설명변수의 상대적 중요도
4. 회귀모형 :
: 회귀계수, 모수, 절편, : 회귀계수, 설명변수 x의 기울기, 설명변수 x가 한단위 증가할 때 종속변수 y의 증가량, : 결정변수, : 오차항, 회귀직선에 의해서 설명되지 못하는 부분
5. 회귀분석의 가정
① 회귀계수 는 모수이면서 상수이다.
② 설명변수와 종속변수 사이에는 직선의 선형관계가 존재한다.
③ 설명변수 x는 결정변수로 오차없이 측정할 수 있다.
④ 오차항은 독립성, 정규성, 등분산성을 갖는다.
1) 독립성 : 오차항은 서로 독립이다.
2) 정규성 : 오차항은 정규분포를 따른다.(F-검정을 위해 가정)
3) 등분산성 : 오차항은 분산이 동일하다.
6. 회귀직선의 추정방법
① OLS : 오차를 최소화하는 를 추정
② MLE : 우도함수를 최대화하는 를 추정
7. OLS IS BLUE
⇨ 회귀계수에 대한 OLS 추정치는 모든 선형 불편추정량중 최소분산을 갖는다.
8. 잔차 : 종속변수의 예측치와 실제 관측치의 차이
9. 잔차의 가정
① 잔차의 합은 0이다.
② 관측치 를 가중치로 한 잔차의 가중치 평균은 0이다.
③ 예측치 를 가중치로 한 잔차의 가중치 평균은 0이다.
④ 적합된 회귀직선은 를 지난다.
10. 상관분석 : 두 변수 사이의 선형관계분석, 상관정도=상관계수(R)

참고자료

· 없음