[통계]최소자승법의 원리와 예

소개

최소자승법의 원리와 간단한 풀이법

목차

1. 회귀의 개념
2. 최소자승법이란?
3. 참고자료 :

본문내용

1. 회귀의 개념
두 변인이 일관된 관계일 때 한 변인의 알려진 값을 이용하여 다른 쪽의 대응 값을 예측 할 수 있다. 한 변인을 다른 변인으로부터 예언하는 문제를 회귀라 부른다. 회귀라는 용어는 변인들 사이의 관계성을 기술하고 한 변인을 다른 변인으로부터 예언하는 다양한 기법들을 의미한다.

2. 최소자승법이란?
일반적으로 두 변인 X와 Y간의 직선관계를 방정식으로 나타낼 수 있다. 이 때,
와 같은 회귀선으로 나타낸다. 이러한 X, Y 두 변인 사이의 관계를 분석하는 것을 단순회귀분석이라 한다. 이 때 적합한 회귀선을 구하기 위하여 이용되는 기준을 최소자승법이라 한다. 즉, 에서 다른 직선들의 b0와 b1의 구체적인 값들은 서로 다를 것이다. 목적은 어떤 선이 실제 자료점들과 가장 근접한지를 결정하는 것이다. 직선이 자료점들에 얼마나 적합한지를 판정하려면 첫 단계는 각 자료점과 직선 사이의 거리를 수학적으로 정하는 것이다. 자료의 모든 X값에 대하여 직선방정식은 직선 위의 Y값을 결정할 것이다. 이 값은 예측된 Y이고 으로 표기한다.
실제 자료점(Y)과 직선위의 예측된 점간의 수직적 거리를 측정하며 이 거리는 직선과 실제자료 사이의 오차를 측정한다. 실제자료점(Y)과 직선상의 예측점()간의 거리는 Y-‘으로 나타낸다. 회귀의 목표는 이 거리를 최소화하는 직선의 방정식을 찾는 것이다.
이 거리중 어떤것은 (+)이고 어떤 것은 (-)일 것이므로 오차의 일률적인 측정치를 얻기 위해 각 거리를 자승하여 합하는 과정이 필요하다. 다음으로 직선과 자료간의 전체 오차를 결정하기 위하여 모든 자료점에 대해 자승된 오차를 합한다. 따라서, 최소자승법은 이러한 오차들의 자승의 합(∑e2)이 최소가 되게 하는 일차방정식을 구하는 과정이다.

참고자료

· 최신 통계학, 손진식 외 3명 공역, 신광 문화사
· 통계학 강의 - 엑셀에 의한 통계 처리 실습, 문덕중 외 2명 공저, 도서출판 진영사