최소 자승법 (Least Square Method)

목차

1. 최소자승법이란?
2,선형회귀분석
3."최적"적합을 위한 판별조건
4. 직선의 최소자승 적합
예제
참고문헌

본문내용

2. 선형회귀분석
최소자승 근사의 가장 간단한 예는 (x1, y1), (x2, y2), . . . .,(xn, yn)과 같은 관측치에 직선을 적합시키는 것이다. 이 직선에 대한 수학적인 표현은 다음과 같다.
여기서 은 기울기를 나타낸다. e는 관측치와 모델값의 오차 또는 잔차라 하며, 식(2)을 이용해서 다음과 같이 표현할 수가 있다.
따라서 오차 또는 잔차는 t의 참값과 선형 방정식으로 예측된 근사값 사이의 차이다.
3. “최적”적합을 위한 판별조건
데이터를 통과하는 “최적”의 직선을 구하는 방법 중 하나는 모든 주어진 데이터들에 대한 오차의 합을 최소화시키는 것이다.
여기서 n은 점들의 총 수이다. 그러나 이 방법은 부적절한 판별조건이다. 왜냐하면 두 점을 직선으로 연결하기 때문이다. 분명히 최적적합은 점들을 선으로 연결시키는 것이다. 그러나 연결선의 중앙을 통과하는 직선(완전한 수직선은 제외)은 오차들이 상괘되기 때문에 식(4)의 최소값은 0으로 된다.
또 다른 판별조선은 다음과 같이 오차의 절대값의 합을 최소화 하는 것이다.
이 방법도 역시 네 개의 점들에 대해서 점선들 이내에 떨어지는 어떠한 직선들도 합의 절대값을 최소화한다. 따라서 이 방법도 유일한 해를 도출하지 못하므로 부적절하다.
앞에서 언급한 방법들의 단점을 극복하기 위해서 측정된 t와 선형 모델을 이용해서 계산된 t 사이의 전차에 대한 제곱의 합을 다음과 같이 최소화하는 방법이 고려된다.
이 판별조건은 여러 장점이 있으며, 그 중 하나가 데이터의 집합으로부터 유일한 해를 도출할 수 있다는 사실이다. 이러한 성질들을 논의하기 전에 식(6)을 최소화하는 와 값을 결정하는 기법을 언급하겠다.

참고자료

· [1] 연세대학교 물리학과
· [2] Steven C. Chapra, Raymond P. Canale, 김태국, 나 양, 신동신, 이승배, 수치해석 5판, 한국맥그로힐(주), 2006, P.351~355.