matlab 으로 구현한 linear and nonlinear regression report

목차

1. (Linear Regression) 아래의 메트렙 코드는 은 Linear regression에서 w (즉 w0,w1) 의 여러 값을 모두 시험하여 가장 적절한 w값을 찾기 위한 메트랩 코드이다. 다음 물음에 답하여라.
(a) meshgrid의 역할을 간단하게 그림과 함께 설명하시오. (5pts)
(b) EE에는 어떠한 값이 최종 계산되는가?
(c) 최종 EE값을 출력해서 제출하고, EE에서 최소값을 찾아서 그 값을 적고, 또 그에 해당하는 w0, w1값을 적으시오. 또한 w와 EE에 대한 그래프도 출력해서 제출하고 그림의 어느 부분이 최소값 인지 표시하시오.
(d) w = (x`x)^(-1)*x`y를 이용해 구한 w값과 (c)에서 구한 값을 비교하면 다를 것이다. 다른 이유는 무엇이며, 이 값을 좀 더 정확하게 찾기 위해서는 메트랩 코드를 어떻게 수정해야 하는가?
(f) 메트랩 코드를 수정하여 Bayesian Regression을 수행하기 위해서 ML (Maximum Likelihood, 표준편차가 전부 1이라고 가정)를 구하도록 하고, 위의 (c), (d)를 수행하시오. (이 경우에는 최소값이 아님을 주의하시오)
(g) 만약 표준 편차가 모두 1이 아니고 10 1 2 1 라고 가정했을 때, (f)를 수행하시오. (이 때 (d)에서 제시할 이유가 하나 더 늘어날 것임)

2. (Linear Regression) 다음과 같은 Data Set 이 주어졌을 때, 물음에 답하시오.
(a) 1차식 (w0+w1*x), 2차식 (w0+w1*x+w2*x^2), 3차식 (w0+w1*x+w2*x^2+w3*x^3)으로 각각 Least Squares Linear Regression을 수행하는 메트랩 코드를 작성하고, 3가지 각각의 경우 Error의 값을 구하시오.
(b) (a)에서 3가지 중에서 어느 경우가 가장 주어진 데이터 셋에 적절한 경우인가? 그 이유를 적으시오. 또한 그 경우의 최종 regression식을 쓰시오.

본문내용

(a) meshgrid의 역할을 간단하게 그림과 함께 설명하시오. (5pts)
▶ 다변수함수에서 함수 값을 결정하는 각 변수들은 서로 독립적이어야 한다. 그 독립적인 변수를 linspace나 : 연산자로 표현이 불가능하고, 행렬로 표현하기에는 효율성이 떨어진다. 이러한 상황에서 meshgrid() 라는 함수를 사용한다.

<중 략>

즉, (c)에서 w를 구한 방법은 Numerically 방법으로 수치 하나하나를 대입하여 구하는 방법이라 할 수 있고, (d)에서 w를 구한 방법은 Analytically 방법으로 기본적인 수학적 정의에 기반을 두고 그에 따른 공식, 정리 등을 이용하여 구하는 방법이라고 할 수 있다.
그러므로 좀 더 정확한 값은 (d)에서 구한 w라고 생각할 수 있다.

<중 략>

이 값이 (c)에서 구한 값과 다른 이유는, 위에서 설명한 바와 마찬가지로 Numerically 와 Analytically 의 차이이다.
그러므로 좀 더 정확한 값은 (d)에서 구한 w라고 생각할 수 있다.
(c)에서 w값을 좀 더 정확하게 찾기 위해서는, 코드 중 w = [-4 : 0.5 : 5]에서 w의 증분을 의미하는 0.5를 더 낮은 값으로 수정하여 w에 더 세밀한 값들을 대입해야 할 것이다.

참고자료

· 없음