멀티레이어 퍼셉트론(mlp, Multi Perceptron)

소개

machine learning, neural network 의 기본알고리즘인 mlp, Multi Perceptron 의 개념정리와 코드 및 실험 데이터를 작성하였다.
iris 꽃모양의 위치에 따라 품종의 구분을 하여내는 과제.


Attribute Information:
1. sepal length in cm
2. sepal width in cm
3. petal length in cm
4. petal width in cm
5. class:
-- Iris Setosa
-- Iris Versicolour
-- Iris Virginica

목차

Ⅰ. 제 1장 서 론
1. MLP에 대한 내용 정리
2. 리포트 내용 Preview

Ⅱ. 제 2장 본 론
1. MLP 구현 코드에 대한 설명
2. 추가로 구현한 부분에 대한 설명
3. Training Data실험 결과
①최적의 Hidden Node 개수
②최적의 Iteration 수 설정
4. Validation Data실험 결과
5. Test Data실험 결과

Ⅲ. 제 3 장 결 론

Ⅳ. 참고 문헌

본문내용

1. Multilayer Perceptron 의 정의
최근까지 강의를 통해 Multilayer Perceptron에 대해서 배웠다.[1] Multilayer Perceptron(이하 MLP)는 다중 연결고리를 가진 McCulloch and Pitts (MP) neuron의 집합체로 구성되어 있다. 이 MP neuron들은 입력 집합체와 여러 가중치의 선형 결합을 통한 다중 학습에 의해 신경망이 구성되어 최적의 결과값이 결정되는데 이러한 일련의 다중 학습 신경망 알고리즘을 MLP 라 정의한다.
MLP 구현의 목적은 여러 학습 instance 값들에 대해 가중치 값을 지속적으로 업데이트 시킴으로써 점진적으로 Output의 안정화(Error값이 줄어드는 형태)를 구현함에 있으며 신경망에 놓고 보았을 때 신경 세포들을 연결하는 시냅스를 완성시켜감으로써 최종적으로 신경 세포들의 네트워크를 모델링 하도록 하는데 있다.
MLP 의 특징은 각 MP neuron들을 여러 층으로 쌓아 올린 형태로 중간에 hidden node (Fig1.1)가 존재하며 neuron간 다중 연결이 되어 있고 각 neuron은 독립적이며 연산 가능한 Quantitative feature들로 구성되어 있으며 Activation 함수로서 미분에 대한 해석이 용이한 Sigmoid함수를 사용한다. MLP에서 이러한 hidden node 및 sigmoid 함수의 사용을 통해 가중치 업데이트를 하게
됨으로써 non-linear separable problem 해결이 가능해 졌다.
그러나 MLP 는 학습 속도가 느리고 Local Minima에서 output이 결정될 우려가 있으며 학습된 가중치의 결과값을 해석하기에 난해하고 연산 불가형 Qualitative feature에 적용하기에 난해한 단점을 가지고 있다

< 중략 >

제공된 Training data, Validation data를 가지고 Multilayer Perceptron code를 작성하고 최종적으로 Test data를 받아 아래와 같은 결과를 도출하게 되었다.

참고자료

· [1] 강의자료 Ch4.ppt
· [2] Stephen Marsland, “Machine Learning An Algorithmic Perspective”, CRC Press
· [3] Tom M.Mitchell, “Machine Learning”, McGraw-Hill