[30점 만점] [딥러닝의통계적이해] 2021 2학기 중간과제물 한국방송통신대학교 통계데이터과학과

목차

1. 딥러닝의 역사와 관련된 사건 또는 인물을 위키피디아 등을 바탕으로 정리하시오(5점).
2. 다층신경망의 학습과정을 정리하시오(5점)
3. http://playground.tensorflow.org/를 크롬으로 접속하여 분류과제(classification) 중 하나를 학번 끝자리에 따라 선택하고, 해당 과제에 대한 최적의 신경망을 하이퍼파라미터를 달리하여 작성한 후 그 모형의 특성을 정리하시오.(10점)
4. 구글 colab을 이용하여 MNIST에 대한 완전연결신경망을 작성하시오(코드와 최종결과 캡처해서 넣으시오) (10점)

본문내용

Frank Rosenblatt가 현대의 딥 러닝 시스템의 기본적인 요소를 개발하고 탐구했다. 1962년"Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms"라는 저서에서 딥러닝에 대한 기본적인 요소들을 서술했다. Frank Rosenblatt은 맥클럭(Warren McCulloch)과 피츠(Walter Pitss)이 뇌세포를 모델링한 것을 이용했고 가중치를 추가하여 퍼셉트론을 제작했다.
퍼셉트론은 뇌세포안의 뉴런을 모방한 것으로 뉴런의 간극인 시냅스를 모방하였다. 사람의 학습은 뉴런의 변화로 인해서 일어나기 때문에 각광을 받았다. 하지만 퍼셉트론으로는 선형 분리가 불가능하기 때문에 XOR 연사이 불가능 하였다. 1969년 Minskey 교수가 ‘Perceptrons’라는 저서를 통해서 현재 퍼셉트론으로는 XOR이 가능하지 않다는 것을 수학적으로 증명하였다. 지도, 심층, 다층 퍼셉트론에 대한 1세대 러닝 알고리즘은 1967년 Alexey Ivakhnenko와 Lapa에 의해 제안되었고 1971년에 그룹 데이터 처리방법으로 훈련된 8개의 레이어로 이루어진 딥 네트워크를 이야기했다.
퍼셉트론의 한계를 극복하고자 오류역전파 알고리즘을 고안하게 되었다. 오류역전파 방법이란 앞에서부터 고쳐나가는 것이 아니라 결과를 보고 다시 앞으로 가서 가중치를 조절하는 방법이다. 출력층에서 계산된 값에 오차가 있다면, 이 계산 값을 바탕으로 은닉층과 입력층으로 들어가 가중치를 조절하게 된다. 조절된 가중치를 사용해 다시 순방향으로 계산을 진행하며 오차를 계산하게 되고 오차가 최소화 될 때까지 계산을 반복하게 된다. Paul Werbos가 1974년에 오류역전파를 제시했으나 당시에는 주목을 받지 못했다. 1986년에는 제프리 힌튼이 개별적으로 오류역전파방법을 고안하였고 XOR문제 뿐만 아니라 다른 딥러닝의 한계점을 극복할 수 있음을 확인하여 딥 러닝에 다시 사람들의 관심이 집중되었다.

참고자료

· https://en.wikipedia.org/wiki/Deep_learning#History
· https://medium.com/analytics-vidhya/brief-history-of-neural-networks-44c2bf72eec
· https://medium.com/analytics-vidhya/brief-history-of-neural-networks-44c2bf72eec
· https://en.wikipedia.org/wiki/Multilayer_perceptron
· 이긍희 외 2인 ‘딥러닝의 통계적 이해’ knou
· https://sacko.tistory.com/19
· https://github.com/data-better/DeepS/blob/master/10%EC%9E%A5_MNIST_DL.ipynb