[30점만점] 딥러닝 통계적 이해 중간과제물 방송통신대

소개글

4학년 과목 딥러닝의 통계적 이해 출석 과제 입니다. 출석 대체 과제 또한 크게 다르지 않습니다.

목차

1. 딥러닝의 역사와 관련된 사건을 위키피디아 등을 바탕으로 2 페이지 이내로 정리하시오.
2. 다층신경망의 학습과정을 1 페이지 이내로 정리하시오
3. http://playground.tensorflow.org/ 를 크롬으로 접속하여 신경망의 하이퍼파라 미터를 달리하여 만든 신경망의 특성을 2 페이지 이내 정리하시오.
4. 구글 Colab 을 이용하여 MNIST 에 대한 완전연결신경망을 작성하시오

본문내용

1. 딥러닝의 역사와 관련된 사건을 위키피디아 등을 바탕으로 2 페이지 이내로 정리하 시오.(5 점)

심층학습이라고도 불리우는 딥러닝(Deep Learning) 기법은 다층으로 쌓은 인공신경망으로서 인공지능기법의 일종이다. 딥러닝은 1950 년대 퍼셉트론의 개념에서부터 다층퍼셉트론을 통한 XOR 문제 해결, 컴퓨팅 자원의 개선 등에 힘입어 발전을 거듭해왔다. 근래에 들어 딥러닝과 관련된 가장 큰 사건은 자연어처리(Natural Language Processing)의 문제를 해결하기 위해 등장한 트랜스포머(Transformer) 알고리즘이라 할 수 있다.

트랜스포머 알고리즘의 등장 이전의 딥러닝 기반 자연어처리 기법은 순서에 기반한 신경망 모델(Sequential Model)에 기반을 두고 있다. 이는 글, 즉 텍스트 데이터가 주로 순서의 흐름에 따라 의미가 달라지거나 정보를 담고 있기 때문인데, 이에 따라 순서의 정보를 반영하기 위해 순환신경망(Recurrent Neural Network: RNN)계열의 딥러닝 모델들이 제시 되었다. 그러나 순환신경망 계열의 모델들은 모델이 커질 수록 역전파 과정에서 미분 연산값이 작아져 경사가 소실되는(Vanishing gradient) 점이 고질적인 문제로 지적되어 왔다. 또한 데이터의 토큰이 순서대로 입력 되어야 하기 때문에 GPU 병렬 연산의 장점을 십분활용하지 못하고 학습 속도가 느린 단점이 존재해왔다. 반면 2017 년 Google 에서 소개한 트랜스포머 알고리즘은 이러한 문제를 개선하여 현재의 다수의 자연어 처리 모델들은 이에 기반을 두고 있다.

트랜스포머 기본적으로 인코더-디코더(Encoder-Decoder)의 구조를 띈 알고리즘이다. 인코더-디코더란 <그림 1>과 같이 데이터를 인코더 신경망에 입력 시켜 은닉층이 구성하고 있는 잠재공간(Latent space)을 거쳐 다시 디코더 신경망을 통해 목적하는 역할을 수행하기 위한 형태로 출력될 수 있는 구조를 의미한다.

참고 자료

이긍희, 김용대, 김기온, [딥러닝의 통계적 이해], 한국 방송통신대 출판 문화원, 2020.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. In Advances in Neural Information Processing Systems, pages 6000–6010.
"The Illustrated Transformer", Jay Alamer, http://jalammar.github.io/illustrated-transformer/ 2020년 9월 9일 접속,
“Understanding BERT: Is it a gamechanger in NLP?”, Bharat S Raj(Medium), 2020년 9 월 7일 접속, https://towardsdatascience.com/understanding-bert-is-it-a-gamechanger-in-nlp-7cca943cf3ad
"How GPT-3 Works", Jay Alamer, 2020년 9월 9일 접속, http://jalammar.github.io/howgpt3-works-visualizations-animations/
"Music Transformer: Generating Music with Long-Term Structure" Google Magenta, 2020년 9월 9일 접속, https://magenta.tensorflow.org/music-transformer
Prajit Ramachandran, Niki Parmar, Ashish Vaswani, Irwan Bello, Anselm Levskaya, and Jonathon Shlens. Stand-alone self-attention in vision models. 2019. CoRR, abs/1906.05909
“Giving GPT-3 a Turing test”, Kevin Lacker’s blog, 2020년 9월 9일 접속, https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
Géron, Aurélien. Hands-On Machine Learning 2nd Edition, Canada, O’Reilly Media, Inc.
“Feature Crosses: Encoding Nonlinearity”, Google Developers, 2020년 9월 9일 접속, https://developers.google.com/machine-learning/crash-course/featurecrosses/encoding-nonlinearity