방송대 통계데이터과학과 딥러닝의 통계적이해 출석시험 과제물

소개

"방송대 통계데이터과학과 딥러닝의 통계적이해 출석시험 과제물"에 대한 내용입니다.

목차

1. Teachable Machine을 이용하여 머신러닝 모형을 만들고 그 결과를 갭처하여 정리하시오. (5점)
2. 다층신경망의 학습과정을 1페이지 이내로 정리하시오. (5점)
3. http://playground.tensorflow.org/를 크롬으로 접속하여 신경망의 하이퍼파라미터를 달리하여 만든 신경망의 특성을 2페이지 이내 정리하시오. (10점)
4. 구글 Colab을 이용하여 MNIST에 대한 완전연결신경망을 작성하고 설명하시오. (코드와 최종 결과를 캡처해서 넣으시오.) (10점)
5. 참고문헌

본문내용

2. 다층신경망의 학습과정을 1페이지 이내로 정리하시오. (5점)
신경망 기반 인공지능 발전의 근간이 된 퍼셉트론(perceptron, 1958)은 입력층(input layer)과 출력층(output layer)으로만 구성되어 비선형 문제를 해결하기 어렵다는 단점을 갖고 있었다. 이 문제를 해결하기 위해 입력층과 출력층 사이에 은닉층(hidden layer)을 삽입한 다층신경망을 만들었다. 이 다층 퍼셉트론(Multi-Layer Perceptron, MLP)은 층이 깊어 기존 퍼셉트론보다 좋은 성과를 내었고, 이를 딥러닝(deep learning)이라는 새로운 이름으로 부르게 되었다.

신경망에서 함수의 합성이 누적되면 신경망이 추정하는 함수의 표현력이 좋아지지만, 함수가 너무 복잡하고 뉴런과 은닉층의 수가 많아지면 자원을 많이 잡아먹고 속도가 느려지는 단점이 있다.

신경망의 수직 길이(뉴런의 수)를 ‘넓이’라 하고, 수평 길이(은닉층의 수)를 ‘깊이’라 한다. 신경망의 구조를 만든다는 것은 이 넓이와 깊이를 결정하는 것이다.

신경망 모형은 우리 뇌의 뉴런과 시냅스의 작용에서 착안하였다. 생물학적 뉴런은 시냅스를 통해 인접 뉴런과 연결되어있고, 뉴런의 자극 정도가 역치를 넘었을 때 활성화되어 다른 뉴런으로 전도된다. 이때 시냅스의 역할을 수행하는 것이 바로 활성화 함수(activation function)이다. 대표적인 활성화 함수로 시그모이드 함수, tanh 함수, ReLU 함수가 있고, 출력변수의 성격에 따라 적절한 것을 선택해 사용한다. 시그모이드 함수와 tanh 함수의 경사소실 문제를 보완한 것이 ReLU함수이다.

신경망 구축이란 신경망을 설계한 후 뉴런 간 적절한 가중치를 구하는 것이다. 가중치는 손실함수를 최대한으로 줄이는 것을 선택한다. 다층신경망이 비선형 문제를 풀 수 있게 해준 오차역전파법(backpropagation)은 경사하강법의 연쇄미분을 통해 손실함수의 경사를 효율적으로 구해 신경망의 가중치를 갱신하는 방법이다. 신경망 가중치의 초기값을 임의로 설정한 후 순전파와 역전파를 반복하며 손실함수를 줄여 적절한 가중치를 갱신하는 것이다. 한편 신경망이 과대적합(overfitting)되지 않게 지나치게 깊게 층을 쌓지 않도록 유의해야 한다.

참고자료

· 이긍희 외(2020), 『딥러닝의 통계적 이해』, 한국방송통신대학교출판문화원.