RNN의 한계와 LSTMGRU의 개선 원리

목차

1. 탐구 동기
2. RNN의 한계
3. RNN 한계 해결 방향
4. LSTM/GRU 이란
5. 결론

본문내용

1. 탐구 동기
-학교 인공지능 기초 수업에서 DNN, CNN, RNN 중 RNN까지 학습하면서, RNN이 문장처럼 순서가 중요한 데이터(텍스트)나 시간에 따라 변하는 데이터를 다루는 데 유리하다는 점을 배웠다.
그런데 수업 내용과 관련 자료를 찾아보는 과정에서, RNN이 실제로는 긴 문장이나 긴 데이터를 처리할 때 성능이 떨어지거나 학습이 불안정해질 수 있다는 한계가 자주 언급된다는 것을 알게 되었다.
그래서 “RNN은 순서를 잘 다룬다는데 왜 긴 데이터에서는 어려움을 겪을까?”라는 질문이 생겼고, 이 한계를 해결하기 위해 등장한 LSTM과 GRU가 어떤 원리로 개선했는지 조사하여 정리해 보고자 했다.

2. RNN의 한계
RNN의 대표적인 한계는 긴 문장이나 긴 데이터에서 앞부분의 중요한 정보를 끝까지 유지하기 어렵다는 점이다. RNN은 매 순간 이전 상태(기억)를 다음 단계로 넘기며 학습하지만, 학습 과정에서 “틀린 만큼 고치라”는 신호가 여러 단계(시간)를 거쳐 거꾸로 전달될 때 점점 약해지는 경우가 생긴다(이를 흔히 기울기 소실이라고 부른다). 그 결과 문장 앞쪽에 결정적인 단서가 있어도 문장이 길어질수록 그 단서의 영향이 줄어들어, 뒤에서 필요한 판단을 할 때 놓칠 수 있다. 또한 모든 정보를 같은 방식으로 계속 누적하다 보니 무엇을 오래 기억하고 무엇을 지워야 하는지를 스스로 정교하게 조절하기 어렵고, 데이터가 길어질수록 학습이 불안정해지거나 성능이 쉽게 떨어질 수 있다는 문제가 나타난다.

3. RNN 한계 해결 방향
RNN의 문제는 “기억을 다음 단계로 넘긴다”는 기능은 있지만, 중요한 정보와 덜 중요한 정보를 구분해서 관리하는 능력이 약하다는 점이다.

참고자료

· 없음