[보고서]트랜스포머

목차

서론

본론
1. 기존 방법의 문제점
2. 트랜스포머의 정의
3. 트랜스포머의 특징
4. 기존 방법 대비 트랜스포머의 장점
5. 트랜스포머의 구조 및 역할
6. 트랜스포머 인코더의 구조
7. 멀티헤드 셀프 어텐션이란?
8. 트랜스포머에서 쿼리, 키, 밸류의 사용특성
9. 트랜스포머의 어텐션 계산 방법
10. 트랜스포머 디코더의 구조
11. 마스크드 멀티헤드 셀프 어텐션

결론

본문내용

서론
딥러닝하면 CNN을 이용한 이미지처리 모델링과 RNN을 이용한 텍스터처리 및 시계열 데이터 처리 모델링을 언급하기가 쉽다. 하지만 CNN과 RNN모두 입력 데이터가 제공하는 모든 정보를 활용하지 않는 구조로 되어 있기 때문에 여러가지 문제가 발생한다. 이러한 문제를 개선하기 위한 노력의 결과물이 트랜스포머 모델링인데 본 보고서에서는 이 방법에 대해서 알아보도록 하겠다.

본론
1. 기존 방법의 문제점
1) CNN의 문제점
CNN은 커널을 이용하기 때문에 이미지의 특징을 추출하는데 있어 국소적인 부분만을 고려하는 문제점을 갖고 있다.

2) RNN의 문제점
RNN은 시간의 흐름에 따라 점점 과거의 정보가 흐려진다는 단점이 있다. 즉 시간이 지남에 따라 예전에 발생한 정보를 활용하는 데 있어서 문제점이 있다.

2. 트랜스포머의 정의
- 트랜스포머란 어텐션만으로 구성된 신경망 모델이다.
- 어텐션만을 이용하여 RNN이나 CNN의 단점을 보완한 모델이다.

3. 트랜스포머의 특징
- 트랜스포머는 어텐션 메커니즘을 사용하며
- 단어를 동시에 고려할 수 있고
- RNN 계열 알고리즘과 다르게 입력에는 순서 정보가 없다.

4. 기존 방법 대비 트랜스포머의 장점
CNN과 RNN이 갖고 있는 태생적 문제점을 해결하기 위해 트랜스포머는 순수하게 어텐션만으로 신경망 모델을 구성하였다. 따라서 기존의 알고리즘과는 다르게 인코더에서 모든 단어를 동시에 고려할 수 있다는 장점을 갖고 있다.

5. 트랜스포머의 구조 및 역할

1) 인코더 단어임베딩 : 인코더의 입력정보를 만든다.
2) 인코더 위치임베딩 : 각 단어의 순서에 대한 정보를 만든다.
3) 트랜스포머 인코더 : 입력 문장의 특징을 추출한다.
4) 인코더 출력 변환 : 인코더의 출력을 디코더의 입력으로 넣어준다.

참고자료

· 이종민(2022), Must Have 텐초의 파이토치 딥러닝 특강, 골든래빗