트랜스포머와 딥러닝

소개

"트랜스포머와 딥러닝"에 대한 내용입니다.

목차

Ⅰ. 서론

Ⅱ. 본론
1. 자연어 처리
2. 자연어 처리의 방법
3. 번역
4. 트랜스포머
5. 트랜스포머의 원리

Ⅲ. 결론

Ⅳ. 참고문헌

본문내용

I. 서론
인공지능은 최근들어 눈부신 발전을 이어가고 있다. 하루하루 새로운 논문들이 발표되고 있고 해당 논문을 소화하기 버거울 정도로 세계 각지에서 다양한 연구들의 이루어지고 있다. 특히 비전, 언어처리 분야에 있어서는 다양한 연구들이 수행되고 있으며 언어 분야에 있어서는 최근 트랜스포머라는 방법을 이용하여 보다 인간에 가까운 연구들이 이루어지고 있다고 할 수 있다. 본 보고서에서는 트랜스포머가 무엇인지에 대해서 알아보도록 하겠다.

II. 본론
1. 자연어 처리
사람이 사용하는 언어를 컴퓨터가 처리하는 기술을 말한다. 이를 위해서는 자연어를 컴퓨터가 이해할 수 있는 수준의 정형데이터로 변형해야 한다. 여기서 말하는 정형 데이터란 컴퓨터에서 다루기 쉬운 형태로 저장된 데이터를 의미한다. 이러한 과정을 텍스트 전처리라고 하는데 주요 과정은 다음과 같다.

1) 코퍼스 :자연어 처리를 하려고 준비한 텍스트 데이터이다.
2) 토큰화 :코퍼스를 일정 분석 단위로 나눈다. 영어는 띄어쓰기 기준으로 나눈다고 생각하면 되고, 한글은 복합 명사나 고유 명사 등을 고려해야 하므로 영어보다 비교적 복잡한 과정으로 진행한다.
3) 불용어 : 텍스트 분석에 불필요한 단어인 불용어를 제거해야 한다. 자연어 처리 분야 초기에는 컴퓨터 자원이 넉넉하지 않았기 때문에 조사와 같은 덜 중요한 단어는 제외하고 사용하였다.
4) 표제어 추출 : 다양한 용도로 사용하는 동사를 컴퓨터가 이해할 수 있도록 해야 한다. 따라서 표제어 추출을 통하여 자주 사용하는 표현을 정리하여 원형이 무엇인지 알아내는 작업을 해야 하는데 이러한 작업을 말한다.
5) 어간추출 : 표제어 추출과 비슷하지만 단어의 원형이 아니라 어간을 찾는다는 점이 다르다. 예를 들어 공부하다가 아니라 공부를 찾는 것을 말한다. 자연어 처리에서 표제어 추출은 어려운 경우가 있는데 이러한 문제를 해결하기 위한 대안으로 어간추출이 있다고 할 수 있다.

참고자료

· Attention is all you need(https://arxiv.org/pdf/1706.03762.pdf)
· http://jalammar.github.io/illustrated-transformer/
· https://medium.com/@adityathiruvengadam/transformer-architecture-attention-is-all-you-need-aeccd9f50d09
· Neural Machine Translation by Jointly Learning to Align and Translate(https://arxiv.org/pdf/1409.0473.pdf)
· 이하니(2021), AI 타임즈, aitimes.com/news/articleView.html?idxno=137202
· https://nlpinkorean.github.io/illustrated-transformer/