자연어 처리

소개

대학원 다니면서 자연어 처리 핵심 기술에 대해 작성했던 자료입니다.
과제 및 개인 공부에 도움이 될 수 있는 자료 모음입니다.
책의 목차를 토대로 작성되었고 자료 검색하여 작성되었으니 새로운 내용을 첨부하여
발표 자료로도 유용한 자료입니다.

목차

1. 자연어 처리(NLP), 핵심 기술
2. 분산 표상(Distributed representations)
3. CNN(Convolutional Neural Networks), RNN(Recurrent Neural Network)
4. 자연어 이해, 문장의 이해 : 지식과 자연어 분석
5. 자연어 문장을 이해해서 지식화
6. 문장 분기석, 감정의 이해
7. 자연어 처리 임베딩 기술, 통계적 기반
8. 뉴럴 네트워크 기반 기법
9. 단어 수준의 임베딩 기법
10. 문장 수준의 임베딩 기법
11. KoNLPy, 토크나이징(Tokenizing)
12. 한국어 토큰화의 어려움
13. 정규 표현식(Regular Expression)
14. 정규화(Normalization)
15. 정수 인코딩(Integer Encoding), 패딩(Padding)
16. GPT (Generative Pre-trained Transformer)
17. GPT, BERT 등의 모델의 기본 모델
18. BERT(Bidirectional Encoder Representations from Transformer)
19. BERT의 Pre-trained Representations
20. 자연어 인터페이스 표준화
21. MPEG-IoMT 의 자연어 인터페이스 기능
22. 질문 분석 타입 정의
23. Watson Assistant 자연어처리
24. 챗봇 설계 및 동작
25. 학습형 인공지능 챗봇의 알고리즘
26. K-Fold Cross Validation(교차검증) 방법
27. 교차 유효성 검사의 목적
28. K-Fold 교차 검증 과정
29. 정확도, 정밀도, 재현율
30. 교차 검증의 장점과 단점
31. 교차 검증의 효과 및 사용 이유
32. K-Fold Cross Validation(교차검증) 사용 시 주의할 점
33. 자연어 처리 솔루션
34. 자연어 처리의 4가지 단계

본문내용

● 자연어 처리(NLP)란
자연어 처리 기술은 음성의 인식, 내용 요약, 언어 번역, 인간의 감정 분석, 텍스트 분류 작업(스팸 메일 분류, 뉴스 기사 카테고리 분류), 자동 Q&A 시스템, 챗봇과 같은 서비스에서 다방면으로 사용되는 기술이다.
NLP 알고리즘이란 컴퓨터가 인간의 언어를 입력받아 이를 이해하고, 분석하여 최적의 결과값을 찾아내는 과정을 반복하는 프로그램으로 볼 수 있습니다. 해당 절차를 추상화해서 표현하면 아래 구조와 같다.

음성 또는 텍스트 데이터의 입력값과 결과값을 사전에 학습한 NLP 알고리즘은 위와 같은 과정을 통해 인간과 소통하게 되며, 이 경우 챗봇은 “열린 대화”를 지향한다.
맨 처음 음성 또는 텍스트 데이터를 입력받은 NLP 알고리즘이 해당 발화에 대한 분석을 하는 과정을 “자연어 이해”라고 하며, 분석 과정을 거친 후 최적의 결과값을 도출하는 것을 “자연어 생성(NLG)라고도 부른다.

● 자연어 처리 핵심 기술
형태소 분석기술, 구문분석 기술, 의미분석기술, 담화분석 기술, 단어 및 문장 생성기술이라고 할 수 있다.
문자열을 정규문법, 사전정보, 결합정도 등을 이용하여 최소 의미 단위인 형태소로 분리하고 원형 복원, 품사 인식 등의 과정을 통해 형태소를 분석한다. 그리고 형태소가 결합된 문장이나 구절을 만드는 규칙인 동사(Syntax)를 구조적으로 분석하는 구문분석 후 동사분석 결과를 해석하여 문장이 가진 의미를 분석한다. 후에 화자의 발화 분석을 통하여 응답하게 될 단어나 문장을 입력된 의미 표현 기반으로 발화사전으로부터 생성하는 것이 자연어 처리의 기본 알고리즘이라 볼 수 있다.
한국어처리는 구어와 문어의 차이와 청자와 화자의 관계에 따른 높임법, 띄어쓰기, 동음이의어, 운율적 요소에 따른 의미변화 등 훨씬 더 어려운데, 이러한 것들을 머신러닝 기법을 통해 해결하려 딥러닝(Deep Learning)..

<중 략>

참고자료

· 없음