방송통신대학교 통계데이터학과 중간과제물(자연언어처리)

소개

"방송통신대학교 통계데이터학과 중간과제물(자연언어처리)"에 대한 내용입니다.

목차

1. LSA(latent semantic analysis)의 원리를, 고등학생에게 설명한다고 가정하고, 적절한 비유를 사용해 설명하시오. 또한 이 비유가 LSA의 어떤 부분을 잘 표현하는지 설명하시오. (10점)
2. negative sampling이 적용된 skip-gram 모델의 손실함수(loss function)의 각 항(term)이 직관적으로 의미하는 바를 설명하시오. (10점)
3. fasttext와 word2vec의 공통점 및 차이점에 대해 설명하시오. (10점)

본문내용

사람이 문서를 이해하는 방식은 단어 개수를 하나하나를 세기보다 전체 맥락과 의미를 파악함으로써 이루어진다. 그러나 컴퓨터는 문장의 의미를 인간처럼 직접 이해할 수 없기 때문에, 문서를 수치로 변환하여 계산가능한 형태로 만들어야 한다. 이때 가장 기본적인 표현 방식이 문서–단어 행렬(Document–Term Matrix, DTM)이며, 각 행은 문서, 각 열은 단어를 나타내고, 각 행렬의 원소는 단어가 해당 문서에서 차지하는 중요도를 의미한다.
이 중요도를 계산하는 대표적인 방법이 바로 TF–IDF(Term Frequency–Inverse Document Frequency)이다. TF–IDF는 단순히 단어의 횟수를 세는 것이 아니라 그 단어가 문서 내에서 얼마나 자주 등장하는지(TF-단어 빈도)와 전체 문서 집합에서 얼마나 덜 등장하는지(IDF-역문서 빈도)를 함께 고려하여 단어의 상대적 중요도를 계산한다. 즉, 한 문서에서는 자주 등장하지만 다른 문서에서는 드물게 등장하는 단어일수록 높은 가중치를 받는다. 예를 들어 “대한민국의 역사”라는 문서에서 “대한민국”이라는 단어가 여러 번 등장하고, 다른 문서들에서는 거의 등장하지 않는다면, “대한민국”은 그 문서를 대표하는 핵심 단어가 된다. 이처럼 TF–IDF는 단어의 단순 빈도보다는 문서의 주제를 얼마나 잘 드러내는지를 수치화한다.
이렇게 수치화된 문서 벡터들은 서로 간의 유사도를 비교할 수 있다. 두 문서의 유사도를 측정하는 대표적인 방법이 바로 코사인 유사도(Cosine Similarity)이다. 이는 두 벡터의 방향을 비교하여 유사도를 계산하는 방식으로, 두 벡터의 각도가 작을수록, 즉 방향이 비슷할수록 두 문서의 내용이 유사하다고 판단한다. 수학적으로는
cos theta =` {a BULLET b} over {DLINE a DLINE DLINE b DLINE }와 같은 식으로 정의되며, 값이 1에 가까울수록 두 문서가 유사한 주제일 가능성이 높다.

참고자료

· 자연언어처리 강의록(3,4,5,6강)
· https://museonghwang.github.io/nlp(natural%20language%20processing)/2023/02/09/nlp-fasttext
· https://blog.naver.com/jujbob/221155564430
· https://ima9ine.tistory.com/35
· https://bkshin.tistory.com/entry/NLP-9-%EC%BD%94%EC%82%AC%EC%9D%B8-%EC%9C%A0%EC%82%AC%EB%8F%84%EB%A5%BC-%ED%99%9C%EC%9A%A9%ED%95%9C-%EC%98%81%ED%99%94-%EC%B6%94%EC%B2%9C-%EC%8B%9C%EC%8A%A4%ED%85%9C