토큰화(Tokenization)와 벡터화(Vectorization)를 중심으로 본 인공지능의 언어 의미 표현의 원리

소개

"토큰화(Tokenization)와 벡터화(Vectorization)를 중심으로 본 인공지능의 언어 의미 표현의 원리"에 대한 내용입니다.

목차

1. 서론
1) 탐구 동기

2. 본론
1) 자연어 처리의 기본 개념
2) 토큰화(Tokenization)의 원리와 방법
3) 벡터화(Vectorization)의 원리와 주요 기법
4) 벡터 공간에서의 거리, 내적, 유사도(코사인 유사도 등)
5) 여러 생성형 AI 출력 비교를 통한 토큰화·벡터화 특성 분석

3. 결론

4. 참고문헌

본문내용

1.1 탐구 동기
기하 과목때 AI 영상 생성 기술을 주제로 탐구를 진행한 경험이 있는데, 그 과정에서 복잡해 보이는 인공지능 모델의 내부에도 고등학교에서 배우는 벡터, 거리, 내적 등 기하학적 개념이 핵심적으로 활용된다는 사실에 대해 탐구 했다. 당시에는 이미지와 영상 데이터를 벡터로 표현하고, 이 벡터 간의 거리와 내적, 선형 보간 등 기하학적 연산이 실제 AI의 작동 원리를 뒷받침한다는 점에 주목했다. 이 경험을 바탕으로, 이번에는 인공지능의 또 다른 핵심 분야인 자연어 처리(Natural Language Processing, NLP)에서 문장이 어떻게 숫자로 변환되고, 언어의 의미가 수치적으로 표현되는지에 대해 탐구해보고자 했다.
특히, 토큰화(Tokenization)와 벡터화(Vectorization) 과정에서 수학적 원리가 어떻게 적용되는지, 그리고 이러한 수치적 변환이 AI가 언어를 이해하고 생성하는 데 어떤 역할을 하는지 직접 분석해보고 싶었다. 실제로 최근 인터넷과 미디어에서는 AI가 생성한 텍스트, 번역, 챗봇 등 다양한 자연어 처리 응용 사례가 빠르게 확산되고 있으며, 이러한 기술의 기반이 되는 수학적·기하학적 원리를 이해하는 것이 미래 진로와 인공지능 관련 지식 성장에 중요한 의미를 갖는다고 생각했다.
이번 탐구에서는 자연어 처리에서 문장이 어떻게 숫자로 변환되는지, 그리고 이 과정에서 토큰화와 벡터화가 어떤 수학적 원리와 기하학적 개념에 기반하는지 분석하는 데 있다. 구체적으로는, 자연어의 텍스트 데이터를 컴퓨터가 이해할 수 있는 수치 데이터로 변환하는 과정에서 토큰화와 벡터화가 각각 어떤 역할을 수행하는지, 그리고 이 과정이 AI가 언어의 의미를 이해하고 생성하는 데 어떻게 기여하는지 이론적·실제적 사례를 통해 알아보고자 한다.

참고자료

· Jurafsky, D., & Martin, J. H. . Speech and Language Processing
· Mikolov, T., Chen, K., Corrado, G., & Dean, J. Efficient Estimation of Word Representations in Vector Space. arXiv preprint arXiv:1301.3781.
· Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT.
· Vaswani, A., Shazeer, N. Attention is All You Need. Advances in Neural Information Processing Systems,
· Goldberg, Y.. Neural Network Methods for Natural Language Processing. Synthesis Lectures on Human Language Technologies
· 위키독스. 02-01 토큰화(Tokenization)
· blog. dnjt 한 인코딩(One-Hot Encoding) 이해하기. 동네코더