SyllaBERT: 실세계 노이즈 및 오탈자에 강건한 음절 기반 경량화 트랜스포머 모델 (SyllaBERT: A Syllable-Based Efficient Robust Transformer Model for Real-World Noise and Typographical Errors)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 52권 / 3호 / 250 ~ 259페이지
· 저자명 : 박성완, 허유민, 고영중

초록

한국어 언어 모델을 학습하는 과정에서 한국어 토크나이저(Tokenzier)를 구성하는 것은 매우 중요한 단계이다. 현재 대부분의 언어 모델은 형태소(Morpheme) 또는 서브워드(Subword) 단위로 토크나이징을 진행하고 있다. 이러한 방식은 정제된 한국어 텍스트 데이터에서는 좋은 성능을 보일 수 있지만, 현실의 한국어 데이터에서 자주 발생하는 줄임말과 신조어로 인한 OOV(Out of Vocabulary) 문제에 취약하다. 또한, 실제 환경의 한국어 데이터에는 다양한 오탈자와 비표준적 표현이 많이 포함되어 있어, 기존의 형태소나 서브워드 단위 토크나이징 방식은 이러한 노이즈에 대한 강건성이 부족하다. 본 논문에서는 이러한 문제를 해결하기 위해 음절(Syllable) 단위의 토크나이저를 사용하여, 노이즈 및 비표준어가 존재하는 실제 환경에서도 한국어의 특성을 최소한의 자원으로 효과적으로 처리할 수 있는 SyllaBERT 모델을 제안한다. 이를 위해 매우 작은 크기의 음절 단위 어휘 집합을 만들고, 기존 언어 모델의 임베딩과 은닉층 크기를 줄인 음절 단위 언어 모델을 개발하였다. 실험 결과, SyllaBERT 모델은 기존 서브워드 단위 언어 모델에 비해 파라미터 크기가 약 4배 더 작음에도 불구하고, 현실 세계의 노이즈가 존재하는 한국어 일상 대화 데이터에서 더 높은 자연어 이해 성능을 보였다.

영어초록

Training a Korean language model necessitates the development of a tokenizer specifically designed for the unique features of the Korean language, making this a crucial step in the modeling process. Most current language models utilize morpheme-based or subword-based tokenization. While these approaches work well with clean Korean text data, they are prone to out-of-vocabulary (OOV) issues due to abbreviations and neologisms frequently encountered in real-world Korean data. Moreover, actual Korean text often contains various typos and non-standard expressions, to which traditional morpheme-based or subword-based tokenizers are not sufficiently robust. To tackle these challenges, this paper introduces the SyllaBERT model, which employs syllable-level tokenization to effectively address the specific characteristics of Korean, even in noisy and non-standard contexts, with minimal resources. A compact syllable-level vocabulary was created, and a syllable-based language model was developed by reducing the embedding and hidden layer sizes of existing models. Experimental results show that, despite having approximately four times fewer parameters than subword-based models, the SyllaBERT model outperforms them in natural language understanding tasks on real-world conversational Korean data that includes noise.

참고자료

· 없음