중국 대륙⋅대만 관련 프롬프트를 통한 LLM 응답 데이터 비교 (Comparative Analysis of LLM Responses to Prompts Related to Mainland China and Taiwan)

서지정보

· 발행기관 : 중앙대학교 인공지능인문학연구소
· 수록지 정보 : 인공지능인문학연구 / 19권 / 9 ~ 33페이지
· 저자명 : 김여주

초록

본 연구는 중국 대륙과 대만이 공유하는 키워드를 여러 거대 언어 모델(Large Language Model, 이하 LLM)에게 하이퍼 파라미터 및 언어를 통제하여 결과값을 도출한 후 비교하는 것을 목적으로 한다. 이를 통해 각 거대 언어 모델 학습주체의 입장을 확인할 수 있을 뿐 아니라, 언어권별 데이터의 특징이 다르게 나타남을 확인할 수 있다.
중국 대륙과 대만의 민감한 주제에 대한 LLM 모델별, 언어별 응답 특성을 비교한다면, LLM이 정보를 처리하는 방식 및 모델과 언어별 차이도 확인할 수 있다. 중국 대륙과 대만 관계는 ‘양안 관계’(兩岸 關係 )로 불리는데, 동아시아뿐 아니라 전 세계적으로 매우 중요한 주제이다. 중국 대륙과 대만은 체제가 나뉘어 있을지라도 다양한 역사, 문화, 사회적 맥락을 공유하고 있다. 그런데 서로가 공유하는 지점을 중국 대륙과 대만에서 인식하는 것, 더 나아가 다른 국가의 이들이 바라보는 시각에는 차이가 있을 수 있기 때문이다.
중국 대륙과 대만 관련 질문을 작성한 후, 중국 대륙의 (Qwen2-72B)과 대만의 (Llama-3-Taiwan-70B-Instruct), 중립성을 확보하기 위해 미국(GPT-4o)과 프랑스(Mistral-large-2411) 모델까지 총 4개의 LLM을 대상으로 대만(섬), 역사, 정치, 양안관계 영역의 질문을 중국어 간체ㆍ 번체, 한국어, 영어로 제시하고 이를 바탕으로 응답 데이터를 도출했다. 각 모델에는 동일 질문을 3회 적용했으며, 난수 추출 시드로 총 576건의 응답 데이터를 도출했다. 각 응답은 문장별로 중국 대륙 측 입장(-1), 중립(0), 대만 측 입장(+1)으로 수치화했다.
이를 통해 LLM 모델과 사용 언어에 따른 편향성을 검증할 수 있었으며, 특히 LLM 모델 중에는 중국 대륙의 (Qwen2-72B), 언어별로는 전반적인 응답의차이가 두드러졌다. 한국어 응답은 일부 모델에서 데이터 부족으로 인한 한계가 노출되는 문항도 있었으나, 특정 문항에 있어서는 다른 언어에 비해 상대적으로 중립적인 경향도 확인할 수 있었다.

영어초록

This research compares and analyzes the responses of different Large Language Models (LLMs) to prompts related to common keywords between Mainland China and Taiwan, controlling for hyperparameters and languages. The study used four major LLMs: Qwen2-72B-Instruct (Mainland China), Llama-3-Taiwan-70B-Instruct (Taiwan), GPT-4o (United States), and Mistral-large-2411 (France). Questions on topics such as Taiwan (the island), history, politics, and cross-strait relations were presented in Simplified Chinese, Traditional Chinese, Korean, and English. Each question was repeated three times with different random seeds, resulting in a total of 576 responses.
These responses were then quantified on a scale: Mainland China perspective (-1), neutral (0), and Taiwan perspective (+1). The results showed that even within the same model, responses to political issues such as cross-Strait relations varied depending on the model, language, and terminology used in the questions. In particular, Mainland China's Qwen2 consistently provided answers that strongly reflected the Mainland Chinese position, sometimes answering in Simplified Chinese even when questions were asked in Traditional Chinese. Language differences were also significant-when questions were asked in Simplified Chinese, most models produced responses aligned with Mainland China's perspective or maintained neutrality, whereas questions in Traditional Chinese elicited pro-Taiwan responses from all models except Qwen2.
Qualitative differences between the models were also noted. GPT-4o and Mistral-large generally produced balanced responses that considered both sides and provided detailed information in English. Interestingly, while Korean responses showed limitations due to insufficient training data in some models, Qwen2 showed relatively neutral positions in certain Korean queries.
This study confirms the political biases of LLMs and demonstrates how political and cultural contexts can be shaped by the language used. The findings suggest that models developed by state-led or state-based AI companies may reflect the political positions of their countries, highlighting the importance of considering language-specific biases when developing and using multilingual LLMs.

참고자료

· 없음