대규모 언어 모델은 분석 도구가 될 수 있는가? : GPT를 활용한 내용 분석의 신뢰도와 타당도를 중심으로 (Can LLMs Be Analytical Tools? : A Content Analysis Study Using GPT Focusing on Reliability and Validity)

서지정보

· 발행기관 : 한국언론학회
· 수록지 정보 : 한국언론학보 / 69권 / 1호 / 5 ~ 38페이지
· 저자명 : 이상혁, 김은미

초록

본 연구는 커뮤니케이션 연구 영역에서 대규모 언어 모델(LLMs)을 컴퓨터 기반 텍스트 분석 방법(CTAM)에 적용할 수 있는가의 여부를 탐색한다. LLM 기술 발전에 따른 텍스트 분석 도구로서의 가능성이 높아지고 있음에도 불구하고 측정 도구로서의 LLMs의 한계라고 할 수 있는 내적 신뢰도와 외적 타당도에 대한 문제를 해결할 필요가 있다. 기존의 전통적인 코딩 방식이나 규칙 기반 텍스트 분류 시스템과 달리 LLMs의 경우 항상 일관되거나 재현 가능한 출력이 보장되지 않기 때문이다. 이는 LLMs이 학술 연구에서 적절한 텍스트 분석 도구로 기능할 수 있는지에 대한 커다란 의문을 제기한다.
본 연구에서는 LLMs이 CTAM에 적용될 수 있는 그 가능성을 평가하기 위해 내적 신뢰도와 외적 타당도의 관점에서 LLMs의 텍스트 분석 결과물을 평가한다. 특히 LLMs의 결과물이 반복된 동일 프롬프트에 대해 일관된 결과를 출력하는지(내적 신뢰도), 인간 코딩 결과와 비교하여 동일한 결과를 출력하는지(외적 타당도)를 평가한다. 다수의 팩트체크 뉴스 기사에 대해 인간 코더들이 정보 추출(information extraction)을 수행한 데이터를 동일하게 LLMs으로 분석하게 하였다. 이를 통해 반복 분석을 통한 내적 신뢰도 평가, 인간 코더의 결과와의 비교를 통한 외적 타당도 평가라는 다단계 검증 절차를 수행했다.
연구 결과, LLMs을 통한 텍스트 분석의 결과물은 신뢰할만한 수준의 내적 신뢰도와 외적 타당도를 확보하고 있음을 보여주고 있다. 반복 분석을 통해 LLMs이 일정한 분석 결과를 제공할 수 있으며, 인간 코더와의 비교를 통해 충분한 외적 타당도를 확보할 수 있음을 보였다. 그러나 뉴스 기사의 장르나 정보의 종류에 따라 신뢰도와 타당도가 크게 하락하는 현상이 확인되었다. 수치 데이터를 주로 사용하거나, 경제 뉴스의 경우 신뢰도와 타당도가 낮게 나타났으며, 이는 LLMs의 텍스트 분석 결과가 조건에 따라 사용 가능성이 달라질 수 있음을 의미한다.
따라서 LLMs을 연구의 측정 도구로 사용하기 위해서는 절차와 분석 대상에 대해 주의가 필요하다. 정교한 프롬프트의 제작, 동일 프롬프트의 반복 측정을 통한 내적 신뢰도 확인, 그리고 인간 코딩과의 비교를 통한 외적 타당도 확보라는 절차가 제안된다. 또한 다양한 조건과 맥락에 대한 테스트를 통해 LLMs이 어떤 조건에서 어느 정도 수준의 성능이 나타나는지 검증할 필요가 있다.
이 과정을 통해 확인된 본 연구의 결과는 LLMs이 커뮤니케이션 연구 분야에서 의미 있는 분석 도구로서 활용될 수 있는 기반을 마련하고 미래의 텍스트 분석 방법론에 기여할 것으로 기대한다. LLMs의 한계점을 연구 수행 절차를 통해 극복할 가능성을 확인할 수 있었다. 본 연구에서 제안된 분석 절차의 경우 앞으로 지속적인 논의를 통해 표준화된 절차로 발전해야 할 필요가 있다.

영어초록

This study explores the applicability of Large Language Models (LLMs) to computational text analysis methods (CTAM) in communication studies. Despite the increasing potential of LLMs as text analysis tools due to advancements in LLMs technology, addressing internal reliability and external validity remains crucial, as these are inherent limitations of LLMs when used as measurement tools. Unlike traditional coding methods or rule-based text categorization systems, LLMs do not always guarantee consistent or reproducible outputs. This raises a critical question regarding whether LLMs can function as appropriate text analysis tools in academic research.
To assess the potential of LLMs for CTAM, this study evaluates their text analysis outputs in terms of internal reliability and external validity. Specifically, it examines whether LLMs produce consistent results for the same prompts upon repeated analyses (internal reliability) and whether their outputs align with human coding results (external validity). For a large dataset of fact-checked news articles, human coders performed information extraction, and the same dataset was analyzed using a LLMs. A multi-step validation process was conducted, assessing internal reliability through repeated analyses and external validity through comparison with human coding results.
The findings indicate that text analysis using LLMs exhibits an acceptable level of internal reliability and external validity. Iterative analyses demonstrated that LLMs provide consistent analytical results, while comparisons with human coders confirmed sufficient level of external validity. However, reliability and validity significantly decreased depending on the genre of the news article and the type of information analyzed. The study found that LLMs exhibited lower reliability and validity when processing news articles relying heavily on numerical data or economic news, suggesting that the usability of LLMs in text analysis may vary depending on specific conditions.
Therefore, using LLMs as a measurement tool in research requires careful consideration of procedural frameworks and the nature of the data being analyzed. To ensure internal reliability, it is recommended to implement elaborate prompt engineering and repeated measurement for the same prompts. Additionally, external validity should be reinforced through comparisons with human coding results. Furthermore, LLMs need to be tested across various conditions and contexts to determine the specific circumstances under which they perform optimally.
The findings of this study, verified through these processes, are expected to lay the foundation for the utilization of LLMs as meaningful analytical tools in communication studies and to contribute to the advancement of text analysis methodologies. While LLMs have inherent limitations, these can be mitigated through the systematic procedures established in this study. The analytical procedure proposed here requires further discussion and refinement to develop into a standardized framework for future research.

참고자료

· 없음