텍스트 키워드 추출에서 LLM은 인간을 대체할 수 있는가?: 수동 방식과의 유사도 비교를 중심으로 (Can LLMs replace human efforts in keyword extraction?: A study focusing on similarity comparison with manual methods)

서지정보

· 발행기관 : 한국교육정보미디어학회
· 수록지 정보 : 교육정보미디어연구 / 31권 / 3호 / 651 ~ 671페이지
· 저자명 : 임태형

초록

본 연구는「ChatGPT를 활용한 텍스트 데이터에서 키워드 추출: 수동방식과의 유사도 비교를 중심으로」의 후속 연구로, 짧은 텍스트 데이터에서 키워드 추출 시 최신 대형언어모델(LLMs)의 결과가 인간수동작업과 얼마나 유사한지를 검증하는 데 목적이 있다. 분석 대상은 교육대학원 AI융합교육전공 교과목명 442개 데이터이며, 이에 대해 인간 전문가의 수동 추출 결과와 7개 최신 LLMs(OpenAI의GPT-4o, GPT-4.5, o1-low, o1-high, Anthropic의 Claude-3.5-Sonnet, Claude-3.7-Sonnet, Google의 Gemini-1.5-Pro) 의 추출 결과 간 자카드 유사도를 비교 분석하였다. 분석 결과, 수동 방식과 비교했을 때Claude-3.7-Sonnet이 약 0.55로 가장 높은 유사도를 나타냈고, Claude-3.5-Sonnet 또한 약 0.51로 기준치를상회하였다. 반면, OpenAI및 Google 계열 모델은 모두 0.50 미만의 유사도를 보였다. 흥미롭게도 LLM 간 유사도는 모두 0.55 이상으로 나타났으며, 동일 개발사 내 모델 간 유사도는 특히 높았다. 키워드추출 방식의 비교에서는, 인간 전문가는 교육적 맥락을 고려하여 통합적인 키워드 선정 경향을 보인반면, LLM은 분절적인 처리를 기반으로 키워드를 도출하는 차이를 보였다. 이러한 방식 차이에도 불구하고 Claude 계열 모델이 인간 결과와 비교적 높은 유사도를 보인 점은 주목할 만하다. 본 연구는텍스트 데이터 마이닝 분야에서 LLM의 활용 가능성을 ‘조건부 수용’으로 제안하며, 향후 인간 전문가와 AI의 상호보완적 협력에 기반한 새로운 연구 방법론 개발의 필요성을 시사한다.

영어초록

This study is a follow-up to「ChatGPT-based keyword extraction from text data: A comparative study of similarity with manual methods」, and examines how keyword extraction results of state-of-the-art large language models (LLMs) resemble those of human experts when applied to short text data. The dataset consists of 442 course titles from a graduate-level program in AI-convergence education. Keyword extraction results from human experts were compared with those from seven recent LLMs: GPT-4o, GPT-4.5, o1-low, and o1-high (OpenAI); Claude-3.5-Sonnet and Claude-3.7-Sonnet (Anthropic); and Gemini-1.5-Pro (Google). Jaccard similarity was used as the comparison metric. Among the models, only Claude-3.7-Sonnet exceeded the cut-off value of 0.55 (approx. 0.55), followed by Claude-3.5-Sonnet (approx.
0.51). All OpenAI and Google models showed similarity scores below 0.50. Notably, inter-model similarities among the LLMs were all above 0.55, with particularly high similarity between models from the same developer. A qualitative analysis revealed that human experts tended to extract keywords with integrated consideration of educational context, while LLMs often generated more fragmented outputs.
Despite these fundamental differences, the relatively high similarity of Claude models to human results is noteworthy. This study concludes that while LLMs hold potential for use in text mining, their application should be considered conditionally. These findings underscore the need for developing research methodologies that integrate the complementary strengths of both AI and human experts

참고자료

· 없음