사회과 서·논술형 문항 자동채점을 위한 프롬프트 엔지니어링 기법 간 유용성 비교 (Comparing the Effectiveness of Prompt Engineering Techniques for Automated Essay Scoring in Social Studies)

서지정보

· 발행기관 : 한국교육학회
· 수록지 정보 : 교육학연구 / 63권 / 4호 / 95 ~ 124페이지
· 저자명 : 정윤하, 백순근

초록

이 연구는 사회과 서‧논술형 평가에서 생성형 AI 기반 자동채점을 효과적으로 수행하기 위해, 다양한 프롬프트 엔지니어링 기법 간 성능을 비교하고 그 유용성을 탐색하고자 하였다. 이를 위해 Bloom의 인지적 수준(기억‧이해/적용‧분석/평가‧창안)에 따라 세 개의 문항과 루브릭을 개발하고, 10개의 프롬프트 유형을 설계한 뒤, GPT 모델 기반 자동채점 결과와 교사채점 결과 간 일치도를 정량적‧정성적으로 비교‧분석하였다. 연구의 주요 결과는 다음과 같다. 첫째, 문항이 요구하는 인지적 수준에 따라 적합한 프롬프트 기법이 다르게 나타났다. 특히 기억·이해 등 저차 인지를 요구하는 문항에서는 ‘생각의 사슬’이나 ‘멀티제로샷’과 같은 단계적 프롬프트 기법이 효과적이었다. 둘째, 루브릭과 채점 프롬프트를 명확하고 구체적으로 작성할수록 채점 성능이 향상되었다. 셋째, ‘모범답안을 추가’하거나 채점 예시를 제공한 ‘퓨샷’ 프롬프트는 추가 토큰 비용이 발생했음에도 제로샷 프롬프트보다 낮은 성능을 보였다. 마지막으로, 각 문항별 최적 프롬프트를 테스트 데이터에 적용한 결과, ‘생각의 사슬’ 기법이 적용된 문항1(기억‧이해)의 QWK는 0.88, ‘제로샷’ 기법이 적용된 문항2(적용‧분석)의 QWK는 0.86으로 교사채점과 ‘매우 높은’ 수준의 일치도를 보였으며, ‘제로샷’ 기법이 적용된 문항3(평가‧창안)의 QWK는 0.63으로 ‘높은’ 수준의 일치도를 나타냈다. 그밖에 교사채점과의 불일치 사례를 정성적으로 분석하며 프롬프트 기법별 유용성을 구체적으로 논의하였다.

영어초록

This study aimed to explore the effectiveness of generative AI-based automated scoring in essay-type assessments in social studies by applying various prompt engineering techniques and evaluating their performance and usefulness. Based on Bloom’s taxonomy (remember & understand / apply & analyze / evaluate & create), three essay-items and rubrics were developed, and ten types of prompts were designed. Automated scoring results based on GPT model were quantitatively and qualitatively compared to teacher scoring results. The key findings are as follows. First, the effectiveness of prompt types varied depending on the cognitive level required by the item. In particular, for lower-order items, prompts such as “Chain of Thought” and “Multi-Zero-Shot” that encouraged step-by-step reasoning showed higher accuracy. Second, scoring performance improved when rubrics and Zero-Shot prompts were written clearly and specifically. Third, prompts with added sample answers or few-shot prompts performed worse than Zero-Shot prompts, despite the additional input cost. Finally, when tested on new data, the optimal prompts demonstrated ’almost perfect‘ agreement with teacher scoring (QWK=0.88, 0.86 for Items 1 and 2) and ’substantial’ agreement (QWK=0.63 for Item 3). In addition, qualitative analyses of disagreement cases were conducted, and the usefulness of each prompt technique was discussed in detail.

참고자료

· 없음