순환신경망을 적용한 초등학교 5학년 과학 서술형 평가 자동채점시스템 개발 및 활용 방안 모색 (The Development and Application of Automated Scoring System for Constructed-Response Assessment of 5th Grade Science in Elementary Schools Using Recurrent Neural Network)

서지정보

· 발행기관 : 한국교육평가학회
· 수록지 정보 : 교육평가연구 / 33권 / 2호 / 297 ~ 321페이지
· 저자명 : 박세진, 하민수

초록

본 연구의 목적은 학급 수준의 반복되는 평가 활동에서 생성되는 빅데이터를 활용하여 기초 수준의 서술형 평가 자동채점시스템을 개발한 후, 이를 다시 실제 학교 현장에 활용하는 방안을 모색하는데 있다. 이를 위해 먼저 서술형 평가 4개 문항을 개발하였고, 서울 및 경기 지역 4개 학교 5학년 학생 462명 학생 자료에 순환신경망 모형을 적용하여 자동채점시스템을 개발하였다. 전문가가 판정한 결과와 자동채점시스템이 예측한 결과를 비교한 결과 개발한 4개 문항 모두 전체 일치율을 의미하는 정확도가 .9이상이고, 채점자간 우연히 일치할 확률을 보정한 카파지수도 .8이상인 것으로 나타나 자동채점시스템이 모든 문항을 상당한 수준으로 예측하는 것으로 나타났다. 추가적으로 개발한 자동채점시스템을 웹상에 탑재시킨 후 실제 교육현장에 투입하여 학생들의 응답 반응을 살펴보았다. 이러한 과정을 통해 최근 학교 현장에서 강조되고 있는 과정중심평가 관점에서 현장 적용 방안을 모색하였고, 관련된 시사점을 살펴보았다.

영어초록

The purpose of this study is to develop an artificial intelligence-based automated scoring system for the constructed-response assessment using big data generated from repeated class-level assessment activities. This study also explored ways to utilize the automated scoring system in the school. Firstly, four items of constructed-response assessment were developed. Secondly, an automated scoring system was developed by applying a circulating neural network model to student data of 462 fifth graders at four schools in Seoul and Gyeonggi Province. Comparing the results scored by experts with those predicted by automated scoring system, all four developed questions show an accuracy of more than .9 and a kappa index of more than .8. The automated scoring system predicts all questions to a considerable extent. Furthermore, the systems were put on the Web and put into actual educational sites to examine the response of students. Through this process, we explored ways to apply the site from a process-based assessment perspective, which has recently been emphasized at school sites and looked at relevant implications.

참고자료

· 없음