한국 근현대사 과목의 문항 난이도 특성 분석 - 전국 연합학력평가(10월) 채점 결과를 중심으로 - (An Analysis of the Characteristics of Item Difficulty in Assessment of Korean Modern and Contemporary History)

서지정보

· 발행기관 : 역사교육연구회
· 수록지 정보 : 역사교육 / 119호 / 29 ~ 56페이지
· 저자명 : 박진동

초록

문항 난이도(item difficulty)는 문항의 쉽고 어려운 정도를 나타내는 지수로서 총 피험자 중에서 답을 맞힌 피험자의 비율, 즉 확률을 의미한다. 난이도는 시험을 채점한 결과를 통해서 알 수 있는 것이지만 문항을 제작할 때도 고려되어야 한다. 시험의 중요한 목적 중 하나가 피험자를 변별하는 것이며 일정한 난이도를 유지해야 신뢰를 얻을 수 있기 때문이다. 특히 규준참조평가에서는 피험자의 점수폭을 넓히기 위해서 쉬운 문항부터 어려운 문항까지 골고루 출제하여야 한다.
시험은 사전에 난이도 수준을 검사해 볼 수 없으며 시험마다 피험자 집단의 특성이 달라서 난이도를 정확하게 예측하기가 어렵다. 역사과 평가에서도 난이도 예측의 중요성과 곤란함은 동일하다. 난이도 예측을 위해서는 문항 난이도 특성을 체계적으로 파악할 필요가 있다. 본고는 고등학교 3학년 10월 연합학력평가(이하 학평) 한국 근현대사 과목의 채점 결과를 활용하여 문항 난이도 특성을 탐색함으로써 난이도 예측력을 제고하려고 한다. 10월 학평은 대학수학능력시험(이하 수능)과 같은 5지 선다형 탐구형 문항이며, 수능 시행일에 근접한 시점에서 시행하기 때문에 피험자들이 자신이 선택한 과목에서 최선의 실력을 발휘하게 되는 시험이다. 또한 출제 범위가 교육과정 전범위이며 전국 수준의 데이터가 공개된다. 시험 1회분은 20문항뿐이므로 2006년부터 2010년까지 시행된 5회분 100문항을 분석 대상으로 하였다. 해마다 피험자 집단이 다르지만 적어도 10월이라는 시점을 일치시켜서 일관성 있는 정답률을 얻고자 하였다. 특히 정답률이 낮은 문항(24개)과 정답률이 높은 문항(25개)을 골라서 문항 난이도 특성은 귀납적으로 분석하고자 했다. 귀납적 분석은 분석 대상 문항내에서만 특성을 탐색할 수 있으므로 다른 시험의 출제되었던(또는 앞으로 출제할) 문항 난이도 특성을 포괄하지는 못한다는 한계가 있다는 점을 밝혀둔다.
귀납적이라 하더라도 어떤 문항이 어떤 이유로 어렵거나 쉬웠다는 식으로 기출 문항의 개별적 특성보다는 똑같은 문항을 다시 출제할 수 없고 같은 문항이라도 난이도 결과는 달라질 수 있기 때문에 일반적으로 판단할 수 있는 난이도 요인을 추출하려고 하였다. 이와 같이 본고의 목적은 역사과 평가문항을 제작할 때 일반적으로 고려할 수 있는 난이도 특성을 탐색하는 것에 있으므로 본고의 분석 결과가 역사과 평가 문항 제작에서 실질적으로 도움이 되기를 기대한다.

영어초록

This paper attempts to examine a list of factors that account for item difficulty. An analysis has been made on the basis of identifying the characteristics both of difficult items and of easy ones in the National Assessment of Academic Achievement Korean Modern and Contemporary History administered by local education authorities for the last five years.
The main findings of the analysis of the result can be summarized as follows:The following characteristics of the items in question can be attributed to enhancing item difficulty: 1) items that reflected trivial content; 2) items that required extensive prior knowledge of the period in detail; 3) items in which comprehension of lead-in statement played an important role in identifying the correct option; 4) unconventional items that would prevent test-taking skills from having a greater influence on test performance than intended; 5) items whose key words were not explicit both in lead-in statement and in alternatives; 6) familiarity of the phrases used in alternatives; 7) items that include distracters, which are likely to be considered as correct answers.
On the other hand, the following factors did not appear to be linked with item difficulty: 1) the matter of whether the instruction and alternatives of items reflected contents drawn from more than one unit; 2) the area of items such as interpretation of historical sources and historical imagination; 3) item format such as one correct answer variety, negative variety and combined response variety; 4) the amount of content elements in each alternative.

참고자료

· 없음