표준화 평가로서의 FLEX 독일어 어휘문법 문항 분석－ 고전검사이론과 문항반응모형을 바탕으로 (Eine statistische Untersuchung zu FLEX Deutsch als standardisiertem Sprachtest)

서지정보

· 발행기관 : 한국독일어교육학회
· 수록지 정보 : 외국어로서의 독일어 / 48호 / 107 ~ 138페이지
· 저자명 : 유덕근

초록

본 연구는 언어 능력 평가도구의 품질을 가늠할 수 있는 이론적 기준과 적용사례를 다루었다. 표준화된 평가는 평가하고자 하는 대상을 정밀하게 규정하고, 평가의 준거에 따라 행동반응을 측정할 수 있어야 객관성과 신뢰성, 더 나아가타당성을 확보할 수 있다. 최근에는 언어 능력이 의사소통을 수행하는 포괄적능력 안에서 규정됨에 따라 평가의 유형과 형식도 이에 맞춰 차별화되고 있다.
어휘와 문법 영역은 의사소통을 위한 기초지식에 해당하지만 교육평가적 측면에서 일정한 신뢰도를 담보할 수 있어 언어 능력을 가늠할 수 있는 지표로서의정보가치를 기대할 수 있다.
FLEX 독일어는 표준화된 언어능력 평가로서 절대적인 기준에 따라 의사소통 능력을 측정하는 준거참조형 시험이다. 평가의 목적상 다양한 수준의 언어능력을 안정적인 평가도구로 측정하는 것은 소기의 평가 품질을 갖추는 데 필수조건이라 할 수 있다. 본 연구는 FLEX 평가의 안정성을 가늠할 수 있는 난이도와 변별도를 실제 응시자들의 문항반응에 근거하여 분석하였다. 피험자 중심의 고전검사이론과 항목 중심의 문항반응모델에 의한 분석에서 모두 FLEX 독일어의 어휘문법 영역은 난이도와 변별도가 유의미한 상호작용을 보였으나, 일부 개별 문항에서는 난이도 혹은 변별도가 통제 수준을 넘어 뚜렷한 편차를 나타냈다.

영어초록

Ein standardisierter Sprachtest muss drei Gütekriterien erfüllen: Objektivität, Reliabilität und Validität. Das Gütekriterium der Objektivität bezieht sich auf den Grad, in dem die Ergebnisse eines Tests unabhängig vom Forscher sind, die Reliabilität weist auf die Genauigkeit hin, mit der Testergebnisse eine Eigenschaft erfassen, und die Validität hat etwas mit dem Ausmaß zu tun, in dem ein Test das erfasst, was er erfassen soll. Ziel der vorliegenden Studie ist es, einerseits die Variablen zu identifizieren, die die Qualität der FLEX (Foreign Language Examination) beeinflussen können, und andererseits die Korrelationen sowohl quantitativ als auch qualitativ zu analysieren zwischen dem Schwierigkeits- und dem Diskriminierungsgrad bei den Aufgaben im Teil Wortschatz und Grammatik von FLEX Deutsch. Die Ergebnisse der Analysen anhand der klassischen Testtheorie und der probabilistischen Item-Response-Theorie zeigten, dass die betreffenden Aufgaben im Durchschnitt auf den Schwierigkeitsgrad ‘Mittel’ und auf den Diskriminierungsgrad ‘Hoch’ geschätzt wurden, was im Endeffekt bedeutet, dass der Test valid und reliabel gestaltet wurde. Bei einigen Aufgaben gab es jedoch Abweichungen, die sich vor allem auf unbekannte Wörter, Phraseologismen und komplizierte Strukturen zurückführen lassen. Um dies zu bewältigen, wird vorgeschlagen, den Testentwickler in die Gültigkeitsüberprüfung einesTests einzubeziehen.

참고자료

· 없음