상황판단검사의 채점용 답 결정방식과 채점방식이 타당도에 미치는 영향: 왜곡여부에 따른 비교 연구 (Comparison of validities for scoring keys and scoring algorithms in situational judgment test: the influence of faking)

서지정보

· 발행기관 : 한국산업및조직심리학회
· 수록지 정보 : 한국심리학회지: 산업 및 조직 / 24권 / 1호 / 231 ~ 255페이지
· 저자명 : 김의수, 김명소, 한영석

초록

본 연구에서는 상황판단검사(SJT)에서 피험자가 의도적으로 자신의 점수를 높일 수 있는지 즉, 긍정적 응답왜곡(faking good)이 가능한지를 확인하고, 만약 응답왜곡이 가능하다면 검사의 준거관련 타당도와 증분 타당도에 어떠한 영향을 미치는지 알아보고자 하였다. 이와 더불어 상이한 채점용 답 결정방식(전문가 합의, 응답자 평균, 경험적 방법)과 채점방식(Pick most 방식, 시나리오 채점방식, Best-Worst 채점방식)을 조합하여 사용하였을 경우, 응답왜곡의 정도와 검사의 준거관련 타당도 및 증분 타당도에 미치는 영향이 달라 질 수 있는지를 탐색적으로 살펴보고자 하였다. 이를 위해 국내 A대학의 리더선발 프로그램에 지원한 2학년 학생 110명과 B학과의 재학생 129명을 대상으로 적성검사, 성격검사, 상황판단 검사를 순차적으로 실시하였다. 적성검사와 성격검사는 두 집단 모두 동일한 절차와 방법으로 시행하였으나, 상황판단검사의 경우 제한된 수의 리더를 선발하기 위한 리더선발 프로그램에 지원한 학생들은 자연적으로 긍정적 응답왜곡이 발생하는 왜곡집단으로 간주하였다. B학과의 재학생들의 경우 검사의 목적이 자기진단임을 강조하고 별도의 지시문으로 솔직한 응답을 요구하였기 때문에 솔직집단으로 간주하였다. 또한 A대학의 재학생 78명을 사용하여 응답자 평균, 경험적 채점용 답을 설정하였으며, B학과의 재학생 중 성적 우수자, 리더 경험자, 대학원 1학년생을 전문가로 설정하여 전문가 기반 채점용 답으로 활용하였다. 수집된 자료들을 바탕으로 각각의 채점용 답 결정방식과 채점방식을 조합하여 솔직집단과 왜곡집단 모두에서 9개의 독립된 상황판단검사점수를 산출하였으며, 이를 바탕으로 각각의 준거관련 타당도와 증분 타당도를 비교하였다. 그 결과, 독립적으로 산출된 9개의 상황판단검사 점수 모두에서 왜곡집단이 솔직집단에 비하여 유의미하게 높은 검사점수를 보이는 것으로 나타났으며, 준거관련 타당도 또한 솔직집단이 왜곡집단보다 더 큰 것으로 나타났다. 증분 타당도의 경우 과업수행준거와 맥락수행 준거에 대한 결과가 상이하게 나타났으며, 맥락수행 준거에서만 9개의 상황판단검사 모두 솔직집단이 왜곡집단 보다 더 큰 증분적 설명량을 보였다. 이러한 결과를 토대로 본 연구의 의의와 제한점에 대하여 논의하였다.

영어초록

The purpose of the present study was to examine the fakability of the situational judgment test. Specifically, the study was focused on the following questions; (1) whether participants are able to fake their answers on the situational judgment test in the real situation of selection, (2) whether faking influences the criterion-related validity of the situational judgment test and its incremental validity over cognitive and personality tests, and (3) whether the combination of different scoring key(SME consensus, average in response, and empirical keying) and different scoring algorithm(scenario, Best-Worst, and Pick most) has influence on the degree of fakability as well as both criterion-related validity and incremental validity of the situational judgment test. 110 students who applied to the leadership program were considered the faking group, while 129 students of B department at A university were considered the honest group. The members of both groups completed a cognitive test, a personality questionnaire and a situational judgment test. Only for the situational judgment tests, each group was asked to respond as instructed. Another group of 78 students of A university participated in the survey to develop two scoring key(empirical, average in response keying). SME consensus key was developed by 9 SMEs(5 undergraduate students with leadership and good GPA, 4 graduate students). And then 9 situational judgment scores were produced independently. Results indicated that the all scores of students in the faking group were significantly higher than those of students in the honest group. Furthermore, criterion-related validity of the situational judgement test in the honest group was higher than that of the faking group for both task performance and contextual performance. While faking had negative effects on the criterion-related validity for both criteria of performance, incremental validity of the situational judgement test in the honest group was higher than that of the faking group only for the contextual criteria. Finally, the limitation and future direction of the present study were discussed.

참고자료

· 없음