내재설계 평가센터의 신뢰도 및 타당도 (Reliability and Validity of Nested-Designed Assessment Center)

서지정보

· 발행기관 : 한국산업및조직심리학회
· 수록지 정보 : 한국심리학회지: 산업 및 조직 / 23권 / 2호 / 225 ~ 249페이지
· 저자명 : 허창구, 신강현

초록

본 연구는 평가센터를 적용한 신입사원(1,249) 선발자료와 재직자(관리자 105, 일반사원 200) 평가센터자료를 이용하여, 평가센터의 신뢰도 및 타당도를 검증하기 위해 실시되었다. 특히 본 연구의 평가센터는 평가과제마다 특정 평가차원이 지정되어 있는 소위, 내재설계된(nested designed) 평가센터로서, 구조화 면접에서는 3명의 평가자가 3개의 평가차원(책임감, 적극성, 혁신성)을, 프레젠테이션에서는 2명의 평가자가 2개의 평가차원(정보분석력, 문제해결력)을, 그룹토의에서는 2명의 평가자가 2개의 평가차원(대인친화력, 의사전달력)을 평가하도록 설계되어 있었다. 이러한 내재설계 평가센터는 평가자에 의한 편향(rater bias)이나 평가과제 효과(exercise effect)가 우려되기 때문에, 평가의 신뢰도 및 타당도 검증을 통해 평가센터의 활용가능성을 확인할 필요가 있다. 일반화가능도 결정연구(D study)결과, 내재설계 평가센터는 양호한 신뢰도를 보여주었으며, 일반화가능도 일반화연구(G study)결과, 평가자의 편향은 거의 나타나지 않았고, 평가과제 효과가 매우 크게 나타났으나 평가차원의 변별성 또한 어느 정도 확인할 수 있었다. 확인적 요인분석을 통한 구성개념타당도 검증결과에서는 평가과제와 평가차원을 모두 고려한 통합모형이 가장 적합한 것으로 나타나 평가차원의 변별성을 보여주었다. 재직자의 평가센터 점수와 준거와의 상관관계분석 결과에서는 각 평가과제에 내재되어 있는 평가차원들이 어느 정도 차별적인 준거예측력을 보여주었으며, 전반적으로 구조화 면접에 속한 평가차원이 가장 포괄적인 준거관련성을 지녔고, 프레젠테이션에 속한 평가차원이 준거와 가장 관련성이 적었다. 논의에서는 본 연구의 의의와 제한점을 제시하였다.

영어초록

An Assessment Center(AC) consists of a standardized evaluation of behavior based on multiple evaluations including: job-related simulations, interviews and psychological tests. Recently, as many companies have been adopted AC as a selection tool, the importance of AC have been rapidly increased. The general frame work of AC used is called “nested model”. That is, selecting a competence for assessment identifies exercises. However, there have been little researches conducted on the validity of nested AC. Therefore, this study is intended to the validity of nested AC using generalizability theory with G and D study and confirmatory factory analysis. In this study, we use two types of data: AC scores of applicants(n=1,249) and AC scores of incumbents(team manager=105, team member=200). The AC of this study is designed of Structured Interview(SI), which three competencies(responsibility, activity, innovation) are rated by three assessors and Presentation(PT) and Group Discussion(GD), which two competencies(information processing, problem solving / harmony, communication skill) are rated respectively by two assessors. In the result, generalizability analyses indicated that the reliabilities of three exercise were acceptable and exercise effects existed, on the other hand, dimension effects were found especially in SI. But, rater effect was almost not existed. Confirmatory factor analyses results were consistent with the generalizability results. That is, the dimensions of AC could be discriminated, and showed a differential predictive validity. Implications for future research and practice are discussed.

참고자료

· 없음