공기업 다면평가의 타당성과 신뢰성 분석 (Validity and reliability of 360 degree feedback of public enterprise in Korea)

서지정보

· 발행기관 : 한국행정학회
· 수록지 정보 : 한국행정학보 / 50권 / 2호 / 131 ~ 153페이지
· 저자명 : 한인섭

초록

본 연구는 공기업이 인사평정에서 사용하는 실제의 자료를 활용하여 다면평가의 타당성과 신뢰성을 분석하였다. 2000년대를 전후하여 도입된 다면평가제도는 전통적인 근무성적평정제도의 문제점을 극복하여 실적과 능력중심의 인사관리가 이루어질 것으로 기대되었다. 그러나 다면평가제도는 도입 초기부터 많은 비판에 직면하였는데, 이의 요지는 관대화 경향 등으로 인해 다면평가의 신뢰성과 타당성에 근본적인 문제가 있다는 것이다. 이러한 주장을 하는 선행연구들은 설문조사나 면접조사 등에 의존하여 분석하고 있는데, 이런 자료들은 공공조직의 실제 자료와 다르기 때문에 내적타당성 문제를 야기할 가능성이 있다. 이에 본 연구는 공기업에서 인사평정에 적용했던 실제의 자료를 획득하여 다면평가의 관대화 경향과 중심화경향, 타당성과 신뢰성 등을 분석하였다. 분석결과, 부(-)의 왜도가 일관되게 나타나 관대화 경향이 있는 것으로 분석되었으나, 첨도는 –0.52~1.114로 나타나 중심화 경향은 크지 않은 것으로 나타났다. 평가자 유형을 평가단계, 평가자 직급, 평가자 직군으로 구분해서 분석한 결과, 부하평가보다는 상사평가가, 그리고 업무직보다는 일반직에서 관대화 경향이 더 높은 것으로 나타났다. 선행연구의 지적과 달리 평가자의 신뢰성은 양호한 것으로 분석되었다. 구체적으로 보면, 1단계와 2단계의 상관계수는 0.892, 상사평가와 부하평가의 상관계수는 0.632, 그리고 일반직과 업무직의 상관계수는 0.683로 분석되어 평가단계나 평가자 직급 및 평가자 직군 등의 차이에도 불구하고 평가결과의 유사성이 비교적 높게 나타났다. Cambell & Fiske(1959)의 다속성-다측정 행렬(multi-trait multimethod matrix; MTMM)을 활용하여 다면평가의 타당성을 분석한 결과, 평가항목인 리더십, 업무수행능력, 업무수행태도에 대한 수렴타당성(convergent validity)은 양호하였으나, 판별타당성(discriminant validity)은 매우 미흡한 것으로 나타났다. 결과적으로 연구대상 공기업의 평가자들은 평가항목의 차이를 구분하지 않은 채 피평가자들을 평가한 것으로 볼 수 있다. 이러한 분석결과를 바탕으로 본 연구는 평가자 선발 및 풀(pool)을 구성함에 있어서 평가자의 직급이나 직군 등을 더욱 우선적인 변수로 고려하고, 직급 및 직군별 가중치를 적용함에 있어서 부하평가나 업무직 평가에 더 많은 가중치를 부여할 필요가 있음을 제안하였다. 아울러 다면평가의 타당성 제고를 위해 평가항목의 세분화, 행위기준 평정척도(Behaviorally Anchored Rating Scales, BARS)로의 전환, 평가자에 대한 사전교육의 강화 등을 강조하였다. 본 연구는 공기업의 인사평정에서 반영된 실제의 자료를 활용하여 분석하였다는 점에서 선행연구들과 차별성이 있지만, 개별 공기업의 사례에 국한된 것이기 때문에 연구결과를 일반화하는 데에는 한계가 있다.

영어초록

To compensate for the weak point in the existing work performance assessment system, a 360degree feedback system was introduced and proliferated in the Korean public sector about the year 2000. Despite its usefulness, however, from its inception the system encountered many criticisms, the main purport of which was that it had a popularity-poll nature, a central tendency of validity and reliability problems, and was operated with a bias toward leniency. We think, however, that the existing empirical papers criticizing its faults lack internal validity because they employed researcher-made survey or interview data. Thus we tested the validity and reliability of 360 degree feedback using an actual public enterprise data set. The results show that the leniency bias of the360 degree feedback was significant but the central tendency was not. We categorized the raters by rating stage, raters’ rank, and function, and then analyzed the source of the leniency bias. We found that the rating performed by superiors and general occupants was more lenient than that done by subordinates and functional occupants. Inter-rater reliability was proved to be rather satisfactory, but construct validity was insufficient. The convergent validity of evaluation items—leadership, performance capability, and occupational attitude—was very satisfactory, whereas the discriminant validity was not. This result suggests that the raters of public enterprise have rated the ratees without discerning the differences among the evaluation items. Based on these results, weargue that raters’ rank and function are more important variables than organizational level in rater selection and making up the rater pool. And we recommend that subordinate rating and functional occupation should be given more weight than superior rating and general occupation. In addition, in order to improve the validity of 360 degree feedback, we propose suggestions such as subdivision of abstract evaluation items, introduction of behaviorally anchored rating scales(BARS), and intensified education and training of raters.

참고자료

· 없음