세계 대학 순위평가의 문제점에 대한 실증적 연구 (An Empirical Study on the Problems of the World University Ranking)

서지정보

· 발행기관 : 한국교육행정학회
· 수록지 정보 : 교육행정학연구 / 28권 / 3호 / 301 ~ 326페이지
· 저자명 : 김훈호, 이수정, 박현주, 심현기, 신정철

초록

본 연구는 THE-QS와 ARWU의 평가결과를 사용하여 대학 순위평가가 가진 평가 방법 및 결과의 문제점을 실증적으로 분석하였다. 분석 결과에 따르면 첫째, 3개년(2007~2009)의 평가 결과를 비교해 본 결과, 대학 순위평가 결과는 실제 대학의 질적 수준을 충분히 반영하고 있지 못한 것으로 나타났다. 둘째, 평가자가 어떠한 지표에 보다 큰 가중치를 부여하는가에 따라 대학의 순위 결과가 크게 달라지고 있다. 셋째, 두 순위평가 모두 대학의 연구 역량을 평가하고 있으나, 평가지표를 어떻게 구성하느냐에 따라 순위 결과가 크게 달라졌다. 넷째, 종합순위와 세부 영역별 순위를 교차분석 해 본 결과 둘의 상관 정도가 매우 낮았다. 이러한 연구 결과는 평가자가 임의의 가중치를 부여하고, 총점 크기에 따라 종합 순위를 산출하는 기존의 방법을 지양해야 함을 의미한다. 정확한 평가 결과를 산출하되, 사용자들이 자신들의 필요에 따라 다양한 방식으로 순위를 산출할 수 있는 평가 체제를 구축해야 할 것이다.

영어초록

This research attempts to analyze the problems of the world university ranking system with two popular ranking tables: THE-QS and ARWU. Higher education is perceived as the most important means to enhance the national competitiveness lately. Most countries, therefore, try to improve the capacity of their universities and verify the result of their own efforts using the ranks on ranking tables. Nevertheless, most precedent studies which pointed out problems on the ranking tables tend to be based on the theoretical and logical analysis about validity of evaluation, relevancy of indicators, and side effects caused by ranking systems rather than on empirical data.
For this reason, we analyzed the problems on the two major university ranking tables empirically. The results of this research are as follows. First of all, those ranking tables do not reflect enough information to be able to compare the relative quality of universities. Second, the ranking results changed significantly according to the weights which the evaluator puts on each indicator. Third, research competence rankings showed a marked change depending on the composition of evaluation indicators, though the two ranking tables insist that they can assess the research competence of universities accurately. Finally, the correlation coefficient between total score ranking and each ranking of subarea is quite small.
In light of these results, arbitrary weighting method and total score ranking should be sublated. Instead, universities should be assessed accurately and the evaluation system should be constructed to be able to rank universities according to consumer's own preferences or needs.

참고자료

· 없음