대학 재정지원 사업 선정 평가의 순위 역전(rank reversal) 문제와 대응 방안: 대학 교육역량강화사업을 중심으로 (Analysis for a Methodological Problem in selecting recipients of Governmental Funding Project)

서지정보

· 발행기관 : 한국교육재정경제학회
· 수록지 정보 : 교육재정경제연구 / 21권 / 4호 / 45 ~ 75페이지
· 저자명 : 강홍준

초록

매년 정부가 발표하고 있는 재정지원 사업 선정 결과는 대학에 큰 영향을 미치고 있다. 정부가 대학에 지원하는 사업 중 가장 큰 규모인 교육역량강화사업에 탈락한 대학은 재정적 위협을 받게 된다.
이 때문에 대학들은 선정 기준과 방식에 민감한 반응을 보일 수밖에 없다. 정부는 이에 따라 재정지원 사업의 객관성과 공정성을 높이기 위해 사전에 정해진 평가 지표를 토대로 순위를 낸 뒤 재정지원 대상과 액수를 결정하는 포뮬러를 활용하고 있다. 이 방식은 평가 지표의 실제 값(raw data)을 표준화(normalization)해 합산한 뒤 각 기관 별로 취득한 점수를 가지고 서열을 매기는 순위결정(ranking)이다.
본 연구는 대학 재정지원 사업 중 하나인 교육역량강화사업의 지원 대상자 선정 평가의 방법론 상 문제점을 분석했다.
첫째, 교육역량강화사업에서 활용되고 있는 순위결정은 대상 집단의 구성이 달라질 때 순위역전(rank reversal)이 나타난다. 2011년 교육역량강화사업에 있어서 4년제 일반대의 8개 유형별로 시뮬레이션을 실시한 결과 각 유형 별로 최하위 순위 대학 1개를 제외했을 때 수도권 대형과 지방 대형을 포함해 지방 중형, 지방 소형, 교육대, 산업대 등 6개 유형에서 기존 순위가 뒤바뀌는 현상이 나타났다. 특히 수도권 소형 대학에서는 순위역전에 따라 기존의 선정 대학이 탈락 대학으로, 탈락 대학이 선정 대학으로 뒤바뀌는 문제가 확인됐다.
둘째, 이러한 순위역전 현상을 일으키는 근본 원인은 척도가 다른 지표 데이터 값을 표준화하는 방법과 표준화된 점수를 합산하는 방법에 있는 것으로 나타났다. 예를 들어 기존 대상 집단에서 최하위 순위의 대학이 하나 제외됨에 따라 각 지표의 평균과 표준편차가 달라지고, 이에 따라 표준점수가 변화하면서 이 점수를 합산하는 과정에서 순위역전이 발생하는 것이다.
셋째, 표준화와 합산 방법을 바꾸지 않는다면 순위역전의 문제는 근본적으로 피할 수 없다. 대상 집단의 구성이 다소 바뀜에 따라 이처럼 순위역전이 발생한다면 순위결정의 안정성은 깨진다는 점에서 문제의 심각성이 있다.
이 문제는 정부의 방식과 동일하게 평가를 했을 때 나타난 것이다. 평가의 일관성과 신뢰성 측면에서 정책의 대안이 필요하다.
현재 정부재정지원 사업 선정 평가 뿐 아니라 표준화 및 점수 합산 방식의 순위를 내는 방법론을 활용하는 평가가 갈수록 늘어나고 있다. 예를 들어 언론사에 의한 대학 평가, 대학 자체 평가, 기관 평가 등에서도 주관적 심사 방식 대신 객관적인 지표 값을 활용한 선정 평가가 광범위하게 적용되고 있다. 이러한 평가 역시 정부 재정지원 사업 평가에서 나타나는 순위역전 문제에 취약하다. 순위 역전 문제에 대한 추가적인 연구가 필요하며, 이 문제를 피할 수 있는 대안적 방법론도 향후 연구과제가 될 것이다.

영어초록

The purpose of this article is to focus on a methodological problem in selecting recipients in Educational Capacity Enhancement Project(ECEP). ECEP is the largest governmental funding project to support chosen universities which have higher standardized scores in evaluation indicators such as the graduate employment rate, ratio of student enrollment as of total quota, full time faculty rate, scholarship provision rates and educational expenses per student. The Government has annually evaluated universities by ranking with composite indicators and standardized scores ,and allocated limited financial resources to chosen recipients for boosting their educational capacities since 2008.
In this study, it is found that ranking reversals in evaluating universities for ECEP occurred at all categories for funding. Rank reversal means ranking irregularity when the set of subjects is modified by the way of excluding the worst one and re-calculating ranking scores. In example, the rank of A and B is reversed as a result of the exclusion of alternative D. It could reach contradictory results and endanger reliability and stability of the evaluation mechanism relying on ranking.
This study analyses the causes of rank reversal phenomenon. Some normalization method by standardized scores could result in rank reversals. Normalization is required prior to any data aggregation as the indicators in a data set often have different measurement units. And the use of additive aggregations could also lead to the same problems because of its full compensability, such that poor performance in some indicators can be compensated for by sufficiently high values in other indicators.
This study proves that these rank reversals are not possible when a proper normalization method is adopted and a multiplicative aggregation rule is used.

참고자료

· 없음