2018 전문대학 기본역량 1단계 진단에서 3개 권역별 진단팀과 정량평가지표의 영향력 분석 (The Impact of Three Regional Evaluating Groups and Quantitative Evaluation Indices on the Preliminary Result of Korean Junior College Fundamental Competency Test in 2018)

서지정보

· 발행기관 : 한국정책분석평가학회
· 수록지 정보 : 정책분석평가학회보 / 30권 / 4호 / 269 ~ 297페이지
· 저자명 : 김정기

초록

조사연구 설계와 측정 이론에 의하면 평가는 높은 신뢰도와 타당도를 확보해야 한다. 본 연구는 첫째 자율개선대학 선정 유무는 정량평가지표의 점수에 영향을 받는가와, 둘째 전문대학 자율개선대학 권역별 선정비율은 권역별 정량지표 평가점수와 연관성이 있는가에 대한 실증연구이다. 매우 느슨한 만점 기준을 적용한 정량지표들에 대한 측정값은 정량지표별 규준참조검사(norm-referenced test)의 변별력과 타당도를 떨어트렸고, 그 결과 충원율과 취업률만이 자율개선대학을 선정하는 순위평가에서 매우 제한적인 영향력이 있는 것으로 나타났다. 정량지표 신뢰도의 문제는 없다. 다른 한 편 정량지표 점수(36점 만점)와 3개 권역별 상피제에 의한 서로 다른 진단팀이 평정한 정성적 지표(39점 만점) 점수를 합산하여, 권역별 전문대학 수 비례로 72교를 자율개선대학을 우선 선정한 후, 전국단위에서 15개 전문대를 추가 선정하는 과정에 평가자(진단실무팀) 구성상의 선정편의(selection bias) 가능성을 통제하지 못했다. 따라서 정량지표에 대한 타당도 제고와 평가자(진단팀) 구성상의 개선방향을 제시한다.

영어초록

According to the research design and measurement theory, the evaluation must secure high reliability and validity. This study examines empirically: first, whether the selection of self-improvement junior college is influenced by the quantitative evaluation index score and second, whether the regional ratio of junior college with a autonomous improvement permit is related to the score of quantitative indices by region. The measured value ​​of quantitative indices applied a very loose perfect score criterion, so it reduced a discriminating capacity and validity of the norm-referenced test for each quantitative indices. As a result, the selection of junior college with an autonomous improvement permit is influenced very restrictively by only the student recruitment rate and employment rate. In addition, qualitative indices was evaluated by three different evaluating teams composed of three mutual avoidance system regionally. In the first process of adding up quantitative and qualitative index scores, three evaluating teams permitted 72 colleges to improve themselves autonomously in proportion to the number of colleges in each region. By the way in the second step of selecting 15 additional colleges nationwide, the possibility of evaluator selection bias in composing of three evaluating teams by region was not controlled. That is why ways to improve the validity of quantitative indices and a evaluating team composition are suggested.

참고자료

· 없음