비교간여후 검증설계의 내적 타당성 제고방안에 관한 실증적 연구: 마이스터고 육성정책을 중심으로 (A Research on Improvement of the Comparative Posttest Design to Increase Internal Validity: Focusing on Meister High School Development Program)

서지정보

· 발행기관 : 한국정책분석평가학회
· 수록지 정보 : 정책분석평가학회보 / 28권 / 2호 / 275 ~ 302페이지
· 저자명 : 서영빈, 이윤식

초록

값과 비교집단의 결과 값의 비교를 통해 정책의 효과를 평가하는 비교간여후 검증설계가 갖고 있는 단점들을 개선하기 위해 진행되었다. 이를 위해 비교간여후 검증설계에 하위목적설계의 요소를 결합하여 하위목적 비교간여 후 검증설계를 새롭게 제안하고, 이를 마이스터고 육성정책을 대상으로 실증적으로 검증하였다. 마이스터고 육성정책의 핵심적 하위목적인 직업능력 향상활동에 초점을 두고 분석한 결과, 정책과 하위목적 그리고 결과 간의 영향경로는 규명되었음에도 불구하고 실험집단의 하위목적효과와 정책간여가 부재한 비교집단의 하위목적효과 간에 유의미한 차이가 나타나지 않았다. 이는 비교간여후 검증설계를 적용하여 정책효과가 있다고 주장한 기존 연구들과 달리 새로운 평가설계를 활용한 본 연구에서는 마이스터고 육성정책이 기대한 효과를 초래하지 못했음을 나타내는 것이다. 이처럼 본 연구에서 새롭게 제안한 하위목적 비교간여후 검증설계가 정책간여전 결과 값과 무작위 선발․배정이 부재한 준실험설계임에도 불구하고 정책과 하위목적, 결과 간의 영향경로를 실증적으로 증명함에 따라 정책과 결과간의 인과관계에 대한 추가적인 증거를 제시하였다. 이는 기존 비교간여후 검증설계가 내재하고 있는 내적타당성 위협요인을 그만큼 제거하게 됨으로써 인과추정력을 제고했음을 나타낸다.

영어초록

This study aims to improve the Comparative Posttest Design which measures a program effect by comparing the outcome of experimental group with the outcome of control group. In order to increase internal validity of the design, we suggest new Comparative Posttest Design with Subobjective, which integrated the Comparative Posttest Design with the Subobjective Design to verify the causal relationship between the program, its subobjective, and its outcome. To prove the efficacy of the new evaluation design, we evaluate the Meister High School's Specialized Vocational Program with empirical data on it. Although prior researches suggested that this program improved the wage and satisfaction of its graduates, we did not find any causal relationship that there is difference of subobjective effect between experiment and control group. This study shows that the Comparative Posttest Design with Subobjective increases the internal validity not only by empirically supporting no causal path between the program and its outcomes but also testing that the magnitude of expected subobjective effect in the experimental group is higher than that of the control group of which randomization is impossible.

참고자료

· 없음