정책평가론 REPORT제 출 일 자2013-05-30 (목)담 당 교 수김 주 환 교수님학 부행정학과학 번201000878이 름김 유 정목차Ⅰ. 서론? 타당성의 의의와 종류0. 타당성의 의의1. 타당성의 종류1) 구성의 타당성2) 결론의 타당성3) 내적 타당성(1) 역사적 요소(2) 성숙 효과(3) 상실 요소(4) 테스트와 측정요소(5) 측정상 왜곡(6) 회귀 인공 요소(7) 측정도구의 조락(8) 선발과 성숙의 상호작용(9) 처리와 상실의 상호작용(10) 그 외4) 외적 타당성? 타당성 확보의 방안0. 실험 집단과 통제 집단의 선택1. 무작위화2. 대응Ⅰ. 서론정책평가의 연구목적은 정책의 효과에 대해 정확하고도 타당성이 높은 정보를 산출하여 차후의 정책에 반영하는 것이다. 타당성은 측정의 도구나 정차가 연구의 목적에 적절한 정도를 뜻한다. 정책평가의 타당성은 정책평가의 연구가 정책효과를 측정하는 데 진실에 얼마만큼 근접하고 있는가를 나타내는 개념이다. 정책결과를 올바르게 판단하면 정책평가는 타당성을 가질 수 있게 된다. 정책의 평가를 계획하고 수행하는 과정에서는 그 타당성을 위협하는 요인들을 인식하고 이들에 적절히 대비하는 것이 중요하다.? 타당성의 의의와 종류1. 타당성의 의의타당성이란 측정이나 절차가 그것을 목표로 하는 것을 달성했느냐 하는 정도를 나타내는 개념이므로 정책 평가의 타당성은 정책평가의 연구가 정책의 효과를 얼마나 진실에 가깝게 추출해 내고 있느냐 하는 정도를 나타내는 개념이다.실제로 정책의 효과가 있을 때 효과가 있다고 말하고, 정책의 효과가 없을 때 효과가 없다고 말할 수 있다면 타당성이 높다고 할 수 있고, 반대로 정책의 효과가 없는데 있다고 하거나 정책의 효과가 있는데 없다고 한다면 타당성이 낮다고 할 수 있다.2. 타당성의 종류1) 구성의 타당성구성의 타당성이란 실험처리, 결과, 모집단, 표본 및 환경 등에 대한 이론적 구성 요소들이 성공적으로 조작화되어 표현된 정도를 말한다. 따라서 결과의 측정을 위한 구성의 타당성은 측정도구를 전반존재하고 있느냐 하는 결론을 내리는 데에는 세 가지 유형의 결론의 오류가 존재한다.? 제 1종 오류 (Type 1 error) : 실제로는 처리효과가 존재 하지 않는데 이것이 존재한다고 결론을 내리는 것.? 제 1종 오류 (Type 2 error) : 실제로는 처리효과가 존재 하고 있는데 이것이 존재하지 않는다고 결론을 내리는 것.? 제 3종 오류 : 잘못된 목적을 위해 효과적인 수단을 사용하는 것.결론의 타당성을 논의할 때에는 결론의 오류를 처리효과를 추정하는 데 있어서의 바이어스 (bias)와 구분하는 것이 매우 중요하다. 바이어스란 우리가 어떤 이유로 경쟁적인 인과적 설명을 적절히 통제하지 못함으로써 처리효과(독립 변수의 효과)의 크기를 잘못 추정하는 것이다. 바이어스는 내적 타당성에 대한 위협들을 효과적으로 제거하지 못했기 때문에 처리효과가 과대 추정· 과소 추정됨으로써 오게 되는 것이다. 이에 비해 결론의 오류는 처리효과의 크기 그 자체는 적절하게 추정하였으나, 이것이 자료 내의 다른 소스의 차이들과 비교될 때, 처리 효과의 존재에 대하여 부적절한 결론에 도달하게 되는 것을 말한다.3) 내적 타당성내적 타당성은 정책과 결과간의 관찰된 관계로부터 도달하게 된 인과적 결론의 적합성의 정도를 나타낸다. 정책영향평가에 있어서의 내적 타당성은 결과변수에 대한 처리 효과로써 탐지된 것이 다른 경쟁적인 원인 (예: 허위변수나 혼란변수 등)에 기인된 것이 아니라 관심의 대상이 되고 있는 정책에 기인된 것이라고 볼 수 있는 정도로서 정의된다.? 외재적 요소 : 조사 실시 전에 비교집단을 잘못 선정한 선정요인의 경우와 극단적인 사례로 인한 통계적 회계 요인이 있다. 외재적 요소는 처리 집단과 비교 집단을 구성할 때 두 집단에서 서로 다른 개인들을 선발하여 할당함으로써 오게 될지도 모르는 가능한 바이어스이다. 이것을 선발요소라고 부르기도 한다. 만일 서로 다른 대상들이 처리집단과 비교집단에 배정되고 비무작위적 배정의 규칙이 사용된다면, 우리는 처리효과가 없는 경우에도 결 요소 : 외재적인 요소들과는 반대로 처리를 하는 동안에 일어나는 변화, 측정도구에 일어나는 변화, 혹은 연구 그 자체에 대한 반작용 효과 등이다.(1) 역사적 요소역사적 요소란 조사를 하는 기간 동안에 일어나는 사건으로서, 정책효과의 연구 대상이 되고 있는 개인이나 집단에 영향을 미칠 수도 있기 때문에 이것이 대상변수의 변화에 잠재적인 경쟁적 설명을 제공할 확률이 높아진다.(예: 버스 전용 차선제의 효과를 평가하기 위해 버스 전용 차선제의 시행 전과 후의 도로 교통의 소통 정도를 측정·비교할 때, 측정 구간을 통과하는 지하철이 개통되었다면 버스 전용 차선제 때문에 교통 소통이 빨라졌는지 지하철 때문에 빨라졌는지가 평가의 내적 타당성을 위협하는 요소가 될 것이다.)(2) 성숙효과성숙·발달과 관련된 정상적인 변화가 실험처리의 결과와 혼돈될 수 있다. 즉, 연구 대상의 결과에 대한 측정값들은 비교와 처리에 대한 관찰사이의 기간 동안에 개개인들이 성숙함으로써 다르게 나타날 가능성의 성숙효과가 잠재적인 바이어스의 소스가 된다. 만일 성숙과정이 실험집단과 통제집단에서 동일하다고 가정되고 실험변수의 효과가 주어진 발달 단계에 특정한 것이 아니라고 가정한다면, 성숙의 효과는 두 집단을 비교함으로써 배제될 수 있다.(예: 과학 과목을 듣고 있던 아니던, 과학에 관심이 있는 사회 환경에서 자란 어린이들은 일 년의 기간 중에 일반 과학지식의 증가를 자연적으로 보일 수 있다.)(3) 상실효과만일 연구대상들이 어떤 알려져 있지 않은 이유로 연구기간 동안에 처리집단과 비교집단에서 서로 다른 성격과 비율로 탈락하다면, 대사들의 이러한 상실이 이들 두 집단의 구성을 다르게 함으로써 잠재적인 바이어스의 소스가 될 수 있다.(예: 종교교육이 편견에 미치는 효과를 연구하는데 있어서, 실험 연구 과정에서 탈락한 사람들이 주로 편견을 가진 개인들인 경우에는 의견이 달라진 것으로 관측되는 것이 실제로는 실험과정에서의 서로 다른 상실에 의한 것임에도 불구하고 종교교육에 노출됨으로써 편견이 감소된 것 대상을 상대로 용돈을 10만 원 이상 받는 사람을 거수 하라고 한 뒤 가려내서 실험 하는 것)(5) 측정상 왜곡실험에서 사용된 측정 과정 그 자체가 결과에 영향을 미칠 수 있다. 실험 대상들이 자신이 실험을 당하고 있다고 인식하거나 좋은 인상을 주어야 한다고 느끼거나, 데이터 수집방식이 반응을 암시하거나, 그 대상이 이전에 느끼지 못한 관심을 자극한다면, 그 측정과정은 실험결과를 왜곡할 수 있다.(6) 회귀인공요소회귀인공요소들은 프로그램 집행 전의 1회의 측정에서 극단적인 점수를 얻은 것을 기초로 개인들을 선발하게 되면, 다음의 측정에서 그들의 평균점수는 덜 극단적인 방향으로 이동하게 되는 것을 의미한다.프로그램 집행 전에 테스트 점수가 최하위에 속하는 개인들을 선발하여 이들을 다시 테스트하면 비록 실제로는 프로그램의 효과가 없었다 할지라도 그들 집단의 평균점수는 향상된 것 같이 나타날 수 있다는 것이다.(예: 공무원 교육원에서 연수생을 대상으로 영어시험을 치룬 후 최하위 20%의 연수생을 대상으로 영어특강을 실시한 후 그 효과를 평가하려하는 경우, 본래의 실력이 있는데 실수해서 하위 그룹으로 떨어졌다가 다시 본래의 실력으로 회귀하는 경우, 프로그램 실시(영어특강)로 인해 그들 집단의 평균점수가 향상된 것 같이 나타날 수 있다.)(7) 측정도구의 조락정책이나 프로그램의 집행 전과 집행 후에 측정하는 절차나 측정도구가 변화되는 것을 말하며, 이와 같이 평가 대상에 대한 측정절차나 측정 도구가 동일하지 않다고 할 때에는 나타난 변화가 정책의 효과에 기인된 것인지, 아니면 단지 측정도구나 절차가 달라짐에 따라 나타난 것인지 그 구분이 애매하게 된다.(예: 한 프로그램이 심리학자에 의하여 프로그램 집행 전·후의 테스트 점수에 의하여 평가되고 있을 때 테스트 기간동안 심리학자의 판단의 기준상에 어떤 변화가 있게 되면 발견된 결과를 왜곡시킬 가능성이 있다.)(8) 선발과 성숙의 상호작용실험 집단과 비교 집단에 선발된 개인들이 최초에도 다를 뿐만 아니라 그들 두 집단의 과가 왜곡될 가능성이 있게 된다.(10) 그 외① 보상의 경쟁 : 아무런 처리를 받지 않고 있는 통제 집단에 속하고 있는 개인들은 그들이 아무런 처리도 받지 않고 있다는 것을 알게 될지도 모르며, 이에 따라 처리를 받지 않는 것을 보상받기 위하여 더욱 열심히 하도록 동기가 유발 된다.② 보상의 동등화 : 실험을 관리 하는 행정가들은 ‘혜택을 받지 못하는’ 비교 집단에 보상을 줄 필요성을 느끼게 될 수 있다.③ 비교 집단에 있는 대상들이 처리 집단에 있는 대상들과 아주 가까이 접근해 있는 경우, 처리의 어떤 확산이나 모방 현상이 일어나 집단간의 바람직한 차이가 극소화되어 버리는 경우가 생길 수 있다.4) 외적 타당성외적 타당성의 문제는 실험 결과를 어떤 상황에도 적용할 수 있는가 하는 일반화, 대표성의 문제를 말한다. 다시 말하면, 원래의 연구 가설에 포함된 결과, 처리, 표본 및 상황 등에서 관찰 된 바를 원래 구체화되지 않았던 다른 것들에게까지도 일반화 하고자 할 때, 이것이 가능한 정도로서 나타내어지는 것이 외적 타당성이다. 또한 정책이 집행 된 것과 다른 상황에서도 실험에서 발견된 효과들이 그대로 나타날 수 있느냐 하는 의문에 대한 것이다. 이에 대한 답이 긍정적일 수록 외적 타당성이 높고 부정적이면 외적 타당성이 낮은 것을 의미한다.(예: 한국에서 수행한 실험 결과가 다른 나라에서도 적용되는 정도를 나타낸다.)① 표본의 비대표성 = 크리밍 효과 : 실험의 효과가 잘 나타날 집단이나 사람을 실험 집단이나 대상으로 삼고, 그렇지 못한 집단이나 사람을 통제집단으로 삼아 실험의 효과를 과장하는 것을 의미한다.② 실험조작의 반응효과 = 호손(Hawthorne)효과 : 인위적인 실험환경에서 얻은 실험적 변수의 결과를 모집단에서 일반화하기 어려운 점을 의미한다. 즉, 실험에서 피실험자가 자신들이 실험대상이라는 사실을 인식한후 스스로 자신들의 행동을 기대된 방향 또는 그 반대방향으로 변화시킴으로써 평과 결과를 왜곡하는 효과를 말한다.③ 검증의 상호작용 효과 : 실험적영향
