[효과성평가] 효과성의 개입효과와 연구디자인

문서 내 토픽

• 1. 개입과 효과성의 관계

  프로그램이 효과적이었다고 말하기 위해서는 먼저 어떤 상태에 대한 변화가 실제로 나타났는지를 보여주어야 한다. 프로그램이 실시되기 이전의 상태인 O1에서 프로그램이 실시된 이후의 상태인 O2를 비교해 보고, 그것들 간의 차이(O2-O1)를 보여줌으로써 변화발생 여부를 확인가능하게 해줄 것이다. 일차적으로 변화를 보여줄 수 있었다면, 효과성을 검증하기 위해서는 'O2-O1'이 과연 프로그램 개입(XP) 때문에 발생한 것인가를 확인해야 하는데, 그것이 다른 이유들(X1.-.X10)때문이 아니라 반드시 프로그램 개입(XP) 때문만이라는 것을 보여줄 수 있어야 한다.

• 2. 이상적인 실험 디자인

  실험디자인은 개입과 성과의 사이에 인과관계가 성립되는지를 확인할 수 있게 한다. 개입 이외의 다른 요인들이 성과에 영향을 미치지는 않았는지를 통제하는 것이 가능하기 때문에, 실험 디자인은 개입의 효과를 확인하는 데 가장 이상적인 디자인이라고 할 수 있다. 실험연구에서 사용되는 전형적인 연구디자인으로는 사전 - 사후검사 통제집단 실험디자인이 있다. 이 디자인은 실험집단과 통제집단이라는 두 집단은 가진다. 프로그램이 시행된 집단, 즉 개입이 주어진 집단을 실험집단, 개입이 주어지지 않은 집단을 통제집단이라 한다.

• 3. 사회복지 프로그램과 실험디자인

  전형적인 실험디자인들을 사회복지프로그램들에 적용하는 데는 많은 문제점들이 있다. 실험에는 인위적인 상황의 설정이 필요하다. 그것은 곧 동일한 문제와 욕구를 갖는 집단을 실험집단과 통제집단으로 분리하여 차별대우를 하게 되는 결과를 초래하는 것이다. 실험목적을 위해 특정집단에 대한 불연속적인 서비스 개입은 클라이언트 집단을 실험대상으로만 취급한다는 인식을 갖게 할 수 있다. 현실적인 어려움으로 사람을 대상으로 하는 연구들에서는, 무작위로 실험집단과 통제집단을 나누는 것과 엄격하게 동질적인 집단환경을 유지한다는 것 등은 거의 불가능하다.

• 4. 유사·실험 디자인

  사회복지 서비스 프로그램들이 실행되는 환경에서 엄격한 통제집단을 활용하는 것이 불가능한 경우에 사용된다. 서비스 집단의 성과를 비교할 수 있는 동일한 통제집단이 없는 경우, 비교의 근거를 달리 구해야 할 필요가 있다. 이러한 비교의 근거를 어디에 두는가의 차이에 따라 몇 가지 유형으로 나눌 수 있다. 1. 비동일 통제집단 디자인: 통제집단은 갖추고 있으나, 이러한 통제집단이 실험 디자인에서처럼 무작위로 뽑혀지지 않았다는 것이 다른 점이다. 2. 단절 시계열 디자인: 개별 실천가들이나 프로그램들이 서비스를 진행해가면서 동시에 자료를 수집할 수 있다는 장점과, 통제집단을 갖지 않아도 된다는 이점들로 인해 서비스 실천 환경에 있어서의 효과성 제시를 위한 자연스런 평가 디자인으로 각광받고 있다.

• 5. 비교 디자인

  비교디자인은 유사한 다수의 프로그램들을 비교의 대상으로 삼는 디자인이다. 즉, 유사한 개입이론들을 갖는 다양한 프로그램들을 비교함으로써 프로그램에 대한 평가의 근거들이 도출될 수 있게 된다. 현실적인 상황에서 통제를 수반하지 않는 상태로 각기 다른 프로그램들을 평가해 볼 수 있는 방법이다. 단점은 운영변수들의 복잡성과 각각의 운영변수들을 분리시켜 통제시키기 위한 미러 설정된 명확한 틀이 없기 때문에 엄격한 인과관계에 대한 검증을 제시하기 어렵다. 장점은 프로그램의 내부 사정에 익숙한 평가자들에 의해 수행되며 다른 프로그램들과의 비교를 통해 평가분석이 이루어지기 때문에, 사회복지조직이나 프로그램들이 서비스의 개선을 위해 어떤 운영변수들을 수정해 나가야 할 것인가를 판단하는 데는 오히려 실용적인 고급정보를 제공해 줄 수도 있다.

Easy AI와 토픽 톺아보기

• 1. 개입과 효과성의 관계

  개입과 효과성의 관계는 매우 복잡하고 다양한 요인들이 작용하는 주제입니다. 개입의 유형, 대상, 기간, 강도 등에 따라 효과성이 달라질 수 있습니다. 또한 개인적, 환경적, 사회적 요인들도 영향을 미칠 수 있습니다. 따라서 개입의 효과성을 정확히 평가하기 위해서는 이러한 다양한 요인들을 고려한 체계적이고 엄격한 연구 설계가 필요합니다. 특히 실험 연구나 준실험 연구 설계를 통해 개입의 인과적 효과를 검증하는 것이 중요합니다. 이를 통해 개입의 효과성을 높이고 실제 현장에 적용할 수 있는 근거 기반 정책을 수립할 수 있을 것입니다.

• 2. 이상적인 실험 디자인

  이상적인 실험 디자인은 연구 목적과 질문에 따라 달라질 수 있지만, 일반적으로 다음과 같은 특성을 갖추어야 합니다. 첫째, 무작위 배정을 통해 실험군과 통제군을 구분하여 내적 타당도를 확보해야 합니다. 둘째, 충분한 표본 크기와 통계적 검정력을 확보해야 합니다. 셋째, 실험 처치와 측정 과정에서 발생할 수 있는 오류와 편향을 최소화해야 합니다. 넷째, 실험 참여자의 윤리적 고려사항을 충분히 반영해야 합니다. 다섯째, 실험 결과의 일반화 가능성을 높이기 위해 다양한 맥락과 집단에서 반복 검증이 필요합니다. 이러한 이상적인 실험 디자인을 통해 개입의 인과적 효과를 보다 정확하게 평가할 수 있을 것입니다.

• 3. 사회복지 프로그램과 실험디자인

  사회복지 프로그램의 효과성 평가에 있어 실험 디자인은 매우 중요한 역할을 합니다. 사회복지 프로그램은 복잡한 맥락 속에서 다양한 요인들이 작용하기 때문에, 실험 디자인을 통해 프로그램의 인과적 효과를 보다 정확하게 파악할 수 있습니다. 특히 무작위 배정 실험(RCT)은 내적 타당도가 높아 프로그램의 효과를 보다 신뢰할 수 있게 평가할 수 있습니다. 또한 준실험 디자인이나 비교 집단 설계 등 다양한 실험 방법론을 활용하여 프로그램의 효과성을 다각도로 검증할 필요가 있습니다. 이를 통해 사회복지 정책과 실천에 실질적인 도움을 줄 수 있는 근거 기반 지식을 축적할 수 있을 것입니다.

• 4. 유사·실험 디자인

  유사실험 디자인은 실험 연구의 엄격성을 갖추지 못하지만, 실험 연구가 어려운 상황에서 유용하게 활용될 수 있습니다. 유사실험 디자인은 무작위 배정이 어렵거나 윤리적 문제가 발생할 수 있는 경우에 적용할 수 있습니다. 예를 들어 자연 실험, 회귀 단절 설계, 차단 시계열 설계 등이 이에 해당합니다. 이러한 유사실험 디자인은 내적 타당도가 낮지만, 외적 타당도와 실용성이 높다는 장점이 있습니다. 따라서 유사실험 디자인을 활용하여 실험 연구의 한계를 보완하고, 실제 현장에 적용할 수 있는 근거를 마련할 수 있습니다. 다만 유사실험 디자인의 한계를 인정하고 결과 해석에 주의를 기울여야 할 것입니다.

• 5. 비교 디자인

  비교 디자인은 개입의 효과성을 평가하는 데 있어 매우 유용한 방법입니다. 비교 디자인은 실험군과 통제군을 비교하거나, 다양한 개입 방식을 비교하여 개입의 상대적 효과를 파악할 수 있습니다. 이를 통해 개입의 인과적 효과를 보다 정확하게 검증할 수 있습니다. 또한 비교 디자인은 개입의 효과성이 어떤 요인에 의해 달라지는지 파악할 수 있어, 개입의 최적화와 실제 현장 적용에 도움을 줄 수 있습니다. 다만 비교 디자인에서도 내적 타당도와 외적 타당도를 높이기 위한 노력이 필요합니다. 예를 들어 무작위 배정, 충분한 표본 크기, 측정의 정확성 등을 고려해야 합니다. 이를 통해 비교 디자인은 개입 효과성 연구에 있어 매우 유용한 방법론이 될 수 있을 것입니다.