제 10장 질문지 구성과 자료수집제 01절 설문지(질문지)의 작성1. 설문지 작성의 중요성제 02절 설문지작성법1. 설문지를 이용하는 이유2. 설문지의 구성요소3. 설문지 작성과정4. 질문의 어구 구성 및 문항배열제 03절 서베이 방법1. 서베이 방법의 의의2. 서베이 방법의 장점3. 서베이 방법의 단점제 04절 우편조사1. 우편조사의 장점2. 우편조사의 단점제 05절 면접조사1. 면접조사의 성격2. 면접조사의 장점3. 면접조사의 단점4. 면접조사의 종류제 06절 온라인조사와 인터넷조사1. 온라인조사의 의의2. 온라인조사의 유형3. 온라인 사회조사의 특징4. 인터넷 조사제 10장 질문지 구성과 자료수집제 01절 설문지(질문지)의 작성1. 설문지 작성의 중요성설문지는 언어적 표현을 통해 응답자에게 질문을 하기 위한 도구로서, 응답자에게 전달되어 그들 자신이 조사자의 도움 없이 기입 - 작성하는 것이 일반적이다.설문지는 조사방법의 모든 단계와 밀접한 관련을 가지고 있다. 특히 연구결과가 잘못되는 큰 이유 중에 한 가지는 바로 연구에 사용된 측정도구인 설문지가 잘못됨으로써 일어나는 경우이기 때문에, 중요하게 고려해야 한다.□ 설문의 주요내용 : 연구문제, 연구모형, 가설과 관련□ 설문항목 : 측정 및 척도□ 설문지 길이 : 표본 수, 자료수집방법□ 질문형태 : 조사목적, 표본의 특성, 자료수집방법□ 질문수준 : 자료분석방법설문지 작성을 위해서는 측정하고자 하는 개념을 명확하게 정의하고, 이를 현상과 연결시켜 줄 수 있도록 조작적 정의를 적절히 해야 하며, 타당도와 신뢰도가 높은 설문을 구성하여야 한다. 또한 가설검증에 필요한 분석기법을 고려하여 적합한 형태의 척도를 이용하여야 한다.제 02절 설문지 작성법1. 설문지를 이용하는 이유□ 조사결과의 비교가능성을 높일 수 있다.□ 빠른 시간 안에 핵심적인 정보만 선별하여 객관적이고 정확한 정보를 얻을 수 있다.□ 불필요한 내용은 설문지에서 삭제할 수 있고, 응답자가 무기명으로 응답을 기록하는 경우 솔직한 응답이 가능하며,법으로 일정한 수의 사람들을 대상으로 질문지가 잘 구성되었는지 시험하는 것이다. 사전검사는 반드시 한 번 이상해야 하고 연구할 표집대상을 제외한 다른 사람으로 구성하되 20~50명 정도가 적절하다.6) 인쇄 및 편집4. 질문의 어구 구성 및 문항배열1) 질문의 어구 구성□ 질문문항은 명확해야 한다.한 문항에 두 가지 이상의 질문이 포함되어 애매모호함을 가중시키는 쌍열질문은 피해야 한다. 일정수준 이상의 교육이 필요한 사람만이 이해할 수 있거나 사투리와 같은 특수한 언어의 사용에도 주의해야 한다.□ 가급적 짧게 질문한다.긴 질문은 무응답의 가능성이 높다. 금방 이해할 수 있도록 짧고 쉬운 문장으로 질문한다.□ 언어구성을 적절한 수준에서 유지한다.용어의 난이도, 언어의 형식, 속어, 구어의 사용 등 응답자의 능력과 특성을 고려하여 적절하게 구성하고 유지한다.□ 사실적인 질문이어야 한다.개념과 응답범주가 명확하도록 질문을 구체적이고 경험적인 용어로 사용한다.□ 유도질문을 조심한다.확률을 인위적으로 높이려는 의도는 없애거나 최소화해야 한다.□ 직접질문과 간접질문을 적절히 사용한다.사실적 내용을 알기 위한 질문은 직접 질문으로, 응답자의 가치, 의식, 과거의 경험 등 밝히기 꺼리는 질문은 간접질문이 효과가 있다.- 귀하의 성별은?(직접질문)- 귀하는 ??? 해보신 적이 있습니까?(직접질문)- 귀하에서 만일 ??이 일어난다면 귀하는 어떻게 하시겠습니까?(간접질문)- 다음 상황에서 당신이 사회복지사라면 어떤 선택을 하시겠습니까?(간접질문)□ 부정적 문항은 피한다.예를 들면 ‘정부는 의료보험을 통합해서는 안 된다.’ → ‘정부는 의료보험을 통합해야 한다.’2) 질문의 문항 배열□ 응답하기 쉬운 질문을 먼저 한다.□ 민감한 질문이나 개방형 질문은 뒷 부분에 배치한다.□ 질문을 논리적으로 배열한다.□ 일정한 유형의 응답경향이 조성되지 않도록 문항을 배치한다.□ 신뢰도를 검사하는 질문은 서로 떨어져 있어야 한다.□ 일반적인 것을 먼저 묻고 특수한 것을 뒤에 묻는다.□ 설문지에는 수 없다.□ 많은 질문들이 응답되지 않는다.응답자가 질문지 일부에 응답을 하지 않아도 통제할 수가 없다.□ 무의식적인 의견에 대한 정보가 없다.응답자가 무의식적으로 응답을 하고 다시 고칠 경우처음의 무의식적 응답을 알 수가 없다.□ 응답날짜에 대한 통제 불능설문지가 완성되는 시간에 대해 통제할 수 없다.□ 복잡한 질문지 구성체제를 사용할 수 없다.제 05절 면접조사면접조사의 성격면접조사란, 연구에 필요한 자료를 얻기 위해 면접자와 피면접자가 질문과 응답의 대화를 통해 자료를 수집하는 방법이다. 면접은 변수를 확인하고 가설을 도출하기 위한 탐색적 조사나 관찰이나 설문지 등 다른 자료 수집방법의 타당성 여부를 검토하거나 예견하지 못한 결과를 추적하는 데 사용하기도 한다. 면접조사의 성패여부는 이 상호작용의 어떤 면을 고려하는가에 달려 있다.□ 상호작용과 응답자의 열성면접은 대화를 통한 상호작용을 의미하는 것으로 피면접자의 열성이 연구목적에 기여한다.□ 면접자와 피면접자는 질문과 응답의 의미를 명확히 파악해야 한다.상대방의 행동이나 질문이 무엇을 의미하는지 인식할 수 있는 능력이 있어야 한다.□ 융통성 있는 면접의 운영면접의 흐름을 중단하지 않는 범위에서 질문순서 등은 융통성 있게 변경될 수 있다.□ 피면접자의 동화면접과정에서 일정 시점이 지나면 피면접자의 경계나 의심이 자연스럽게 풀리고 동화된다.면접조사의 장점면접조사의 단점□ 융통성 → 응답자의 면접 분위기에 맞춰 정확한 답변을 얻을 수 있다. 재질문이나 추가질문도 가능하다.□ 응답률 → 면접은 회수가 필요 없고 문맹자의 경우도 쉽게 가능하며 서면보다 구두로 대답하는 것을 선호한다는 점에서 질문지에 비해 높은 응답률을 나타낸다.□ 타당도 → 면접 중의 관찰은 비언어적 행위도 가능하므로 응답의 타당성을 평가할 수 있다.□ 환경의 통제 → 면접은 면접자 - 응답자 간에 비밀스럽게 수행되고 면접환경을 표준화할 수 있다.□ 질문순서의 통제 → 응답자가 규칙을 벗어나거나 질문구조를 훼손하는 것을 막을 수 있다.□ 무의식적.집단면접조사투사법(projective method)아동과의 면접일 경우, 언어적 표현이 불충분하므로 장난감이나 인형을 통한 놀이, 그림 등을 이용하는 방법이 있다. 면접자는 중립적인 역할을 유지해야 하며 아동은 상상력이 크기 때문에 어떠한 암시도 주어서는 안 된다.인형놀이, 그림해석 등 투사적 자료수집방법은 응답자의 내적인 감정을 끌어내려는 수단으로, 직접적인 질문이 부적절하거나 조사의 참된 목적이 드러날 수 없을 때 유용하다. 응답자에게 제시된 그림과 같은 종류의 자극을 제외하고는 개방형 질문이며 비구조화되어 있다.제 06절 온라인(On-line)조사와 인터넷조사1. 온라인(On-line)조사의 의의온라인(On-line)조사란 네트워크, 인터넷, PC통신 등에 컴퓨터가 연결된 상태에서 이루어지는 조사이다. 온라인조사는 일반 면접보다 시간적, 공간적으로 비용절감의 효과가 있다.2. 온라인조사의 유형1) 회원조사사전에 회원DB를 가지고 있는 경우 전자우편이나 전화 등으로 조사 참여를 공지하고 웹문서 형식의 질문을 통해 조사하는 방법이다. 회원조사의 성패는 회원 DB의 포괄성과 충실성으로 이용자들의 실제적인 특성을 대변할 수 있는 DB가 구축되어 있어야 가능하다. 이 조사의 장점은 응답자에 대한 정확한 신분의 확인이 가능하며 비응답자에 대한 자세한 분석이 이루어질 수 있지만, 단점은 가입자 DB가 방대할 경우 시간과 비용이 소모되고 다량 이용자층이 과잉대표가 될 가능성이 높아져서 모집단의 특성을 대표하고 있다고 보기 어려울 수 있다.2) 방문조사인터넷상에 특정한 사이트를 개설하고 설문지를 게시하여 광고를 통해 방문자를 모집하여 자발적으로 설문사이트를 방문한 사람을 대상으로 조사하는 방법이다. 질문의 길이가 짧고 관심이 큰 이슈일수록 의사가 뚜렷한 사람이 응답할 가능성이 높은 반면 중복응답자에 대한 식별이 어려워 신뢰성 있는 통계를 얻기가 쉬지 않다.3) 전자우편조사설문지를 전자우편 형태로 작성하여 다수의 사용자들에게 발송하고 응답자들이 다시 완성된 설문지를 전자타난 것을 관찰하기 때문에 응답과정의 오류를 줄일 수 있다.□ 연구대상의 태도가 모호한 경우 유용 → 특정 질문에 대해 응답자가 자신의 태도나 감정을 정확히 모르거나 질문에 대한 정확한 인지가 없을 때 효과적이다.□ 연구대상의 무의식적 행동의 측정 → 응답자에게 일상적이거나 의례적이어서 무의식적으로 이루어지는 행동에 대한 측정이 매우 용이하다.□ 연구대상이 비협조적일 경우 유용 → 면접을 거부하거나 비협조적일 때에도 관찰을 통해 자료를 수집할 수 있다.□ 개인이나 집단의 정보를 얻는 방법으로 적절 → 가족이나 집단구성원 간 의사소통의 형태를 연구하는 방법으로 적절하다.3. 관찰법의 단점□ 통제의 부족 → 자연적 환경에서 조사하기 때문에 외생변수에 대해 거의 통제할 수 없다.□ 계량화의 곤란 → 관찰법은 관찰자의 비계량화된 인식의 형태를 취하기 때문에 어떤 특성을 미리 열거하고 측정할 정도를 미리 준비하기보다는 사건이 발생될 때 단순히 관찰하고 기록한다. 계량화를 하더라도 빈도나 백분율 정도만이 가능하다.□ 표본의 크기가 작음 → 관찰에서 표본의 크기는 실험보다는 크지만 서베이 조사보다는 훨씬 작다.□ 현장진입이 어려움 → 대부분의 관찰은 현장연구인데 사실상 응답자로부터 조사를 승낙받기가 어렵다.□ 익명성의 결여 → 관찰법에서 관찰을 꺼리는 범죄행위나 낙태, 부부관계 등 예민한 이슈들은 조사하기 어렵다. 따라서 서베이 조사보다 신뢰성이 떨어진다.□ 시간과 경비의 소요 → 관찰의 대상이 되는 행위를 포착하기 위해서 현장을 찾아다니거나 많이 기다려야 한다.□ 관찰자 주관이나 편견의 개입 → 조사과정에서 관찰자의 추리나 주관이 개입되어 얻어진 자료는 신뢰성과 타당도가 낮기 때문에 다른 자료수집방법과 병행하는 것이 좋다.□ 인간행동의 다변성 → 행동양식은 태도나 신념에 비해 쉽게 변할 수 있으므로 조사결과가 일시적인 것이 될 수 있으므로 일반화에 제약이 따른다.4. 관찰법의 유형관찰 기법구분 기준조직적 ? 비조직적관찰법의 통제 또는 조직화 여부자연적 ? 인위적상황이 인)이다.
제 06장 측정에서 신뢰도와 타당도제 01절 측정의 타당도1. 타당도/타당성2. 타당도평가제 02절 측정의 신뢰도1. 신뢰도2. 신뢰도 평가 방법3. 신뢰도를 높이는 방법제 03절 타당도와 신뢰도의 관계제 04절 측정에서의 오류1. 단계별 오류발생 원인2. 측정 오류(오차)3. 비체계적인 오류를 줄이는 방법(신뢰도 제고방안)제 06장 측정에서 선뢰도와 타당도제 01절 측정의 타당도1. 타당도/타당성타당도/타당성(Validity)이란, “측정하고자 하는 개념을 얼마나 정확히 측정하였는가”를 말한다. 즉, 타당성이란 측정한 값과 대상의 진정한 값과의 일치 정도를 의미한다. 타당한 측정도구 는 측정하고자 하는 바를 정확하게 측정하며, 또 측정대상이 서로 다를 경우 그만큼을 정확하게 다른 값으로 나타내주어야 한다.2. 타당도 평가내용타당도/액면타당도타당도개념구성 타당도/구성체 타당도집중(수렴) 타당도판별 타당도이해 타당도기준(관련)타당도동시적 타당도예측타당도1) 내용 타당도(content validity)/액면 타당도(face Validity)내용타당도란 측정도구에 포함된 설문 문항들이나 관찰내용들이 측정하려고 하는 속성이나 개념을 얼마나 대표성 있게 포함하고 있는가에 대해 논리적으로 판단하는 것이다. 이를 위해 사용하는 개념에 대한 전문가, 측정도구 개발에 대한 전문가, 혹은 예비측정대상자들을 통해 측정 내용들에 대한 타당도를 확인한다. 다만 내용타당도 평가는 궁극적으로 주관적 판단에 의존할 수밖에 없는 한계를 지닌다.※ 저서에 따라 내용 타당도와 액면타당도를 동일한 용어라고 보거나(김기원, 2001:2008), 내용 타당도와 액면 타당도의 내용을 포함하는 것(Rubbin, A. & Babbie, E., 성숙진 외 역, 1998: 219)으로 기술하고 있다. 채서일(1997), 남세진 ? 최성재(1988), 김영종(1999), 이익섭 ? 이윤로(2004) 등의 책에서는 내용 타당도만 다룰 뿐 액면타당도에 대한 언급이 없다. 따라서, 내용 타당도를 먼저 기억하고, 혹발하고 측정결과 얻어진 결과들 간에 높은 상관관계가 존재한다.문제 푸는 능력을 측정을 위한 두가지 도구를 개발했다. 즉, 선생님의 질문에 대답하는 것과 시험 문제지를 통한 측정결과 두 방법의 상관관계가 높게 나왔다면, 집중 타당도가 높다고 말할 수 있다.□ 판별타당도(discriminant validity)서로 다른 개념을 측정했을 때 얻어진 측정치들 간에는 상관관계가 낮아야만 한다.문제 푸는 능력과 창조력이라는 서로 다른 개념을 같은 측정방법으로 측정했을 때 결과의 상관계수가 낮게 나왔다면 판별타당도가 높다고 말할 수 있다.제 02절 측정의 신뢰도1. 신뢰도신뢰도란 측정의 일관성을 의미한다. 이는 반복되는 측정에서 어느 정도 동일한 결과를 얻어내는지, 그 정도를 의미한다. 안정성, 일관성, 예측가능성, 정확성, 의존가능성 등으로 표현할 수 있는 개념이다.2. 신뢰도 평가 방법1) 검사-재검사법(test-retest method)□ 동일한 상황에서 동일한 측정도구, 동일한 대상을 다시 측정하여 결과를 비교하는 것이다. 이는 도구의 안정성을 평가하는 것으로 측정결과의 일관성의 정도를 나타낸다.□ 여기서 도출한 상관계수가 높으면 신뢰도가 높다고 할 수 있다. 이 방법의 장점은 적용이 간편하고 측정도구 자체를 직접 비교할 수 있다는 것이다.□ 단점은 두 검사 사이에 외생 변수 등의 영향으로 대상의 속성이 실제로 변할 수 있는데 그것이 측정값의 차이로 나타날 수 있기 때문에 신뢰성을 측정하는 데 한계가 있다. 또 검사효과를 들 수 있는데, 즉 첫 번째 검사가 두 번째 검사에 영향을 줄 수 있으며 그것이 두 검사의 점수 차이로 나타날 수 있다.2) 대안법(alternate-form method)/복수양식법(multiple forms technique)/유사양식법/평행양식법(parallel-forms technique)□ 검사-재검사법의 시간적 간격문제를 해결하고 거의 동시에 측정하되 측정수단이나 관찰방법은 비슷하지만 서로 다른 두 가지 형태의 측정도구로 동일한 대상을 해서 반드시 신뢰도가 낮은 것은 아니다.□ 신뢰도가 높다고 해서 반드시 타당도가 높은 것은 아니다.□ 신뢰도가 낮은 측정은 항상 타당도가 낮다.□ 신뢰도가 낮은 타당도가 높은 측정은 없다.제 04절 측정에서의 오류사회과학에서 측정하려는 것은 주로 조사대상자의 태도, 행동, 특성에 관한 추상적인 개념들이 많은데, 이러한 추상적인 개념을 경험화하는 측정과정에서는 많은 오류가 발생할 수 있다.1. 단계별 오류발생 원인측정도구 내에 불명확하게 표현한 항목들영구문제와 가설의 설정연구방법설계자료수집애매한 개념의 형성과 불명확한 조작적 정의자료 분석연구문제 해석연구가설 검증대표성이 결여된 표본 수집 및 자료수집 과정코딩이나 컴퓨터 입력시 잘못된 입력한 오류자료 분석 과정에서 잘못 해석하는 오류2. 측정 오류(오차)측정과 관련해 나타나는 오류는 본질적으로 신뢰도와 타당도의 문제이다. 이러한 측정오류는 크게 체계적 오류와 비체계적 오류로 나뉜다.1) 체계적 오류변수에 일정하게 체계적으로 영향을 주어 측정결과가 모두 높아지거나 모두 낮아지게 되는 편향된 경향을 보이는 오류이다.□ 인구통계학적, 사회경제적 특성으로 인한 오류성별, 학력, 소득, 종교, 직업, 인종, 사회적 지위, 문화 등과 같이 인구통계학적 또는 사회경제적인 특성으로 인해 일정한 방향으로 오류가 타나나는 경향을 말한다.응답의 선행효과 : 응답자가 고학력일수록 응답문항 중 앞쪽에 있는 답을 선택하는 경향응답의 후행효과 : 응답자가 저학력일수록 응답문황 중 뒤쪽에 있는 답을 선택하는 경향□ 개인적 성향으로 오류개인적 성향에 의한 것으로 무조건 긍정적이거나 부정적이거나 중립적인 개인적 성향에 따라 타나나는 오류이다.관용의 오류 : 무조건 긍정적인 입장가혹의 오류 : 무조건 부정적인 입장중앙집중 경향의 오류 : 무조건 중립적인 입장대조의 오류 : 자기 자신과 상반되는 것으로 다른 사람을 평가하려는 오류후광효과 : 측정대상의 한 가지 속성에 강한 인상을 받아 그것으로 전체 속성을 평가하는데 부당한 영향을 미치는 성향2) 단점□ 모집단을 대표할 수 있는 표본을 찾기 어렵다. 표본은 모집단의 부분 집합으로서 대표성을 가져야 하는데 표본이 모집단을 대표하지 못할 경우 일반화 가능성이 낮아진다.□ 모집단의 크기가 작은 경우에는 표집의 큰 의미가 없다. 모집단이 작으면 모집단을 조사하면 되기 때문에 표집을 추출하여 조사하는 것이 의미가 없어진다.□ 표본설계가 복잡한 경우에는 시간과 비용이 더 소요될 수 있고 표본설계가 잘못된 경우에는 오차가 발생할 수 있다.제 02절 표본설계표본설계는 연구대상이 되는 모집단을 확정하고 적당한 표집틀을 선정한 후 표집의 방법과 표본의 크기를 결정하고 실제로 표본을 추출하는 과정을 거친다.모집단 확정→표집틀 선정→표집방법 결정→표집크기 결정→표본 추출1. 표본설계의 과정1) 모집단의 확정연구목적에 부합되는 자료를 얻기 위해서는 가능한 한 정확한 모집단의 규정이 필요한데 이를 위해서는 연구대상, 표본단위, 범위, 시간의 네 가지 요소를 명확히 해야 한다.모집단의 규정연구대상18세부터 30세까지의 여성연구대상S 기업에서 생산하는 전자제품표본단위18세부터 30세까지의 여성표본단위백화점, 대형유통업체, 대리점범 위전국범 위전국시 간2002년 03월 01일 ~ 04월 01일시 간2002년 04월 01일 ~ 04월 30일2) 표집틀 선정표집틀은 모집단의 구성요소 목록을 의미한다. 좋은 표집틀이란, 모집단의 구성요소 모두를 포함하면서 어떠한 요소도 이중으로 포함되지 않는 목록이다.표집틀물리적인 형태의 표집틀 : 서울특별시의 전화번호부비물리적인 형태의 표집틀 : 매 시간마다 상점 내에 머물고 있는 구매자를 표본으로 추출3) 표집방법 결정표집틀이 선정되면, 어떤 방법으로 모집단을 대표할 수 있는 표본을 확보할 것인지에 대한 검토가 있어야 한다. 확률표집방법과 비확률표집방법이 있다.4) 표본의 크기 결정적절한 표본의 크기는 신뢰구간 접근법과 통계적 기법에 의해 결정될 수 있으나 실제상으로는 표집방법, 모집단의 성격, 시간과 비용, 연구자 및 조사원의 능력 등을 고려하여 결를 표본으로 추출하는 방법□ 표집틀인 모집단 목록에서 일정한 순서에 따라 매 K번째 요소를 표본으로 추출하는 방법이다.□ 일련번호를 붙인 표집틀을 마련하고 모집단 총수를 요구되는 표본수로 나누어 표집간격(K)을 구하며 첫 번째 표집간격 안에 들어 있는 숫자 가운데 하나를 무작위로 선택하여 추출된 최초의 표본으로 삼고 나머지 표본들은 기계적으로 정해진 표집간격(K)에 따라 추출한다.□ 체계적 표집방법에서는 표집틀에 편재(비슷한 특성의 사람들이 목록의 일정부분에 몰려있는 현상)유형이 존재하는지를 면밀히 검토해야 한다.체계적 표집법모집단의 총수가 400명이고 표본이 80명이라면 표집간격 K=5이다. 표집틀에서 최초의 표집간격인 다섯 사람 가운데 한 사람을 무작위로 뽑는다. 그 후 첫 번째 무작위로 뽑은 표본의 번호에 표집간격만큼을 더한 번호에 해당하는 모집단의 사람을 표본으로 선택한다. 그 후 계속 표집간격만큼 더해가면서 해당 번호의 요소를 표본으로 선정한다.3) 층화표집법(stratified sampling)집단 내 구성이 동질적인 몇 개의 집단으로 나누고 각각의 집단 내에서 확률적으로 표본을 선정하는 방법□ 모집단 전체에서 표본을 추출하는 것이 아니라 모집단의 요소들을 ‘계층들(strata)'이라 불리는 중복되지 않은 집단들로 분리하고 각각의 계층 내에서 단순무작위표집방법이나 체계적 표집방법으로 적절한 수의 표본을 뽑는 방법이다.□ 이때 계층들 내에서도 동질성을 확보해야 하는데, 층화표집법은 동질적인 집단 내의 표집오차가 이질적인 집단의 표집오차보다 더 작다는 확률분포논리에 기초하고 있기 때문이다.층화표집법의 예□ 한 종합대학교에서 정교수, 부교수, 조교수와 같이 계급 순으로 되어 있는 집단들에 관해 층화표집을 실시한다면, 모든 정교수를 함께 하나의 동질적인 집단으로 목록을 만들고, 모든 부교수를 하나의 동질적인 집단으로 목록을 만들고, 모든 조교수를 하나의 동질적인 목록을 만든다. 이것이 실행된 이후 무작위 또는 체계적으로 각 집단으로부터 표본을 추출한다.□ 다.
제 5장 측정과 척도제 1절 측정1. 측정의 의미2. 측정의 역할 및 중요성3. 측정의 기능제 2절 측정의 기준1. 명목 수준의 측정(명목척도 : nominal scale)2. 서열 수준의 측정(서열척도 : ordinal scale)3. 등간 수준의 측정(등간척도 : interval scale)4. 비율 측정(비율척도 : ratio scale)5. 척도의 특성별 차이점제 3절 척도의 구성과 활용1. 척도의 의의2. 지수와 척도3. 척도를 사용하는 이유제 4절 척도 - 지수의 작성과정1. 척도 - 지수의 작성과정2. 척도와 지수의 구성절차제 5절 척도화의 종류1. 명목척도화(nominal scaling)2. 서열척도화(ordinal scaling)3. 등간 - 비율 척도화(Interval - ratio Scaling)4. 기타 척도제 6절 사회복지에서 척도의 활용 지침제 1장 측정과 척도제 1절 측정1. 측정의 의미□ 측정(measurement)이란 일정한 규칙에 따라 대상에 값을 부여하는 과정이다.□ 이론을 구성하고 있는 추상적인 개념들을 현실세계에서 경험할 수 있는 자료와 연결시켜주는 수단이다.□ 대상의 속성을 나타낼 수 있도록 일정한 규칙에 따라 숫자를 할당하는 과정이다.□ 특정 분석 단위에 대해 질적, 양적 값이나 수준을 결정하고 이를 규칙화하여 숫자를 부여하는 과정이다.2. 측정의 역할 및 중요성1) 표준화된 묘사의 방법대상이나 사건을 가장 적절하고 일관성 있게 묘사해줄 뿐만 아니라 표현이나 묘사가 불가능한 것도 묘사할 수 있도록 한다.2) 가장 간편한 묘사의 방법전화번호, 주민등록번호와 같이 대상의 속성에 대해 가장 간단하게 묘사해준다.3) 자료수집과 조직화의 기본적인 단계코딩작업과 같이 자료를 통계적으로 분석할 수 있게 해준다.4) 관념적 세계와 경험적 세계 간의 교량의 역할추상적인 개념을 경험적으로 인식할 수 있도록 해줌으로써 조사문제에 대한 해답을 제공하고 가설의 검증에 중요한 역할을 한다.3, 측정의 기능측정은 일반적으로 다음과 같은 기능을 수따라 서열화한다.□ 상호 배타적인 특성과 함께 순서의 의미도 지닌다.□ 정확하게 정량화하기 어려운 응답자의 태도, 선호도, 사회계층 등의 측정에 이용된다.□ 서열 간 간격이 동일하지 않고 절대량의 크기를 나타내지 않는다.반에서 1등한 학생과 2등한 학생의 성적 차이와 2등한 학생과 3등한 학생의 성적 차이는 같지 않다. 등수는 단지 순서만을 의미한다.2) 서열척도의 예□ 학력 : 무학, 초졸, 중졸, 고졸, 대학 이상□ 승용차 유형 : 경차, 소형차, 준중형차, 중형차, 대형차□ 제품선호도 : 싫음, 보통, 좋음,□ 거리번호 : 1가, 2가, 3가……(거리가 위치한 순서대로 분류)3. 등간 수준의 측정(등간척도 : interval scale)1) 등간척도의 의미와 특징□ 속성에 대한 순위를 부여하되 순위 사이의 간격은 동일한 척도이다.□ 등간격(숫자 간 간격이 같음)이므로 산술적 계산(+, -)에 사용될 수 있다.□ 절대 영점(의미상으로 대상의 속성이 전혀 없음을 의미)이 없기 때문에 곱하기, 나누기 같은 비율계산에는 사용할 수 없다.2) 등간척도의 예□ 도덕지수(MQ), 지능지수(IQ), 섭씨온도, 화씨온도, 물가지수, 생산성 지수, 사회지표 등□ 지능지수(IQ)가 100인 학생이 50인 학생보다 두 배 더 머리가 좋다고 할 수 없다. 왜냐하면 지능지수가 0인 학생은 지능이 전혀 없다고 말할 수 없기 때문이다(절대영점이 존재하지 않음).□ 시험점수, 만족도를 1점에서 10점까지로 표시하게 한 척도, 학년4. 비율 측정(비율척도 : ratio scale)1) 비율척도의 의미와 특성□ 등간척도가 갖는 특성에 추가로 측정값 사이의 비율계산이 가능한 척도이다.□ 속성이 전혀 존재하지 않는 상태의 절대 영점이 존재한다.□ 0이 실제적 의미를 가지고 있기 때문에 모든 산술적 조작이 가능(+, -, ×, ÷)하다.□ 따라서 비율척도의 숫자는 속성의 실제 양을 나타낸다.2) 비율척도의 예□ TV 시청률, 투표율, 신문구독률, 가격, 저축금액, 생산원가, 연령, 무게, 신장고안된 다수의 지표들을 하나로 묶어 단일 수치로 표현한 것이다. 예를 들어, 사회지표, 소비자물가지수, 생산성지수, 행복지수 등을 들 수 있다.◆ 척도 ◆□ 측정하기 위한 도구□ 사회과학에서의 척도는 주로 다수의 문항들로 구성되어 있음□ 지수에 비해 주관적인 지표들로 구성됨3) 척도측정대상의 개별적인 속성들을 종합적으로 측정함으로써 변수와 관련된 여러 차원을 측정하고 각각의 차원에(각각의 지표에) 점수를 할당하여 항목 간(지표 간)에 서열을 가릴 수 있도록 한다.4) 지수와 척도의 구분지수와 척도라는 용어는 구분하는 기준이 명확하지 않아서 혼용하기도 하는데, 지수와 척도는 둘 다 한 개념을 복수의지표로 측정한다는 점에서 공통점을 갖는다. 그러나 경험적으로 쉽게 인식할 수 있는 보다 객관적인 지표들로 구성된 것을 지수라고 하고, 사람들의 태도 등 주관적인 변수를 측정하기 위한 것은 척도라고 하는 경우가 많다.3. 척도를 사용하는 이유사회과학에서 기술적으로 점 더 복잡하고 다양한 기법을 요하는 이러한 척도를 사용하는 데에는 몇 가지 이유가 있다.□ 척도는 하나의 단순지표로서는 제대로 측정해 내기 어려운 복합적인 개념들을 측정할 수 있다.□ 척도는 여러 개의 지표를 하나의 점수로 나타냄으로써 자료의 복잡성을 덜어준다.□ 척도는 변수에 대한 양적인 측정치를 제공함으로써 정확성을 높인다.□ 측정치나 측정도구의 오차를 줄이고 타당도와 신뢰도를 높인다. 단일 문항보다 여러 개의 문항이 본래 의도한 속성을 정확히 측정하고, 보다 일관성 있는 결과를 제공할 것이다.제 4절 척도 - 지수의 작성과정1. 척도 - 지수의 작성과정측정도구의 작성과정은 다음과 같다.이론적개념?경험적변수?경험적지표?지수척도첫째, 문제에 관한 속성을 인지하고, 이것을 표현하는 이론적 개념을 형성한다.둘째, 이론적 개념의 내용을 특정화하여 경험적 관찰이 가능한 변수로 전환한다.셋째, 변수(개념)의 속성을 파악하기 위한 경험적 지표를 선정한다.넷째, 선정된 지표를 활용하여 지수와 척도를 작성한다.액면타당도측간척도로 간주할 수도 있다.⑴ 도표식 평정척도법평정척도에서 가장 흔히 사용되는 기법이다. 선과 언어를 합하여 구성한 것으로, 선을 긋고 중간 중간에 숫자 또는 해설을 붙여서 평가자로 하여금 대상의 위치 또는 태도를 기호로 표시하도록 하는 방법이다.귀하가 거주하는 지역의 사회복지관에서 근무하는 사회복지사들은 얼마나 친절하십니까?매우 친절보통매우 불친절⑵ 범주(카테고리) 평정척도법특정 범주척도는 도표를 사용하지 않고 어떤 속성을 나타내는 문장이나 항목을 그 정도에 따라 범주별로 제시하고 그 가운데에서 가장 적합한 것을 고르게 하는 방법이다.귀하가 거주하는 지역의 사회복지관에서 근무하는 사회복지사들은 얼마나 친절하십니까?(해당 란에 ‘○’ 표 하십시오)매우 친절하다 ( )친절하다 ( )보통이다 ( )불친절하다 ( )매우 불친절하다 ( )⑶ 숫자-언어식 평정척도법측정대상의 특성에 따라 평가자가 일정한 숫자나 언어를 부여하여 평가하는 방법이다.귀하가 거주하는 지역의 사회복지관에서 근무하는 사회복지사들은 얼마나 친절하십니까?⑴ 매우 친절하다⑵ 친절하다⑶ 보통이다⑷ 불친절하다⑸ 매우 불친절하다⑷ 평점방식 평정척도법평점방법에 의한 척도는 조사대상의 속성이나 특성에 대해서 평가자가 그의 의견이나 태도를 수치로 평점하는 것이다. 이 경우 평점의 양극은 0에서 100으로 지정되어 있으나 이 사이에는 아무론 구분이 명시되어 있지 않다.우리 지역의 사회복지관에 근무하는 사회복지사들은 친절하다0 1002) 총화평정(summated rating)척도총화평정척도/합산법(summated rating) 척도는 응답자가 응답하는 여러 질문 문항의 값들을 총합(總合, summation)하여 계산하는 척도이다.총화평정척도의 예로 베일리의 출산에 대한 태도 척도를 들 수 있다. 베일리는 10개 항목의 출산율 척도를 구성하고, 동의하는 경우는 1회로서 부호화하고, 동의하지 않은 경우는 0으로서 부호화하여, 척도상 10점은 응답자가 아이를 가져야 할 강한 책임감을 느끼는 경우이고 반면 0점을 받은 응답sis) : 문항 간의 내적 일관성과 상관성, 즉 신뢰도를 판단한다. 만일 높은 점수를 보이는 사람들과 낮은 점수를 보이는 사람들이 어느 문항에서는 일치되는 점수를 나타내고 있다면, 이들 문장들은 척도로부터 제거한다.⑧ 척도점수 산정 : 척도문항으로 타당한 것으로 판명된 문항들에 응답한 응답자의 점수를 합산하여 총점을 구하면 그 점수가 그 사람의 태도에 대한 측정치, 즉 리커트 척도점수가 된다.⑵ 리커트 척도화의 장점□ 사용이 용이하다.□ 일관성이 있어 신뢰도가 높다.□ 평가자를 사용하지 않기 때문에 평가자의 주관적 개입을 배제할 수 있어 객관적인 측정이 가능하다.□ 단순하다.□ 정밀성이 높다. 다수의 문항을 사용해 척도를 구성하므로 보다 정밀한 응답을 구할 수 있어 타당도가 높다.⑶ 리커트 척도화의 단점□ 서열적 측정치이다.□ 일치성이 부족하다. 동일한 태도를 가진 응답자들이 응답범주 내에서 택한 응답항목이 항상 서로 정확하게 일치한다고 보기 어렵다.□ 개개 문항별로 구분하지 못하다. 즉, 각 문항점수를 합산하여 그 총점을 척도 값으로 정하기 때문에 개개의 문항에서 응답자가 표현한 응답자의 태도가 구분되어 의미를 갖지 못하게 된다.□ 척도를 구성함에 있어 대개의 경우 응답자 표본을 선정해야 하는데, 전체 모집단을 대표하는 표본을 선정하기가 쉽지 않다.□ 재현성이 떨어진다.재현성이란, 1장의 과학의 특징에서 나온 재생가능성과 같은 말로, 유사한 조건과 상황에서 동일한 조사를 수행하면 결과가 같게 나와야함을 의미한다. 우울증을 측정하는 리커트 척도를 사용하는 A라는 살마의 우울증이 40점이 나왔다고 하자. 우울증이 비슷한 B에게 같은 척도로 우울증을 측정하면, 척도의 재현성이 높다면 각 문항에 대해 B도 A와 같은 응답을 하겠지만 리커트 척도를 사용하는 경우 그렇지 않은 경우가 많다. 즉 재현성이 떨어진다는 것이다.시설장애아동의 독립성에 관한 리커트 척도의 예척도문항(측정문항)응답범주(항목)전혀아니다1아니다2보통이다3그렇다.4매우 그렇다51. 숟가락을 사용하여 다.
제 12장 욕구조사와 평가조사제 01절 욕구의 의의와 유형1. 욕구의 의의2. 욕구유형제 02절 욕구조사의 의의와 필요성1. 욕구조사(needs assessment)의 의의2. 욕구조사(needs assessment)의 필요성제 03절 욕구조사의 실제1. 욕구조사에 포함되어야 할 내용2. 욕구조사의 종류3. 욕구조사의 자료수집 방법제 04절 평가조사의 정의와 목적1. 프로그램 평가조사의 정의2. 프로그램 평가조사의 목적3. 프로그램 평가조사의 중요성제 05절 평가조사의 종류1. 목적에 따른 분류2. 평가의 대상에 따른 분류3. 평가규범에 따른 분류4. 평가범위에 따른 분류5. 평가시점에 따른 분류6. 평가주제에 따른 분류7. 프로그램 단계에 따른 분류8. 평가의 평가 또는 메타평가(meta-evaluation)9. 기타제 06절 평가조사의 절차와 내용1. 평가조사의 절차2. 프로그램 평가조사의 내용제 12장 욕구조사와 평가조사제 01절 욕구의 의의와 유형1. 욕구의 의의욕구란 무엇인가 결핍되어 불편한 상태이며 충족과 발전을 필요로 하는 상태로서 현재의 결핍된 상태와 원하는 상태 사이에 존재하는 격차를 의미한다. 이러한 욕구를 개인이 가지고 있을 때는 개인적 욕구가 되고, 사회구성원 다수가 이러한 욕구를 가지게 되면 사회적 욕구가 된다.2. 욕구유형1) 인간의 욕구(human needs)⑴ 매슬로우(Maslow)의 욕구 5단계욕구단계내용초월욕구?타인의 자아실현과 잠재력 발견을 원조자아실현의 욕구?□ 가장 상위 차원의 욕구로서 4가지 욕구가 충족된 후 일어남□ 인간의 잠재적인 능력에 대한 실현의 욕구심미적 욕구?균형, 질서, 아름다움의 욕구인식적 욕구?지식, 이해, 탐험의 욕구자아존중의 욕구?□ 다른 사람으로부터 인정받고 존중받고 싶어 하는 욕구□ 충족되면 자신감이 생기지만 결핍되면 열등감이 생긴다.소속과 애정에 대한 욕구?□ 정서적인 만족을 얻고 싶어 하는 욕구□ 집단에 소속되어 관계를 맺고 사랑 받고 싶어 하는 욕구안전에 대한 욕구?□ 신체적으로 안정을 유지하 욕구) : 개개인이 느끼는 욕구□ 사람들이 욕구로 생각하는 것, 선호(want)하는 것으로서 주로 사회조사를 통해 응답자에게 그들이 선호하는 것을 물어보는 방식으로 욕구를 파악한다. 단, 응답자가 인지하고 있는 욕구와 실제 욕구가 같은가에 대한 균형을 유지되어야 한다.□ 이 욕구의 단점은 사람의 기대에 따라 각각 기준이 불안정하고 수시로 변경될 수 있다는 점이다.⑶ 표출적 욕구(expressed need) : 서비스의 수요에 기초한 욕구□ 사회복지서비스에 가장 많이 이용되는 욕구의 개념으로서 수요에 의해 느껴진 욕구가 행동으로 표출된 것으로서, 개인이 서비스를 얻기 위해 실제로 노력을 했는가에 대한 여부가 핵심적인 변수이기 때문에 경제학자들에게 인기가 있다.□ 이 욕구의 장점은 인지한 욕구를 실제로 행동에 옮기게 되는 상황을 강조하는 것이며, 단점은 욕구를 가진 모든 사람이 서비스를 원하는 것이 아니라는 점이다.⑷ 상대적 욕구(relative need) : 다른 사람이나 타지역과 비교해서 정해지는 욕구□ 이 욕구는 특정한 기준에 의해 발생하는 것이 아니라 한 지역의 욕구와 유사한 다른 지역에 존재하는 서비스와의 차이에서 측정되는 비교욕구로서, 비슷한 다른 지역에서 서비스가 제공되지만 해당지역에서는 제공받지 못했을 때 욕구를 파악하는 데 도움이 된다.□ 지역의 특성을 고려한 상태에서 두 집단의 욕구를 비교하는 것이 바람직하다.제 02절 욕구조사의 의의와 필요성욕구조사특정 지역사회주민이나 특정집단들을 위한 새로운 정책대안이나 프로그램을 개발하기 위해 또는 기준의 정책대안이나 프로그램을 보완하기 위해 대상 집단의 욕구의 종류와 수준을 파악하는 조사이다.1. 욕구조사(needs assessment)의 의의일정한 지역 내에서 생활하는 주민 또는 직장인들의 욕구 수준을 계량적으로 측정하기 위한 방법이다.□ 주민들이 필요로 하는 각종 서비스 또는 프로그램을 식별해 우선순위를 정한다.□ 프로그램 운영에 필요한 예산 할당 기준을 마련한다.□ 현재 수행 중인 프로그램 평가에 에 사용할 정보를 제공한다.□ 신규 프로그램이나 정책대안 개발을 위한 자료대상 집단의 구성원들이 가지고 있는 욕구를 확인하고 상대적 중요성을 파악하여 새로운 프로그램이나 정책대안을 얻는 토대로 사용할 자료이다.3) 사회자원을 활용하기 위한 자료□ 의사소통망에 관한 정보프로그램이나 정책대안의 존재여부와 내용을 클라이언트에게 알려줄 수 있는 공식적 ? 비공식적 의사소통망과 매체를 파악해야 한다.□ 지역사회자원에 관한 정보프로그램이나 정책대안을 계획할 때 활용할 수 있는 지역사회 내 인적 ? 물적 자원을 파악해야 한다.□ 정치적 자원에 관한 정보프로그램 정책대안이 성공적으로 집행되기 위해 지역사회주민과 지역사회를 대표할 수 있는 사람들이나 지도자들의 지지가 필요하다.2. 욕구조사의 종류1) 수혜자 중심적 욕구조사아동, 청소년, 노인, 장애인, 여성 등 특정 인구집단을 대상으로 서비스를 제공하거나 프로그램을 운영하는 기관에 의하여 실시되는 조사이다.2) 서비스 중심적 요구조사의료서비스, 재활서비스, 고용서비스 등과 같은 특정한 서비스를 제공하고 있는 기관에 의해 실시되는 조사이다.3) 지역사회 중심적 욕구조사수혜자 중심의 욕구조사와 서비스 중심적 욕구조사의 통합모델로서 지역사회주민의 전반적인 욕구와 서비스에 대한 욕구를 파악하는 방법으로서, 사회복지 욕구에 대해 포괄적이고 많은 정보를 얻을 수 있지만 조사대상이 광범위할 경우 실시에 어려움이 있다. 이런 경우 모집단을 대표하는 표본을 통해 전체 모집단(지역사회)의 욕구를 추정할 수 있다.3. 욕구조사의 자료수집 방법1) 직접 관찰법대상집단에게 직접 물어보거나 지역사회의 관련자들과 면담이나 공청회 등을 통해서 욕구를 파악하는 방법으로 직접관찰법은 주로 인지적 욕구이다.⑴ 일반인구 조사방법(general population survey)지역주민들 가운데 추출된 표본을 대상으로 면접이나 설문조사를 통해 욕구를 측정하는 방법으로서, 지역 내 일반적인 특성을 묻는 기초 자료와 기존 서비스의 평가 및 새로운 서비스의 개발을 위한들어서 알아내는 방법이 있다.⑹ 직접 경험법조사자가 실제로 대상자의 생활 속으로 들어가서 조사하는 방법이다.⑺ 지역사회 공개토론회 / 공청회(community forum)지역사회 주민들이 자신의 욕구나 문제를 잘 알고 있다는 것을 전제로 하여, 조사자가 주민들을 한 자리에 참여시켜 공개적인 모임을 통해 욕구나 문제를 관찰하고 파악하는 방법이다.□ 장점- 비용이나 시간적인 측면에서 매우 효율적이다.- 광범위한 계층의 의견을 수집할 수 있다.- 서베이 조사를 위한 사전 준비 작업이 될 수 있다.- 프로그램이나 정책 실행시, 주민의 지지나 협조를 얻을 수 있는 계기가 된다.□ 단점- 관심 있는 소수의 사람만 참여할 수 있으므로 표본의 편의(bias)현상이 나타날 수 있다.- 참석자 중에서도 소수의 몇 명이 주로 의견을 발표하므로 문제에 대한 관심은 커지지만 문제 해소가 되지 않으므로 실망할 수 있다.2) 사례조사⑴ 프로그램 운영자 조사서비스를 직접 제공하는 사람을 만나 조사하는 방법이다.□ 장점- 사회적으로 잘 알려지지 않은 문제들을 파악할 수 있다.- 지역사회의 자원에 대한 정확한 정보를 알 수 있다.- 전문적인 욕구를 바탕으로 욕구 조사를 할 수 있다.□ 단점- 서비스 제공자가 밝힌 문제가 제공자 개인의 주관에 의해 판단된 편견일 가능성이 있다.- 이들은 주로 클라이언트를 대상으로 하므로 광범위한 요구를 파악하기 어렵다.- 제공자가 소속된 기관의 프로그램에 유리한 욕구에 대해 언급할 가능성이 있다.⑵ 주요 정보 제공자 조사(key information survey)지역에 오래 거주해서 지역에 대해 잘 아는 사람, 지역 공무원 등과 같이 직접 거주는 하지 않더라도 지역사정을 잘 알고 그들을 대변할 수 있는 사람들을 일컫는다.□ 얻을 수 있는 정보- 주요 정보 제공자는 주민 대다수의 문제나 이슈가 될 수 있는 문제를 알고 있다.- 지역사회를 대변할 수 있는 지도자가 계획된 프로그램에 조언을 해주며 얻는 정보를 알 수 있다.□ 장점- 비용과 인력이 적게 들어 경제적이 효과적인 프로그램과 단기적인 효과만이 존재하는 프로그램을 선별하여 차등적인 자원할당이 이루어져야 한다.7) 서비스 전달체계의 개선서비스가 전달되는 과정을 평가하여 서비스가 지체되거나 클라이언트의 접근성이 어렵거나 본래 목적과 다르게 진행될 경우 시정하여 서비스 전달이 원활하게 이루어지도록 한다.3. 프로그램 평가조사(program evaluation research)의 중요성1) 사회복지 분야의 책임성 요구사회복지분야에 투입된 공적 자원과 민간자원의 투명성과 서비스의 효과성, 효율성 등에 대한 책임성이 지속적으로 요구되고 있다.2) 사회복지기관의 정체성사회복지기관들이 자신이 수행하는 프로그램이 기관의 목적에 얼마나 적합한지를 객관적으로 평가하고, 정책성을 확립하는 데 기여할 수 있다.3) 내부적으로 효과적이고 효율적인 기관 운영프로그램을 수행하는 데 사용되는 인적 자원과 물적 자원을 보다 효과적이고 효율적으로 사용하는 데 중요한 역할을 한다.4) 전문성 형성프로그램들이 복잡 다양한 사회적 욕구와 문제를 체계적이고 통합적으로 충족시키고 있는지를 평가함으로써 전문성 형성에 기여할 수 있다.5) 수혜자 중심적 프로그램 운영프로그램의 내용이나 운영이 수혜자의 욕구에 적극 부응하여 수혜자에게 편의를 제공하고 있는지를 평가하여 수혜자 중심적인 운영을 꾀할 수 있다.6) 운영방향의 일관성프로그램의 평가지표가 미리 제시되는 경우, 기관 운영자는 평가지표에 따라 일정한 방향으로 프로그램을 운영할 수 있다.7) 객관적 이론의 정립사회복지프로그램과 관련된 객관적인 이론을 정립하는 데 있어서 평가의 자료가 논리적인 이론 형성에 기여하게 된다.제 05절 평가조사의 종류1. 목적에 따른 분류1) 형성평가(formative evaluation)□ 프로그램 운영 도중에 이루어지는 평가□ 프로그램의 형성에 초점을 둔 평가□ 서비스 전달체계 향상 및 서비스의 효율성 증진을 도모2) 총괄평가(summative evaluation)□ 프로그램의 종료 후 실시□ 프로그램의 지속, 중단, 확대 등평가
* 내적 요인 : 실험연구설계에 의한 실행과정에 직접 관련되는 요인* 내적 타당도: 연구조사결과로 한 변수가 다른 변수의 원인인지 아닌지를 정확하게 기술한다는 확신의 정도, 어떤 연구의 내적 타당도를 확인하는 것은 그 연구가 내적 타당도에 대한 다양한 위협을 얼마나 잘 통제했는가에 대한 판단이다.* 이론적으로 정립된 논리적 인과관계의 타당성, 즉, 종속변수의 변화가 독립변수에 의한 것인지, 아니면 다른 조건에 의한 것인지 판별하는 기준.* 실험으로 나타난 연구결과가 가정한 원인 때문인지 아니면 다른 제3의 요인 때문인지를 정확하게 설명하는 정도1. 우연한 사건 / 역사(history)연구조사과정에 결과를 혼란스럽게 만드는 우연한 외부사건이 일어날 수 있다. 연구자의 의도와는 관계없이 어떤 사건이 우발적으로 발생하여 이로 인해 종속변수에 영향을 미치게 되는 경우, 연구 조사 과정에서 일어나는 결과를 혼란스럽게 만드는 외부사건, 제3의 변수가 통제되지 못해 엉뚱한 결과를 초래하는 것이다. 이런 우연한 사건이 종속변수에 영향을 미칠 경우 내적 타당도에 위협이 된다.집단프로그램을 실시하면 청소년들의 학업스트레스가 줄어들 것이다. → 실험집단에만 이 프로그램을 실시한 결과 청소년들의 학업스트레스가 현저히 줄었다. 그러나 이 효과는 집단 활동의 영향일 수도 있지만 이 기간 동안 실시한 교내 예술제의 영향일 수도 있다.2. 시간적 경과 또는 성숙(passage of time or maturation)사람은 조사 연구의 대상이든 아니든 계속 성장하고 변화하며, 그 변화는 연구조사결과에 영향을 미친다. 시험기간 중에 실험집단의 육체적 및 심리적 특성이 자연적으로 변화함으로써 종속변수에 영향을 미칠 수 있음, 시계열적 설계 시(종단연구: 추이, 패널, 동류집단연구) 조사대상 스스로의 시간경과에 따른 자연적인 성장, 변화로 인한 결과의 영향 가능성을 말한다.초등학교 학생들에 대한 농구교실이 아동의 신장에 미치는 효과를 연구했다면 농구교실이 아동의 성장에 미치는 효과도 있지만 연구기간 동안 아동의 자연성장의 결과일 수도 있다.3. 테스트 효과 / 검사(testing)사전검사가 사후검사에 영향을 미치게 되어 변수 간의 변화를 초래한다. 사전감사에 대한 기억이나 사전감사에 민감하여 사전검사 후 의도적인 노력을 통해서 사후검사의 타당도를 높일 수도 있다. 즉 검사로 측정하고자 하는 실제의 구성물에 어떤 개선이 없이도 검사과정으로 인해 검사점수가 높아지는 경우가 많다.실직자 재훈련과정이 실직자들의 자격증취득 시험점수를 향상시키는 데 도움이 되는지 알아보기 위해 실시 전후에 유사한 시험을 실시하였다. 그 결과, 훈련 후 시험성적이 향상된 것으로 나왔다면 훈련의 결과일 수도 있지만, 시험 문제에 익숙해진 결과일 수도 있기 때문에 훈련 없이 시험만 두 번 치른 사람은 훈련에 참가하지 않고도 높은 점수를 얻을 수도 있다.4. 도구(instrumentation)위의 검사효과를 제거하기 위해 사전 ? 사후 검사 시 서로 다른 척도를 사용하거나 신뢰도가 낮은 척도를 사용할 경우 전 - 후의 차이가 진정한 변화인지 알 수 없다.실직자 재훈련과정이 실직자들의 자격증취득 시험점수를 향상시키는 데 도움이 되는지 알아보기 위해 실시 전후에 유사한 시험을 실시하였다. 사전검사에서는 난이도가 높은 문제를 출제하고 사후검사에서는 난이도가 낮은 문제를 출제하면 시험정수의 향상은 검사도구 때문인지 훈련참여 때문인지 판단하기 어렵다.5. 통계적 회귀(statistical regression)종속변수의 값이 가장 높거나 가장 낮은 극단적인 사람들을 실험집단으로 선택했을 경우 다음 검사에는 독립변수의 효과가 없더라도 높은 집단은 낮아지고 낮은 집단은 높아지는 현상이 나타난다. 어떤 프로그램적인 개입이 없이도 시간이 흐르면서 서비스 수혜자 집단이 서비스를 받지 않은 집단보다 평균 점수가 더 많이 높아질 가능성이 많다. 극단적으로 매우 어려운 위치에 있는 상황에 있는 복지대상자에 대해 프로그램을 실시했을 경우 일어나는 변화를 독립변수의 효과로 잘못 알 수 있다.초등학교 방과 후 교실에서 학업성적이 지극히 낮은 부진아들만 대상으로 했다면 사후검사에서 나타난 학업성적의 향상은 프로그램의 실시 영향일 수도 있지만 더 이상 학업성적이 낮아질 수 없는 극단의 아동들을 실험집단으로 했기 때문일 가능성이 있다.6. 실험대상자 상실(experimental mortality)실험대상으로 선정되었던 실험대상이 실험기간 중에 실험대상에서 이탈하게 됨으로써 독립변수의 효과가 왜곡될 수 있다.어떤 프로그램의 효과성을 알기 위해 개입을 받은 집단과 개입을 받지 않은 집단으로 나누어 연구를 진행했을 때, 만일 실험집단에서 개입을 받았지만 자신의 문제가 전혀 개선되지 않았다고 느껴서 중도에 프로그램을 참여를 중단한 사람들이 발생한다면 실험집단에는 프로그램이 효과가 있다고 느끼는 사람들만 남을 것이다. 이 때 후검사에서 두 집단의 차이가 정말 독립변수에 의한 것인지는 정확하지 않다.7. 선택과의 상호작용선택의 편의(selection bias)가 있을 때 잘못된 선택과 역사 또는 성장과 상호작용이 문제되기도 한다.아동들 가운데 남아를 통제집단으로 여아를 실험집단으로 구분하여 조기영어 프로그램을 실시한 후 사후검사를 하였을 때 여아들이 더 효과가 높은 것으로 나타났다면 이는 상대적으로, 선천적으로 언어습득 능력이 높은 여아들을 선택한 결과일 수도 있다.