교육연구 통계 (11/5) 교차분석(Crosstabulation Analysis)교차분석초등교육방법전공 08502108 양승천Ⅰ. 교차분석(Crosstabulation Analysis)의 개념1. 교차분석의 정의교차 분석은 명목(성별, 지역별, 직업별, 교육수준별), 서열, 등간 데이터의 성향을 갖고 있는 사회 가치 내용을 분석하기 위해 사용되는 분석기법이다. 명목 및 서열척도의 범주형 변수를 분석하기 위해 한 변수의 범주를 다른 변수의 범주에 따라 빈도를 교차 분석하는 교차분석표(Cross-tabulation table)를 작성하고 두 변수간의 독립성과 관련성을 분석하는데 이용한다.예) 커피를 좋아하는 것과 흡연여부가 어떤 상관이 있는가?지역에 따라 바과 밀가루 음식의 선호에 차이가 있는가?성별에 따라 A후보자에 대한 지지도가 다른가?2. 교차분석의 목적교차분석은 명목척도 자료 또는 서열척도 자료를 이용하여 측정된 두 변수간의 관련성을 분석하기 위한 통계 기법이다. 교차분석을 통하여 작성되는 교차분석표(Cross-tabulation table)는 표본의 빈도 분포 상태를 작성하는데 널리 이용된다. 또한 교차분석의 행과 열에 기록되는 통계량은 자료의 분포 특성에 따라 의사결정에 필요한 정보를 얻는데도 이용된다.즉, 전체 중 남자 이면서 O형인 사람이 몇 명이며, 여자이면서 AB형이 몇 명인지 등은 교차분석표(Cross-tabulation table)에서 찾아 확인하게 되며, 그러한 빈도분포가 전체적으로 볼 때 고르게 분포되어 있는지 아니면 어떤 특성을 가지면서(예:남자는 O형이 더 많고, 여자는 B형이 더 많은지 등) 분포하고 있는 지를 검정할 때와 같은 경우에 이용3. 교차분석의 기본 가정① 종속변수가 명명척도에 의해 측정된 질적 변수이거나 최소한 범주형이어야 한다.② 최소기대빈도치가 5보다 작은 셀이 전체 셀의 20% 이하이면 이상적이다.③ 검증에서 각 셀에 떨어져 있는 도수는 각각 독립적이어야 한다.4. 사용되는 변수의 척도교차분석을 하기 위해서는 변수값의 가지 수가 적어야 한다(대체로 10개 이내). 따라서 교차표를 만들고자 하는 두 개의 변수는 모두 명목척도나 순서척도일 것이다. 그러나 구간 ? 비율척도 변수이더라도 변수값의 가지수가 몇 개 안되거나 원래 변수값을 코딩변경(recoding) 해서 순서척도로 바꾸면 교차분석을 할 수 있다. 예를 들면 예를 들면, 나이는 원래 구간?비율척도로서 값의 사지수가 많지만 ① 20세 미만, ② 20세~39세, ③ 40세 ~ 59세, ④ 60세 이상의 네 그룹으로 코딩을 변경하게 되면 순서 척도가 된다.Ⅱ. 교차분석의 원리교차분석의 기본원리는 수집된 자료를 크게 두 개의 요인에 의해 나누어 작성하는 교차분석표(Cross-tabulation)를 이용한다. 교차분석표는 한 요인을 열로 하고 다른 요인을 행으로 하여 각 경우에 해당하는 기대도수와 관측도수를 해당되는 칸에 기록하여 만든다. 교차분석은 조사대상의 표상으로부터 기대할 수 있는 기대도수와 실제 조사를 통해 얻어낸 결과인 관측도수간의 차이를 검증하는데 이용된다.따라서 교차분석표에 나타난 두 요인의 기대도수와 관측도수간의 관련성이 있는지 또는 독립인지를 검증하는 분석을 독립성검증(test of independence)이라 한다. 교차분석에서 이용되는 통계량은 기대도수와 관측도수간의 차이에 의해서 계산되는통계량을 이용한다. 교차분석표는 행(row)의 범주의 수가 r, 열(column)의 범주의 수가 c일 때,통계량의 자유도는 (c-1)×(r-1)을 이용하여 두 변수간의 관련성을 검증한다. 교차분석 결과통계량 값이분포 값(교재 313쪽)보다 크면 클수록 기대 도수와 관찰 도수간의 차이가 크다는 것을 의미한다.다음 학기 수업선택시 이전 통계학 수업에서 자신이 받은 학점이 유사 과목인 통계 분석 과목의 수강 여부에 영향을 주는지를 알아보고자하는 사례로 설명하면 학점은 순서척도이고, 수강여부는 순서척도이기 때문에 교차분석을 실시한다.1. 교차분석표(Cross-tabulation table : 이차원 도수분포표)학점수강여부B 이상C 이상 B 미만C 미만합 계예28(25)36(40)11(10)75아니오22(25)44(40)9(10)75합 계508020150※ 괄호안은 기대도수[표 2-1] 학점과 통계 분석 과목 수강 여부☞ 교차분석표 분석은 명목변수 또는 순위변수 사이의 관계에 있어 통계적 유의성을 조사하는 것이다.이 교차분석표는 합계를 제외하면 2개의 행(row)과 3개의 열(column)로 구성되어 있고 전체 6 (=2X3)개의 셀(cell)을 가지고 있다.2. 관측 빈도와 기대 빈도관측빈도(observed frequency)는 [표 2-1]의 각 셀에 해당되는 학점과 통계 분석 과목 수강여부로 응답한 케이스 수이다. 예를 들어, B이상의 학점을 받은 학생 중 통계분석과목을 수강신청한 학생은 28명이고 C미만의 학점을 받은 학생 중 통계분석과목을 수강신청하지 않은 학생은 9명이다.만약 학점에 따라서 통계신청과목의 수강 유무 인원수가 다르지 않다면, B이상 학점을 받은 학생 중 몇 명이 수강신청을 했을것인가? 라고 기대할 수 있는가? 이것이 기대빈도(expected frequency)이다. 이것은 전체 학생 150명 중에서 B이상 학점을 받은 학생이 50명이기 때문에 수강여부에 관계없이 똑같이 50/150 비율로, 즉, 수강한 학생 75X50/150=25명, 수강신청하지 않은 학생 75X50/150=25명으로 기대된다.3. 독립성 검증두 변수간의 관련성 또는 독립성을 검증하는 교차분석에서는 두 변수간 관련성이 없다는 귀무가설과 두 변수간 적어도 어느 하나는 다르다는 대립가설을 설정하여 검증한다.귀무가설(Ho) : 두 변수는 서로 독립적이다.대립가설(H1) : 두 변수는 연관성이 있다(혹은 한 변수 값에 따라 다른 변수 값들의 패턴이 다르다).표의 예를 통해서 설명하면, 통계학 과목을 수강한 학생 중 자신이 받은 학점에 따라 다음 학기에도 유사 과목인 통계 분석 과목의 수강 여부가 자신이 받은 학점에 영향을 받는 지를 알아보고자 한다면 다음과 같은 가설을 설정한다.귀무가설(Ho) : 통계학 학점과 통계 분석 과목의 수강 신청과는 아무런 관련성이 없다.대립가설(H1) : 통계학 학점과 통계 분석 과목 수강 신청과는 관련성이 있다.여기서 귀무가설은 학점과 관계없이 다음 학기에 통계분석 과목을 수강하는 학생의 비율이 동일하다는 것을 의미하고, 대립가설은 학점에 따라 통계분석 과목을 수강하는 학생의 비율이 다르다는 것을 의미한다.4. 통계량 산출교차분석에서 이용하는 통계량은 다음과 같이 식을 사용한다. 위의 표를 이용해서 기대도수와-통계량 및 자유도를 구하면 다음과 같다.※ 기대도수(E)=(열의 합×행의 합)/총합※(chi-square)=Oij : 관측도수 Eij : 기대도수※ 자유도(df)=(c-1)(r-1)1) 기대 도수① B학점 이상(수강)=(50*75)/150=25명② B학점 이상(미수강)=(50*75)/150=25명③ B～C학점(수강)=(80*75)/150=40명④ B～C학점(미수강)=(80*75)/150=40명⑤ C학점 미만(수강)=(20*75)/150=10명⑥ C학점 미만(미수강)=(20*75)/150=10명2)-통계량 계산(chi-square)= (28-25)2/25+(36-40)2/40+(11-10)2/10+(22-25)2/25+(44-40)2/40+(9-10)2/10= 0.36+0.40+0.10+0.36+0.40+0.10=1.72= 1.723) 자유도자유도는 값을 자유롭게 변화시킬 수 있는 수를 말한다. 예를 들어 한 가족에서 남자의 수를 X, 여자의 수를 Y라 하면, 가족의 수는 일정하기 때문에 값이 변할 수 있는 것은 X와 Y두 가지이다. 이 가족의 전체 수가 5명이라 할 때, 남자의 수 X가 3이면 여자의 수는Y = 5-X로서 저절로 2명이 된다. 만일 남자의 수가 1명이라면 Y는 저절로 4명이 된다. 이 경우 자유도는 1이다. 즉, 자유롭게 변화할 수 있는 것은 X나 Y중 하나 뿐이라는 뜻이다.교차표에서 주변합이 고정된 경우, 각 열에서 총 r개의 셀 중 r-1개의 셀에 들어갈 값을 알면 마지막 셀의 값은 저절로 구해진다. 이처럼 마지막 행과 열에 있는 셀 안에 들어가는 값은 자유롭게 바뀔 수 없기 때문에 교차표에서의 자유도는 (r-1)×(c-1)이다.자유도(df)=(3-1)×(2-1)=24) 통계량 비교(교재 313쪽 참고)자유도를 고려하여 표로부터(df=2, α=0.05)=5.991이고통계량=1.72 이므로 기각값보다 작으므로 귀무가설을 기각하지 못한다.이는 학점과 과목 선택은 관련성이 없다는 것을 의미한다.5)카이스퀘어 분포 (-분포)Df=4Df=10Df=10[그림 2-1] 자유도를 고려한 카이제곱 분포5. 결과 해석교차분석 결과통계량 값이분포 값(교재 313쪽)보다 크면 클수록 기대 도수와 관찰 도수간의 차이가 크다는 것을 의미한다. 따라서 이는 두 변수간 상호 관련성이 높다는 것을 의미한다. 즉, 두 변수간 상호 독립적이라는 귀무가설을 기각하고 상호 관련성이 있다는 대립가설(연구가설)을 채택한다. 위 사례의 결과에서는통계량 값이분포 값(마지막장)보다 작으므로 통계학 과목 학점과 통계 분석 과목 수강 신청과는 관련성이 없다는 것을 의미한다.Ⅲ. SPSS에서의 활용1. 정확성 검증(SPSS Exact Tests 옵션 설치시 사용)항목설명사용하는 경우점근성 검증카이제곱 검증(기본설정)대부분의 셀에서 기대빈도가 5이상인 경우Monte Carlo몽트 카를로 방법데이터 수가 작은 경우(30개미만), 기대빈도가 5 이하인 셀이 많은 경우정확한 검증정확한 검증데이터 수가 작은 경우(20개미만), 기대빈도가 5 이하인 셀이 많은 경우2. 교차분석 : 통계량항목설명비고카이제곱
15장 평가 결과의 활용08502108 양승천1. 평가 결과 보고서 작성, 배포, 활용계획-평가 결과를 얻는 일 못지 않게 활용하는 일이 중요하다.가. 평가 결과 보고의 목적 설정♣ 일반적으로 활용되고 있는 주요 목적- 책무감을 과시하기 위한 것 : 프로그램 관련자 및 평가자- 프로그램을 정당화 및 타당화하기 위한것- 프로그램 관련자의 교육과 계몽을 위한 것(홍보)- 업적 보존 및 기록을 위한 것- 대중의 지지나 후원을 얻기 위한 것(홍보)- 관련자의 프로그램에 대한 이해와 교육을 위한 것- 프로그램에 대한 의사결정을 위한 것 등♣ 평가 목적의 성격에 따라 어떤 내용을 보다 중시할 것인가?, 평가 자료(정보)를 어떤 형태로 제시할 것인가?, 보고서 양식과 내용 제시 방식을 어떤 것으로 선택할 것인가?, 그리고 언제, 누구를 대상으로 보고할 것인가? 등을 고려하여 보고 내용을 결정해야 한다.나. 보고서 형태 및 내용♣ 보편적으로 활용되는 보고서의 내용요소- 평가의 근거와 목적 : 평가 관련자, 필요성(이유) 등- 평가 대상 프로그램의 간략한 안내 : 목적, 대상, 내용, 활동 등- 평가 대상 내용 및 강조점 : 평가 준거의 설정- 평가 결과의 제시 : 주요 평가 자료, 평가 기준 등- 평가의 결론 제시 : 평가적 판단 결과, 장점과 약점, 제한점 등- 권고 및 제언♣Brinkerhoff(1983)이 제시하는 평가보고서의 주요 구조 형태- 요약 또는 서언- 내용 목차- 서론 : 목적, 평가 관리자, 범위, 제한점, 전체 구조- 주요 내용(body of report)의 제시 : 제시방법(시간적 순서 중심, 기능적 단계별, 평가 목표 중심, 자료 수집 방법 중심, 결론 및 결과의 성격 중심, 조직 및 행정 중심)- 요약 : 간편한 고찰, 보고서의 핵심 부분, 결론, 중요성 등- 제언다. 보고 시기(일정) 및 보고 대상자 결정♣ 평가 핵심 관련자에게 보고할 주요 내용- 서론 : 의도, 평가 관련자, 용어 정의, 제한점 및 약점, 개요- 기본 정보 : 배경, 연구의 초점, 수집된 정보, 정보의 활용- 설계 : 평가 목적(평가 질문), 논리적 구조 및 근거, 절차, 보고, 주요일정- 결과 : 요약표, 정보의 제시- 결론 : 해석 및 제언- 평가의 평가 : 평가의 강점과 약점, 제한점 등을 요약- 후속 활동 : 후속 발생 사항, 후속될 프로그램 및 평가- 부록♣ ‘언제, 어떤 절차에 입각하여 평가 결과를 보고할 것인가?’ 를 정하는 항목- 평가 요구자가 요청하는 시각에 적절하게 보고할 수 있는가?- 필요한 경우에만 경제적으로 보고할 수 있는가?- 특정한 시기의 특정 개인이나 기관의 요청에 부응할 수 있는가?- 예상치 않은 특별 보고 요청에 융통성 있게 대응할 수 있는가?- 다른 행사 일정과 중복되거나 상충되지 않는가?- 평가팀 내부의 상호통신 기능에 부합되는가?- 보고 일정 및 방식이 계획적이고 체계적인가?라. 효과적인 결과보고 전략의 강구♣ 서류화한 보고서 형식 이외의 다양한 방법(Brinkerhoff, 1983)⇒보다 많은 관심과 기억에 오래남기 위한 방법- 신문, 라디오, 텔레비전 등의 대중매체를 이용하는 방법- 회의 및 집단 토의, 또는 식사를 통한 모임을 이용하는 방법- 청문회(증언), 전문가집단의 심의, 집단을 대상으로 한 발표 등고 같은 단체 이용법- 보고서 우송, 소책자, 뉴스레터 등의 배포법- 공개 석상에서의 관련자들과의 인터뷰 방법- 메모나 서신 이용법- 전문 학술지나 출판을 이용한 방법- 슬라이드, 다중매체, 필름 등의 이용법- 모의 재판, 소시오드라마, 극장 이용법- 훈련, 워커샵, 회의 등의 활용법마. 보고서 활용 방안 탐색- 평가 결과에 대한 의견을 제사할 기회를 주고 반응할 수 있도록 하기 위한 구체적인 방법도 제시- 프로그램 관련자들의 근무 태도 및 관련 행동상의 변화 확인- 평가 결과를 자신의 업무 수행에 적용하는지 여부- 프로그램에 대한 관심에 변화가 일어나는지 여부2. 평가 목적에 따른 활용방안 수립♣ 구체적인 평가 목적에 입각한 활용 방안 탐색- 직접적인 관련자로 하여금 적시에, 체계적으로, 계획성있게 활용할 수 있도록 돕는 일이 요청.- 평가 결과를 바탕으로 프로그램을 개선하는 방안을 탐색할 수도 있고 프로그램의 보급과 확산, 또는 중단이나 폐지를 결정.
7장 평가 준거의설정-‘무엇을 평가할 것인가?’에 대한 답변-08502108 양승천1. 평가 대상 및 내용의 탐색평가대상교육평가학생, 교직원, 교육과정 및 교수자료, 교육프로그램 및 프로젝트, 교육기관 및 조직이중 무엇을 평가 대상으로 삼느냐에 따라 평가 내용과 준거가 달라진다.프로그램평가평가하고자 하는 사물, 활동, 인물, 프로그램, 프로젝트, 위크샵평가 대상 및 내용이 직접적인 평가 준거가 되거나 대상 및 내용이 지닌 질적 속성 및 측면 등이 준거가 될 수 있다.2 평가 요구자의 질문 및 관심의 확인-평가 준거를 정확하게 파악하고 그를 체계적으로 설정하여 보다 효율적으로 평가를 수행하기 위해서는 평가 의뢰인의 요구를 알아야 한다.평가 요구자의 질문 및 관심을 확인 => 무엇을 평가할 것인가를 확인 => 평가 준거를 명료화 => 평가 준거를 체계화 하고 상세화 (평가자가 수행해야 할 행동절차)3. 다양한 준거체제가. Kirkpatrick(1959)의 준거체제1) 반응수준 : 관념 및 태도상의 변화2) 학습수준 : 인지적 상태의 변화3) 행동수준 : 업무수행과 관련된 행동의 변화4) 결과수준 : 기관(조직) 산출물의 변화나. IBM의 준거체제1) 반응 및 태도 수준2) 지식 및 기능 학습 수준3) 적용 및 활용 수준4) 기업 산출(이윤) 수준다. Parker의 준거체제1) 업무 수행상의 변화2) 단체 및 기관의 기능 수행상의 변화3) 참여자 만족도 및 태도4) 참여자 지식 획득 : 지적 수준의 변화라. The Bell System의 준거체제1) 반응(관념 및 태도)상의 산출2) 능력 및 잠재력 상의 산출3) 적용 및 응용상의 산출4) 가치상의 산출마. 상황-투입-반응-산출적 접근1) 상황평가 - 프로그램이 작동된 상황 및 여건에서 요청되는 우구와 추구할 목적이 무엇인가를 결정하기 위한 자료 수집에 목적2) 투입평가 - 여러 투입 변인 중에서 가능한 것을 선택하는데 필요한 정보를 수집하고 활용하고 그것들을 전개 및 활용하는 방법을 결정하는데 중점3) 반응평가 - 프로그램 참여자가 보인 반응에 관하여 정보를 수집하고 활용하는 것4) 산출평가 - 프로그램을 개선시키기 위한 목적으로 프로그램 산출 결과에 관한 자료를 수집하고 활용하는데 중점바. 성취(수행) 중심 접근성취 수행의 분석-잠재적차원, 과정적차원, 결과적차원(Jackson, 1989).사. 태도 중심의 접근1) 자신에 대한 태도 - 자신감, 추진력(정력, 충동), 포부(야망) 등2) 과업(업무)에 대한 태도 - 내발적 동기, 관심, 흥미 등3) 타인에 대한 태도 - 존경심, 친화력(매력) 등4) 기관(직장)에 대한 태도 - 참여도, 기회만족도 등아. 프로그램의 성과(프로그램으로 인한 변화) 중심의 접근1) 내용적 차원의 변화- 지식 및 기술상의 변화(이해도, 숙달도)- 신념 및 태도상의 변화(자신감, 동료, 업무, 기관에 대한 태도)- 행동 및 성취상의 변화(지식 및 기술의 응용, 질적 및 양적 변화)- 기관 조직 운영상의 변화(질적 과정적 내용적 측면): 효율성, 능률성 변화면, 근무 분위기면, 만족도 사기면- 기관 산출상의 변화(결과적 외형적 양적 측면): 비용 효과면, 행동 변화면, 물질적 결과면 등2) 성격이나 형식 차원의 변화- 질적 변화와 양적 변화- 내용적 변화와 외형적 변화- 내재적 변화와 외재적 변화- 단기적 변화와 장기적 변화- 과정적 변화와 결과적 변화- 심리적 변화와 행동적 변화- Software상의 변화와 Hardware상의 변화 등자. 절차 방법적 준거체계의 활용(Jackson, 1989).1) 난이도 - 관련 기능이나 내용을 얼마나 용이하게 학습할 수 있는가?2) 중요도 - 성취할 행위나 업무 단위가 그 기관 업무 수행 및 개인의 업무 수행면에서 얼마나 중요한 것으로 인식되는가?3) 빈도 및 시간 - 각각의 성취 행동에 주어진 전체 시간 중 어느 정도를 할당하느냐?차. 행동 특성 차원(Salvia & Hughes, 1990).1) 정신능력 및 행동의 규모(크기) - 대상행동의 표현 및 반응의 강도나 크기2) 지속시간 - 특정 행동 및 기능의 반응 및 수행시간 및 지속기간3) 질적 속성 - 성취(수행)나 산출 형태에 따라 달라지는 q, 성취의 바람직한 속성이나 형태를 분석4) 빈도 및 비율 - 특정 행동이 발생하는 빈도와 특정기간 동안 발생한 여러 행동 중에서 차지하는 비율카. 교육프로그램 효과의 표현방식을 중심으로 한 준거체제- 경성자료(Hard date) : 산출 증가면, 질적 개선면, 비용 절감면, 시간 절약면- 연성자료(Soft date) : 작업 습관 변화면, 근무(작업)분위기 변화면, 감정 및 태도 변화면, 신기술 수용 및 적용면, 진로 및 자질 개발면, 진취적인면타. Scriven의 교육성취 준거Tyler의 교육목표중심의 평가준거에 대한 비판으로 학교교육을 보다 타당하게 평가하기 위한 준거체제를 제안파. 대학교육의 산물(Bogue & Saunders, 1992).- 인지적-심리적 영역 : 교과 지식, 학문적 능력, 비판적 사고능력, 기초학습능력, 특수 적성, 학업 성취- 정의적-심리적 영역 : 가치, 관심거리, 자아개념, 태도, 신념, 대학생활 만족도- 인지적-행동적 영역 : 학위취득, 직업상 업적, 수상 및 특수 인정 분야- 정의적-행동적 영역 지도력, 시민의식, 대인관계, 취미와 부업4. 준거의 체계화 및 상세화가. 수업 및 강의일 경우(교사의 활동 중심으로 분류)수업전개사상영역수업구조화영역학습기회부여영역-선행학습 상기- 학습목표 및 내용제시- 자료, 설비, 공간의 적절한 활용- 교수방법 및 전략의 선정 및 활용- 출발점 행동의 진단- 질문의 활용- 평가의활용- 교사의 긍정적인 태도 및 기대감 활용-교과전문지식 활용- 학습 속도 및 분량 조절- 학습 난이도 조절- 학습내용과 평가를 관련시키기- 학습 능력 및 요구에 따른 개별화
