강의평가점수 영향력 요인에 대한 사후조정 연구 (The Study on Adjustment Method for Influence factor of Course Evaluation Score)

서지정보

· 발행기관 : 한국교육평가학회
· 수록지 정보 : 교육평가연구 / 28권 / 4호 / 1225 ~ 1254페이지
· 저자명 : 오숙영

초록

강의평가는 교수의 강의능력과 교수프로그램에 의한 평가 외에, 교수가 통제할 수 없는 강좌속성, 학생속성, 교수속성 요인의 상호작용에 의한 왜곡된 평가가 이루어질 수 있다. 강의평가점수가 강의능력 이외에 다른 요인에 의해서 발생되는 영향력을 제거하는 사후조정이 없이 활용되어질 때, 강의평가결과는 공정성과 객관성의 문제가 내포될 수 있다. 따라서 본 연구는 더미회귀분석을 활용하여, 영향력 변수의 범주(수준)에 따른 상이한 분포의 중심이 동일성을 갖도록 조정을 하여서 강의평가점수를 변환하는 것을 연구목적으로 한다. 이와 같은 연구목적을 위하여, 세부적인 연구문제를 제시하여 검정하였다. 첫째, 강의평가검사도구 구인타당도의 연구이다. 탐색적․확인적 요인을 통한 수렴타당도와 판별타당도 검정을 실시하여, 구인타당도 기준 수치에 만족된 수업내용, 수업방법, 수업관리, 자기평가 요인만을 선정하여 강의평가점수를 산출했다. 둘째, 강의평가 영향력 변수 선정의 연구이다. 평균비교분석을 통해서, 영향력 변수는 이수구분, 강좌규모, 평가방식, 학생학년, 학생성별, 취득학점, 교수직위, 교수성별 변수로 추출했다. 그리고 영향력 변수는 가변수로 처리하여 독립변수로 하고 강의평가원점수는 종속변수로 설정한 후에, 단계적 선택방법의 더미회귀분석을 실시했다. 사후조정은 원점수에서 가변수의 유의한 비표준화 회귀계수만큼씩 감소시키는 공식을 도출하여서 점수변환을 했다. 셋째, 강의평가 조정점수의 연구이다. 평균비교분석결과, 영향력 변수의 범주 간 조정점수는 모두 유의미한 차이가 없었으며, 영향력 요인의 편의가 제거된 것으로 나타났다. 영향력 변수는 범주 간에 평균, 표준오차, 사분위수가 거의 비슷하게 조정이 되었다. 영향력 변수의 범주 간 분포의 형태가 일치된 강의평가조정점수는 원점수와는 유의하게 다른 점수이며, 극단적인 점수들이 조정된 것으로 나타났다. 넷째, 교수강의평가 등급변동의 연구 이다. 학생강의평가 조정점수를 교수강의평가 조정점수로 변환하여 스테나인 등급으로 환산했을 때, 교수의 53.2% 정도가 등급변동이 있었으며, 상승은 27.4%이고 하락은 25.8%였다. 등급상승비율은 남자 교수가 여교수보다, 강사가 전임보다, 교양강좌교수가 전공교수보다, 상대평가교수가 절대평가교수보다 비교적 높았다. 더미회귀분석 사후조정방법은 모든 영향력 변수가 상호작용 없이 투입되어 변환공식을 쉽게 산출될 수 있으며, 평균, 표준오차, 사분위수가 동일하게 조정되어 모든 영향력을 제거한 것으로 나타났다. 따라서 연구절차의 모형을 제시하여 대학행정에서 활용할 수 있도록 제안했다.

영어초록

The course evaluation is likely to be influenced by the interaction among lecture factor, student factor, and professor factor which can not be controled by professor, as well as the professor’s ability and lecture program which can be controled by professor. If course evaluation score is utilized without the adjustment which removes the influence occurred by the other factors except for lecture ability, the result of course evaluation will have the problem of fairness and objectivity. Therefore, the purpose of this study is to transform the raw score of course evaluation into the adjusted score that has no influence variable effects by equating the center values of distribution of different levels in accordance to the influence variables. This study suggested and testified the concrete aims as follows. First, the study for the construct validity of course evaluation questionnaire. This study chose 4 factors which were satisfied with test of convergent and discriminant validity through exploratory validity and confirmatory validity, which were the lecture content factor, lecture method factor, lecture administration factor. Second, the study for influence variables. The influence variables chosen by mean comparison analysis method were the course kinds, course size, course evaluation method, student grade, student sex, student achievement, professor sex, professor position. The influence variables which were changed into dummy variables were used as independent variable and the raw score of course evaluation was used as dependent variable. And dummy regression analysis choosing the stepwise variable choice method was used in order to produce the formula which could adjust score of course evaluation. And then, the adjusted score of course evaluation was made through the formula which reduced the regression coefficient of the dummy variables which are significant statistically from raw score of course evaluation. Third, the study for adjusted score of course evaluation. As the mean values between the levels of influence variables had no significant difference statistically through mean comparison analysis method, the adjusted score was proved to equate mean between the levels of influence variables. And the adjusted score was proved to have the same values of quartile between levels of influence variables. The adjusted score which have the same mean, standard error, and quartile between the levels of influence variables was proved to be different from raw score. Forth, the study for professor rank change. When the score of course evaluation was changed into the Stanine rank of professor score, the percentage of rank change of professors was 53.2%. The percentage of increase is 27.4%, the percentage of decline is 25.8%. Especially, the percentage of male professor, instructor, general education curriculum, norm referenced evaluation were increased. This adjustment method used in this study was proved to have the formula of course evaluation score transformation not only which could input all variables but also which could have no interaction effect, and remove the influence bias by equating mean, standard error and quartile. Therefore, this study suggested the procedure model which removed the bias between influence variables in order to utilize it in university.

참고자료

· 없음