성인의 국어 말하기 능력 평가 결과 분석 (Analysis of an Assessment of Korean Speaking Skills for Adults)

서지정보

· 발행기관 : 한국화법학회
· 수록지 정보 : 화법연구 / 24호 / 101 ~ 136페이지
· 저자명 : 민병곤, 정재미, 박재현

초록

이 논문은 국립국어원에서 2013년 실시한 국민의 국어 능력 평가에서 말하기 영역의 평가 결과를 분석하고 논의하는 것을 목적으로 한다.
연구 대상으로는 모집단인 전체 국민을 2단계 층화 표본 추출 방식과 집락 추출 방식을 혼합하여 1,500명을 추출하였다. 1차 층화 기준은 성별, 연령, 지역 규모 변인이었으며, 2차 층화 기준은 직업과 학력 변인으로서 소프트 할당 방식을 사용하였다. 84명의 결측치를 제외하고 분석 대상으로 삼은 표본은 총 1,416명이다.
말하기 평가 문항은 장소원 외(2012)를 바탕으로 하여 설명적 말하기 한 문항, 설득적 말하기 두 문항으로 모두 세 문항으로 구성하여 각각 준비 시간을 1분으로 하고 2분 정도 말할 수 있도록 하였다. 평가 항목으로는 내용 선정(30%), 조직(30%), 표현(20%), 전달(20%)의 네 요소를 선정하였다. 전문 조사원이 방문하여 일대일 면담 방식으로 진행하였으며 답변을 녹음하여 세 사람이 채점하였다. 채점자 간 점수의 상관 계수는 0.82이상으로서 채점자간 신뢰도가 매우 양호함을 확인하였다. 채점 결과를 해석하기 위하여 등급을 ‘우수, 보통, 기초, 기초 미달’의 네 수준으로 나누고, ‘수정된 앵고프(Modified Angoff) 방식’으로 전문가 협의회를 개최하여 분할 점수를 구하였다.
고전 검사 이론에 따라 분석한 결과 평가 문항의 난이도는 한 문항은 쉽고 두 문항은 적절한 것으로 확인되었고 변별도는 세 문항 모두 0.7 이상으로 나와 변별력이 매우 높은 것으로 확인되었다. 전체적으로 국민의 말하기 능력을 등급화한 결과 우수 2.8%, 보통 33.2%, 기초 49.5%, 기초 미달 14.5%로서 전반적으로 저조한 것으로 확인되었다. 이를 변인별로 분석해 보면 국민의 말하기 능력은 성별로는 여성이 남성보다 높고, 연령별로는 20, 30, 40대가 50대보다 높았으며, 지역 규모별로는 대도시 > 중소도시 > 읍면 지역 순이었다. 직업군별로는 정신노동자나 기타(학생 포함) 직업군이 육체노동자보다 높게 나왔다. 그리고 학력별로는 대학 재학 이상의 학력자가 중졸 이하나 고졸자보다 높은 것으로 확인되었다.
성인의 말하기 능력이 저조한 원인으로는 말하기를 중시하지 않는 사회적 분위기와 입시 위주의 교육 관행에 따른 말하기 교육의 파행과 성인 교육의 부재를 지적하였다. 변인에 따른 차이는 연령, 직업, 학력 등의 변인이 복합적으로 작용하는 것으로 보았으며, 대학 재학 이상의 피험자들도 기초 수준 이하가 62.4%에 이른다는 점에 주목할 필요가 있음을 지적하였다.
이러한 논의를 바탕으로 필자들은 다음과 같은 세 가지 과제를 제안하였다. 첫째, 국민의 국어 능력 평가의 일환으로서 말하기 능력을 초점화하여 정의하고 그 영역과 대상을 세분화할 것, 둘째, 대규모 말하기 평가가 가능한 검사 환경을 구성하고 자연스러운 말하기 상황 속에서 이루어지는 평가 방법을 활용할 것, 셋째, 국민의 말하기 능력을 개선하기 위한 교육 프로그램을 개발하고 이를 지속적으로 실행할 것 등이다.

영어초록

The purpose of this study is to analyze and discuss the results of the evaluation of language competence for the general public carried out by the National Institute of the Korean Language in 2013, focusing on speaking skills.
The participants are 1,500 people who were selected from the adult population of Korea by a two-stage stratified sampling and cluster sampling method. The primary criteria for stratification are sex, age, and region size, and the secondary criteria are vocational and educational variables, which are based on the soft allocation method. As the data of 84 participants were incomplete, the final analysis included 1,416 people.
The test items comprised a descriptive speaking question and two persuasive speaking questions. For each question, the participants were given one minute to prepare a response and about two minutes to speak. The following four elements were selected as the evaluation criteria: contents(30%), organization(30%), , and delivery(20%). Professional interviewers visited the participants and held one-on-one interviews to record their answers, which were later scored by each of three raters. Corelation of inter-rater reliability of the scoring was higher than 0.82; therefore, the inter-rater reliability was very good. The participants’ performances were classified into four levels: good, normal, basic, and below basic. This was done to interpret the results of the scoring grade, which had been divided according to the cut-score obtained through consultations with experts in the Modified Angoff method.
An analysis of the test item difficulty according to the classical test theory shows that one item was easy and the other two were appropriate. The discrimination index of all three items was above 0.7, meaning they were very highly discriminating. Overall, the participants’ speaking skill levels were assessed as good(2.8%), normal(33.2%), basic(49.5%), and below basic(14.5%); this performance is generally quite poor. When the participants were grouped by variables and ranked according to their speaking skills, women were higher than men, and people in their 20s, 30s, and 40s were higher than people in their 50s. By region size, the order is metropolitan area > small town > local borough. The ranking by occupation shows workers and others (including students) are higher than manual workers. Then, the ranking by education shows middle school graduates and below and high school graduates are lower than university students and above.
The participants’ poor speaking skills could have been the result of a social atmosphere that undervalues much talking, inadequate educational practices for speaking training (e.g., focusing on entrance examinations), and a lack of appropriate adult education. The differences by age, occupation, education, and other variables may result from a combination of these factors. Further, it is worth noting that 62.4% of the participants who were university students or graduates has speaking skills that were normal or below.
Based on this discussion, we propose the following three tasks. First, in the area of language skills assessment, speaking skills for Korean adults should be defined in greater detail. Second, a large-scale speaking assessment environment and natural speaking situations should be configured to improve the validity and reliability of the evaluation. Finally, to improve speaking skills among the general public, practical educational programs should be developed.

참고자료

· 없음