Validating Instruments in MIS Research

소개

Validating Instruments in MIS Research
요약본

목차

Validating Instruments in MIS Research
사회과학 연구에 있어서의 타당성
1. 예비 테스트
2. 기술적 타당성(Technical Validation)
3. 신뢰성의 파일럿 테스트와 구성타당성

본문내용

3년간 3개 주요 저널에 실린 117개의 논문을 살펴본 결과, 많은 논문들이 기존의 validated instrument(타당성 기법)를 그대로 사용하고 있거나 혹은 아예 validation을 거치지 않은 것으로 나타났다. 기존 연구의 validated instrument를 사용하는 경우에도 문제는 있는데, 이는 문항을 연구의 주제나 환경에 따라서 변형할 수밖에 없고, 원래의 것이 validated된 것이라고 해도 파생 instrument까지 확증해주는 것은 아니기 때문이다. Validation을 강조하는 것은 질적 방법보다 양적 방법을 선호해야 한다는 것이 아니라 실험적, 탐구적인 연구를 신뢰할 수 있는 연구가 되게 하기 위해서는 엄격한 instrument validation이 필요하다는 의미이다.
이 글에서는 컴퓨터 오용 사고를 막기 위한 보안 관리 효과 연구의 데이터 수집용으로 설계된 instrument를 대상으로 작업한 것을 예로 들어 instrument validation을 수행 과정을 상세히 보인다. 먼저 이 프로젝트에서 이전에 나와있는 construct(구성)를 이용하는 것과 victimization questionnaire이 표본 수집 방법으로 적절하다는 것이, 범죄학 이론으로 뒷받침될 수 있었다. 그리고 content validity(내적타당성)를 획득하기 위해서 draft instrument(초안 기법)는 37명을 인터뷰하여 3번에 걸쳐 개선되었다. 다음 단계로 construct validity(구성 타당성)와 reliability(신뢰도)를 실험하기 위하여 MTMM matrix를 분석하는 technical validation(기술 타당성)을 수행하였다. MTMM matrix에서 Convergent/Discriminant validity(수렴, 판별 타당성)를 확인한 결과, 설계된 instrument가 수행 방법에 의존적이지 않고 수용할 수 있는 측정성을 가졌다고 판단할 수 있었다. 또한 요인 분석을 하고 Cronbach’s alpha (신뢰도 분석)값을 확인하는 pilot test를 수행하였다.
연구자들은 validation 없이 중요한 변형을 가하는 것을 삼가고 pretest, pilot test를 수행하며 기술적 방법도 적용해야 하며, 저널들은 instrument validation 란을 마련하여 이러한 연구를 촉진해야 한다. 실증적 연구를 개선하고 신뢰할만한 조사를 수행하기 위해서는 우리가 논의할 필요가 있는 방법론적인 문제를 안고 있다는 사실을 인지해야 하며, instrument validity를 가능한 충분히 확보하려 노력해야 할 것이다.

참고자료

· 없음