북마크 기준설정 방법에서 반응 확률 .67에 대응하는 능력추정치를 구하기 위한 Bifactor IRT와 Testlet IRT모형의 활용 (Using the Marginalized Bifactor IRT Model and the Marginalized Testlet IRT Model to find Bookmark Difficulty Locations Corresponding to the Response Probability of .67)

서지정보

· 발행기관 : 한국교육평가학회
· 수록지 정보 : 교육평가연구 / 30권 / 4호 / 549 ~ 568페이지
· 저자명 : 반재천, 김선

초록

Testlet IRT모형과 Bifactor IRT모형을 북마크 기준설정에 활용하기 위해 이들 모형을 일차원 IRT모형과 같은 형태로 변환할 수 있다. 주변화된 Testlet IRT모형(mTIRT)과 주변화된 Bifactor IRT모형(mBIRT)은 단위검사효과를 적분하여 주변화(marginalize)함으로써 일차원 로지스틱 IRT모형과 같은 형태로 변환한 것이다. 본 연구의 목적은 mTIRT모형, mBIRT모형, 2모수 로지스틱 IRT모형을 이용하여 반응 확률(RP)=.67에 대응하는 능력추정치(Bookmark difficulty location: BDL)를 구했을 때, 단위검사효과와 검사난이도에 따라 세 IRT모형의 BDL간에 차이가 있는지를 알아보는 데 있다. 모의실험을 위해 검사난이도와 단위검사효과 크기를 달리하여 문항모수 및 문항반응을 무선 생성하여 세 모형에 의한 BDL을 구했다. 연구결과 첫째, 세 모형의 BDL간 상관은 본 연구조건에서 최소 .987로 높았다. 그렇지만 단위검사효과가 클수록 BDL간 상관계수 평균은 점차 낮아졌다. 둘째, BDL간 차이 절댓값은 최대 약 |0.1|만큼으로 세 모형간 BDL이 유사했다. 그렇지만 단위검사효과가 크고 난이도가 어려운 검사일수록 BDL간 차이가 커졌다. 셋째, 순서화된 문항집의 각 페이지에 최종 기준이 설정되었을 때 단위검사효과가 클수록 세 모형간 BDL차이도 커지는 경향이 있었다.

영어초록

One of the methods to use the testlet IRT model and the bifactor IRT model for the Bookmark standard setting is to marginalize the testlet IRT model (mTIRT) and the bifactor IRT model (mBIRT) by integrating out the testlet effects so that the mIRT and the mBIRT model have the form of the unidimensional IRT model. The purpose of this study is to compare the bookmark difficulty locations (BDLs) corresponding to the response probability (RP) of .67 using the mTIRT, mBIRT, and the two parameter logistic IRT (2PL IRT) model under the various conditions of test difficulties (low, middle, and high) and testlet effects (0.3, 0.5, 0.7, 0.9). For simulation studies, item parameters and item responses under the conditions considered were generated and the BDLs of the three IRT models were computed and compared. The results showed that the correlation coefficient of at least .987 among the BDLs of the three models were obtained. The average absolute differences among the BDLs of the models were up to about |0.1| which was not large. The differences among the BDLs were greater as the testlet effect was larger and the test difficulty level was higher. When the bookmark was set to each of the ordered item booklet, the differences of BDLs were greater as the testlet effect was larger.

참고자료

· 없음