Amazon Mechanical Turk 마스터, 일반 참가자, 오프라인 참가자 집단의 기억 수행 차이 (Group Differences in Memory Performance Among Amazon Mechanical Turk Masters, Regular Workers, and Offline Participants)

서지정보

· 발행기관 : 한국감성과학회
· 수록지 정보 : 감성과학 / 27권 / 4호 / 39 ~ 48페이지
· 저자명 : 정수근

초록

온라인 크라우드소싱 플랫폼인 Amazon Mechanical Turk(MTurk)은 뛰어난 과제 수행 기록을 가진 참가자들에게 마스터 등급을 부여한다. 그러나 MTurk의 마스터 참가자와 일반 참가자를 비교한 선행 연구들은 두 집단이 실제로 수행의 차이를 보이는가에 대해 일관되지 않은 결과를 보고했다. 또한 선행 연구들은 대부분 설문 조사 방식을 사용 했으며 MTurk의 마스터와 일반 참가자의 인지 과제 수행 능력을 비교한 연구는 부족한 상황이다. 본 연구는 시각 기억 재인 과제를 사용하여 MTurk 마스터 및 일반 참가자와 오프라인에서 모집한 대학생 참가자 집단의 수행을 비교했다. 연구 결과, MTurk 마스터 참가자와 오프라인 참가자는 동일한 수준의 기억 수행을 보였다. 그러나 MTurk 일반 참가자의 기억 과제 수행은 마스터와 오프라인 참가자 집단의 결과와 차이를 보였다. 각 집단에서 기억 과제 정확률이 낮은 참가자를 제외한 후에도 동일한 결과가 나타났다. 이러한 결과는 온라인에서 참가자 집단을 적절히 선발하면 기존의 오프라인 실험 결과를 잘 재현할 수 있음을 보여준다. 동시에 본 연구의 결과는 온라인 크라우드소 싱 플랫폼의 참가자 집단이 균일하지 않으며, 집단 선정 방식에 따라 연구의 결과가 다르게 나타날 수 있음을 시사한다.

영어초록

The online crowdsourcing platform Amazon Mechanical Turk (MTurk) assigns a "master" qualification to workers who have outstanding task performance records. However, prior research comparing MTurk's master and regular workers has shown inconsistent results regarding actual performance differences between these groups. Furthermore, studies have used a survey method and research comparing cognitive task performance between MTurk masters and regular workers is still limited. The current study compared the performance of MTurk masters, regular workers, and offline-recruited university students using a visual recognition memory task. Results showed comparable memory performances between MTurk masters and offline participants. However, MTurk regular workers exhibited a different pattern of results from those of the masters and offline participants. Consistent results were found after excluding low-performing participants from each group. These findings suggest that appropriately screened online participants can effectively replicate results from traditional offline experiments. However, the results also underscore that online crowdsourcing platforms such as MTurk are made up of heterogeneous participant groups, suggesting that study outcomes may vary depending on participant selection criteria.

참고자료

· 없음