모바일 어플리케이션의 비교 평가를 위한 실험 파라미터들의 온라인 재구성 기반의 적응형 사용자 경험 샘플링 (Experience Sampling with On-line Reconfiguration of Experimental Parameters for Comparative Evaluation of Mobile Applications)

서지정보

· 발행기관 : 한국에이치씨아이학회
· 수록지 정보 : 한국HCI학회 논문지 / 15권 / 2호 / 57 ~ 72페이지
· 저자명 : 이명희, 김영원, 김정현

초록

모바일 스마트 디바이스들의 출현으로, ESM(경험 샘플링 방법)은 모바일이나 컨텍스트기반 어플리케이션을평가하고, 사용자의 생태학적인 행동 정보를 획득하는 방법으로 많이 사용되고 있다. ESM은 특히 A/B 테스트와 특정한 컨텍스트로부터 수집되는 신뢰할 수 없고 불균형적인 데이터들로 인해 편향이 발생하기 쉽지만, 이에 대한 운용상의 문제점이나 어려움들에 대하여 자세하게 밝힌 연구들은 없다. 본 연구에서는 ESM 기반의 비교평가 실험을보다 신뢰할 수 있고 경제적이며 편리하게 운용할 수 있도록 평가 파라미터들을 동적으로 재구성할 수 있는PRESTO (Parameter REconfiguring Experience Sampling and analysis Tool) 라고 부르는 강화된 ESM 과 관련툴들을 제시한다. PRESTO를 이용하여 연구자는 수집되는 데이터들의 충분성, 균형, 검정력을 지속적으로 분석할 수있으며, 실험의 특정 부분을 단축하거나 주의를 더 기울일 수 있다. PRESTO의 검증을 위해 컨텍스트 기반 모바일어플리케이션의 음성과 텍스트 입력 인터페이스를 평가하는 A/B 테스트 사례에 전통적 ESM과 PRESTO를 적용하여비교하는 연구를 수행하였다. 수집된 데이터와 분석결과, 실험 참가자들과의 사후 인터뷰를 바탕으로, 본 연구는PRESTO가 어떻게 ESM 기반의 A/B 테스트를 기존보다 효율적이고 신뢰할 수 있게 운영할 수 있도록 도움을 주는지, 그리고 다른 결과를 도출할 수 있는지 보여준다.

영어초록

With the advent of mobile computing and communication devices, the Experience Sampling Method (ESM) has been increasingly used as a convenient and effective approach to evaluate mobile and context-dependent applications and capture their users’ ecological behaviors. ESM is generally prone to biases from unreliable and unbalanced data, especially for A/B testing and context-specific situations. In fact, ESM has rarely been applied to A/B testing, and literatures revealing its operational details and difficulties are rare. We present an enhanced ESM (and an associated tool) called Parameter REconfiguring Experience Sampling and analysis TOol (PRESTO), which has the capability to dynamically reconfigure evaluation parameters to help manage an experiment to be more reliable, economical, and convenient. With PRESTO, the experimenter can continuously analyze the incoming data for their sufficiency, balance, power and reliability, and thereby shorten or pay more attention on certain segments of the experiment. For validation, a case study of applying PRESTO to the A/B testing/evaluation of two competing mobile interfaces, compared to using a conventional ESM, was carried out. Based on the gathered data and direct interviews with the participants, we demonstrate how it could help manage ESM-based A/B testing more efficiently and reliably, and even derive possibly different outcomes.

참고자료

· 없음