DOI QR코드

DOI QR Code

Automatic Detection of Usability Issues on Mobile Applications

모바일 앱에서의 사용자 행동 모델 기반 GUI 사용성 저해요소 검출 기법

  • 마경욱 (서강대학교 컴퓨터공학과) ;
  • 박수용 (서강대학교 컴퓨터공학과) ;
  • 박수진 (서강대학교 서강미래기술연구원)
  • Received : 2016.04.26
  • Accepted : 2016.05.09
  • Published : 2016.07.31

Abstract

Given the attributes of mobile apps that shorten the time to make purchase decisions while enabling easy purchase cancellations, usability can be regarded to be a highly prioritized quality attribute among the diverse quality attributes that must be provided by mobile apps. With that backdrop, mobile app developers have been making great effort to minimize usability hampering elements that degrade the merchantability of apps in many ways. Most elements that hamper the convenience in use of mobile apps stem from those potential errors that occur when GUIs are designed. In our previous study, we have proposed a technique to analyze the usability of mobile apps using user behavior logs. We proposes a technique to detect usability hampering elements lying dormant in mobile apps' GUI models by expressing user behavior logs with finite state models, combining user behavior models extracted from multiple users, and comparing the combined user behavior model with the expected behavior model on which the designer's intention is reflected. In addition, to reduce the burden of the repeated test operations that have been conducted by existing developers to detect usability errors, the present paper also proposes a mobile usability error detection automation tool that enables automatic application of the proposed technique. The utility of the proposed technique and tool is being discussed through comparison between the GUI issue reports presented by actual open source app developers and the symptoms detected by the proposed technique.

어플리케이션의 구매 결정 소요시간이 짧은 동시에 구매 취소 역시 간편한 모바일 앱의 속성을 고려했을 때, 사용 편리성은 모바일 앱이 제공해야 할 다양한 품질 요소들 중 상위의 우선순위를 가지는 요소라 할 수 있다. 이러한 배경에서 모바일 앱 개발자들은 앱의 상품성을 저하시키는 사용성 저해 요소를 여러 가지 측면에서 최소화시키는데 많은 노력을 기울이고 있다. 모바일 앱의 사용 편리성을 저해하는 대부분의 요소는 GUI 설계시에 발생되는 잠재적인 오류들로부터 기인한다. 우리는 앞선 연구에서 사용자 행위 로그를 이용한 모바일 앱의 사용성 분석 기법을 제안한 바 있다. 본 논문에서는 앞선 연구 결과를 토대로 사용자 행위로그를 유한 상태 모델로 표현하고, 여러 명의 사용자로부터 추출된 사용자 행위모델을 병합하여 설계자의 의도가 반영된 설계 행위모델과 비교해 나감으로써, 체계적으로 모바일 앱의 GUI 모델상에 잠재된 사용성 저해 요소 검출해 내는 기법을 제안하고 있다. 또한 기존 개발자들이 사용성 오류 검출을 위해 행해왔던 반복적인 테스트 작업의 부담을 줄이기 위해, 본 논문에서는 제안 된 기법의 자동화가 가능하도록 하는 사용성 오류검출 자동화 도구를 함께 제안하고 있다. 제안된 기법과 도구의 효용성은 실제 오픈 소스 앱 개발자들에 의해 제기된 GUI 이슈 리포트와 제안된 기법에 의해 검출된 이상징후들 간의 비교를 통해 논의하고 있다.

Keywords

References

  1. Y. Kim, J. Byun, S. Choi, S. Park, and S. Park, "A Usability Analysis Method of Mobile Application using User Behavior Logs," Journal of KIISE: Software and Applications, Vol.39, No.2, pp.91-98, 2012.
  2. E. Dolstra, R. Vliegendhart, and J. Pouwelse, "Crowdsourcing GUI Tests," in Software Testing, Verification and Validation, 2013 IEEE Sixth International Conference, pp.332-341, 2013.
  3. R. Gomez, D. Caballero, and J. Sevillano, "Heuristic Evaluation on Mobile Interfaces: A New Checklist," The Scientific World Journal, pp.178-188, 2014.
  4. M. Zen. "Metric-based evaluation of graphical user interfaces: model, method, and software support," in Proceedings of the 5th ACM SIGCHI symposium on Engineering interactive computing systems, pp.183-186, 2013.
  5. S. Abrahao and E. Insfran, "Early Usability Evaluation in Model Driven Architecture Environments," Quality Software, International Conference on, Quality Software, International Conference, pp.287-294, 2006.
  6. W. A. Munson and M. Gardner, "Standardizing Auditory Tests," Acoustical Society of America, Vol.22, No.5, p.675, 2005.
  7. K. Ma and S. Park, "A Methodology of Usability Issue Detection for GUI Self-Adaptation," in Proceedings of the Korea Conference on Software Engineering, pp.411-412, 2015.
  8. L. Mariani, F. Pastore, and M. Pezze, "Dynamic Analysis for Diagnosing Integration Faults," Software Engineering, IEEE Transactions, Vol.37, No.4, pp.486-508, 2011. https://doi.org/10.1109/TSE.2010.93
  9. J. Nielson, Why you only need to test with 5 users [Internet], http://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/.
  10. R. G. O'Brien, "A General ANOVA Method for Robust Tests of Additive Models for Variances," Journal of the American Statistical Association, Vol.74, No.13, pp.877-880, 1979. https://doi.org/10.1080/01621459.1979.10481047
  11. A. M. Memon, "A comprehensive framework for testing graphical user interfaces," Ph.D. dissertation, University of Pittsburgh, 2001.

Cited by

  1. An Automatic User Activity Analysis Method for Discovering Latent Requirements: Usability Issue Detection on Mobile Applications vol.18, pp.9, 2018, https://doi.org/10.3390/s18092963