Science of Emotion and Sensibility (감성과학)

Korean Society for Emotion and Sensibility (한국감성과학회)
권호 표지
DOI QR코드

DOI QR Code

Applying Social Strategies for Breakdown Situations of Conversational Agents: A Case Study using Forewarning and Apology

대화형 에이전트의 오류 상황에서 사회적 전략 적용: 사전 양해와 사과를 이용한 사례 연구

  • 이유미 (경일대학교 디자인학부) ;
  • 박선정 (한국과학기술원 산업디자인학과) ;
  • 석현정 (한국과학기술원 산업디자인학과)
  • Received : 2018.01.02
  • Accepted : 2018.02.23
  • Published : 2018.03.31
Download PDF
⟨ Previous Next ⟩

Abstract

With the breakthrough of speech recognition technology, conversational agents have become pervasive through smartphones and smart speakers. The recognition accuracy of speech recognition technology has developed to the level of human beings, but it still shows limitations on understanding the underlying meaning or intention of words, or understanding long conversation. Accordingly, the users experience various errors when interacting with the conversational agents, which may negatively affect the user experience. In addition, in the case of smart speakers with a voice as the main interface, the lack of feedback on system and transparency was reported as the main issue when the users using. Therefore, there is a strong need for research on how users can better understand the capability of the conversational agents and mitigate negative emotions in error situations. In this study, we applied social strategies, "forewarning" and "apology", to conversational agent and investigated how these strategies affect users' perceptions of the agent in breakdown situations. For the study, we created a series of demo videos of a user interacting with a conversational agent. After watching the demo videos, the participants were asked to evaluate how they liked and trusted the agent through an online survey. A total of 104 respondents were analyzed and found to be contrary to our expectation based on the literature study. The result showed that forewarning gave a negative impression to the user, especially the reliability of the agent. Also, apology in a breakdown situation did not affect the users' perceptions. In the following in-depth interviews, participants explained that they perceived the smart speaker as a machine rather than a human-like object, and for this reason, the social strategies did not work. These results show that the social strategies should be applied according to the perceptions that user has toward agents.

음성인식 기술의 비약적 발전으로 최근 몇 년 사이 대화형 에이전트는 스마트폰, 인공지능 스피커 등을 통해 널리 보급되었다. 음성인식 기술의 인식의 정확도는 인간의 수준까지 발전하였으나, 여전히 말의 의미나 의도를 파악하는 것과 긴 대화를 이해하는 것 등에는 한계를 보이고 있다. 이에 따라 사용자는 대화형 에이전트를 사용함에 있어 다양한 오류 상황들을 경험하고 있으며 이는 사용자 경험에 부정적인 영향을 미칠 수 있다. 또한, 목소리를 주 인터페이스로 하는 인공지능 스피커의 경우, 대화형 에이전트의 기능 및 한계에 대한 피드백의 부족은 지속적 사용을 저해하는 요소로 꼽히고 있다. 따라서 사용자가 대화형 에이전트의 기능 및 한계를 보다 잘 이해하고 오류 상황에서 부정적인 감정을 완화할 수 있는 방안에 대한 연구에 대한 필요성이 높으나, 아직 관련 연구는 미비한 실정이다. 이에 본 연구에서는 사회적 전략 중 '사전 양해'와 '사과'를 대화형 에이전트에 적용하고 이러한 전략이 사용자가 에이전트에 대해 느끼는 인식에 어떠한 영향을 미치는지 조사하였다. 이를 위해 사전 양해와 사과 여부를 나누어 사용자가 대화형 에이전트와 대화하는 데모 영상을 제작하였고, 실험참가자들에게 영상을 보여준 뒤 느끼는 호감도와 신뢰도를 설문을 통해 평가하도록 하였다. 총 104명의 응답을 분석한 결과, 문헌조사를 토대로 한 우리의 예상과는 상반되는 결과를 얻었다. 사전 양해는 오히려 사용자에게 부정적인 인상을 주었으며, 특히 에이전트에 대한 신뢰도에 부정적인 영향을 주었다. 또한 오류 상황에서의 사과는 사용자가 느끼는 호감도나 신뢰도에는 유의미한 영향을 미치지 않았다. 심층인터뷰를 통해 원인을 파악한 결과, 실험참가자들은 인공지능 스피커를 사람과 같은 인격체보다는 단순한 기계에 가깝다고 인식했기 때문에 인간관계에 작용하는 사회적 전략이 영향력을 발휘하지 못한 것으로 해석된다. 이러한 결과는 사용자가 에이전트를 얼마나 기계, 혹은 사람에 가깝게 인식하는지에 따라 오류 상황에 대한 에이전트의 대처 방식 또한 달라져야 함을 보여준다.

Keywords

References

  1. Appel, J., von der Putten, A., Kramer, N. C., & Gratch, J. (2012). Does humanity matter? Analyzing the importance of social cues and perceived agency of a computer system for the emergence of social reactions during human-computer interaction. Advances in Human-Computer Interaction, 13(2012), 1-10. DOI: 10.1155/2012/324694
  2. Bickmore, T., & Cassell, J. (2001). Relational agents: a model and implementation of building user trust. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 396-403. DOI: 10.1145/365024.365304
  3. Cassell, J. (2000). Embodied conversational interface agents. Communications of the ACM, 43(4), 70-78. DOI: 10.1145/332051.332075
  4. Jarnow, J. (2016, April 8). Why our crazy-smart AI still sucks at transcribing speech. Retrieved from https://www.wired.com/2016/04/long-form-voice-transcription/
  5. Lee, M. K., Kielser, S., Forlizzi, J., Srinivasa, S., & Rybski, P. (2010). Gracefully mitigating breakdowns in robotic services. Proceedings of the 5th ACM/IEEE International Conference on Human-robot Interaction, 203-210. DOI: 10.1145/1734454.1734544
  6. Li, A. (2017). Google's speech recognition is now almost as accurate as humans. Retrieved from https://9to5google.com/2017/06/01/google-speech-recognition-humans/
  7. Luger, E., & Sellen, A. (2016). "Like Having a Really bad PA": The Gulf between User Expectation and Experience of Conversational Agents. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, 5286-5297. DOI: 10.1145/2858036.2858288
  8. Mennicken, S., Zihler, O., Juldaschewa, F., Molnar, V., Aggeler, D., & Huang, E. M. (2016). It's like living with a friendly stranger. Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing, 120-131. DOI: 10.1145/2971648.2971757
  9. Nass, C., & Moon, Y. (2000). Machines and mindlessness: social responses to computers. Journal of Social Issues, 56(1), 81-103. DOI: 10.1111/0022-4537.00153
  10. Park, J.Y. (2007) Effects of the interaction with computer agents on users' psychological experiences. Science of Emotion & Sensibility, 10(2), 155-168.
  11. Price, R. (2017). Microsoft's AI is getting crazily good at speech recognition. Retrieved from http://uk.businessinsider.com/microsofts-speech-recognition-5-1-error-rate-human-level-accuracy-2017-8
  12. Purington, A., Taft, J. G., Sannon, S., Bazarova, N. N., & Taylor, S. H. (2017). "Alexa is my new BFF": Social roles, user satisfaction, and personification of the Amazon echo. Proceedings of the 2017 CHI Conference Extended Abstracts on Human Factors in Computing Systems, 2853-2859. DOI: 10.1145/3027063.3053246
  13. Song, H.S., Kim, M.J., Jeong, S.H., Suk, H.J., Kwon, D.S., & Kim, M.S. (2008). The behavioral patterns of neutral affective state for service robot using video ethnography. Science of Emotion & Sensibility, 11(4), 629-636.
  14. von der Putten, A. M., Kramer, N. C., Gratch, J., & Kang, S.-H. (2010). "It doesn't matter what you are!" Explaining social effects of agents and avatars. Computers in Human Behavior, 26(6), 1641-1650. DOI: 10.1016/j.chb.2010.06.012
  15. Woods, S., Walters, M., Koay, K. L., & Dautenhahn, K. (2006). Comparing human robot interaction scenarios using live and video based methods: towards a novel methodological approach. In Proceedings of the 9th International Workshop on Advanced Motion Control. 750-755. DOI: 10.1109/AMC.2006.1631754