DOI QR코드

DOI QR Code

Emotion Recognition Method using Physiological Signals and Gestures

생체 신호와 몸짓을 이용한 감정인식 방법

  • 김호덕 (중앙대학교 전자전기공학부) ;
  • 양현창 (중앙대학교 전자전기공학부) ;
  • 심귀보 (중앙대학교 전자전기공학부)
  • Published : 2007.06.30

Abstract

Researchers in the field of psychology used Electroencephalographic (EEG) to record activities of human brain lot many years. As technology develope, neural basis of functional areas of emotion processing is revealed gradually. So we measure fundamental areas of human brain that controls emotion of human by using EEG. Hands gestures such as shaking and head gesture such as nodding are often used as human body languages for communication with each other, and their recognition is important that it is a useful communication medium between human and computers. Research methods about gesture recognition are used of computer vision. Many researchers study emotion recognition method which uses one of physiological signals and gestures in the existing research. In this paper, we use together physiological signals and gestures for emotion recognition of human. And we select the driver emotion as a specific target. The experimental result shows that using of both physiological signals and gestures gets high recognition rates better than using physiological signals or gestures. Both physiological signals and gestures use Interactive Feature Selection(IFS) for the feature selection whose method is based on a reinforcement learning.

심리학 분야의 연구자들은 Electroencephalographic(EEG)을 오래전부터 인간 두뇌의 활동을 측정 기록하는데 사용하였다. 과학이 발달함에 따라 점차적으로 인간의 두뇌에서 감정을 조절하는 기본적인 영역들이 밝혀지고 있다. 그래서 인간의 감정을 조절하는 인간의 두뇌 활동 영역들을 EEG를 이용하여 측정하였다. 손짓이나 고개의 움직임은 사람들 사이에 대화를 위한 인간의 몸 언어로 사용된다. 그리고 그것들의 인식은 컴퓨터와 인간 사이에 유용한 회화수단으로 매우 중요하다. 몸짓에 관한 연구들은 주로 영상을 통한 인식 방법이 주를 이루고 있다. 많은 연구자들의 기존 연구에서는 생체신호나 몸짓중 한 가지만을 이용하여 감정인식 방법 연구를 하였다. 본 논문에서는 EEG 신호와 몸짓을 같이 사용해서 사람의 감정을 인식하였다. 그리고 인식의 대상자를 운전자라는 특정 대상자를 설정하고 실험을 하였다. 실험 결과 생체신호와 몸짓을 같이 사용한 실점의 인식률이 둘 중 한 가지만을 사용한 것보다 높은 인식률을 보였다. 생체신호와 몸짓들의 특징 신호들은 강화학습의 개념을 이용한 IFS(Interactive Feature Selection)를 이용하여 특징 선택을 하였다.

Keywords

References

  1. Kazuhiko, Takahashi, 'Remarks on Emotion Recognition from Multi-Modal Bio-Potential Signal,' IEEE International Conference on Industrial Technology(ICIT), 2004
  2. R. W. Picard. AFFECTIVE COMPUTING. The MIT PHESS, 1997
  3. 양현창, 김호덕, 박창현, 심귀보, '감정인식을 위한 Interactive Feature Selection(IFS) 알고리즘,' 퍼지 및 지능정보시스템학회 논문지, 제16권, 제6호, pp 647-652, 2006 https://doi.org/10.5391/JKIIS.2006.16.6.647
  4. Anna Caterina Merzagora, Scott Bunce, Meltem Izzetoglu, Banu Onaral, 'Wavelet analysis for EEG feature extraction in deception detection,' Proc. of the 28th IEEE EMBS Annual International Conference, USA, August 2006
  5. Elif Dcrya Ubeyli, 'Fuzzy Similarity Index For Discrimination Of EEG Signals,' Proc. of the 28th IEEE EMBS Annual International Conference, USA, August 2006
  6. Shusaxu shigemura, Toshihiro Nishimura, Masayoshi tsubai, Hirokazu yokoi, 'An Investigation of EEG Artifacts Elimination using a Neural Network with Non-recursive 2nd order Volterra filters,' Proc. of the 286th IEEE EMBS Annual International Conference, USA, September 2004
  7. Hojjat Adeli, Samanwoy Ghosh-Dastidar, Nahid Dadmelr, 'A wavelet-Chaos Methodology for Analysis of EEGs and EEG Subbands to Detect Seizure and Epilepsy,' IEEE Transactions on Biomedical Engineering, Vol. 54, no. 2, February 2007
  8. Masumi Ishikawa and Naohiro Sasaki, 'Gesture Recognition based on SOM using Multiple Sensors,' Proc. of the 9th International Conference on Neural Information Processing, Vol. 3, pp 1300-1304, November, 2002
  9. R. S. Sutton and A. G. Barto, Reinforcement Learning: An Introduction, A bradford book, London, 1998
  10. Mark D. Korhonen, and David A. Clausi, 'Modeling Emotional Content of Nusic Using System Identification,' IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybemetics, Vol. 36, No 3, June, 2002
  11. Zhihong Zeng, Jilin Tu, Ming Liu, Thomas S. Huang, Brian Pianfetti, Dan Roth, and Stephen Levinson, 'Audio-Visual Affect Recognition,' IEEE Transactions on Multimedia, Vol. 9, No 2, February, 2007
  12. Russell, J.A., 'Evidence of convergent validity on the dimensions of affect,' Journal of Personality and Social Psychology, 36, 1152-1168 https://doi.org/10.1037/0022-3514.36.10.1152
  13. Ekman, P, 'Universals and cultural differences in facial expressions of emotion,' Int. J. Cole (Ed,), Nebraska Symposium on Motivation 1971. 19. 207-283. Lincoln, NE: University of Nebraska Press