Journal of the Korea Society of Computer and Information (한국컴퓨터정보학회논문지)

Korean Society of Computer Information (한국컴퓨터정보학회)
권호 표지
DOI QR코드

DOI QR Code

Development of a Recognition System of Smile Facial Expression for Smile Treatment Training

웃음 치료 훈련을 위한 웃음 표정 인식 시스템 개발

  • 이옥걸 (원광대학교 컴퓨터공학과 대학원) ;
  • 강선경 (원광대학교 컴퓨터공학과 대학원) ;
  • 김영운 (원광대학교 컴퓨터공학과 대학원) ;
  • 정성태 (원광대학교 전기전자 및 정보공학부)
  • Received : 2010.01.08
  • Accepted : 2010.04.09
  • Published : 2010.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we proposed a recognition system of smile facial expression for smile treatment training. The proposed system detects face candidate regions by using Haar-like features from camera images. After that, it verifies if the detected face candidate region is a face or non-face by using SVM(Support Vector Machine) classification. For the detected face image, it applies illumination normalization based on histogram matching in order to minimize the effect of illumination change. In the facial expression recognition step, it computes facial feature vector by using PCA(Principal Component Analysis) and recognizes smile expression by using a multilayer perceptron artificial network. The proposed system let the user train smile expression by recognizing the user's smile expression in real-time and displaying the amount of smile expression. Experimental result show that the proposed system improve the correct recognition rate by using face region verification based on SVM and using illumination normalization based on histogram matching.

본 논문은 실시간 카메라 영상으로부터 얼굴을 검출하고 얼굴 표정을 인식하여 웃음 치료훈련을 할 수 있는 시스템을 제안한다. 제안된 시스템은 카메라 영상으로부터 Haar-like 특징을 이용하여 얼굴 후보 영역을 검출한 다음, SVM분류기를 이용하여 얼굴 후보 영역이 얼굴 영상인지 아닌지를 검증한다. 그 다음에는 검출된 얼굴 영상에 대해, 조명의 영향을 최소화하기 위한 방법으로 히스토그램 매칭을 이용한 조명 정규화를 수행한다. 표정 인식 단계에서는 PCA를 사용하여 얼굴 특징 벡터를 획득한 후 다층퍼셉트론 인공신경망을 이용해 실시간으로 웃음표정을 인식하였다. 본 논문에서 개발된 시스템은 실시간으로 사용자의 웃음 표정을 인식하여 웃음 양을 화면에 표시해 줌으로써 사용자 스스로 웃음 훈련을 할 수 있게 해 준다. 실험 결과에 따르면, 본 논문에서 제안한 방법은 SVM 분류기를 통한 얼굴 후보 영역 검증과 히스토그램 매칭을 이용한 조명정규화를 이용하여 웃음 표정 인식률을 향상시켰다.

Keywords

References

  1. Mehrabian A., "Communication without words," Psychology Today, pp.53-56, 1968.
  2. P. Ekman, "Facial Expressions of Emotion: an Old Controversy and New Findings," Philosophical Transactions of the Royal Society, pp.63-69, 1992.
  3. J. Lien, T. Kanade, and C. Li, "Detection, tracking, and classification of action units in facial expression," Journal of Robotics and Autonomous Systems, Vol. 31, No. 3, pp.131-146, May. 2000. https://doi.org/10.1016/S0921-8890(99)00103-7
  4. C. Padgett, and G. Cottrell, "Representing face images for emotion classification," Advances in Neural Information Processing Systems. Vol. 9, pp.894-900, 1997.
  5. M. Turk, and A. Pentland, "Eigenfaces for recognition", Journal of Cognitive Neuroscience, Vol. 3, No.1, pp. 71-86, 1991. https://doi.org/10.1162/jocn.1991.3.1.71
  6. P. Bellhumeur, J. Hespanha, and D. Kriegman, "Eigenfaces vs. fisherfaces : Recognition using class specific linear projection," IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 19, No. 7, pp. 711-720, July. 1997. https://doi.org/10.1109/34.598228
  7. 한수정, 곽근창, 고현주, 김승석, 전명근, "ICA-factorial 표현법을 이용한 얼굴감정인식," 한국퍼및지능시스템학회 논문지, 제 13권, 제 3호, 371-376쪽, 2003년 6월.
  8. 김호덕, 양현창, 박창현, 심귀보, "PCA을 이용한 얼굴 표정의 감정인식 방법," 한국퍼지및지능시스템학회논문지, 제 16권, 제 2호, 11-14쪽, 2006년 11월.
  9. 신영숙, "PCA 표상을 이용한 강인한 얼굴 표정 인식," 한국인지과학회논문지, 제 16권, 제 4호, 323-331쪽, 2005년 12월.
  10. Lienhart, R, Maydt, J, "An extended set of Harr-like features for rapid object detection," IEEE Proceedings of International Conference on Image Processing, Vol. 1, pp.900-903, Sept. 2002.
  11. Viola, P, Jones, M, "Rapid object detection using a boosted cascade of simple features," IEEE Computer Vision and Pattern Recognition, Vol. 1, pp.511-518, Apr. 2001.
  12. V. Vapnik, "The Nature of Statistical Learning Theory," Springer Netherlands, pp.332-347, 1995.
  13. J.C. Burges, "A Tutorial on Support Vector Machines for Pattern Recognition," Data Mining and Knowledge Discovery, Vol. 2, No. 2, pp.121-167, Jun. 1998. https://doi.org/10.1023/A:1009715923555
  14. 한학용, "패턴인식 개론", 한빛미디어 출판사, 351-358쪽, 2006년.