The Journal of the Institute of Internet, Broadcasting and Communication (한국인터넷방송통신학회논문지)

The Institute of Internet, Broadcasting and Communication (한국인터넷방송통신학회)
권호 표지

Estimation of a Driver's Physical Condition Using Real-time Vision System

실시간 비전 시스템을 이용한 운전자 신체적 상태 추정

  • Received : 2009.09.02
  • Published : 2009.10.30
Download PDF
⟨ Previous Next ⟩

Abstract

This paper presents a new algorithm for estimating a driver's physical condition using real-time vision system and performs experimentation for real facial image data. The system relies on a face recognition to robustly track the center points and sizes of person's two pupils, and two side edge points of the mouth. The face recognition constitutes the color statistics by YUV color space together with geometrical model of a typical face. The system can classify the rotation in all viewing directions, to detect eye/mouth occlusion, eye blinking and eye closure, and to recover the three dimensional gaze of the eyes. These are utilized to determine the carelessness and drowsiness of the driver. Finally, experimental results have demonstrated the validity and the applicability of the proposed method for the estimation of a driver's physical condition.

현재 교통사고의 원인은 차량 결함보다 운전자의 과실에 의한 것이 더 높은 사고 원인으로 나타나고 있다. 이를 해결하기 위하여 운전자의 신체적 상태를 관찰, 분석하여 현재 상태를 추정 및 경고해 줄 수 있는 시스템이 필요하다. 이러한 운전자 상태 추정 시스템을 개발하기 위하여, 본 논문에서는 실시간 비전 시스템을 사용하여 운전자 두 눈동자의 중심점과 크기, 입의 양 끝 모서리 점을 추적하여 얻어진 정보들을 기본적으로 이용한다. 움직임의 추적을 위해 얼굴인식이 필요하며, 인식은 YUV 컬러 공간에서 눈과 입, 얼굴의 색상 정보를 통계학적 방법에 기초하여 설계하고, 얼굴의 기하학적 모델에 의해 이루어진다. 이 시스템을 이용함으로써 운전자의 움직임에 의한 모든 회전 방향을 구분하고, 눈과 입이 차단되는 현상을 차단 모델에 의해 검출할 수 있다. 또한 눈이 감기거나 떠진 상태를 검출하여, 눈의 3차원 시선을 복원한다. 부주의한 운전과 졸음운전을 각각 정의하고 눈동자의 크기 변화 등에 의해 구분하며, 내장형 PC를 기반으로 카메라 시스템, 영상 데이터 처리 장치 및 상태 추정 알고리즘을 구현한 실험 시스템을 구현하여 제안된 신체 상태 추정 방법의 타당성과 성능을 검토한다.

Keywords

References

  1. 한국도로공사 홍보실, 고속도로 교통사고 분석, 2007.
  2. T. Selker, A. Lockerd, J. Martinez, and W. Burleson, "Eye-r, a glassesmounted eye motion detection interface," presented at the CHI 2001 Conf. Human Factors in Computing Systems, 2001.
  3. L. Harley, T. Horberry, N. Mabbott, and G. Krueger, "Review of Fatigue Detection and Prediction Technologies," National Road Transport Commission, 2000.
  4. Q. Ji and G. Bebis, "Visual cues extraction for monitoring driver's vigilance," in Proc. Honda Symp., pp. 48 - 55, 1999.
  5. C. Morimoto, D. Koons, A. Amir, and M. Flickner, "Realtime detection of eyes and faces," in Proc. Workshop on Perceptual User Interfaces, pp. 117 - 120, 1998.
  6. W. Shih and Liu, "A calibration-free gaze tracking technique," in Proc. 15th Int. Conf. Pattern Recognition, vol. 4, Barcelona, Spain, pp. 201-204, 2000.
  7. R. Gocke, J. Millar, A. Zelinsky, and J. Robert-Bibes, "Automatic extraction of lip feature points," presented at the Proc. Australian Conf. Robotics and Automation, Aug. 2000.
  8. R. Gocke, N. Quynh, J. Millar, A. Zelinsky, and J. Robert-Bibes, "Validation of an automatic lip tracking algorithm and design of a database for audio-video speech processing," presented at the 8th Australian Int. Conf. Speech Science and Technology, Dec. 2000.
  9. Y. Matsumotoy and A. Zelinsky, "An algorithm for real-time stereo vision implementation of head pose and gaze direction measurement," in Proc. IEEE 4th Int. Conf. Face and Gesture Recognition, pp. 499-505, Mar. 2000.
  10. M. Abdel-Mottaleb and A. Elgammal, "Face Detection in Complex Environments from Color Images," IEEE Int'l Conf. Image Processing, pp. 622-626, Oct. 1999.
  11. C. A. Poynton, A Technical Introduction to Digital Video, John Wiley & Sons, 1996.
  12. P.T. Jackway and M. Deriche, "Scale-space Properties of the Multiscale Morphological Dilation-erosion," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 18, pp. 38-51, Jan. 1996. https://doi.org/10.1109/34.476009
  13. J.I. Kim, H.S. Ahn, G.M. Jeong, and D.H. Kim, "A Defocus Technique based Depth from Lens Translation using Sequential SVD Factorization," ICCAS2005, pp. 383-388, June 2-5, 2005.
  14. 이대희, 임상 신경학 ( I. 총론, II. 각론), 고려대학교출판부, 2003.