The Journal of Korea Institute of Information, Electronics, and Communication Technology (한국정보전자통신기술학회논문지)

Korea Information Electronic Communication Technology (한국정보전자통신기술학회)
권호 표지
DOI QR코드

DOI QR Code

Study on the Hand Gesture Recognition System and Algorithm based on Millimeter Wave Radar

밀리미터파 레이더 기반 손동작 인식 시스템 및 알고리즘에 관한 연구

  • Lee, Youngseok (Dept. of Eletronics, Incheon campus, Chungwoon University)
  • Received : 2019.06.05
  • Accepted : 2019.06.23
  • Published : 2019.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper we proposed system and algorithm to recognize hand gestures based on the millimeter wave that is in 65GHz bandwidth. The proposed system is composed of millimeter wave radar board, analog to data conversion and data capture board and notebook to perform gesture recognition algorithms. As feature vectors in proposed algorithm. we used global and local zernike moment descriptor which are robust to distort by rotation of scaling of 2D data. As Experimental result, performance of the proposed algorithm is evaluated and compared with those of algorithms using single global or local zernike descriptor as feature vectors. In analysis of confusion matrix of algorithms, the proposed algorithm shows the better performance in comparison of precision, accuracy and sensitivity, subsequently total performance index of our method is 95.6% comparing with another two mehods in 88.4% and 84%.

본 연구에서는 손동작을 인식하기 위하여 밀리미터파 기반 레이더에서 얻어진 손동작의 주파수 반향 특성을 이용하는 알고리즘 및 시스템을 제안하였다. 제안된 시스템은 밀리미터파 아날로그 송수신부, ADC부 및 신호 처리부가 원칩으로 구현된 시스템을 이용하여 데이터를 수집하도록 구성하였고, 제안한 알고리즘은 반사된 주파수 영상의 제르니케모멘트로부터 얻어진 전역 및 지역 디스크립터로 구성된 BoF에서 K-means 클러스터링을 이용하여 코드 워드를 생성하고 SVM을 이용한 손동작 분류를 수행하였다. 수행 결과는 혼동행렬에서 얻어진 정밀도, 민감도 및 정확도를 이용하여 평가였다. 정확도 평가에서는 제안한 방법은 GZM방법 및 LZM방법과 비교하여 성능 평가를 위한 인덱스에서 제안한 방법이 95.6%의 성능을 보였고 비교한 나머지 두 방법은 88.4% 및 84%을 나타내어 제안한 방법이 기존의 두 방법에 비하여 7~8% 성능이 향상되었으며 정밀도 및 민감도에서도 나머지 두 방법에 대하여 향상된 성능을 나타내었다. 제안한 방법은 소형화된 밀리미터파 기반 레이더를 이용하여 동작 인식을 할 수 있는 임베디드 시스템의 응용가능성을 보여준다.

Keywords

JBJTBH_2019_v12n3_251_f0001.png 이미지

그림 1. 주파수변조 연속파형의 주파수 및 시간 표현 Fig. 1. Frequency and time representation of Freq-u ency modulation continuous wave form

JBJTBH_2019_v12n3_251_f0002.png 이미지

그림 2. 위상 비교 모노펄스 방식 Fig. 2. Phase-comparison mono-pulse method

JBJTBH_2019_v12n3_251_f0003.png 이미지

그림 3. 주파수 변조 연속 레이더 신호처리 구조 Fig. 3. Frequency modulation continuous wave ra-dar signal processing structure

JBJTBH_2019_v12n3_251_f0004.png 이미지

그림 4. 동작 인식 알고리즘 흐름도 Fig. 4. Gesture recognition algorithm flow chart

JBJTBH_2019_v12n3_251_f0005.png 이미지

그림 5. 인식을 위하여 사용된 손동작들 Fig. 5. Hand gestures for recognition

JBJTBH_2019_v12n3_251_f0006.png 이미지

그림 6. 손동작 인식을 위한 실험 장치 설치 Fig. 6. Experimental set up for gesture recognition

표 1. 제안한 방법에 대한 혼동 행렬 Table 1. Confusion matrix for proposed method

JBJTBH_2019_v12n3_251_t0001.png 이미지

표 2. GZM 방법에 대한 혼동 행렬 Table 2. Confusion matrix for GZM method

JBJTBH_2019_v12n3_251_t0002.png 이미지

표 3. LZM 방법에 대한 혼동 행렬 Table 3. Confusion matrix for LZM method

JBJTBH_2019_v12n3_251_t0003.png 이미지

표 4. 혼동 행렬에서 계산된 분류 특성 Table 4. Computed Classification characteristics

JBJTBH_2019_v12n3_251_t0004.png 이미지

표 5. 제안한 방법과 GZM 및 LZM의 성능 비교 Table 5. Performance comparison of methods

JBJTBH_2019_v12n3_251_t0005.png 이미지

References

  1. J. Preece, Y. Rogers, H. Sharp, D. Benyon, S. Holland and T. Carry, Human-computer interaction. Addison-Wesley Ltd., 1994.
  2. S.S. Rautaray, A. Siddharth and A.Agrawal. "Vision based hand gesture recognition for human computer interaction: a survey," Artificial intelligence review, vol.43, no. 1, 43.1, pp. 1-54, 2015. https://doi.org/10.1007/s10462-012-9356-9
  3. Nishikawa, Atsushi, A. Ohnisi, and Fumio Miyazaki. "Description and recognition of human gestures based on the transition of curvature from motion images," Proceedings Third IEEE Int'l Conference on Automatic Face and Gesture Recognition, 1998.
  4. Nagatsuma, Tadao, et al. "Millimeter-wave and terahertz-wave applications enabled by photonics," IEEE Journal of Quantum Electronics, vol. 52.no. 1, pp. 1-12, 2015. https://doi.org/10.1109/JQE.2015.2506992
  5. Chen Weiguo, and Jinchuan Lu. "Human Shape Recognition Algorithm Design Based on Hu Moments and Zernike Moments," 2016 4th International Conference on Machinery, Materials and Information Technology Applications. 2017.
  6. Ramesh Bharath, Cheng Xiang, and Tong Heng Lee. "Shape classification using invariant features and contextual information in the bag-of-words model," Pattern Recognition vol. 48. no. 3, pp. 894-906, 2015. https://doi.org/10.1016/j.patcog.2014.09.019
  7. www.ti.com/lit/ds/symlink/iwr1443.pdf
  8. http://towardsdatascience.com/understandingconfusion-matrix-a9ad42dcfd62
  9. T. Townsend, "Theoretical analysis of an alphabetic confusion matrix," Perception & Psychophysics vol. 9, pp. 40-50, 1971. https://doi.org/10.3758/BF03213026
  10. A. Hay, "The derivation of global estimates from a confusion matrix," International Journal of Remote Sensing vol. 9, pp.1395-1398, 1988. https://doi.org/10.1080/01431168808954945