The Journal of the Institute of Internet, Broadcasting and Communication (한국인터넷방송통신학회논문지)

The Institute of Internet, Broadcasting and Communication (한국인터넷방송통신학회)
권호 표지
DOI QR코드

DOI QR Code

Implementation of Hand-Gesture Interface to manipulate a 3D Object of Augmented Reality

증강현실의 3D 객체 조작을 위한 핸드-제스쳐 인터페이스 구현

  • 장명수 (상지대학교 컴퓨터정보공학부) ;
  • 이우범 (상지대학교 컴퓨터정보공학부)
  • Received : 2016.06.30
  • Accepted : 2016.08.05
  • Published : 2016.08.31
Download PDF
⟨ Previous Next ⟩

Abstract

A hand-gesture interface to manipulate a 3D object of augmented reality is implemented by recognizing the user hand-gesture in this paper. Proposed method extracts the hand region from real image, and creates augmented object by hand marker recognized user hand-gesture. Also, 3D object manipulation corresponding to user hand-gesture is performed by analyzing a hand region ratio, a numbet of finger and a variation ratio of hand region center. In order to evaluate the performance of the our proposed method, after making a 3D object by using the OpenGL library, all processing tasks are implemented by using the Intel OpenCV library and C++ language. As a result, the proposed method showed the average 90% recognition ratio by the user command-modes successfully.

본 논문에서는 사용자의 손가락 제스쳐를 인식하여 증강현실(Augmented Reality) 환경에서 3D 객체를 조작하기 위한 핸드-제스쳐 인터페이스를 구현한다. 구현된 핸드-제스쳐 인터페이스는 입력된 실 영상으로부터 손 영역을 추출하고, 사용자의 핸드 제스쳐에 의한 핸드 마커에 의해서 증강 객체를 생성한다. 그리고 사용자 제스쳐에 상응하는 3D 객체 조작은 손 영역의 면적 비율, 손가락 개수, 손 영역 중심점의 변화 등의 상관 관계를 분석하여 수행한다. 구현된 증강현실 3D 객체 조작 인터페이스의 성능 평가를 위해서는 OpenGL로 3D 객체를 제작하고, OpenCV 라이브러리를 기반으로 C++언어를 사용하여 핸드 마커 및 제스쳐 인식의 모든 처리 과정을 구현하였다. 그 결과, 각 사용자 핸드-제스쳐 명령-모드별 평균 인식률이 90%이상으로 성공적인 인터페이스 기능을 보였다.

Keywords

References

  1. M. S. Jang and W. B. Lee, "Implementation of Hand-Gesture Interface for the Character Manipulation in the Augmented Reality", Proceedings of the Institute of Signal Processing and Systems Summer Conference, Vol. 14(1), pp. 73-74, 2013.
  2. M. H. Kim, et al. "Trends on 5G Communications", Information and communications magazine, Vol. 32(09-1), pp. 46-54, 2015.
  3. M. S. Jang and W. B. Lee, "Implement of Finger-Gesture Remote Controller using the Moving Direction Recognition of Single Shape", The Journal of The IIBC, Vol. 13(4), pp. 91-97, Aug. 2013.
  4. R. M. Haralick, et al, "Image analysis using mathematical morphology", IEEE Transactions on Pattern Analysis and Machine Intelligence 9(4), pp. 532-550, 1987.
  5. Intel. Open source computer vision library: Reference manual.
  6. R. Z. Khan and N. A. Ibraheem, "Survey on Gesture Recognition for Hand Image Posture", Computer and Information Science Vol. 5(3), pp. 110-121, 2012.
  7. S. Mitra and T. Acharya, "Gesture Recognition: A Survey", IEEE Trans. on SMC Vol. 37(3), pp. 311-324, 2007.
  8. Hasan, M. M., Mishra, P. K. "Brightness factor matching for gesture recognition system using scaled normalization", International Journal of Computer Science & Information Technology (IJCSIT), pp.35-46, 2011.
  9. G. Bradski and A. Kaehler, "Learning OpenCV", O'REILLY, pp.176-180, 2008.
  10. G. R. S. Murthy and R. S. Jadon, "A Review of Vision based Hand Gestures Recognition", International Journal of Info. Tech. and Knowl. Mang. Vol. 2(2), pp. 405-410, 2009.
  11. X. Shen, etc., "Dynamic hand gesture recognition: An exemplar-based approach from motion divergence fields", Image and Vision Computing 30, pp. 227-235, 2012. https://doi.org/10.1016/j.imavis.2011.11.003