DOI QR코드

DOI QR Code

Design of Vision-based Interaction Tool for 3D Interaction in Desktop Environment

데스크탑 환경에서의 3차원 상호작용을 위한 비전기반 인터랙션 도구의 설계

  • 최유주 (서울벤처정보대학원대학교 컴퓨터응용기술학과) ;
  • 이선민 ;
  • 유효선 (서울벤처정보대학원대학교 컴퓨터응용기술학과) ;
  • 노영섭 (서울벤처정보대학원대학교 임베디드시스템학과)
  • Published : 2008.10.31

Abstract

As computer graphics, virtual reality and augmented reality technologies have been developed, in many application areas based on those techniques, interaction for 3D space is required such as selection and manipulation of an 3D object. In this paper, we propose a framework for a vision-based 3D interaction which enables to simulate functions of an expensive 3D mouse for a desktop environment. The proposed framework includes a specially manufactured interaction device using three-color LEDs. By recognizing position and color of the LED from video sequences, various events of the mouse and 6 DOF interactions are supported. Since the proposed device is more intuitive and easier than an existing 3D mouse which is expensive and requires skilled manipulation, it can be used without additional learning or training. In this paper, we explain methods for making a pointing device using three-color LEDs which is one of the components of the proposed framework, calculating 3D position and orientation of the pointer and analyzing color of the LED from video sequences. We verify accuracy and usefulness of the proposed device by showing a measurement result of an error of the 3D position and orientation.

컴퓨터 그래픽스, 가상현실 및 증강현실 기술이 발전됨에 따라, 이들 기술을 기반으로 하는 다양한 응용 분야에서 3차원 공간에서의 객체 선택 및 조작 등의 3차원 인터랙션 기능들이 요구되고 있다. 본 논문은 고가의 데스크탑용 3차원 마우스 기능을 시뮬레이션 할 수 있는 비전 기반의 3차원 인터랙션 프레임워크를 제안한다. 제안 프레임워크는 3색 LED를 이용하여 특수하게 제작된 인터랙션 도구를 포함하며, 비디오 시퀀스로부터 LED의 위치 및 색상을 인식하여 다양한 마우스 이벤트와 6 자유도(Degree Of Freedom)의 인터랙션을 지원한다. 제안 도구는 고가이며 숙련된 조작을 필요로 하는 기존의 3차원 마우스에 비하여 직관적이고 편리하여 별도의 학습이나 훈련 없이 사용될 수 있다. 본 논문에서는 제안 프레임워크를 구성하는 3색 LED를 이용한 포인터 제작 방법, 포인터의 3차원 위치 및 방향 계산법, 비디오 영상에서의 LED 색상분석 기법에 대하여 설명한다. 또한, 계산된 3차원 위치 및 방향에 대한 오차 측정 결과를 보임으로써 제안 도구의 정확성 및 유용성을 검증한다.

Keywords

References

  1. C. Graetzel, T. Fong, S. Grange and C. Baur, "A non-contact mouse for surgeon-computer interaction," Technology and Health Care, Vol.12, No.3, pp.245-257, 2004
  2. F.S. Chen, C.M. Fu and C.L. Huang, “Hand gesture recognition using a real-time tracking method and Hidden Markov Models”, Image and Vision Computing, Vol.21, No.8, pp.745-758, 1 August 2003 https://doi.org/10.1016/S0262-8856(03)00070-2
  3. H.S. Park, E.Y.Kim, S.S. Jang and H.J. Kim, “An HMM Based Gesture Recognition for Perceptual User Interface,” Pacific-Rim Conference on Multimedia (PCM2004), LNCS. Vol.3332, pp.1027-1034, 2004 https://doi.org/10.1007/b104117
  4. S. Li, W. Hsu and H. Pung, “A Real-time Monocular Vision-based 3D Mouse System,” International Conference on Computer Design, LNCS. Vol.1296, pp.448 455, 1997
  5. 한영환, “움직임 정보를 이용한 제스처 인식 시스템”, 한국정보처리학회 논문지 B, Vol.10, No.4, pp.473-478, June 2003
  6. Y. Hamada, N. Shimada and Y. Shirai. “Hand shape estimation using sequence of multi-ocular images based on transition network”, 15th International Conference on Vision Interface, pp.362-368, May 2002
  7. Y.J. Choi, S.M. Choi, S.M. Rhee and M.H. Kim, “Collaborative and Immersive Medical Education in a Virtual Workbench Environment,” Ninth International Conference on Knowledgebased Intelligent Information & Engineering Systems, LNAI 3683, pp.1210-1217, 2005 https://doi.org/10.1007/11553939_168
  8. F. Madritsche and M. Gervautz, "CCD-Camera Based Optical Beacon Tracking for Virtual and Augmented Reality", Eurographics '96, Vol.15, No.3, pp.207-215, 1996
  9. 김효선, “프로젝션 월 환경에서의 카메라를 이용한 실시간 헤드 트래킹”, 이화여자대학교 과학기술대학원 석사학위청구논문, 2002
  10. 이선민, “스테레오 비디오 기반 상호작용형 사용자 미러링”, 이화여자대학교 일반대학원 박사학위 청구논문, 2007
  11. Roger Y. Tsai, “An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, pp.364-374, 1986
  12. G. Taubin. “Camera model and triangulation”, Note for EE-148 : 3D Photography, CalTech, 2001
  13. G. Welch and G. Bishop, “An Introduction to the Kalman Filter,” Notes of ACM SIGGRAPH tutorial on the Kalman filter, 2001

Cited by

  1. Development of Interactive Video Using Real-time Optical Flow and Masking vol.11, pp.6, 2011, https://doi.org/10.5392/JKCA.2011.11.6.098