The Journal of the Convergence on Culture Technology (문화기술의 융합)

The International Promotion Agency of Culture Technology (국제문화기술진흥원)
권호 표지
DOI QR코드

DOI QR Code

Presentation Training System based on 3D Virtual Reality

3D 가상현실기반의 발표훈련시스템

  • 정영기 (호남대학교 미래자동차공학부)
  • Received : 2018.08.06
  • Accepted : 2018.09.28
  • Published : 2018.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this study, we propose a 3D virtual reality based presentation training system to help implement the virtual presentation environment, such as the real world, to present it confidently in the real world. The proposed system provided a realistic and highly engaging presentation and interview environment by analyzing the speakers' voice and behavior in real time to be reflected in the audience of the virtual space. Using HMD and VR Controller that become 6DOF Tracking, the presenter can change the timing and interaction of the virtual space using Kinect, and the virtual space can be changed to various settings set by the user. The presenter will look at presentation files and scripts displayed in separate views within the virtual space to understand the content and master the presentation.

본 연구에서는 실제와 같은 가상발표환경을 구현하여 실전에서 자신감 있게 발표할 수 있도록 도와주기 위한 3D 가상현실기반의 발표훈련시스템을 제안한다. 제안시스템은 발표자의 음성과 행동을 실시간으로 분석하여 가상공간의 청중들에게 반영되게 함으로서 사실감 있고 몰입도 높은 발표 및 면접 환경을 제공하였다. 발표자는 6DOF Tracking이 되는 HMD와 VR Controller를 착용하고 Kinect를 이용하여 가상공간 속에서의 시점 변화 및 인터랙션을 줄 수 있으며 가상공간은 사용자가 설정한 다양한 환경으로 변경이 가능하도록 하였다. 발표자는 가상공간 속에 별도로 제공되는 뷰에 표시된 프리젠테이션 파일 및 스크립트를 보며 내용 숙지 및 발표 숙달 연습을 하게 된다.

Keywords

GJMGCK_2018_v4n4_309_f0001.png 이미지

그림 2. 발표 VR 훈련시스템 구성 Figure 2. Configuration of Presentation VR Training System

GJMGCK_2018_v4n4_309_f0002.png 이미지

그림 3. 발표자의 음성 높이 측정 결과 Figure 3. Voice Height Measurement Results for Presenters

GJMGCK_2018_v4n4_309_f0003.png 이미지

그림 4. 발표자의 음성 크기 측정 결과 Figure 4. Voice Size Measurement Results for Presenters

GJMGCK_2018_v4n4_309_f0004.png 이미지

그림 5. 음성 분석후 가상청중 피드백 Figure 5. Virtual Audience Feedback after Voice Analysis

GJMGCK_2018_v4n4_309_f0005.png 이미지

그림 6. 음성분석에 따른 가상청중반응 Figure 6. Virtual Audience Response according to Voice Analysis

GJMGCK_2018_v4n4_309_f0006.png 이미지

그림 7. 행동 분석 결과 Figure 7. Gesture Analysis Result

GJMGCK_2018_v4n4_309_f0007.png 이미지

그림 8. 발표자의 손과 머리의 움직임 양 측정 결과 Figure 8. Results of Measurement of the Amount of Movement of the Presenter's Hand and Head

GJMGCK_2018_v4n4_309_f0009.png 이미지

그림 9. 행동 분석후 가상청중 피드백 Figure 9. Virtual Audience Feedback after Geature Analysis

GJMGCK_2018_v4n4_309_f0010.png 이미지

그림 10. 행동분석에 따른 가상청중반응 Figure 10. Virtual Audience Response according to Gesture Analysis

GJMGCK_2018_v4n4_309_f0011.png 이미지

그림 11. 움직임이 없는 발표자에 따른 청중아바타의 Loose 행동 Figure 11. Loose Behavior of the Audience Abata with no Movement

GJMGCK_2018_v4n4_309_f0012.png 이미지

그림 14. 발표자의 시선을 받지 않는 청중 아바타 Figure 14. A Presenter's Non Eye-Catching Audience Avatar

GJMGCK_2018_v4n4_309_f0013.png 이미지

그림 15. 발표자의 시선이 머무르는 시간에 따른 청중 아바타의 행동 Figure 15. Audience Avatars' Behavior over the Time that the Presenter's Eyes Stay

GJMGCK_2018_v4n4_309_f0014.png 이미지

그림 16. 실감공간 영상생성 Figure 16. Realistic Space Image Generation

GJMGCK_2018_v4n4_309_f0015.png 이미지

그림 17. 마커리스 표정 모션캡쳐 Figure 17. Markerless Facial Motion Capture

GJMGCK_2018_v4n4_309_f0016.png 이미지

그림 18. 마커기반 제스쳐 모션캡쳐 Figure 18. Marker based Gesture Motion Capture

GJMGCK_2018_v4n4_309_f0017.png 이미지

그림 19. 제작된 환경음과 청중음 Figure 19. Environmental Sound and Audience Sound Produced

GJMGCK_2018_v4n4_309_f0018.png 이미지

그림 20. 콘텐츠 시나리오 Figure 20. Contents Senario

GJMGCK_2018_v4n4_309_f0019.png 이미지

그림 21. 가상훈련장 및 청중아바타 Figure 21. Virtual Training Center and Audience Avatar

GJMGCK_2018_v4n4_309_f0020.png 이미지

그림 22. 프리젠테이션 훈련 중인 발표자 모습 Figure 22. Presenters in Presentation Training

GJMGCK_2018_v4n4_309_f0021.png 이미지

그림 23. 발표자와 상호작용중인 가상청중의 모습 Figure 23. Virtual Audience Interacting with Presenters

GJMGCK_2018_v4n4_309_f0022.png 이미지

그림 12. 3D Picking 처리 Figure 12. 3D Picking Process

GJMGCK_2018_v4n4_309_f0023.png 이미지

그림 13. 발표자의 시선을 받는 청중 아바타 Figure 13. A Presenter's Eye-Catching Audience Avatar

GJMGCK_2018_v4n4_309_f0024.png 이미지

그림 24. 발표면접훈련시스템 Figure 24. Presentation Training System

그림 1. 발표 VR 훈련시스템 개요 Figure 1. Overview of Presentation VR Training System

GJMGCK_2018_v4n4_309_t0001.png 이미지

References

  1. Lee-kwon Choi, "A Study on the Development of Experienced Content Using Virtual Reality Technology," The magazine of KIICE, Vol. 16 No. 1, Apr. 2015, pp. 46-53.
  2. Y.W. Kim, D.S. Jo, Y.H Kim, H.M. Kim, K.H. Kim, "Realistic Interaction Technology for Virtual Reality," Electronics and Telecommunications Trends, Vol. 27 No. 3, 2012, pp. 1225-6455.
  3. Ji Hye Lee, "VR System Environment Technologies and User Input Elements," KSDC Journal, Vol. 24 No. 2, 2018, pp. 585-596.
  4. Young-Dae Lee, Won-Sik Lee, Jeong-Jin Kang, "Development of Universal Sports Simulator Fusing 5 Senses ," JCCT, Vol. 1 No. 1, 2015, pp. 73-77.
  5. Im-Chul Kang, Beom-Seok Kim, Gi-Taek Hur, Young-Hyuk Ko, "A Study on the Implementation of Multi-touch model using a Haptic Device in Virtual Reality ," JIIBC, Vol. 10 No. 4, 2010, pp. 83-90.
  6. Byung-jun Cho, Ha-Young Jang, Byoung-Tak Zhang, "Motion Recognition and Classification using Kinect Sensor Data," KSC, Vol.39 No.28, 2012, pp. 318-320.
  7. Yoon-Je Kim, Tack-Kyun Koh, Min-Ho Yoon, Tae-Young Kim, "Hand Gesture Recognition Method based on the MCSVM for Interaction with 3D Objects in Virtual Reality," KIPS Conference, Vol.24 No.2, 2017, pp. 1088-1091.
  8. K.K. Kim, H.J. Kim, S.H. Cho, J.Y. Lee, "Gesture Recognition for Natural Human-Robot Interaction," Electronics and Telecommunications Trends, Vol. 20 No. 2, 2005, pp. 15-20.