Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Study of Capturing Real-Time 360 VR 3D Game Video for 360 VR E-Sports Broadcast

360 VR E-Sports 중계를 위한 실시간 360 VR 3D Stereo 게임 영상 획득에 관한 연구

  • 김현욱 (전자부품연구원 콘텐츠응용연구센터) ;
  • 이준석 (전자부품연구원 콘텐츠응용연구센터) ;
  • 양성현 (광운대학교 전자공학과)
  • Received : 2018.09.10
  • Accepted : 2018.10.22
  • Published : 2018.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

Although e-sports broadcasting market based on VR(Virtual Reality) is growing in these days, technology development for securing market competitiveness is quite inadequate in Korea. Global companies such as SLIVER and Facebook already developed and are trying to commercialize 360 VR broadcasting technology which is able to broadcast e-sports in 4K 30FPS VR video. However, 2D video is too poor to use for 360 VR video in that it brings less immersive experience and dizziness and has low resolution in the scene. this paper, we not only proposed and implemented virtual camera technology which is able to capture in-game space as 360 video with 4K 3D by 60FPS for e-sports VR broadcasting but also verified feasibleness of obtaining stereo 360 video up to 4K/60FPS by conducting experiment after setting up virtual camera in sample games from game engine and commercial games.

최근 VR(Virtual Reality) 기반의 e-sports 중계 시장이 자리를 잡고 있다. 하지만 국내의 경우 시장경쟁력 확보를 위한 기술 개발이 미비한 실정이다. 이미 해외의 SLIVER TV, Facebook에서는 e-sports를 4K 30FPS급의 360 VR으로 중계할 수 있는 기술을 개발하고 사업화까지 진행하고 있다. 하지만 360 VR 영상으로 활용하기에는 2D영상으로 몰입감이 저하되고, 해상도가 낮고, 멀미현상이 있다. 이에 본 논문에서는 e스포츠 VR 중계방송을 위해 게임 내 공간을 4K 3D 60FPS으로 360영상으로 획득 할 수 있는 가상카메라 기술을 제안하고, 구현하였다. 그리고 게임엔진 샘플게임과, 상용게임에 가상카메라를 설치하고, 실험을 통해 최대 4K/60FPS Stereo 360 영상 획득이 가능함을 검증하였다.

Keywords

BSGHC3_2018_v23n6_876_f0001.png 이미지

그림 1. 모노 및 스테레오 360촬영을 위한 카메라 배치 Fig. 1. Mono & Stereo Omni-Directional Camera Position

BSGHC3_2018_v23n6_876_f0002.png 이미지

그림 2. 90° FOV 카메라를 이용한 모노 배치 방법 Fig. 2. Virtual mono camera placement for 90° FOV

BSGHC3_2018_v23n6_876_f0003.png 이미지

그림 3. 90° FOV 카메라를 이용한 스테레오 배치 방법 Fig. 3. Virtual stereo camera placement for 90° FOV

BSGHC3_2018_v23n6_876_f0004.png 이미지

그림 4. 3D 공간 좌표 축 Fig. 4. 3D spatial coordinate axes

BSGHC3_2018_v23n6_876_f0005.png 이미지

그림 5. 가상 카메라 배치 및 촬영 방향 Fig. 5. Virtual camera placement and shooting directions

BSGHC3_2018_v23n6_876_f0006.png 이미지

그림 6. 360 VR 파노라마 이미지 변환 Fig. 6. 360 VR Panorama Equirectangular Projection Convert

BSGHC3_2018_v23n6_876_f0007.png 이미지

그림 7. 고정 Frame Video 생성을 위한 Frame Copy Fig. 7. frame copy for fixed frame video

BSGHC3_2018_v23n6_876_f0008.png 이미지

그림 8. 영상의 전방과 후방에서 발생하는 왜곡 비교 Fig. 8. Distortion comparison between front and rear image

BSGHC3_2018_v23n6_876_f0009.png 이미지

그림 9. Stereo 360 게임 영상 획득 프로세스 시퀀스다이어그램 Fig. 9. Stereo 360 Game Video Capture Process Sequence Diagram

BSGHC3_2018_v23n6_876_f0010.png 이미지

그림 10. 가상 카메라 획득 영상 병렬 인코딩 과정 Fig. 10. Virtual Camera capture video parallel encoding process

BSGHC3_2018_v23n6_876_f0011.png 이미지

그림 11. 360 VR 영상 획득 테스트 Fig. 11. Test for 360 VR Video Capture

표 1. SunTemple, Infinite Fire 렌더링 및 캡처 성능 측정 결과 Table 1. Result of SunTeample and Elemental Demo rendering and capture performance

BSGHC3_2018_v23n6_876_t0001.png 이미지

References

  1. H. Kim, J. Yang, Y. Kim, S. Yoon and W. Park, "Virtual Camera desing for 360degree game image acquistion," Proceeding of Korea Multimedia Society Winter Conference, Busan, Korea, pp. 317-318, 2017.
  2. KOCCA, "The apperance of 'SLIVER.tv', the E-Sports broadcasting platform via VR", Monthly Industry Trend, Vol.06, pp29-31, 2016.
  3. FBCAPTURE SDK 2.25, https://github.com/facebook/360-Capture-SDK (accessed Sep. 01, 2018).
  4. Google Inc. - Rendering Omni-directional Stereo Content, https://develo-pers.google.com/vr/jump/rendering-ods-content.pdf (accessed Sep. 20, 2017)
  5. Under the hood: Building 360 video, https://code.fb.com/video-engineering/under-the-hood-building-360-video/, (accessed Oct. 15, 2015)
  6. UE4 Sun Temple, https://developer.nvidia.com/ue4-sun-temple, (accessed Oct, 2017).
  7. INFINITE FIRE ARENA, https://realitymagiq.com/projects/?lang=ko, (accessed Sep. 17, 2018).