DOI QR코드

DOI QR Code

Extended Reality-based Simultaneous Multi Presence for Remote Cooperative Work

  • Received : 2021.03.30
  • Accepted : 2021.05.07
  • Published : 2021.05.31

Abstract

In this paper, we propose an extended reality-based simultaneous multi presence system in a process of remote cooperative work. The proposed system generates a ring-shaped invisible screen which surrounds a user, and it provides position and manipulation of remote workspace and personal workspace. With the proposed system, the user easily navigates the several workspace for the remote collaboration or he/she selects a specific space for immersion. The proposed system also provides manipulation of personal workspace for the user during the remote cooperative work. We conducted a user study to prove effectiveness of the proposed system. According to the results, the proposed system increased understanding spatial information and usage of time during the remote cooperative work.

본 논문에서는 사용자가 확장현실 환경에서 공동 작업을 수행하는 중에 여러 공간들을 빠르게 탐색하면서 동시에 여러 공간의 존재감을 제공해주는 동시적 공간 멀티 프레젠스 시스템을 제안한다. 제안한 시스템은 사용자를 둘러싸는 사용자에게 보이지 않는 환형 스크린을 생성하여 원격 및 개인 공간들을 배치 및 조작하는 방법들을 제공한다. 사용자는 환형 스크린에 원격 사용자들 및 자신의 개인 작업 공간들을 자유롭게 배치할 수 있다. 사용자에는 환형 스크린에 배치되어 있는 다양한 공간들을 동시에 볼 수 있기 때문에 여러 공간들에 대한 존재감을 동시에 느끼면서 공동 작업을 진행할 수 있으며, 사용자가 원하는 경우에 특정 공간에 완전히 몰입할 수 있다. 또한, 사용자가 개인적으로 작업하는 개인공간역시 환형 스크린을 통해서 배치할 수 있다. 실험 결과 원격 공동 작업에 참여하는 사용자들은 동시에 여러 사용자들의 공간을 볼 수 있으면서 동시적 존재감을 느낄 수 있어서 공간들에 대한 이해도를 높일 수 있었으며 멀티 프레젠스를 사용한 상호작용의 시간을 가장 많이 사용하였다.

Keywords

I. Introduction

확장현실 환경(Extended Reality Environment)이란 기존의 가상현실 환경(Virtual Reality Environment), 증강 현실 환경(Augmented Reality Environment) 및 이들이 혼재 되어 있는 혼합현실 환경(Mixed Reality Environment) 환경들의 기술들을 총망라하는 기술로써 사용자가 처한 상황에 알맞은 환경들을 제공할 수 있다[1,2].

다음의 표 1은 VR, AR, MR 및 XR 기술에 대한 비교 분석을 한내용이다. 가상현실 환경은 새로운 가상공간에 사용자가 몰입하는 기술로 가장 오래된 기술이며 다양한 시각화기술 들을 제공하여 게임 및 SNS 분야등에 사용이 이루어진다. 증강현실 환경은 현실공간에 가상의 객체를 증강하는 기술로 현실의 상황들을 인식하는 부분에 초점을 주로 맞추고 있으며 SNS, 광고 및 산업 현장등에 활용이 된다. 혼합현실 환경은 가상현실 환경 및 증강현실 환경이 혼재되어 있는 환경으로 공간의 정합들에 대한 기술적인 특징들을 가지고 있다. 한편, 확장현실 환경은 이러한 기술들을 총망라하면서 사용자들의 상황에 알맞은 서비스를 제공하기 위한 개념이 추가적으로 된 기술로써 폭넓게 사용이 가능하다.

Table 1. Comparisons of Technologies

CPTSCQ_2021_v26n5_23_t0001.png 이미지

확장현실 환경은 사용자에게 가상현실 환경을 사용하여 몰입감을 제공해 주는 동시에 증강현실 환경을 사용하여 현실 세계의 작업에 직접적인 도움이 된다. 이러한 작업환경은 우리의 일상에서 컴퓨터를 사용한 협업 작업 환경과 매우 유사한 형태로 이루어질 수 있다[3,4]. 또한 최근 5G시대가 열리면서 초고화질의 XR 콘텐츠를 1초안에 다운로드가 가능해주는 초고속성 및 사용자의 입력 동작에 따른 반응 속도가 1ms 이하를 보장해주는 초저지연성을 제공해 줌으로서 기존에는 상상할 수 없었던 시공간의 제약을 초월한 확장현실 환경을 구축할 수 있다[5].

확장현실 환경에서 사용자는 원격에 있는 다른 사용자들과 공동으로 게임, CAD, 군사 시뮬레이션, 트레이닝 및 3D 화상통화와 같이 다양한 분야의 애플리케이션들을 사용할 수 있다. 최근에는 메타버스와 같이 다수의 사용자들이 가상현실에 참여하여 게임 하듯이 수업을 이루거나 콘서트 등을 치루는 듯 실제현실과 가상현실의 경계가 모호해지면서 다양한 애플리케이션 사례들이 발생하고 있다[6, 7, 8, 9].

한편 최근 화상통화 및 협업 가상현실 등을 사용한 기존의 비대면 환경에서 협업 과정을 분석해 보면 크게 두 가지의 양상을 따른다. 첫 번째는 사용자들이 각자 자기가 위치한 현실 공간에 대한 정보들을 공동 작업에 참여하는 사용자들에게 공유를 한다는 특징이다[10]. 두 번째로는 사용자는 공동작업 환경에 참여를 하면서 동시에 자신의 개인 작업들의 상황을 확인하여 이를 다시 공동 작업환경에 반영을 하는 형태의 다소 복잡한 형태의 협업 프로세스를 따른다[11]. 하지만 기존의 확장현실 환경에서의 협업을 제공해주는 경우에는 하나의 정해져 있는 가상 환경에 사용자가 입장해서 대화나 작업하기 때문에 사용자들의 개인의 공간들을 충분히 보기 어렵다는 특징을 가지고 있다. 다른 예로는 사용자들의 각자의 공간을 병합하는 환경으로 만들어서 공동 작업 환경을 구현하는 사례들이 있다. 하지만 이러한 경우에도 사용자들이 공동 작업에서 공유하고 있는 작업과, 자신의 개인 환경에서 작업하는 정보들을 빠르게 탐색하고 공유하기가 어렵다[11].

본 논문에서는 이러한 문제를 해결하기 위해서 사용자가 공동 작업의 다른 참여자들의 원격 공간들에 대한 정보들을 파악을 하면서도 사용자 자신의 개인작업 공간에 대한 정보도 동시에 파악을 하면서 공동 작업을 할 수 있는 동시적 멀티 프레젠스(Simultaneous Multiple Presence) 시스템을 제안한다. 제안한 시스템은 확장현실에 참여하는 사용자를 둘러싸는 환형의 투명한 실린더 공간을 만들고 여기에 공동 작업에 참여하는 사용자들의 공간들을 생성, 삭제, 이동, 몰입 및 탐색을 할 수 있는 인터랙션을 제공한다. 사용자는 본 논문에서 제안된 시스템을 사용하여 동적으로 공동작업 환경에 참여하는 참여자들의 공간 및 개인 작업 공간들을 구축하고 조정할 수 있다. 공동 작업 상황에서 사용자는 HMD를 착용한 상태에서 고개를 돌려보면서 다른 공간에 위치한 사용자와 대화를 하면서 작업을 수행할 수 있다. 사용자를 둘러싸고 있는 공간들은 사용자의 손동작 제스처를 통해서 조작할 수 있다.

II. Preliminaries

1. Related works

컴퓨터를 사용한 공동 작업 환경(CSCW: Computer Supported Cooperative Work)은 네트워크 환경을 바탕으로 다수의 사용자들이 공동 작업을 할 수 있도록 제공해준다[12]. 여기서 참여자들은 서로 대화를 하면서 공동 작업에 대한 데이터의 값을 변경 하고 변경되는 속성을 모니터링 하면서 결과물을 발전시킬 수 있다[13].

확장현실 환경은 기존의 가상현실 환경, 증강현실 환경, 혼합현실 환경에 들어가는 기술들과 서비스들을 총망라하여 특히 사용자가 원할 때 그에 알맞은 정보를 제공할 수 있다는 점에서 새로운 공동작업 환경으로 각광을 받고 있다[1. 2]. 확장현실 환경에서의 초기 양상은 각각의 환경들만을 따로 이용을 하여 게임, 소방 시뮬레이션 및 CAD나 디지털 트윈과 같은 콘텐츠들을 이용하는데 집중되어왔다[2, 6, 7]. 그러나 최근 발생한 코로나 19사태와 더불어 사용자들이 멀리 떨어져 있어도 작업을 할 수 있는 언택트 기반의 텔레프레젠스 환경들이 구축되기 시작하였다[3].

이렇게 확장현실이 공동작업 환경으로 각광을 받기 시작하면서 확장현실을 사용하는 사용자들은 공동 작업에서 필요에 따라서 한 개 이상의 다양한 환경들을 사용하려는 시도들이 발생하고 있다[6,7]. Thalman et al. 의 연구에 따르면 특정 현실 환경에서 사용자가 콘텐츠와 상호작용의 성능을 높이기 위해서는 해당 환경에 사용자가 몰입할 수 있도록 해당 공간이 실제와 유사하다고 느낄 수 있어야 하는 존재감(Sense of Presence)을 높은 수준으로 제공해 줘야 한다[8].

Spatial 은 이러한 확장현실 기반의 작업 플랫폼중 하나로 사용자들이 가상현실 혹은 증강현실 HMD를 착용하고 자신이 속한 VR 혹은 AR 환경에서 서로 접속하여 원격으로 회의를 진행하면서 공동으로 3차원 객체를 생성 및 편집을 할 수 있는 플랫폼을 제공한다[4]. 하지만 Spatial은 사용자들을 지정된 하나의 가상현실 환경에 들어갈 수 있도록 하는 환경이기 때문에 원격에 있는 다른 사용자들의 공간들을 보기가 어렵다.

Maimore et. al. 이 제안한 연구는 원격으로 두 명의 사용자가 공동 작업을 수행할 때 원격에 있는 사용자의 모습 및 공간까지 하나의 공간으로 병합하여 로컬 공간과 원격 공간이 혼재되어 있는 공간을 합성하여 공동 작업을 제공하는 연구를 제안하였다[14]. 이 방법의 경우 공동 작업에 참여하는 사용자의 수가 늘어나면 공간 병합에 대한 복잡도가 급격하게 늘어난다. 또한 서로 마주보면서 작업을 하는 것 외에 복잡한 상호작용은 어려우며 사용자가 자신의 개인 공간에서 작업을 수행하는 경우 빠른 변환 및 공유가 어렵다.

McGill et. al 은 HMD에 카메라를 부착하여 사용자가 가상현실에서 작업을 사용 하면서도 원하는 경우에 카메라들을 활용하여 현실 공간의 이미지를 볼 수 있는 방법을 제안하였다[9]. 하지만 이러한 방법은 공동 작업을 지원하지 않는다.

Saraiji et al. 은 증강현실 환경을 기본 환경으로 구성하고 공동 작업에 참여하는 원격 사용자들의 환경을 여러개의 계층들로 구성하고 이것을 각각 반투명하게 만들어 겹쳐져서 보이는 시스템을 제안하였다[10]. 사용자는 자신의 로컬 환경에서 작업을 하면서 경우에 따라서 원격 사용자들의 환경들을 반투명하게 보면서 여러 공간에 동시적으로 참여한다는 존재감을 느낄 수 있지만, 참여하는 사용자들의 수가 많아지면 겹쳐지는 원격의 영역들이 많아져서 전체적인 환경에 대한 존재감이 떨어지고 각 원격 공간들의 관리 및 세부적인 탐색이 어렵다.

III. The Proposed Scheme

본 논문에서 제안하는 시스템은 확장현실 환경에서 사용자가 공동 작업에 참여하는 다른 참여자들의 공간에 대한 존재감을 동시에 느낄 수 있으면서도 공간들에 대한 빠른 탐색과 개인의 작업 공간들에 대한 정보 공유를 할 수 있는 동시적 멀티 프레젠스 시스템을 제안한다. 제안하는 시스템은 그림1과 같이 사용자가 공동 작업에 참여하는 경우 사용자를 둘러싼 공동 작업에 참여하는 사용자들의 공간들이 배치되고 사용자는 손을 사용하여 원하는 공간들을 자신이 원하는 위치에 배치하여 볼 수 있다. 이때 사용자는 자신을 둘러싼 원격 참여자들의 공간들을 보면서 참여자들과 참여자들이 속한 공간에 대한 동시적인 존재감을 느낀다.

CPTSCQ_2021_v26n5_23_f0001.png 이미지

Fig. 1. Concept of the proposed system

사용자는 HMD를 착용한 상황에서 자신을 둘러싸고 있는 원격 공간들을 보면서 여러 공간들에 대한 동시적인 존재감을 느끼면서 공동 작업을 진행할 수 있다. 공간들의 수와 크기는 사용자가 손동작 제스처를 사용하여 배치순서와 크기를 조절할 수 있도록 구성할 수 있다. 공동 작업이 진행됨에 따라 특정 공간에 몰입하여 작업을 하고자하는 경우에는 다음의 그림2와 같이 사용자가 원하는 공간을 선택함으로서 해당 공간에 몰입할 수 있으며, 다시 원래의 공간으로 돌아갈 수 있다. 몰입을 하는 동안 그림2와 같이 사용자는 Space 3에 있는 참여자의 원격 공간에 완전히 들어가서 작업 결과들을 보면서 특수 작업들을 수행할 수 있다. 사용자가 몰입 작업이 끝나고 다시 멀티 프레젠스 상태로 돌아가면 공동 작업에 참여하는 사용자들을 보면서 공동 작업을 진행할 수 있다.

CPTSCQ_2021_v26n5_23_f0002.png 이미지

Fig. 2. Changing States between Multi Presence and Immersion

사용자가 공동 작업을 진행하던 중 자신의 개인 작업 공간의 작업 결과를 공유하고자하는 경우에는 다음의 그림3과 같이 개인 작업 정보를 원격 사용자들에게 전송하여 정보들을 공유할 수 있다.

CPTSCQ_2021_v26n5_23_f0003.png 이미지

Fig. 3. Sharing intermediate works of personal work space

그림 4는 본 논문에서 제안한 HMD를 착용한 사용자가 확장현실 환경에서 공동 작업을 수행하면서 여러 공간에 있는 사용자들과 원격 공간의 정보들을 동시에 보면서 개인 작업을 수행할 수 있는 동시적 멀티 프레젠스 시스템의 구조이다.

사용자가 공동 작업에 참여를 하게 되면 사용자를 둘러싸는 환형의 공간들이 배치된다. HMD를 착용한 사용자는 자신을 둘러싸고 있는 다른 공동 작업 참여자들의 공간들을 보면서 해당 공간에 있는 정보들을 보고 회의를 수행할 수 있으며 이때 Remote Tele Collaboration 모듈을 사용하여 원격에 있는 사용자들에 있는 공간을 360도 카메라를 통하여 전송하여 실시간 텔레프레젠스 환경을 제공해준다[15]. 각각의 원격 환경들은 Multi Presence Space Manager를 통해서 사용자를 둘러싸는 환형의 빈 공간에 배치되어 사용자가 공동 작업에 참여하는 사용자들의 원격 공간을 동시에 보면서 존재감을 느끼도록 해준다. 이후 Interaction Manager 에서는 사용자가 원하는 경우 손동작을 통하여 공간들의 배치 및 크기들을 조정하거나 특정공간에 몰입 및 다시 멀티프레젠스 상태로 돌아간다.

한편, 사용자가 개인적으로 수행하는 작업들은 공동 작업에서 동기화와는 별도로 Personal Workspace에서 관리되며, 사용자가 원하는 경우 해당 개인 작업들을 공동작업환경에 공유할 수 있다.

CPTSCQ_2021_v26n5_23_f0004.png 이미지

Fig. 4. Overall system architecture

본 논문에서 제안한 시스템을 사용하는 경우 공동작업 참여자들이 U가 존재하고 이때 n번째 사용자가 참여를 했을 때, 이 사용자를 포함한 공동 작업 공간들의 집합인 C는 Un 까지 생성 된다. 또한 사용자가 자신의 개인작업 공간에서 P에서 1개의 작업을 수행하고 있다면 사용자의 시점에서 보이는 멀티 프레젠스 공간 M은 다음의 수식1과 같이 정의될 수 있다. 멀티 프레젠스 공간은 사용자가 속해 있는 자신의 공간은 사용자가 인지를 하고 있기 때문에 사용자는 자신이 있는 공간의 정보는 이미 인지하고 있기 때문에 자신을 제외한 참여자들의 공간과 자신의 공간들을 병합하여 사용자에게 보여준다.

\(\begin{aligned} &C=\left\{U_{1}, U_{2}, U_{3}, \ldots, U_{n}\right\} \\ &P=\left\{P_{n}\right\} \\ &M=\{\text {U|본인을 제외한 공동작업참여자, P|개인작업\} } \end{aligned}\)       (1)

이후 사용자가 자신의 개인 작업 공간에서 만들어진 결과를 공동 작업 공간에 공유를 하는 경우, 공동 작업 공간에는 다음의 수식2와 같이 작업들이 구성이 되고 공동 작업에 참여하는 사용자들이 정보를 확인 할 수 있다.

\(C=\{U_1, U_2, U_3, \cdots, U_{n-1}, P_n\}\)       (2)

다음의 그림 5는 3명의 사용자가 본 논문에서 제안한 시스템을 사용하여 공동 작업을 수행하는 경우에 대한 예이다. 본 논문에서 제안한 시스템은 사용자에게 2개의 서로 다른 원격 공간에 대한 동시적인 존재감을 제공하기 때문에 해당 원격 공간의 구조적인 정보를 그대로 입체감 있게 인식할 수 있다. 이정보를 바탕으로 사용자는 해당 공간에 알맞은 시뮬레이션 작업을 수행하고 다시 공동 작업에 참여하는 사용자들에게 제공할 수 있다.

CPTSCQ_2021_v26n5_23_f0006.png 이미지

Fig. 5. Multi Presence Situation

사용자가 공동 작업 중 자신을 둘러싸고 있는 공간들을 배치를 변경하고자 한다면 다음의 그림 6과 같이 본 논문 에서 제안하는 시스템은 사용자의 손동작 제스처를 인식 하여 공간들을 사용자를 중심으로 왼쪽이나 오른쪽으로 회전한다. 한편, 사용자가 원격에 있는 특정 공간에 참여 를 하는 경우에는 그림 7과 같이 주먹을 쥐는 제스처를 사 용하여 원격 공간에 몰입하고, 다시 멀티프레젠스 상태로 돌아올 때는 손바닥을 펴는 제스처를 사용한다[16].

CPTSCQ_2021_v26n5_23_f0007.png 이미지

Fig. 6. Changing Environment using Hand Gestures

CPTSCQ_2021_v26n5_23_f0005.png 이미지

Fig. 7. Immersion and Multi Presence Mode

본 논문에서 제안한 시스템을 사용하여 공동 작업 환경을 구축하였다. 구축된 시스템은 사용자들이 MR 및 XR 환경에서 공동으로 작업을 진행할 수 있도록 사용자의 위치 및 동작 인식을 통한 동기화를 제공해주고, 이를 바탕으로 협업 공동 사무실 환경을 제공한다[17].

IV. Performance Evaluations

본 논문에서 제안한 동시적 멀티 프레젠스 시스템에 대한 효용성을 검증하기 위하여 원격 공동 작업에서 실험에 참여하는 사용자가 동시적으로 여러 공간들에 대한 존재감을 느끼는지에 대한 성능 평가를 수행하였다. 원격에 있는 사용자들의 모습을 보면서 자신의 공간 정보를 볼수 있도록 구성하기 위해서 MS 홀로렌즈를 디바이스로 사용하였으며 본 논문에서 개발한 동시적 멀티 프레젠스 시스템은 Unity 2019.4 (LTS) 버전을 통해서 개발이 이루어졌다. 실험 환경을 위해서 유무선 100 Mbps를 지원하는 LAN 환경에서 실험을 하도록 구성하였다. 실험 과정에서 원격의 영상들을 스티리밍 받고 멀티 프레젠스로 변환 후 MS 홀로렌즈로 보내는 서버역할을 하는 컴퓨터들은 i7-8700 CPU (3.2 GHz, 6코어) 및 Nvidia GTX 1060 그래픽카드가 장착된 컴퓨터들에서 실험하였다. 또한 각 원격 환경을 보여주기 위해서 사용된 웹캠은 로지텍 프로 HD 1080p 스트림 웹캠을 사용하였다. 실험을 위해서 분리된 3개의 공간들을 구성하고 각각 컴퓨터, 웹캠 및 홀로렌즈를 실험 참여자들이 볼 수 있도록 설정하였다. 본 논문에서 제안한 시스템의 성능평가 실험을 위해서 화상회의 및 HMD 사용 경험이 있는 20~40살 사이의 21명의 사용자들을 선별 하였으며, 본 논문에서 제안한 시스템에 대한 교육을 10분 동안 받은 뒤 3명씩 7개의 팀으로 나누어서 실험을 진행하였다. 실험에 참여하는 사용자들은 물리적으로 떨어진 3개의 공간에서 네트워크를 통하여 참여하였으며, 실험에 참여한 사용자들은 MS 홀로렌즈1을 착용하고 본 논문에서 제안한 시스템을 사용하여 실험에 참여하였다. 실험 과정에서 참여자들은 그림 9와 같이 공장 시설에 대한 360도 영상 콘텐츠 영상을 보면서 공장에 대한 이해 및 개선안을 도출해나가는 공동 작업을 30분 동안 진행 하도록 구성하였다. 그림 8의 실험 참여자들 디스플레이 화면에 나오는 모습은 사용자들이 착용한 MS 홀로렌즈 디스플레이에서 보이는 모습을 그대로 시각화 하였다.

CPTSCQ_2021_v26n5_23_f0011.png 이미지

Fig. 9. (A) Conversation with remote participant (B) Multi Presence Mode with hand gesture

CPTSCQ_2021_v26n5_23_f0008.png 이미지

Fig. 8. Experiment Environment

실험 과정에서 사용자들은 공장에 대한 360도 동영상 콘텐츠를 개인작업 공간에서 살펴보면서 개선안에 대한 대화를 하였다. 그림 9. (A)와 실험에 참여한 한 사용자가 공동 작업에 참여하는 다른 사용자의 모습을 보면서 대화하는 모습이다. 그림 9. (B)는 사용자가 본 논문에서 제안한 멀티 프레젠스 모드를 사용하여 동시에 두 개의 공간을 보면서 작업을 하는 경우이다.

실험에 참여한 사용자들을 대상으로 먼저 본 논문에서 제안한 시스템을 사용하였을 때 걸린 평균 렌더링 속도를 측정하였다. 다음의 그림 10은 실험에 참가한 사용자들이 30분동안 실험을 진행 하면서 실행된 평균 FPS 값이다.

CPTSCQ_2021_v26n5_23_f0009.png 이미지

Fig. 10. Average FPS

MS 홀로렌즈1의 최대 FPS 속도가 30 FPS 인 것을 고려하면 실험에 참여한 사용자들에게 평균적으로 높은 속도로 서비스를 제공하였다. 그림 10의 결과를 보면 실험 초반 1-5분간에 FPS의 변화가 다소 급격하게 발생하였다. 이는 사용자들이 네트워크를 통하여 원격의 공간 정보들을 받고 이를 멀티 프레젠스로 변환하여 보는 과정과 특정 공간에 몰입하는 과정들을 반복적으로 변환을 하면서 영상 정보의 정합 및 버퍼링이 걸리는 경우에 속도가 다소 떨어졌지만 이후에 사용자들이 작업에 익숙해지면서 이후에는 안정적인 결과들이 나왔다.

또한 본 논문에서는 실험도중 사용자들이 멀티 프레젠스 모드와 일반 몰입 모드를 얼마나 자주 사용하는 지에 대한 평균 사용 시간을 측정을 하였다. 일반 몰입 모드는 원격에 있는 사용자와 대화를 할 때와 개인 작업 공간에서 영상을 볼 때로 구분을 하였다. 이에 대한 실험 결과는 다음의 그림 11과 같다. 실험 결과 세 개를 개별적으로 측정하였을 때는 Multi Presence 모드를 평균 13.2 분으로 가장 많이 사용하였으나, 몰입 모드를 다 합치는 경우에는 몰입 모드의 평균 사용량이 16.8분으로 평균 3.6분 길었다. 흥미로운 결과는 실험에 사용된 360도 공장 동영상 콘텐츠가 10 정도 분량으로 초반에는 몰입 모드로 보다가 원격 사용자들과 대화를 하면서 영상을 같이 보고자하는 경우에 멀티 프레젠스를 사용하면서 이후의 동영상을 보는 사례들이 있었으며, 동시에 두 명의 사용자들과 대화를 하는 경우에도 멀티 프레젠스 모드를 사용하는 것을 선호하였다.

CPTSCQ_2021_v26n5_23_f0010.png 이미지

Fig. 11. Average Usage

실험 후에 참여자들을 대상으로 본 논문에서 제안한 시스템에 대한 정성적인 평가를 위한 사용자 인터뷰를 수행하였다. 첫 번째, 존재감에 대한 질문 결과 을 느꼈는지에 대한 질문 결과 참여자들은 대체로 멀티 프레젠스를 사용하는 경우 처음에는 다소 공간에 대한 혼란이 있었지만 곧 익숙해지면서 여러 공간들을 보면서 원격에 있는 사용자들이 마치 같은 공간에 있는 것과 같은 존재감을 느낄 수 있었다고 평가하였다. 두 번째, 멀티 프레젠스를 사용한 공동작업과 기존의 화상회의를 통한 공동작업과의 차이점에 대한 질문을 하였다. 이에 대한 참여자들의 의견은 멀티 프레젠스 공동 작업이 기존 화상회의 기반 공동 작업에 비해서 공간에 대한 정보들을 얻을 수 있으면서 다른 사용자들과 현실감 있는 의사소통 등의 장점이 있다는 평가를 하였다. 세 번째, 개인 작업 공간의 효율성에 대한 질문에 대해서는 개인 작업 공간을 보장해 주는 것이 공동 작업을 하면서도 자신들이 개인 작업을 확인하고 생각을 정리할 수 있었다는 의견을 주었다. 마지막으로 멀티 프레젠스의 단점에 대한 의견으로는 공간과 공간의 경계가 넘어가는 경우에 약간의 어지럼증을 호소하는 사용자들이 있었다.

V. Concluding Remarks

본 논문에서는 확장현실 환경에서 여러 사용자들이 원격으로 공동 작업을 하는 경우에 원격 공간에 있는 사용자들에 대한 존재감을 동시적으로 느끼면서도 개인 작업을 지원해주는 동시적 멀티 프레젠스 시스템을 제안하였다. 본 논문에서 제안한 시스템을 사용하기 위해서 사용자는 HMD를 착용하고 손동작을 통해서 원격 사용자들과 공동으로 협업을 수행하고 공간들과 상호작용할 수 있었다. 실험결과 3명의 사용자들이 공동 작업을 진행 하면서 원격 공간에 대한 동시적으로 존재감을 느끼면서도 특정 공간에 집중해서 작업을 할 때는 몰입을 할 수 있는 등 기존의 화상회의 혹은 협업 가상환경 기반의 공동 작업들을 개선할 수 있는 가능성을 보여주었다.

향후 연구로는 여러 공간들에서 동시적인 일들이 발생할 때 사용자의 손동작 외에 다른 상호작용 요소들을 적용하여 자연스러운 공간들의 변화들을 인지하면서도 집중할 수 있는 상호작용 모델을 연구할 예정이다. 또한 여러 공간들을 가로질러서 데이터들의 변환이 유연하게 이루어질 수 있는 공간들 간의 정보 공유 알고리즘을 연구 및 개발할 예정이다.

ACKNOWLEDGEMENT

“This research was supported by the Academic Research Fund of the Hoseo University in 2019”(2019-0837).

References

  1. A. Fast-Berglund, L. Gong, and D. Li, "Testing and validating Extended Reality (xR) technologies in manufacturing". Procedia Manufacturing, Vol. 25, pp. 31-38, January 2018. DOI: 10.1016/j.promfg.2018.06.054
  2. G. Lawson, P. Herriotts, L. Malcolm, K. Gabrecht, and S. Hermawati. "The use of virtual reality and physical tools in the development and validation of ease of entry and exit in passenger vehicles", Applied Ergonomics, Vol. 48, pp. 240-251, May 2015. DOI: doi.org/10.1016/j.apergo.2014.12.0 07
  3. H. Fuchs, A. State, and J.C. Bazin, "Immersive 3D Telepresence", Computer, Vol. 47, No. 7, Pp. 46-52, Singapore, July 2014. DOI: 10.1109/MC.2014.185
  4. Spatial, https://spatial.io/
  5. S. Shi, W. Yang, J. Zhang, and Z. Chang. "Review of Key Technologies of 5G Wireless Communication System", MATEC Web of Conferences Volume 22, Singapore, July 2015. DOI: 10.1051/matecconf/20152201005
  6. J.Q. Coburn, I. Freeman, J.L. Salmon., "A Review of the Capabilities of Current Low-Cost Virtual Reality Technology and Its Potential to Enhance the Design Process", Journal of Computing and Information Science in Engineering, Vol. 17, No. 3, 031013(15 pages), September 2017. DOI:10.1115/1.4036921
  7. P.P. Desai, P.N. Desai, K.D. Ajmera, & K. A. Mehta, "Review Paper on Oculus Rift-A Virtual Reality Headset". International. Journal of Engineering Trends and Technology, Vol. 13, No.4, pp. 175-179, August 2014. DOI: 10.14445/22315381/IJETT-V13P237
  8. D. Thalmann, J. Lee and N.M. Thalmann. "An Evaluation of Spatial Presence, Social Presence and Interactions with Various 3D Displays", CASA 2016, pp. 197-204, Singapore, May 2016. DOI: 10.1145/2915926.2915954
  9. M. McGill, D. Boland, R. Murray-Smith, S. Brester. "A Dose of Reality: Overcoming Usability Challenges in VR Head-Mounted Displays", CHI '15: Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, pp. 2143-2152, Korea, May 2015. DOI:10.1145/27 02123.2702382
  10. M. Y. Saraijii, S. Sugimoto, C. L. Fernando, K. Minamizawa, S. Tachi. "Layered telepresence: simultaneous multi presence experience using eye gaze based perceptual awareness blending", SIGGRAPH '16: ACM SIGGRAPH 2016 Emerging Technologies, pp. 1-2, New York, United States, July 2016. DOI:10.1145/2929464.2929467
  11. J. Lee, M. Lim, H.S. Kim, J.I. Kim, "Supporting Fine-Grained Concurrent Tasks and Personal Workspaces for a Hybrid Concurrency Control Mechanism in a Networked Virtual Environment", Presence Teleoperators Virtual Environ. Vol. 21, No.4, pp. 452-469, November 2012. DOI:10.1162/PRES_a_00127
  12. R. Johansen, "Groupware, Computer Support for Business Teams". Free Press New York, 1988.
  13. C. Joslin, D.T. Giacomo, & N. Magnenat-Thalmann, "Collaborative virtual environments: from birth to standardization", IEEE Communication Magazine Vol. 42, No.4, pp. 28-33, April 2004. DOI : 10.1109/MCOM.2004.1284925
  14. A. Maimone, X. Yang, N. Dierk, M. Dou and H Fuchs, "General-Purpose Telepresence with Head-Worn Optical See-through Displays and Projector-Based Lighting", In Proc. of IEEE Conference Virtual Reality (VR 13), pp.1-4, Lake Buena Vista, USA, March 2013. DOI: 10.1109/VR.2013.6549352
  15. J. Lee. "Realistic Seeing Through Method and Device Through Adaptive Registration between Building Space and Telepresence Indoor Environment", Journal of the Korea Society of Computer and Information, Vol. 25, No. 1, pp. 101-107, January 2020. DOI: 10.9708/jksci.2020.25.01.101
  16. J.Y. Oh, J. Lee, J.H. Lee, J.H. Park. "A Hand and Wrist Detection Method for Unobtrusive Hand Gesture Interactions using HMD", 2016 IEEE International Conference on Consumer Electronics-Asia (ICCE-Asia), pp.1-4, Seoul, Korea, October 2016. DOI: 10.1109/ICCE-Asia.2016.7804805
  17. S.J. Park. "A Study on the Gesture Based Virtual Object Manipulation Method in Multi-Mixed Reality", Journal of The Korea Society of Computer and Information. Vol. 26, No. 2, pp. 125-132, February 2021 DOI: 10.9708/ksci.2021.26.02.125

Cited by

  1. Adaptive Concurrency Control Approach on Shared Object Manipulation in Mixed Reality vol.26, pp.11, 2021, https://doi.org/10.9708/jksci.2021.26.11.075