I. Introduction

코로나 팬데믹으로 비대면 일상이 길어짐에 따라 언택트(Untact·비대면)으로 우리 삶의 방식이 바뀌면서 ‘오프라인’에서의 즐길거리들이 언택트의 흐름을 타고 변모함과 동시에 콘텐츠와 IT 산업 또한 혁신적인 전환을 이루며 가속화 되고 있다. 각종 공연과 교육, 온라인 쇼핑 또한 IT 기술의 발전으로 여러 분야에서 실감미디어 기술을 활용하여 기존 생활방식의 변화를 만들고 있다.

실감미디어란 사용자 만족도 향상을 위해 몰입감과 현장감을 극대화하여 실제로 체험하는 느낌을 제공하는 미디어로 5G 기술의 상용화와 스마트 디바이스 보급의 확산으로 가상현실(Virtual Reality: VR), 증강현실 (Augmented Reality: AR), 기존의 3D 입체영상, 홀로그램(Hologram) 등와 더불어 디스플레이, 컴퓨터 그래픽스, 게임 산업 등 다양한 분야에서 활용되고 있다[1].

본 논문에서는 실감미디어 기술 및 실감미디어 기술을 융합하여 오프라인 공간과 유사한 경험을 할 수 있는 메타버스 플랫폼 생태계 구축을 위한 세부 기능과 요소를 분석하여 현실 세계에서 급부상하고 있는 메타버스 활성화 및 콘텐츠 산업과 연계되어 어떤 시너지 효과를 발휘할 것이며, 그로인해 어떤 긍정적 부분이 경제적으로 기여할 것인지, 우리의 일상생활에 기여할지에 대해 알아보고자 한다.

II. Preliminaries

최근 가상현실(VR)과 증강현실(AR), 이 두 기술의 장점을 혼합한 혼합현실(MR), 새로운 형태의 현실까지 포함한 확장 현실(XR) 기술들의 최종 산실이라 볼 수 있는 메타버스(Met averse)가 급부상하고 있다. 메타버스(Metaverse) 는 ‘초월, 가상’의 '메타(meta)'와 ‘세상, 우주’의 ‘유니버스(universe)’ 합성어로 기 가상현실보다 확장된 것으로 해석할 수 있다.

메타버스는 다양한 분야에서 관련 연구로 진행되고 있으며 선행연구된 권창희의 연구에서는 도시문제를 해결하는 방안에 대한 연구로, 고선영의 연구에서는 문화 여가 중심의 메타버스 유형 분석과 핵심 특성 도출을 연구하였다[2][3]. 이러한 메타버스의 세부 기능과 요소를 분석하기 위해 메타버스에 필요한 실감미디어 기술에 대한 개념을 정리할 필요가 있다.

2.1 Virtual reality(VR)

실감미디어 기술 발전의 계기가 된 가상현실(VR)은 현실 세계의 환경이나 상황을 컴퓨터 그래픽을 활용하여 만든 가상 세계에서 현실 세계의 주변 환경과 상황을 상호작용하고 있는 있도록 하는 사람과 컴퓨터 사이의 인터페이스 기술 자체를 의미한다. 가상현실은 현재 위치하지 않은 공간이나 사람이 직접 체험하지 못한 것을 시각을 활용하여 체험하기 위해 개발되었다

가상현실(VR)은 프랑스 앙토냉 아르도(Antonin Artaud)의 책에서 극장을 표현하는 단어로 사용하며 시작되었고, 유타대학교(미국)의 이반 서덜랜드(Ivan Edward Sutherland)가 1968년 최초의 가상현실 시스템인 HMD 를 고안하면서 알려졌다[4].

가상현실 기술은 2014년에 페이스북(Facebook)이 오큘러스 VR(VR용 헤드셋 기기 개발사)사를 인수하면서 관심이 증가되었다. 헤드셋 기기를 활용한 가상현실 체험 시장은 오큘러스 리프트(Oculus Rift, 오큘러스 VR사)와 Vive(HTC사)가 경쟁하면서 가상현실 분야 시장을 확대시켰고, IT 업계 기업들의 관심 또한 증가되었으며, 관련된 연구와 개발이 더 활발히 진행되는 계기가 되었다. 가상현실 분야의 헤드셋 기기는 삼성전자의 Gear VR과 소니사의 Playstation VR이 있다.

Table 1. VR Device Comparison

2.2 Augmented Reality(AR)

증강현실(Augmented Reality, AR) 기술은 실제 현실 세계의 배경이나 이미지에 3차원으로 만들어진 가상의 이미지를 겹쳐서 한 개의 영상으로 보여주는 컴퓨터 그래픽기법으로, 1990년 톰 코델(보잉사)이 항공기 전선 조립의 이해를 돕기 위해 실제화면에 가상이미지를 겹쳐서 쉽게 이해하도록 설명하는 과정에서 처음 사용되었다.

가상세계를 활용해 현실세계를 보완해주는 증강현실 (AR)은 사용자가 보는 현실의 영상에 3차원의 가상영상을중첩시킴으로써 가상화면과 현실 환경이 구분되지 않도록 한다. 가상현실(VR)과 증강현실(AR)은 유사한 듯하지만, 현실에 존재하지 않는 가상 공간을 화면을 통해 몰입하도록 하는 가상현실(VR)과는 구분된다. 컴퓨터 게임의 경우의 사례를 살펴보면 가상현실 게임은 ‘가상의 공간’에서 ‘현실에서의 사용자 캐릭터’가 ‘가상세계의 적’과 대치하지만, 증강현실 게임은 ‘현실세계의 공간’에서 ‘현실세계의 내’가 ‘가상세계의 적’과 대결하는 형태가 되기 때문에 가상현실에 비해 현실감이 뛰어나다는 증강현실의 특징이 있다.

증강현실(AR)은 가상현실(VR) 분야로 디지털 미디어에서 자주 사용되며 증강현실을 활용해 증강현실 게임인 ‘마인크래프트 어스’가 제작되기도 하였다. 구글의 AR 플랫폼이 적용된 세계 최초의 스마트폰으로는 AR폰 Lenovo 'Phab2 Pro'가 있다[5].

증강현실(AR) 기술은 현실 공간을 기반으로 하는 교통, 산업 업무현장 등에 주로 많이 적용된다.

증강현실 분야로 출시된 기기는 마이크로소프트 Hololens, 구글의 Google Glass가 있다. 국내에서 ‘증강현실’에 직접적인 호응을 보이기 시작한 것은 모바일 게임 포켓몬 Go(2016년)이다[6].

현재 가상증강현실은 안경형 증강현실로 표현되고 있다. 안경형 증강현실은 각 기업에서 출시되고 있으며 MS 에서는 2019년 HoloLens2를 출시하였고, Facebook에서는 2021년 NUI 서비스를 시작하였다. Qualcomm 사에서는 Snapdragon 845/855/865 시리즈를 출시하였다.

Fig. 1. Lenovo 'Phab2 Pro' with AR Table 2. AR Device Comparison

Table 2. AR Device Comparison

2.3 Mixed Reality

혼합현실(Mixed Reality: MR) 기술은 가상현실(VR)의 몰입력과 증강현실(AR)의 현실감이 융합된 것으로 실제 환경의 객체에 가상세계의 이미지를 올려서 새로운 가상세계를 만들고, 혼합현실 공간 속에서 새롭게 구축된 컴퓨터 그래픽, 소리 등의 정보를 실시간으로 융합하여 사용자와의 상호작용이 가능하도록 다양한 디지털 정보의 효용성과 사용성을 극대화 할 수 있는 차세대 정보처리 기술이다.

혼합현실(MR)의 기원은 1994년에 토론토 대학 폴 밀그램 (Paul Milgram)교수가 처음으로 논문에서 제시한 개념으로, 가상(virtual) 세계 환경과 실제 현실(real) 세계 환경에서 증강 가상(AV)과 증강 현실(AR)의 혼합으로 나타냈다 [7]. 혼합현실은 현실 세계나 가상현실을 기반으로 서로 다른 반대편의 시간, 공간, 사물 등을 중첩시켜 표현하며, 스마트 환경 이동 중에 컴퓨터가 생성한 이미지와 정보를 단말기를 통해 활용 가능하도록 구현하고, 인터페이스를 통해 현실 세계와 가상세계를 통합된 형태로 보여지는 것을 의미하기도 한다. 현실과 가상이 연결된 스마트 환경을 활용하여 사용자가 보다 실감나게 풍부한 체험을 할 수 있으며, 실제 현실의 시간과 공간에 가상의 객체를 겹치는 기술인 증강현실은 tvN의 ‘알함브라 궁전’ 드라마에서 ‘스마트 렌즈’를 통해 리얼한 증강현실 체험을 묘사하고 있다.

Fig. 2. Paul Milgram‘s definition of MR

2.4 eXtended Reality(XR)

확장현실(XR)은 앞에서 설명된 가상현실(VR)과 증강현실(AR), 혼합현실(MR) 기술을 총망라하는 초실감형 기술 및 서비스를 의미하며, 가상·증강현실(VR·AR) 기술을 별도, 또는 자유롭게 혼합 활용하여 확장된 현실을 만들어낸다. COVID-19로 비대면 문화가 정착되면서 생활 방식을 오프라인에서 온라인 방식으로, 가시적으로 변화시키며 현대를 살아가는 우리들의 일부분으로 빠르게 정착하였다. 가상의 3차원 공간에서 경험 및 상호작용을 가능하게 하여 현실적인 몰입도를 언택트시대 서비스에서 증대시킬 수 있는 기술로 급부상하고 있다.

마이크로소트트(MS)에서 개발한 홀로렌즈는 확장현실 (XR)의 한 형태로 현실 공간과 객체의 정보를 분석하여 3D 홀로그램으로 최적화하여 표시해준다. 확장현실(XR) 기술의 진화된 미래에는 일상에서 사용되는 일반적인 안경이 필요에 따라 시야 전체를 통해 정보를 표시하는 가상현실(VR)과 안경 위에 정보를 표시해주는 증강현실이 모두 가능해진다.

인터넷(2G~3G), 2D, 인공지능 기술이 5G 네트워크, 3D, AI, 클라우드 기술의 발전으로 확장현실(XR) 활용이 가능해지게 되었다. 하지만 확장현실(XR)이 활성화되기 위해서는 더욱 상향된 IT 기술 발전의 가속화가 필요하다. 3D 영상을 실시간으로 제공하기 위한 고성능 컴퓨팅 파워와 고화질의 그래픽을 처리할 수 있는 디스플레이 기술의 발전과, 대용량 데이터의 지연속도를 최소화하여 효율성 있게 전송하기 위한 기술이 전제되어야 한다.

2.5 Metaverse

메타버스(Metaverse)는 사회·경제·문화 등 현실 세계와 같은 활동을 하는 3차원 가상세계를 일컫는 말로, ‘초월, 가상’의 '메타(meta)'와 ‘세상, 우주’의 ‘유니버스 (universe)’ 합성어이다. 미국 닐 스티븐슨(SF 작가)의 소설 ‘스노 크래시(1992년)’에 처음 등장한 개념으로 ‘아바타’ 용어와 인터넷 기반 가상세계(3D)를 ‘메타버스 (Metaverse)로 정의했다.

미래학자 로저 해밀턴은 “2024년에 우리는 현재의 2D 인터넷 세상보다 3D 가상세계에서 더 많은 시간을 보낼 것이다.”라고 하였고, NVIDA CEO 젠슨황은 ”앞으로의 20년은 공상과학이나 다름없을 것, 메타버스의 시대가 오고 있다.”라며 Fig. 3에서 보는 것처럼 새로운 시대의 메타버스에 대해 언급했다[8].

Fig. 3. Metaverse related reference

현재 국내·외에서는 제페토(ZEPETO)와 로블록스로 잘 알려져 있으며, 대표적인 메타버스로는 제페토(ZEPETO), 로블록스, 샌드박스, 포트나이트, 디센트럴랜드, 마인크래프트 정도가 있다.

초창기 메타버스(Metaverse)는 오픈 소스기반 온라인 가상 세계플랫폼으로 시작되었으며, 향상된 가상의 물리적 현실과 물리적으로 지속가능한 가상공간의 융합이라는 메타버스 로드맵이 제시되며 게임분야로 활성화가 되었다.

현재의 메타버스(Metaverse)는 각종 센서와 5G 네트워크 기술을 활용하여 가상과 현실을 상호 연동하고, 현실 세계에서 해석된 다양한 데이터의 정보와 지식을 체계적으로 관리하기 위해 인공지능(AI) 기술을 활용하여, 사회 전반에 걸친 정치, 사회, 경제, 문화적 활동이 가능한 ’확장 현실‘을이야기 하고 있다. 현재 메타버스 플랫폼인 ROBLOX 내에는 약 70만 명의 Creator가, 제페토(ZEPETO)에서는 약 6만 명의 Creator가 메타버스 내에서 전업 혹은 부업으로 게임을 개발하는 등 경제활동을 하는 중이다[9].

Table 3. Status of XR Company M&A for Global IT Companies in the USA.

메타버스는 실감나는 콘텐츠에 몰입할 수 있도록 촉각을 원격으로 재현하는 기술인 ‘텔레햅틱’ 기술이 개발 중이며, 국제표준화단체 IEC에서 2021년 4월, 촉각 신호의 재생을 위해 국제표준규격에 대한 제안을 받기도 하였다. 햅틱 규격 표준화가 이루어질 경우 MP시리즈 기술의 MP3 소리 파일이나 MP4 영상파일 같이 많은 사람이 촉각 기술을 활용할 것이다[10].

급변하는 기술에 대응하기 위해 글로벌 IT 기업들인 페이스북/애플/구글/마이크로소프트(MS)들은 인수합병 (M&A)을 진행하면서 XR 시장에 막대한 투자를 하고 있으며, 한국을 비롯해 전세계 우수 인재를 적극 채용하고 있어 미국 빅테크 기업이 메타버스 시장을 독점할 우려가 있다.

따라서 새로운 미래를 대비한 메타버스 전환 전략이 필요하며 정부에서는 2020년 100억 원의 예산을 들여 교육 훈련․의료․제조분야에 확장현실(XR)을 적용하는 ‘XR 융합프로젝트’를 추진하였고, 2021년 3월 450억 원 규모를 지원하여 ‘XR 플래그십 프로젝트’, ‘5G 콘텐츠 플래그십 프로젝트’ 두 분야로 구분해 사업을 공모하고 추진하고 있다[11].

III. The Metaverse Platform

3.1 ZEPETO

현재 메타버스 개념에 가장 가까운 시스템을 가지고 있는 대표적인 메타버스 플랫폼은 제페토(ZEPETO), 로블록스, 마인크래프트가 있다. 국내에서 가장 주목받고 있는 ‘제페토(ZEPETO)’는 2018년 8월에 SNOW(네이버 자회사) 에서 출시되었으며, 증강현실(AR) 3D 아바타 기반 Social 네트워크 서비스이다. 공식계정은 한국, 일본, 중국, 미국밖에 없지만 베트남, 스페인, 프랑스, 러시아 등 2020년 8 월 기준 1.8억 명이 가입하였고 이중 해외 이용자가 90% 를, 10대 이용자가 80%의 비중을 차지하고 있다[12].

제페토(ZEPETO)는 빌드잇(Built-it)과 제페토 스튜디오로 구성되어 있다. 빌드잇(Built-it)은 이용자인 아바타가 활동하는 가상공간인 맵 구성을, 제페토스튜디오는 의상 아이템을 만들 수 있는 공간이다. 제페토(ZEPETO) 사용자 및 개발자의 창작 콘텐츠 프로세스를 보면 (1) 플랫폼 제공 저작 도구, (2) 개발 진행, (3) 콘텐츠 판매, (4) 개발자산 재화 획득, (5) 환전신청으로 진행된다.

Fig. 4. Creative Content Transaction Structure

제페토(ZEPETO)는 네이버제트에서 운영하는 ‘공식맵’ 과 이용자에 의해 생성된 ‘맵 빌드잇’ 등 다양한 공간으로 이루어지며, 그 안에서의 활동은 사용자의 ‘아바타’로 가능하다. 공식맵의 경우 슈팅, 탈출, 라이딩과 같은 게임 객체를 포함하고 있지만, 빌드잇을 통해 사용자가 맵을 구성할 때는 간단한 맵만 가능하다. 또한 빌드잇의 경우 현재까지는 PC버전만 제공된다.

Fig. 5. Basic Mab

Fig. 6. Built-it structure

사용자 공간을 구현하기 위해 사용되는 모드는 배경음악, 레이아웃, 이미지, 색상, 동영상 등으로 이루어지며, 아바타를 구현하기 위해서는 시각적으로 확인할 수 있는 옷차림, 메이크업, 헤어스타일, 액세서리 등과 포즈, 표정, 행동, 닉네임 등의 모드로 이루어져 있으며, 사용자 공간에서 나의 닮은 모습으로 아바타를 변경할 수 있다.

메타버스의 한 유형인 거울 세계(Mirror worlds)는 외부 환경의 정보를 가상공간에 통합하여 동일하게 제공하는 것을 말하는데, 이런 특성을 지닌 맵은 공간을 활용한 다양한 활동들을 하는 것에 초점을 둔 경향이 있다[6]. 제페토 (ZEPETO)는 현실 세계의 모습을 그대로 복사하듯이 만들어 낸 거울 세계로서의 메타버스 맵이 있으며, 이런 특징은 특정한 도시 또는 공간을 구현한 맵이나 현실의 가수들, 유명 브랜드의 공식 맵에서 볼 수 있다. 제페토(ZEPETO) 공식 맵인 ‘Gucci Villa’, ‘한강공원’, ‘교실’과 개인 사용자가 구현한 맵 ‘BlackPink Practice Room’, ‘Island of Palawan Philippines’, ‘한국 동네’ 등이 이에 속한다.

Fig. 7. Mirror Worlds Mab

제페토(ZEPETO)의 주요 서비스 분야는 ‘파티’, ‘크루’, ‘게임’, ‘포토스팟’, ‘공연’ 등으로 나뉘며 사용자가 아바타를 생성하여 제페토(ZEPETO) 내 가상세계에서 경제 및 문화 활동을 하고, 명품을 구매하는 것은 물론 사용자끼리 전화와 문자를 통한 상호 소통도 가능하다. 또한 패션 K-Pop, 그 외 다양한 분야의 다양한 글로벌 브랜드와의콜라보를 진행하고 있다.

제페토(ZEPETO)는 메타버스 플랫폼으로 급부 상하여관심의 중심이 되고 있지만 대용량의 3D 영상을 실시간 제공 및 활용하기에는 현재의 디바이스가 따라가지 못하는 실정이다.

3.2 Metaverse Use Cases

가상현실과 증강현실의 콘텐츠에서 주로 주목받고 있는 분야는 시각 및 체험 효과를 크게 줄 수 있는 분야들로 게임, 영화, 박물관, 전시관, 테마파크, 마케팅, 교육, 의학, 미디어 분야 등이 있다.

가상현실은 영화나 영상 분야 같은 특수 환경에서 활용되지만, 증강현실은 실제 일반인들도 활용하고 있는 정도로 대중화 되어 있다. 인터넷 및 차량 내비게이션을 통한 지도 검색과 위치 검색 등은 넒은 의미의 증강현실(AR)에 포함되며, 휴대용 기기를 대상으로 증강현실 기술이 발전하고 있다.

실감미디어 기술(VR, AR, MR, XR)들을 활용한 영화의 사례를 보면 ‘Iron man(2008년, 2010년 상영)’ 시리즈는 가상현실을 접목하였고, ‘매트릭스(1999년 상영)’, ‘아바타 (2009년 상영)’, ‘레디 플레이어 원(2018년)’ 등은 증강현실을 접목하였다. 또한 테마파크에 활용한 사례로 2008년과 학과 미래를 주제로 한 프랑스의 퓨트로스코프 (Futroscope) 테마파크에서 세계 최초 증강현실 체험관인 퓨처 이즈 와일드(Future is Wild)를 오픈하였다. 퓨처 이즈 와일드(Future is Wild)는 HMD(Head Mount Display)를 통해 지구 환경의 변화로 2억 5천만년 후의 미래에서 탄생할 생명체들을 만나고, 센서를 손에 착용하여 미래 세계의 동물에게 먹이를 직접 주는 등 상호 작용을 통해 교육적인 효과와 즐거움의 기대가 가능하다. 사회생활에 메타버스 기술을 제조, 의료, 교육, 여가 등에 활용하여 삶의 방식을 변화시킨 사례도 있다[13][14].

Table 4. Use cases

메타버스는 게임과 SNS 등의 플랫폼과 결합되어 빠르게 확산 중이며, 사용자가 자신의 아이디어로 가상자산을 생성하고, 다른 사용자들과 다양한 사회적, 경제적, 문화적 교류가 이루며 이를 바탕으로 수익을 창출하고 있다. 플랫폼 사용자의 수익모델이 비표준이지만 존재하고, 전 세계 가입자들이 빠른 속도록 증가하는 등 플랫폼에 대한 경쟁력이 높아짐에 따라 메타버스 확산은 앞으로도 더욱 커질 것이다.

IV. Conclusions

현재의 실감미디어 시장은 메타버스와 더불어 성장하여 시장 안정화 단계를 향하고 있다. 국내의 산·학·연이 핵심기술 확보를 위해 노력하고 있으며, 정부 기관 또한 정책적으로 실감미디어 시장 및 콘텐츠 보급의 활성화와 인재양성에 적극적으로 나서고 있다. 이와 관련하여 본 연구는메타버스 구성 원리에 대한 연구로 메타버스 플랫폼의 하나인 제페토(ZEPETO)를 중심으로 세부적인 기능과 원리를 분석, 직접 구현해 봄으로써 현실에서 느낄 수 있는 문제점과 특징을 제시하였다. 향후 발생할 수 있는 메타버스생태계 활성화를 위해 필요한 것은 무엇이며, 메타버스에서 생성된 가상의 자산들을 현실세계에서 어떻게 활용해야 유익할 지에 대한 방향성에 도움이 될 것이며, 정부와 국내의 산·학·연이 노력하고 있는 핵심 기술 확보에 시너지 효과를 발휘할 것이라 기대한다.

메타버스 기술은 융합기술로 다양한 기술들이 복합적으로 필요하지만 기술의 장벽은 큰 이슈가 아니라고 생각한다. 디바이스뿐만 아니라 콘텐츠, 네트워크 등도 중요한데 이것들을 어떻게 유기적으로 잘 통합할 것인가, 통합된 기술을 어떻게 잘 활용할 것인가로 볼 수 있다. 아무리 좋은 기술이라도 융합된 하나의 플랫폼 서비스를 만들지 못하면 소용이 없다. 메타버스 플랫폼인 제페토(ZEPETO) 또한 통일되지 않은 개별 플랫폼으로 제페토(ZEPETO)에서 생성된 콘텐츠 및 아바타의 경우 타 플랫폼에서 활용할 수 없는 한계점이 있다.

따라서 현재 국내에 가지고 있는 기술을 어떻게 잘 융합하여 활용할지와 메타버스/실감미디어 시장을 타 산업까지 이어가기 위해서는 정부 차원에서의 올바른 메타버스로드맵으로 통일된 플랫폼 구축 및 기반 기술 확보 및 개발 계획이 필요하다.

향후 통일된 플랫폼 구축을 통해 콘텐츠 시장과 1인 크리에이터의 시장도 더욱 활성화될 것이며, 이를 통한 저작권 시장은 더욱 커질 것으로 예상된다. 우리의 일상 또한 오프라인보다는 온라인에서 가상화폐를 활용한 경제활동과 문화 활동 등이 이루어질 것으로 본다.

이에 대한 대비책으로 메타버스 세상에 적용할 법과 제도 마련에 대한 연구가 필요할 것이다. 현실 세계의 저작권 제도로는 가상 세계에서의 콘텐츠에 대한 저작권 보호가 어려울 수 있기 때문이다. 메타버스 시대는 이미 도래해 있으며 사회 전반에 걸쳐 활용될 것이기에 사용하지 않을 수 없을 것이다. 따라서 메타버스 시대에 적응할 수 있도록 무선 인프라 기반 고용량 실감미디어 전송기술과 네트워크 기반 쌍방향 NUI 기술, 저작권 체계 등 다양한 분야에 대해 산·학·연 및 정부 기관이 중심이 되어 글로벌 경쟁력을 마련해야 할 것이다.