본 원고는 지난 2022년 10월 25일부터 27일까지 개최되었던 아트랩 X SPAF 협력 프로그램의 일환으로 진행된
<메타버스로 확장된 공간을 통해 보는 공연예술의 변화> 중, 강연 내용을 글로 옮긴 것이다.
이번 호에서는 소셜 VR 플랫폼상의 다양한 작품과 클라우드 기반의 플랫폼 <헤브뉴(Heavenue)>를 소개한다.

소셜 VR 플랫폼과 다양한 실험들

필자가 본격적으로 가상의 공간에서 창·제작을 시작한 것은 2018년이다. 소셜 VR 플랫폼 ‘세컨드 라이프(Second Life)’의 창시자 필립 로즈데일(Philip Rosedale)의 제안으로 VR 공연에 대한 가능성을 탐구하기 위한 프로젝트
<앨리스 인 플라스틱 랜드(Alice in Plastic Land)>를 진행하게 되었다. ‘세컨드 라이프’는 라이브 이벤트가 아닌 소셜 VR 플랫폼이지만, 이 프로젝트를 통해 배우-관객 간의 인터랙션, 다양한 수준의 바디캡처 등을 실험할 수 있었다.

이후 브랜든 브래들리(Brendan Bradley)와 협력하여, ‘온보드XR(OnBoardXR)’라는 축제를 만들었다. 축제는 계절별로 운영되고 참여자는 짧은 VR 작품을 출품하도록 하였다. 이 작품들은 당시 아무도 다루지 않았던 가상 매체 속의 새로운 기회를 다룬 작품들이었다.
오른쪽 하단에 보이는 ‘제티슨(Jettison)’처럼 작품의 처음부터 끝까지 배 위에 모두가 앉아 공연을 보거나, 오른쪽 상단 클레멘스 드보아(Clemence Debaig)의 무용 작품처럼 참여자가 그녀의 안무를 리얼타임으로 바꾸는 등의 시도들이 있었다. 이러한 작품들이 흥미로운 이유는 대부분의 시도가 아직 해결되지 않은 기술적인 문제들을 다루고 있기 때문이다.

<온보드XR> 페스티벌의 다양한 작품들 @Alex Coulombe

이러한 다양한 시도를 다룬 작품들에서 우리는 몇 가지 패턴을 발견했다. 예를 들어, VR 작품이라는 미디엄이 조금 더 표준화됨에 따라 능동적인 관객뿐 아니라 수동적인 관객들에게도 초점을 맞춘 작품들이 생겨났다. 스튜디오 기어이(GiiÖii)가 한글화 작업에 참여한 페리맨 콜렉티브(Ferryman Collective)의 <웰컴 투 레스피트(Welcome to Respite)>와 같은 작품이다. <웰컴 투 레스피트>의 참여자 중 한 명에게는 알렉스라는 캐릭터가 부여된다. 다른 관객은 유령이나 불빛 또는 인비저블(Invisible)이 되어 극에 참여하게 된다. 이 작품은 소셜 VR을 가장 훌륭하게 활용한 작품 중 하나이다. 시연작인 <크리스마스 캐롤>에서도 이런 형태의 참여를 볼 수 있는데, 이는 관객에게 공연을 경험하는 다양한 방식을 제공한다.

다양한 VR 작품들 @Alex Coulombe

다음으로는 작품 속에서 관객이 가지는 상호반응성과 수동성에 대한 요소를 더 살펴보자. 퀘스트(Quest)에서 다운받을 수 있는 <더 언더 프레젠츠(The Under Presents)>는 좋은 예이다. 작품 속에서 관객은 말을 할 수 없지만 대신 손가락을 튕겨 소리를 내거나 마법을 사용해 다양한 방식으로 의사소통할 수 있다. 작품 속 세계는 서로 다른 사람들이 어떻게 소통하는가를 기반으로 만들어져 있다.

마지막으로 VR은 영화의 성격을 강하게 띠기도 한다. 그래서 항상 접근성(accessibility)을 고려하고 다양한 관점에서 관객이 볼 수 있도록 카메라 또는 아바타를 설정해야 한다. 관객들이 영화적 기법을 활용해 제작된 스크린상의 가상현실을 오감으로써 상호작용하며 좋은 작품이 만들어지기도 한다. 관객 중에는 유튜브나 트위치에서 작품을 경험하면서 더 가벼운 인터랙티브를 즐기는 사람도 있다. 라이브 콘서트 플랫폼인 ‘더 웨이브 XR(The Wave XR)’가 대표적이다. 관객은 콘서트를 감상하며 무대에 반짝이는 별을 나타나게 하는 등 다양한 형태로 참여할 수 있다.

클라우드 기반 VR 플랫폼 <헤브뉴(Heavenue)>

필자는 여러 차례의 경험과 몇 가지 연구를 통해, 기존에 활용해왔던 소셜 VR 플랫폼들(VR챗(VRchat), 모질라 허브(Mozilla Hubs), 하이 피델리티(High Fidelity), 알트 스페이스(Alt Space))이 소셜 시어터 라이브 이벤트에 매우 적합하지 않다는 사실을 알게 되었다.
소셜 VR에서 참여자는 대부분 동등한 권한을 가지므로 공연을 제작한 사람이 모든 것을 컨트롤할 수 없는데, 이는 라이브 공연에 영향을 미치게 된다. 예를 들어, 공연 중에 참여자 한 명이 갑자기 자신의 아바타를 아주 세부적으로 완성도 높은 캐릭터로 만들고 싶어 한다면, 이로 인해 VR 공연의 전체 속도가 느려지거나 스토리에 영향을 주게 되어 의도했던 공연이 불가능하게 된다. 물론 이런 참여자를 신고하거나 퇴장시킬 수 있지만, 창작자가 이를 완전히 통제할 수는 없다. 이러한 기존 플랫폼의 통제 불가능성은 공연의 위험 요소가 될 수 있다.
이러한 경험을 바탕으로 필자는 관객이 무엇을 할 수 있는지, 어떤 모습을 하고 있는지를 고려하며, 공연의 리듬 등 모든 면에서 높은 수준으로 컨트롤할 수 있는 플랫폼을 만들어야겠다고 생각했다. 그 결과 HTC 바이브(HTC Vive)와 언리얼 엔진의 메타휴먼을 극장 안에 구현한 브라우저 기반의 플랫폼 ‘헤브뉴(Heavenue)’를 만들게 되었다.

헤브뉴(Heavenue)의 비전은 기술에 대한 지식이 없는 누구라도, 필자가 겪은 시행착오를 겪지 않으면서 가상공간에서 공연을 만들 수 있도록 하는 것이다. 헤브뉴(Heavenue)는 실제 제작에 3개월이 걸리는 작품을 어떻게 하면 3일 만에 만들 수 있을지를 생각하며 클라우드 에디터를 만들었다.
헤브뉴(Heavenue) 클라우드 에디터를 활용하면 누구나 손쉽게 브라우저에서 접속해 공연을 만들 수 있다. 각 메뉴를 사용하여 관객이 모이는 로비, 무대 세트, 의상, 캐릭터와 날씨, 시간, 조명과 같은 환경 등을 설정할 수 있다. 또 기존에 만든 캐릭터를 불러오고, 크기를 변형하거나 위치를 변경하는 등 다양한 변화를 손쉽게 줄 수 있다. 사전에 녹화한 애니메이션을 활용하거나 라이브 요소를 얼굴이나 몸에 적용하는 것도 가능하고 무엇보다도 이 모든 것을 클라우드에 손쉽게 저장할 수 있다. 그리고 클라우드에 저장된 내용의 똑같은 설정을 수백, 수천 개의 컴퓨터에 완벽하게 복사할 수 있다. 그렇게 되면 전 세계에 있는 사람들이 VR 헤드셋이나 핸드폰, 브라우저만으로도 창작자의 비전을 경험할 수 있게 되는 것이다.

마치며

필자는 가상현실이 영화산업과 유사한 방식으로 발전하게 될 것으로 예측한다. 초기 영화산업은 단순히 극장의 공연을 촬영하는 것에서 시작했으나, 점차 와이드 컷, 클로즈업, 몽타주 등 영화를 위한 고유한 기법이 발전하기 시작했다. 앞으로 30년 후 메타버스 공연에 참여하는 관객들은 자신이 무엇을 기대해야 하는지 이해한 채로 자연스럽게 참여하게 될 것이다. 지금 가상현실을 활용한 창·제작은 이러한 가상의 언어를 개발하는 중요한 단계에 있다. 이 과정에 있는 순간이 설레기도 하지만 겁이 나기도 한다. 하지만 누구보다 먼저 이러한 시도에 뛰어든 사람에게 가슴 뛰도록 놀라운 기회가 될 것임이 분명하다.
2008년부터 지금까지 필자에게 계속해서 영향을 주고 있는 것이 있다. 공연예술은 하나의 공간 안에 배우와 관객이 함께 존재한다는 것이 중요하다는 점이다. 지금의 많은 창·제작은 가상공간을 현실처럼 만드는 데에 집중되어 있다. 하지만 더 흥미로운 작업은 가상공간에서만 실현이 가능한 부분을 탐색해 극장에 있는 느낌과 존재감을 관객이 느끼게끔 하는 것이다. 이번 강연을 통해 다양한 실험이 지속되기를 희망한다.