출처 : 국립아시아문화전당

2014년 3월 가상현실을 즐길 수 있는 가상현실(VR) 기기 제조사 오큘러스(Oculus)가 페이스북에 2.5조 원이라는 엄청난 금액에 인수되었다. 대중의 관심이 폭발적으로 증가하고 글로벌 업체들이 새로운 먹거리를 찾아 앞다투어 가상현실 시장에 뛰어든 것도 이 시점이다. 가상현실에 관심을 가지는 사람들이 늘어나면서 주목적이던 게임 시장 외에도 여행, 공연, 스포츠, 의료, 제조, 국방, 건축 등 다양한 분야에 해당 기술을 접목하려는 시도들이 이어졌다. 미술, 전시 분야에서도 가상현실을 접목하고자 하는 시도가 있었는데, 오늘 소개하고자 하는 국립아시아문화전당의 ‘VR 기반의 전시관 사례’도 그중 하나다.

광주광역시에 위치한 국립아시아문화전당은 전 세계의 창제작자들을 대상으로 ‘크리에이터스 인 랩(Creators in Lab)’이라는 레지던시 프로그램(ACC_R)을 운영하고 있다. 각각의 랩에서 국내외 창제작자들이 모여 각 주제를 가지고 창작 활동을 할 수 있으며, 전문인력과 장비에 대한 지원을 받을 수 있다. 2016년 ‘믹스트 리얼리티 랩(Mixed Reality Lab)’도 그중 하나였으며, 가상현실 기술을 활용한 문화유산 콘텐츠 기획 및 개발을 목적으로 관련 인력들을 모집하였다.

당시 필자는 구글 ‘틸트브러시’ 등의 가상현실 미술 도구 등을 이용한 3D 공간에서의 드로잉, 기존의 그림들이 가상공간에서 움직이는 회화로 새로 태어나는 사례들을 접하며 가상현실과 미술, 전시의 접목에 큰 흥미를 느끼고 있었던지라 해당 프로그램에 참여하였다.

가상현실을 활용한 전시 콘텐츠 제작 및 전시는 생소한 분야라 바로 큰 규모의 전시를 기획하기에는 시간과 비용 측면에서 상당한 리스크가 존재한다. 시나리오 작가를 통해 콘셉트와 스토리를 받아도 작가 자체가 가상현실 기기 자체를 제대로 써본 적이 없기 때문에 ‘현재 시점에서 가능한 기술’ 측면과 완전히 동떨어진 형태로 오는 등 시행착오를 겪기도 했다. 따라서 완결성을 가진 콘텐츠를 바로 제작하는 대신, 프로토타입을 만들어보면서 장비 적합성을 테스트하고, 데모를 시연하면서 관람자들의 의견을 수집하는데 주안점을 두었다.

프로토타입을 만드는 과정에서도 여러 사전 테스트들이 필요했다. 현실공간과 가상공간의 동일한 위치에 사물을 배치한 뒤, 손으로 만져보고 발로 밟아보는 테스트, 정밀하게 3D 스캔 된 유물을 가상현실에 넣어보는 테스트 등을 진행하며 가상공간에서 어떻게 보이는지, 맨손으로 사물을 만질 때의 느낌 등 관련 데이터를 꾸준히 수집하였다.

머리에 쓰는 가상현실 기기를 HMD(Head Mounted Display)라고 부른다. 이 방식은 시야를 차단하고 좀 더 몰입감 있는 화면을 볼 수 있지만, 본인 외에 다른 사람들은 가상공간에서 어떤 일이 벌어지는지를 알기 어렵다는 단점이 있다. 이 문제를 해결하기 위해 방법들을 찾아보다가 VR게임 방송에서 힌트를 얻어 녹색 세트를 만들고, 사람을 촬영해서 가상공간과 실시간으로 합성해 보여주는 방식을 채택하기로 결정했다.

일련의 테스트가 끝나고 전시 일정에 맞춰 본격적으로 프로토타입의 제작에 돌입했다. 별도의 시나리오 없이 각각의 특징을 가진 구역을 나눠서 복제품을 배치하고, 이에 대한 관람객들의 반응과 선호도를 조사하게 된다. 세트 크기는 가로, 세로 6m 높이 3m의 크기를 가지며 3개의 구역을 가진다. 1구역은 초고해상도 스캔 된 유명한 그림들을 사용하였고, 2구역은 사람보다 더 큰 부조를 배치했을 때 사람들의 반응을 살펴보기 위해 설치했다. 3구역은 내 눈앞에서 만지던 물체가 변할 때의 관객 반응을 테스트하는 구역이다.

이 모든 공간은 합성을 위해 녹색으로 칠했으며 전시장 앞에 별도로 2개의 모니터를 두어 1인칭 시점의 화면과 3인칭 시점을 보여주었다. 이를 통해 세트 밖에 있는 관람자들도 가상공간에서 벌어지고 있는 일을 쉽게 알 수 있도록 하였다. 3인칭 시점의 화면을 이용한 재미난 아이디어도 추가하였다. 이 화면을 그대로 인쇄하면 기념사진처럼 보이는 것에 착안하여, 휴대용 포토프린터로 화면을 인쇄하여 고객에게 제공하고, 사진이 인쇄되는 30초~ 1분여의 시간 동안 자연스럽게 설문지 작성을 유도하였다.

이 프로토타입은 국립아시아문화전당 1주년 행사에 맞춰 라는 부제를 달고 체험 행사를 진행하였다. 실제 체험 행사에 참여한 140여 명 중 63명이 설문에 응답한 결과를 보면 1구역 - 그림, 거대한 부조(2구역) 대비 변하는 물체(3구역)에 대한 선호도가 높았다. 눈을 가린 상태에서 턴테이블로 유물을 바꿔치기하는 트릭 자체는 간단하지만, 방금 만지던 물체가 다른 물체로 변하는 경험 자체에 큰 점수를 주었다.

이번 프로토타입의 경우 ‘이야기’를 배제하고 전시품의 형태, 크기, 만지는 경험에 치중되어 있다. 즉 철저하게 실제 콘텐츠 제작 전 기술 테스트에만 초점을 맞췄다는 아쉬움이 있다. 만약 가상공간을 잘 이해하는 스토리 작가를 영입하여 실제 콘텐츠를 제작한다면 여러 가지 확장된 경험을 관람객에게 선사할 수 있을 것이다. 예를 들어 그림의 경우 고해상도의 그림을 보고, 액자를 들어 올리는 것은 현실에서도 가능한 일이기 때문에 흥미를 끌기 어렵다. 내가 그림에 손을 댔을 때 주변의 공간이 그 그림과 관련된 사물과 사람으로 가득 찬다던가, 그림의 사람들이 움직이는 형태였다면 더 큰 관심을 끌 수 있었을 것이다. 당시 그림 이미지로 사용했던 <피리 부는 소년>, <밤의 카페테라스> 등의 경우 해당 그림을 만졌을 때 그림과 연관된 장소, 즉 군대나 카페 골목으로 공간이 변하는 아이디어도 있었지만, 기획 의도와 맞지 않아 실제 프로토타입에는 반영되지 못했다.

앞서 이야기했던 ‘현실 세계에서도 가능한 일은 흥미를 끌기 어렵다’라는 명제는 2구역인 ‘거대 부조’와도 관련이 있다. 가상공간에서 엄청나게 큰 작품이나 괴물 앞에서 서있는 상황은 매우 즐겁고 놀라운 경험이다. 최초 기획 시에는 더 큰 사물을 넣고자 했으나 부조 목업 제작에 시간과 비용이 많이 소모되어 크기를 키우는데 한계가 있었다. 나무나 금속 소재는 크기를 키우는데 한계가 있으므로, 향후에는 바람을 넣는 인형 풍선 등을 활용하거나 일부 부위만 제작해서 만지게 하는 방법도 있을 것이다.

마지막으로 콘텐츠 제작, 전시 시에 한가지 더 생각해봐야 할 부분이 ‘당신이 알고 있는 현실이라는 것이 과연 옳은가?’라는 점이다. 예를 들어 3D스캐너로 정밀하게 유물을 스캔한 경우 조각상에는 세월에 깎여나간 흠집이나 부서진 부분까지 같이 스캔이 된다. 이를 유물 모델링이 깔끔하지 못하고 도트가 튄다고 평가하는 사람을 종종 겪는다. 그림의 경우에도 마찬가지다. 콘텐츠 개발 엔진을 이용하여 가상공간에 이미지를 넣으면 내가 움직이는 것에 맞춰서 자동으로 반사광을 계산해서 입혀준다. 당황스러웠던 것은 실제로 대부분의 그림은 마치 보호 유리가 앞에 있는 것처럼 빛을 반질반질하게 반사하지 않음에도 불구하고 이 ‘의도되지 않은’ 반사광을 보고 ‘멋지다’, ‘현실감 넘친다’라고 평가했던 사람들이 많았다는 것이다. 이런 전시 소감을 듣고 난 뒤 내가 했던 일은 모델링을 좀 더 매끈하게 다듬고, 빛의 반사 효과를 그냥 두는 것이었다. 현실이 아닐지라도 관객이 그렇게 믿는 현실이 있다면 그쪽에 맞추는 것이 맞는다고 생각해서였다. 이 부분은 기획자의 재량일 것이다. 여러분도 판단을 해야 할 상황이 오면 고민을 해볼 포인트라고 하겠다.

지금까지 VR미술관 콘셉트 테스트 의 제작 과정, 기획 단계에서 고민했던 요소들에 대해 살펴보았다. 가로, 세로 6m의 넓은 공간은 그림과 유물 등을 담고 있었지만 사실상 여러 분야로 활용이 가능한 디지털 쇼룸이라고 보는 것이 타당하다. 실제로 몇몇 테마파크에서는 서바이벌 류의 게임을 통해 ‘경험을 확장하는’ 형태로 활용되거나, 실제 자동차, 아파트 등을 넣어서 미리 살펴보는 사례같이 ‘기존 비용을 절감’하기 위한 방법으로 활용되고 있다. 미술, 전시에서도 다른 분야처럼 ‘기존의 감상 경험을 확대하거나’, ‘전시 비용을 절감’하기 위한 방법으로 가상현실 기술이 지속적으로 테스트될 것으로 보인다. 향후에는 좀 더 멋진 기술과 예술의 융합 사례들이 나오기를 기대한다.