1. 서론
증강현실(AR)이 1인 사용자를 대상으로 사용자의 몸에 부착된 모니터, 헤드 마운트 디스플레이(HMD), 또는 핸드폰과 같은 특수한 디스플레이 장치를 이용하여 현실 공간에 이미지를 증강시키는 것이다.[1] 공간증강현실(SAR)은 1인 이상의 다수를 대상으로 하고 있다. 사용자와 디스플레이 장치를 분리하여 현실 공간 전체를 가상의 공간으로 구성하거나 홀로그램과 같이 허공에 이미지를 증강 시키는 것이다. AR과 SAR의 가장 큰 차이점은 디스플레이가 사용자와 분리되어 있다는 것이다.[1][2]
각 사용자는 디스플레이로부터 자유로워지기 때문에 보다 편안한 감상이 가능하고, 콘텐츠에 대한 몰입감도 높아진다고 볼 수 있다. 특히, 사물이나 유령의 형상이 공중에 부양되어 있는 것과 같은 시지각적 착시현상을 유도하는 홀로그램 효과를 만들려는 기술적인 연구는 최근에 새삼스럽게 대두된 과제가 아닌, 오랜 기간 동안 지속되고 있는 과제다.
아시아지역에서는 한무제 때부터 시작된 것으로 보이는 중국의 그림자극 <피잉시(皮影戏)의 기예(Chinese shadow puppetry)[3]>나 이미 10세기경에 절정을 이룬 인도네시아의 그림자극 <아앙 쿨리트(Wayang Kulit)[4]>와 같이 투과되는 빛과 그림자를 이용하는 그림자극 기법을 중심으로 발달하였다. 유럽지역에서는 17세기에 카메라 옵스큐라(Camera Oscura) 원리와 반대로 작동하는 환등기(Magic Lentern) 기술이 발달하면서 환등기를 이용한 환상장면 연출을 시도 되었다. 로버트슨(Robert's)은 1797년에 스크린에 유령 영상을 투사하는 퍼포먼스 ‘판타즈마고리아(Phantasmagoria)’를 발표하였고, 헨리 페퍼(Henry Pepper)는 1862년에 반사를 이용하여 허공에 형상이 떠 있는 것과 같은 시지각적 착시현상을 연출하는 ‘헨리 페퍼스 시스템(Henry Pepper’s System-Pepper's Ghost)’를 발표 하였다. 이와 같이 반사나 광학을 이용한 플로팅 홀로그램(Floating hologram) 기법을 중심으로 발전해왔다.[5]
플로팅 홀로그램 생성 기법은 주로 그물과 같은 구조로 촘촘하게 짜서 만든 망사막(網紗幕, scrim drop)에 영상을 투사하는 형태로 무대공연에서 빈번하게 사용되고 있는 기법이다. 특히, 21세기 들어 영사기의 발달과 함께 투명하면서 얇은 막을 형성하는 포일(foil)의 기술적인 진보에 힘입어 폭넓게 발전하고 있다. 플로팅 홀로그램 생성 기법의 발전 양상은 크게 볼 때 ‘반사를 이용하는 방식’과 ‘투과를 이용하는 방식’, 두 축으로 나눠 볼 수 있다.
한 축을 이루고 있는 반사방식의 서두에는 앞서 언급한 포일막에 영상을 반사하여 홀로그램 효과를 연출하는 플로팅 반투명 스크린(Floating translucent screen) 영상투사기법이 있다. 다른 한 축인 투과방식은 프로젝터를 이용하여 영상을 투사한다는 공통점은 있지만, 스크린에 사용되는 재료나 스크린 생성 방법 등 모든 면에서 앞서의 전통적인 방식과는 크게 다른 방식이다. 물을 이용하여 스크린을 생성하는 워터스크린과 안개(미세 물방울 입자)를 이용하여 스크린을 생성하는 포그 스크린(Fog screen) 플로팅 반투명 스크린 영상투사기법이 있다.
포그 스크린 생성 기술은 유사 홀로그램 연출과 SAR을 형성하는데 매우 유용하게 활용할 수 있는 반투명 스크린의 한 종류이다. 2004년에 처음 발표된 이후, 사용처나 응용 범위가 점진적으로 확대되고 있다. 통과가 가능한 반투명 스크린이라는 장점을 극대화할 수 있는 공연, 전시, 실내 인테리어 등의 분야에서 새로운 영상 디스플레이 장치로서 활용 가능성이 높아지고 있다. 그러나 이런 세계적인 흐름과는 다르게 국내에서는 포그 스크린 생성 기술에 대한 전문적인 연구나 활용 방향에 대한 논의가 거의 이루어지지 않고 있다.
이러한 원인을 분석하기 위하여 2018년 7월 공연예술분야 종사자들을 상대로 실시한 포그 스크린 기술 시연회에 참석한 71명을 상대로 설문 조사(2018년 7월 19일, 20일 서강대학교 메리홀 소극장에서 공연예술분야 전문가들을 상대로 포그스크린 시연회를 개최, 총 81명이 참가 하였으며, 참가자 가운데 71명이 설문조사에 응하였다.)를 실시한 결과, 가장 큰 요인이 장비에 대한 이해 부족이라는 것을 알 수 있었다.
설문 답변자의 절반 정도인 35명이 포그 스크린을 알지 못하는 것으로 답변 하였고, 36명이 알고 있다고 답변 하였다. 실제 장치를 보지 못하고 영상으로만 접한 사람은 29명이고, 7명만이 박람회나 과학관에서 실제로 실물을 접해보았다고 답변하였다. 설문조사에 응답한 사람들이 현장 종사자들임에도 불구하고 불과 전체 응답자의 10% 정도만이 포그 스크린을 실제로 접해본 경험이 있다는 것을 알 수 있다.
고가의 장비 가격, 큰 부피로 인한 극장 상부 공간 점유, 포그 입자의 물방울 응결 및 낙하로 인한 미끄럼 사고 가능성과 같은 기술적인 문제를 해결하는 것도 중요한 문제이지만 장치에 대한 전문 사용자들의 인식률을 높이는 방안도 병행하여 연구할 필요가 있어 보인다.
본 연구는 공간증강현실(SAR) 구현에 적합한 플로팅 홀로그램의 여러 기법 중에서 관람자나 연기자가 스크린을 관통해서 지나갈 수 있는 무형의 스크린(Intangible screen)인 포그 스크린 대하여 분석하고, 이를 이용하여 ‘공간증강현실(SAR)’을 구현함으로서, 실제 공간에서 활용할 수 있는 가능성을 제시하는 것을 목적으로 한다.
본 연구의 범위는 2017년 한국콘텐츠진흥원에서 지원한 단비 프로젝트를 통하여 독자적인 기술로 국산화에 성공한 서강대학교 미디어랩의 포그 스크린을 중심으로 개념적인 측면에서 증강현실과 공간증강현실, 플로팅 홀로그램과 공간증강현실, 포그 스크린을 이용한 공간증강현실, 공간증강현실 구현을 위한 전시와 공연으로 하였다.
2. 플로팅 홀로그램과 포그 스크린
반사를 이용한 플로팅 홀로그램의 원조라고 볼 수 있는 헨리 페퍼스 시스템은 1862년 헨리 페퍼(Henry Pepper)에 의하여 개발된 기법으로, <Figure 1>과 같이 객석 쪽에 있는 오케스트라 피트(Orchestra Pit) 안에 위로 향하는 거울에 이미지 혹은 실제 연기자의 모습을 투사하여 거울에 반사된 이미지를 무대 위에 객석을 향해 기울어지게 설치된 얇은 막(Foil) 또는 유리의 표면에 다시 반사됨으로서 객석에서는 이미지가 허공에 떠 있는 것처럼 느끼는 시지각적인 착시효과를 유도하는 공간투사기법이다. 1797년에 발표된 ‘판타스마고리아’가 환등기를 통해 투사되는 그림이 허공이 아닌 막이라는 물리적으로 한정된 공간의 끝(허공이 아닌 관람자가 인지 할 수 있는 벽이나 문, 창문, 기둥 등과 같이 사람이 뚫고 들어갈 수 없는 물리적으로 막힌 공간)에 보이게 한 것과는 매우 다르다.
‘판타스마고리아’와 ‘페퍼스 고스트’ 두 기법 모두 평면의 막에 영사를 투사한다는 점에서는 비슷한 점이 있지만, ‘페퍼스 고스트’ 기법에서는 공간과 공간의 사이인 무형의 공간(허공)에 존재하는 보이지 않는 경사진 막에 반사된 배우의 모습을 투사함으로서 유령이 허공에 떠 있는 것과 같은 효과를 연출함으로서 관람자의 입장에서 느끼는 공간감은 완전하게 구별 된다고 볼 수 있으며, 이전과는 다른 ‘새로운 공간의 미학’의 제시라고 볼 수 있다.
무대 위의 실제 연기자가 마치 유령과 함께 무대에서 연기하는 것처럼 보이게끔 하는 이 연출기법은 오늘날 비약적으로 발전되고 있는 플로팅 반투명 스크린(Floating translucent screen)의 원형에 해당하는 기법이다. 현재 국내외의 공연, 전시 등에서 사용되고 있는 반사를 이용한 플로팅 홀로그램 기법들은 규모와 질은 다르다 할지라도 150여 년 전에 쓰였던 때와 기본적인 원리와 방식에서는 큰 차이가 없다.
<Figure 2>와 같이 투명한 스크린인 얇은 막 ‘포일(Foil)’을 관객 방향으로 기울어지도록 무대 위에 45도 각도로 설치하고, 무대 밑에 설치된 스크린에 무대상부에 설치된 영사기를 통해서 영상을 투사하는 기법이다. 앞서 언급한 ‘헨리 페퍼스 시스템’이 발전한 기법으로 영사기에서 투사된 영상이 관객에게 전달되기까지의 과정은 다음과 같다.
무대 상부에 설치된 영사기에서 바닥을 향해 영상이 투사되고, 무대바닥에 설치된 반사막(주로 백색)에 영사기에서 투사된 영상이 맺히게 된다. 무대바닥 반사막에 투영된 영상은 45도 각도로 무대 위에 설치된 포일에 반사되어 관객에게 전달된다. 관객들은 무대상부의 영사기와 무대바닥의 반사막은 볼 수 없고 오직 포일 막에 비추어진(떠 있는) 영상만을 보게 된다. 이를 통하여 마치 허공에 인물이나 물건이 놓여 있는 것을 보는듯한 시지각적 착시현상을 경험하게 된다.
매우 선명한 고화질의 영상이 최대의 장점이지만 설치비용이 많이 들고, 영상 반사에 필요한 넓은 공간을 비워야 해서 연기자들이 사용할 수 없다는 점과 얇은 막이지만 막힌 공간이라 무대 위의 행위자(연기자)가 통과 할 수 없다는 단점이 있다. 플로팅 영상 위주의 공연이 아닌 일반적인 연극이나 뮤지컬과 같이 연기자와 함께하는 공연에서는 활용하기 힘든 점이 있다.
투과를 이용하는 플로팅 홀로그램 기법은 투명한 소재를 막으로 사용하고 있으며, 스크린의 뒤에서 관람자 방향으로 영상을 투사한다. 스크린에 투사한 형상이 보이면서 스크린의 뒤에 있는 배경이 노출됨으로서 영상이 허공에 떠 있는 것과 같은 착시 효과를 연출하는 영상 투사기법이다. 즉, 관람자의 입장에서 스크린은 보이지 않고 오직 영상과 배경만을 보게 되므로 영상이 유령과 같이 허공에 떠 있는 것과 같이 느낄 수 있도록 하는 기법이다. 스크린을 노출 시키지 않으면서 영상이 허공에 떠 있는 것과 같은 효과를 연출한다는 점에서 앞서 소개한 반사 방식과 추구하는 목적에서는 차이가 없다. 하지만 이를 구현하는 방법이나 설치 공간의 제약적인 측면에서는 많은 차이가 존재한다.
투과를 이용한 플로팅 홀로그램 방식의 특징은 <Figure 3>과 같이 투사방식에 있어 주로 스크린의 뒤에서 관람자 방향으로 영상을 투사하는 후광투사방식을 쓰고 있다. 영상투사 방법, 색의 구현 방법 등의 관점에서 볼 때, 비록 스크린의 재료는 다르지만 연극공연에서 주로 쓰이고 있는 그림자극과 닮은 면이 많이 있다고 볼 수 있다. 스크린의 재료로는 아크릴, 비닐, 유리, 물, 안개와 같이 투명 혹은 반투명한 물성을 가진 소재라면 어떠한 재료라도 모두 스크린으로 사용할 수 있다. 사무실, 복도, 극장, 전시장 등등, 공간에 대한 제약이 크지 않아 설치가 비교적 자유롭다는 매우 강력한 장점을 가지고 있으며, 비록 모든 재료가 다 가능한 것은 아니지만 재료가 물(액체)로 이루어진 일부의 특별한 스크린은 ‘통과가 가능하다’는 독특한 특징을 가지고 있다.
통과가 가능한 스크린은 <Figure 3>의 워터스크린(Water Screen)과 <Figure 4>의 포그 스크린(Fog Screen)이 대표적인 경우로, 사람이나 물체가 스크린을 통과하여 지나갈 수 있다. 워터스크린의 경우 상당량의 물을 사용하기 때문에 스크린에 사용된 물을 처리해야하는 후처리 문제와, 스크린을 관통하여 지난 때, 물에 젖는 문제를 안고 있어 통과를 목적으로 사용하는 경우는 매우 드물다. 다량의 물을 사용하기 때문에 수변공간이 확보된 장소에서만 사용을 하고 있다. 이에 반하여 포그 스크린은 매우 미세한 크기를 가진 미세물방울들로 구성되어 있어 젖지 않으면서 관통이 가능하다. 물방울 입자들이 주변의 대기에 분산되어 흩어지는 관계로 별도의 수변 공간을 필요로 하지 않아 공연, 전시 등의 분야에서 홀로그램, 상호작용, 파티션 등 다양한 콘텐츠를 적용할 수 있는 무형의 스크린(Intangible screen)이다.[10]
앞서 언급한 포그 스크린은 미세한 크기(지름 4 ~ 20㎛)를 가진 물방울들(안개)로 구성된 스크린으로 플로팅 홀로그램에서 사용하고 있는 투명 필름 스크린(Foil)이 물리적으로 통과할 수 없는 스크린인 것과는 다르게, 사람이 스크린을 통과하는 것이 가능하다. 스크린을 통과할 수 있다는 것은 마치, 사람이 영상 속으로 들어가거나 영상에서 나오는 것과 같은 특수한 효과를 연출할 수 있다는 것을 의미한다.
포그 스크린 생성 기술은 2004년에 핀란드에서 처음 발표된 이후, 통과가 가능한 반투명 스크린이라는 장점을 극대화할 수 있는 공연, 전시, 실내 인테리어 등의 분야에서 새로운 영상 디스플레이 장치로서 활용 가능성이 높아지고 있다.[9]
국내에는 2009년 제19회 국제 방송·음향·조명기기 전시회(KOBA 2009)를 통하여 처음 공개가 된바가 있다.[11] 현재는 과학관이나 영화관 등에서 매우 제한적으로 사용되기 시작하였으며, 이후에도 KOBA 전시회를 통하여 간헐적으로 발표 되고 있지만 연구자나 사용자 모두에게 큰 주목을 끌지 못하고 있다. 국내에서 포그 스크린과 관련된 연구가 공식적으로 시작된 것은 2017년으로 한국콘텐츠진흥원 문화기술지원사업인 단비프로젝트의 지원을 받은 서강대학교 영상대학원 미디어랩을 통해서다.
‘증강현실(Augmented reality-AR)’은 핸드폰이나 HMD (Head Mounted Display)와 같이 투명 디스플레이나 카메라와 결합된 디스플레이가 가능한 장비를 이용하여 원하는 이미지나 정보를 현실 공간과 겹쳐서 디스플레이하는 것을 지칭하는 것이다. 게임이나 매장에서의 제품비교, 네비게이션, 자동차 계기판 디스플레이와 같은 일반적인 생활분야부터 비행기와 장갑차 등 군수분야까지 사용의 범위가 방대하고 확장 범위와 사용 범위도 매우 넓으며, 기술의 발전 속도도 매우 빠르게 진행되고 있다. 다만, 현 단계에서 몇 가지 단점이 있다면 1인 사용자 중심이라는 것과 <Figure 5>와 같이 아직은 AR 장비를 손에 들거나 머리에 착용해야하는 사용상의 불편함이라고 할 수 있을 것이다.
‘공간증강현실(Spatial Augmented Reality-SAR)’은‘증강현실(AR)’이 1인 사용자를 대상으로 하는데 반하여 SAR은 다수를 대상으로 하고 있다. AR이 사용자의 몸에 부착된 디스플레이를 이용하여 현실 공간에 이미지를 증강시키는 것이라면, SAR은 사용자와 디스플레이 장치를 분리하여 <Figure 6, 7>과 같이 바닥을 포함한 현실 공간 전체를 가상의 공간으로 구성하거나 <Figure 8>과 같이 플로팅 홀로그램을 통하여 허공에 이미지를 증강시킴으로 장비 때문에 느낄 수 있는 ‘거추장스러움’으로부터 해방시켜 콘텐츠에 대한 몰입감을 높일 수가 있다. 공간 디스플레이 장비로는 조명이나 프로젝터를 주로 사용한다.
<Figure 6>은 일본의 대표적인 미디어아트 그룹인 팀랩(teamLap)에서 2019년에 발표한 “Universe of Water Particles in the Tank”로 같이 바닥을 포함한 공간 전체를 하나의 스크린으로 인식하고 영상을 이용하여 가상공간을 형성한 경우다. <Figure 7>은 라이트 아티스트인 James Turrell이 빛으로 구성한 공간이로 공간 전체를 팔래트로 생각하고 빛으로 만들어지는 색감을 만들어 냄으로서 관람자들의 몰입감을 높여주고 있다.[14] 이 두 작품들은 플로팅 홀로그램과 함께 전형적인 SAR의 사례라고 볼 수 있을 것이다.
앞서 언급한 바와 같이 1인 유저 중심의 VR이나 AR과는 다르게 SAR은 다중을 상대로 특정한 공간 전체를 증강의 영역으로 설정하고 있다는 것을 알 수 있다. SAR은 다시 공간 중심과 허공 중심, 두 가지로 구분해 볼 수 있다.
공간 중심의 SAR은 앞서 언급한 두 가지 사례에서 보듯이 공간 전체를 하나의 스크린이나 팔래트로 인식하여 일종의 가상공간으로 구성하고 있는데 초점을 맞추고 있다. 영상이나 조명이 모두 공간의 끝인 벽에 머무는 특징을 가지고 있다. 허공 중심의 SAR은 공간과 공간 사이 즉, 허공을 대상으로 하고 있어 영상이 벽이 아닌 허공에 형성된다. 포그 스크린이나 아크릴, 유리와 같은 투명한 소재의 스크린을 이용하여 콘텐츠를 겹쳐서 증강시킴으로서 홀로그램 효과를 연출하는 것이 가능한 플로팅 홀로그램이 이에 해당한다.
<Figure 8>은 관람자와 배경 사이에 투명 스크린을 형성하고, 관람자의 모습을 실시간으로 투사함으로서 허공 속에 증강된 관람자 자신을 감상하는 모습으로 마치 허공 속에 거울이 만들어진 것 과 같은 효과를 연출하고 있다. 현실공간을 바탕으로 점에서 증강현실과 사용 목적이 같다고 볼 수도 있지만, 사용자가 손이나 머리에 장비를 착용하지 않고 콘텐츠를 즐길 수 있다는 점, 공간의 구성 사용하는 장비 등 모든 면에서 증강현실과 다르다. 앞서의 <Figure 6, 7>과 같이 바닥을 포함한 공간의 벽면 전체에 영상을 투사하여 가상공간을 형성하고, 투명 스크린을 이용하여 증강공간을 동시에 구현한다면 더욱 효과적일 것으로 보인다. 스크린의 구성에 따라 이중, 삼중으로 콘텐츠를 증강 시킬 수 있다.
비록 사용자의 손이 가벼워지기는 했지만 SAR에도 맹점이 존재한다. 공간 전체를 콘텐츠로 구성해야하기 때문에 콘텐츠를 공급하는 입장에서는 비용적인 측면과 콘텐츠 구성의 난이도 등의 어려움이 따르는 단점을 가지고 있기 때문에 쉽게 접근하기는 어렵다는 점이다. 그럼에도 불구하고 게임의 몰입감을 증가 시키거나 전시에서 홀로그램 효과를 극대화할 수 있고 공연에서의 활용도 가능하다는 장점을 가지고 있기에 이러한 맹점들을 극복할 수 있는 지속적인 연구가 필요해 보인다.
3. 포그 스크린을 이용한 공간증강현실 구현
플로팅 홀로그램을 이용한 공연들이 2014년부터 본격적으로 대중들에게 선보이고 있고, 국내에서도 활발한 연구가 시작되었다는 점에서는 매우 고무적이다. 하지만 45도 경사를 이루는 포일막을 사용하고 있어, 비록 볼 수는 있지만 접근하여 만지거나 통과할 수가 없어 관람자들은 참여자가 아닌 관람자로서의 입장만을 가지게 한다.
본 연구팀은 SAR 구현에 있어 플로팅 홀로그램이 가지는 장점에 참여의 폭을 넓힐 수 있는 방안으로 앞서 언급한 여러 투명 재료 중에서 ‘넓은 공간을 점유하지 않는다는 점’과 소재가 물임에도 불구하고 몸에 닿아도 ‘젖지 않는 다는 점’, 스크린을 ‘통과할 수 있다는 점’, ‘설치가 간단하는 점’ 등에서 포그 스크린을 주목하였다. 특히, 통과가 가능하다는 점은 통과 행위가 가지는 여러 가지 예술적 메타포를 형성할 수 있어 SAR 구현을 넘어서 미디어아트에서의 활용 가능성이 매우 높은 재료라고 생각하고 있다.
일반적으로 영상이 맺혀진 공간은 그곳이 스크린이든 벽이든 기둥이든 천정이든 바닥이든 관계없이 막힌 공간으로 인식한다. 즉, 영상이 머무는 곳이 그 공간의 한계(리미트)로 인식되어 더는 전진할 수 없다고 인식할 수 있다. 영상이 맺혀있어 그곳을 벽이라고 생각했던 공간을 누군가 뚫고 지나간다면, 관람자의 입장에서 그 벽은 더 이상 공간의 한계가 아닌 것이 되어 버린다고 볼 수 있다. 그렇다면 스크린 뒤에 있는 실제의 벽은 실물인가에 대한 의심이 생길 수 있을 것이다. 그 벽(현실의 벽) 역시 공간의 끝이 아니라고 인식할 수 있는 여지가 생기게 되고 이를 통하여 이 공간의 끝은 더 이상 가늠할 수 없는 무한의 공간으로 바뀔 수가 있는 것이다. 그 순간, 이 공간에서는 줄 하나만 그어놓고도 그것을 ‘벽’이라고 규정(약속)하면 그것은 실제의 ‘벽’이 되고, 그 규칙에 따르는 무한한 상상력의 소유자들인 어린 아이들의 상상력이 관람자들에게도 가능진다고 볼 수 있을 것이다.
이러한 공간적 상상력은 “막혔다.”라는 개념으로서의 ‘벽’에 대한 공간적 의미를 통과가 가능한 포그 스크린의 특성을 이용하여 ‘증강된 벽’, ‘통과하는 벽’이라는 조금은 다른 개념으로 공간의 확장이 가능하다고 판단된다. 우리는 포그 스크린을 이용하여 SAR을 구현하고 공간의 확장 가능성을 확인하기 위하여 총 3회의 전시와 1회의 공연을 기획하고 실행하였다.
국립아시아문화전당이 주최하고 아시아문화원이 주관한 2018 국립아시아문화전당 창제작센터 융복합 콘텐츠 쇼케이스의 일환으로 진행된 “영원회귀(Eternal Return)” 전시를 2018년 7월 10일부터 14일까지 국립아시아문화전당 문화창조원 복합 1관에서 진행하여 5일 동안 총 564명이 관람 하였다. 국내에서는 처음 시도되는 포그 스크린을 결합한 증강 공간 전시로, 홀의 중앙에는 3차원 워터커튼을 복층구조로 배치하였고, 전시장 입구에는 포그 스크린 2대를 병렬로 연결하여 설치하였으며, 전시장 천정에 스크린을 설치하여 바닥과 함께 영상이 투영될 수 있도록 복합적인 SAR을 구성하였다.
전시장 입구에 설치된 포그 스크린은 가로 2m, 세로 1.6m 크기의 영상 투사에 유효한 반투명 스크린이 형성된다. 2대를 병렬로 배치하여 스크린의 가로 길이를 4m로 연장 하여 전시 공간 전체의 관문으로서의 역할을 수행하게 된다. 이는 포그 스크린으로 외부와 내부라는 두 개의 공간을 나누는 벽도 되지만 두 개의 공간을 연결하는 통로도 된다는 것을 의미한다. 본 전시에 투사되는 영상은 두 가지의 콘텐츠를 시간 순으로 바꾸어가며 전시 하였다.
첫 번째 콘텐츠는 “홀로그램 거울2(프로그래머 : 박수진, 도안 : 함준서, 키넥트2와 Unity로 구현, 2018년 7월)”로 <Figure 9>의 좌측 상단과 같이 관람자의 모습을 허공에 증강시키는 것을 목적으로 하는 콘텐츠다. 스크린 생성장치에는 키넥트2가 설치되어 있어 관람자들을 촬영한다. 촬영된 영상은 크로마키 기법으로 배경은 지워지고(컬러 값을 0,0,0으로 변환) 관람자의 모습만이 포그 스크린에 실시간으로 투사될 수 있도록 하였다. 이를 통하여 포그 스크린에 인물이 투영되고 빛이 닿지 않은 부분은 투명하여 스크린이 보이지 않아 스크린 뒤의 배경이 보이므로, 관람자들은 허공에 증강된 자신의 모습이 마치 허공에 떠있는 홀로그램 속의 인물처럼 느끼게 된다. 영상 속 관람자의 머리 위에는 미디어 아티스트 함준서가 도안한 작은 사람이 투사되어 관람자를 작품 속으로 인도하는 역할을 하게 된다. 이렇듯 관람자들은 자신의 모습이 증강된 공간을 통과하여 전시 공간 속으로 들어가게 되고 이것은 자신의 내면으로 여행을 하는 것과 같은 의미를 가지게 된다.
두 번째 콘텐츠는 “단어 메트릭스(프로그래머 : 김일권, Processing으로 구현, 2018년 7월)”로 <Figure 9>의 상단 우측과 하단과 같이 단어들이 끊임없이 생성되고 하강하는 콘텐츠로 구성 되었다. 포그 스크린은 전시장 외부와 내부를 구분하는 파티션의 역할과 함께 복잡한 현실을 상징하는 어지럽게 내려오는 단어들을 지나서 홀 안에서 펼쳐지는 복잡하지 않고 단조로운 영상의 흐름, 워터커튼에서 만들어지는 일정한 패턴으로 낙하하는 물방울 형상들과 같이 단조로운 풍경과 대비된다. 이를 통하여 관람객들은 복잡한 일상으로부터의 일탈과 같은 해방감을 느끼는 효과를 가지게 된다.
서강대학교 영상대학원 미디어랩이 주최하고 주관한 포그 스크린 시연회를 2018년 7월 19일과 20일 양일간 서강대학교 메리홀 소극장에서 공연관련 종사자들을 상대로 개최하였다. 포그 스크린의 활용과 SAR 구현의 필요성을 홍보하기 위하여 마련된 전시로, 총 81명이 관람(서강 미디어랩 집계)을 하였고, 관람자를 상대로 진행된 설문조사에 71명이 응답하여 포그 스크린 연구에 유의미한 여러 의견들을 수렴할 수 있었다.
전시에는 2대의 포그 스크린을 이용하여 두 가지의 콘텐츠를 선보였다. 입구에 설치된 스크린에는 자신의 모습을 마주하는 “홀로그램 거울1” 콘텐츠를, 극장의 중앙에 설치된 포그 스크린에는 각기 다른 두 가지의 영상을 각각 다른 면에 동시에 증강시키는 “벽”이다.
관람자들이 전시장 입구에서 제일 먼저 만나게 되는 콘텐츠는 <Figure 10>의 하단 “홀로그램 거울1(프로그래머 : 권민섭, 키넥트2와 Unity로 구현, 2018년 7월)”이다. 관람자의 모습을 촬영하고 실시간으로 스크린에 플로팅 시킴으로서 관람자는 허공 속에 증간된 관람자 자신을 마주하게 되고, 자신의 형상을 뚫고 전시장 내부로 들어가게 된다. 허상과 같은 자신의 형상을 마주한다는 행위는 단순한 신기함을 넘어 자신을 ‘타자화’하는 행위로 ‘자신을 마주보다’와 ‘자신의 내면으로 들어가다’라는 철학적 사유가 동반된다고 볼 수 있다.
두 번째로 만나게 되는 콘텐츠 “벽”은 95% 이상의 투과율을 가지는 물의 특성을 활용한 콘텐츠다. <Figure 10>의 상단과 같이 포그 스크린의 한 면에는 물의 형상(좌)을 다른 한 면에는 불의 형상(우)을 증강시켜 두 공간을 포그 스크린으로 나눈다. 즉, 하나의 스크린 각 면에 각기 다른 콘텐츠를 보여주고 있다. 관람자들은 불타오르는 스크린을 통과하여 다른 공간으로 건너가면 물속을 헤엄치는 물고기들과 만나게 된다. 두 개의 공간은 물과 불이라는 전혀 다른 색채와 질감을 가진 독립된 공간이지만 포그 스크린을 통하여 두 공간은 나누어지기도 하고 서로 연결되기도 한다. 이러한 포그 스크린을 이용한 공간 구분 방법은 전시에서 공간과 공간의 구분을 위하여 사용하는 파티션 기능의 일부를 창의적인 관점에서 대체할 수 있을 것으로 보인다.
전시 관람을 마친 관람객들을 상대로 포그 스크린에 대한 인식 조사를 한 결과, 총 81명의 관람객 가운데 71명이 설문조사에 임해주어 응답률은 87.65%다. 응답자 가운데 35명이 포그 스크린을 알지 못한다고 답변 하였고, 알고 있다고 답변을 한 36명 중, 29명은 실제 장치를 보지 못하고 영상으로만 접한 경우이고, 박람회나 과학관에서 실제로 실물을 접해보았다고 답변한 응답자는 전체 응답자의 10% 정도에 해당하는 7명으로 조사 되었다. 이와 같이 설문조사의 대상자들이 일반 시민이 아닌 공연관련 종사자들이라는 점에서 전문가들조차도 포그 스크린이 어떤 것인지를 알고 있는 비율도 낮았으며, 포그 스크린을 실제로 접해본 사람은 더욱 적다는 것을 알 수 있다.
2018년 8월 11일부터 9월 2일까지 국립아시아문화전당(ACC) 어린이문화원 중앙 홀에서 포그 스크린을 이용한 증강공간 체험 프로그램 운영한 결과 휴관일 3일 동안을 제외한 20일 동안 총 8,946명(국립어린이문화원 집계)이 관람하여 1일 평균 447.3명이 관람 하였다.
우리는 어린이문화원이 관람자들이 특정되지 않는 일반적인 공연장이나 전시장과는 다르게 관람객의 구성이 어린이를 중심으로 가족 단위의 관람객들이 방문하는 시설이라는 점을 주목 하였다. ‘공간의 확장’이라는 측면에서 놀이 문화에 익숙한 어린이들과 포그 스크린이 잘 맞을 수 있을 것이라 판단하여 ACC의 고유 캐릭터와 우주를 주제로 전시를 진행하였다.
콘텐츠는 기존 전시에서 선보인 “홀로그램 거울2”를 응용하여 ACC의 고유한 여섯 캐릭터(시아, 고니, 페리, 칼리, 키니, 엘리)를 결합하고, 벽이라는 개념을 강조하기 위하여 우주를 배경을 사용 하였다. 2대의 포그 스크린을 병렬로 배치하여 스크린을 가로로 확장하고, 관람자 인식을 위한 카메라는 키넥트2를 사용 하였다. 관람자를 인식하면 <Figure 11>과 같이 실시간으로 관람자의 모습과 캐릭터를 합성하여 스크린에 비춘다. 캐릭터는 입장하는 순서에 맞추어 <Figure 11>의 좌측과 같이 여섯 캐릭터를 하나씩 관람자와 1:1로 매칭 될 수 있도록 하였다.
우리는 전시기간 동안 포그 스크린에서 만들어지는 습기가 주변 공간에 어느 정도의 영향을 미치는지를 알아보기 위하여 주변 습도를 측정했다. 전시 공간의 면적은 약 640m2, 높이는 평균 10m로 공간의 부피는 약 6,400m3 정도이고, 측정은 포그 스크린을 사용하기 전의 습도를 먼저 측정하고 10분 단위로 포그 스크린으로부터 5m, 10m, 15m 떨어진 곳에서 어느 정도씩 습도가 증가하는지를 측정하는 방법으로 하였다.
<Table 1>와 같이 포그 스크린으로부터 1m 지점에서의 변화는 30분 동안 3% 정도의 습도가 점차적으로 증가하고 그 이후에는 특별한 변화가 없다. 5m 지점에서는 10분경과 시점에 1% 증가하고, 30분경과 시점에 추가로 1%가 증가하여 1시간 동안 2% 증가하였다. 10m 지점은 20분 동안 1%의 습도가 증가하고, 이후에는 변화가 없었다. 15m 지점에서는 습도에 아무런 변화가 없다는 것을 확인 하였다. 이를 통하여 알 수 있는 것은 작은 공간에서는 포그 스크린이 주변에 영향을 미칠 수 있지만 대형 공간이나 대형 전시장에서는 영향력이 크지 않다는 것을 알 수 있다. 모든 공간이 다 각기 다른 크기와 높이를 가지기 때문에 쉽사리 일반화 시킬 수는 없지만 대형 전시장에서 포그 스크린을 사용할 경우, 참고 자료로서 활용할 수 있을 것으로 보인다.
| 거리(m) | 초기 습도 (%) | 경과시간(분) | |||||
|---|---|---|---|---|---|---|---|
| 10 | 20 | 30 | 40 | 50 | 60 | ||
| 1 | 59 | 60 | 61 | 62 | 62 | 62 | 62 |
| 5 | 59 | 60 | 60 | 61 | 61 | 61 | 61 |
| 10 | 59 | 59 | 60 | 60 | 60 | 60 | 60 |
| 15 | 59 | 59 | 59 | 59 | 59 | 59 | 59 |
2019년 4월 6일부터 4월 7일까지 한국연극연출가협회에서 주최하고 주관한 2019 아시아 연출가전에 극단 초인(박정의 연출)에서 출품한 <선녀와 나무꾼>을 아르코소극장에서 상연(188명 관람, 한국연극연출가협회 집계)하였다. 2015년 서울 시민청에서 상향식 포그 스크린이 공연에 한 번 사용된 사례는 있지만 <선녀와 나무꾼>에서의 사용이 하향식 포그 스크린이 국내에서 독자적으로 개발된 이후, 국내 극장 공연에 적용된 첫 번째 사례이다.
연극 <선녀와 나무꾼>은 우리가 익히 알고 있는 설화를 기본 바탕으로 구성되어 있으나, 기존의 일반적인 시각인 나무꾼의 입장이 아닌 선녀의 입장에서 설화를 재해석하여 만든 작품이다. 기존의 시각과도 같이 나무꾼의 입장에서는 사슴의 보은이라고 생각할 수 있는 여지가 없는 것은 아니지만, 옛날 국경 접경 지역에서 행해지고, 중앙아시아(특히, 카르키스탄) 지역을 중심으로 현재까지도 성행하고 있는 약탈혼 풍속[16]에 기초해 볼 때, 선녀의 입장에서는 날개옷을 강탈당함으로서 자신이 살던 천상계로 돌아가지 못하고 자신의 의지와는 무관하게 원치 않는 지상세계의 삶이 강요된 것이다.
날개옷을 미끼로 시작된 강제적인 결혼부터 시작해서 고부간의 갈등, 노동 등과 같이 그녀가 살았던 천상계와 전혀 다른 지상계의 문화를 강제적으로 습득해야하는 일련의 과정들이 모두 그녀가 지금까지 경험해보지 못한 낯선 폭력이고, 극도의 공포로 느껴질 수밖에 없었을 것이다. 연극은 이러한 시각을 가진 작품으로, 이러한 일들은 오늘날 우리 주변에서 볼 수 있는 이주 노동자, 매매혼과 다를 바가 없는 국제결혼을 통하여 정착한 외국인 문제와도 깊이 연관되어 있다는 점에서 우리에게 시사하는 바가 매우 크다.
지상에서 선녀에게 가해진 모든 상황을 극복하고 날개옷을 되찾아 다시 하늘로 돌아가는 선녀에게 이전과는 다른 특별한 장면으로 연출해줄 필요를 느끼게 되었고, 이를 벽이나 기존의 스크린과는 전혀 다른, 통과가 가능하고, 물이라는 소재와 소재가 가지는 정화의 의미를 가진 포그 스크린을 통하여 증강공간을 구현하는 것이 보다 효과적일 것이라고 판단하였다.
날개옷을 입은 선녀(실제의 연기자)가 아이(인형)와 함께 폭포처럼 내려오는(이 장면에서는 포그 스크린에 빛이 닿도록 하여 스크린을 폭포처럼 보이도록 연출 하였다.) 포그 스크린 속으로 걸어 들어간다. 이후 장면은 <Figure 12>의 하단과 같이 스크린을 비추는 조명이 꺼지고, 구름을 타고 승천하는 영상(영상 디자이너 : 배윤경, 후처리를 통하여 배경이 지워진)을 포그 스크린에 영상을 투사한다. 스크린 속에 증강된 영상 속의 연기자가 무대 위에 실제 하던 연기자를 대체하게 된다. 이와 같이 작품의 마지막 승천 장면이 홀로그램과 같이 연출되었으며, 이렇게 무대 공간 속에 증강된 장면은 불과 23초라는 매우 짧은 순간이었지만 객석을 가득 메운 관람객들의 탄성을 이끌어낼 만큼 매우 강렬한 인상을 남길 수 있는 미장센이 구현된 장면이었다.
포그 스크린에 투사될 영상 제작은 <Figure 12>의 좌측 상단과 같이 그린 스크린을 배경으로 연기자를 상대로 촬영된 실사 영상으로, <Figure 12>의 우측 상단과 같이 촬영된 영상을 편집 프로그램(After effect)을 이용하여 녹색의 배경을 검정색으로 보정(0,0,0)하였다. 이는 스크린에 투사될 때, 인물 이외에는 빛이 보이지 않아(검정색이 RGB를 모두 영의 값으로 투사되는 것이지만 실제로는 빛이 미세하게 보인다. 이러한 점은 투사에 사용되는 프로젝터의 성능과 관계된 것으로 원본 이미지와는 관계가 없다.) 객석에서 바라볼 때, <Figure 12>의 하단과 같이 배경에 비하여 상대적으로 밝게 투사되는 선녀와 아이만 허공에 플로팅 된 것처럼 보일 수 있도록 하였다.
이처럼 포그 스크린을 사용할 경우, 플로팅 홀로그램을 구현하기 위하여 무대의 하부를 빈 공간으로 둘 필요가 없다는 강점을 가진다. 2018년 서강미디어랩에서 개발한 포그 스크린 생성장치의 폭과 높이가 불과 40cm에 불과하여 일반적인 무대장치가 공간을 사용하는 것과 별다른 차이가 없어 무대 상부의 공간을 많이 점유하지 않는다. 이는 그동안 홀로그램 장면을 연출하고 싶어도 기존의 플로팅 홀로그램 기법이 무대의 높이만큼 무대의 상부와 하부 공간을 사용할 수 없는 공간적 제약 때문에 극장에서 구현하기가 매우 어려웠던 점에서 유령, 환영 등과 같이 환상적인 장면들을 포그 스크린을 통하여 증강시킴으로서 공간에 구애받지 않고 보다 자유롭게 표현할 수 있는 길이 열린 것이라고 할 수 있다. 이러한 효과는 단지 공연에만 머무는 것이 아닌, 미술 전시나 미디어아트전시에서도 유효하다고 볼 수 있다.
4. 결론
본 연구를 통하여 플로팅 홀로그램과 포그 스크린에 대하여 조망해 보았고, 세 번의 전시와 한 번의 공연을 통하여 통과가 가능한 포그 스크린이 공간증강현실(SAR)을 구현하는데 있어 적합한 소재라는 것과 포그 스크린을 이용한 SAR 구현을 통하여 무대나 전시에서 홀로그램 연출이 보다 쉬워졌다는 것에 대해서도 증명 하였다.
전시와 함께 공연계 종사자들을 상대로 실시한 설문조사를 통하여 전문가들조차도 포그 스크린에 대한 인지도가 50% 정도 수준이라는 것과 실제로 포그 스크린을 접해본 비율도 전체 응답자 중에서 10% 정도로 매우 낮다는 것을 알 수 있었던 점에서 인식률을 높일 수 있는 방안 마련이 시급하다는 사실을 확인 할 수 있었다.
포그 스크린이 주변 공간에 어떠한 영향을 미치는가를 알아보기 위하여 국립아시아문화전당 어린이문화원에서 처음 실시한 시간과 거리 변화에 따른 습도 변화 관찰 실험을 실시하였다. 공간의 크기에 따라 다르기에 쉽게 일반화 시킬 수는 없지만 실험 측정 결과, 포그 스크린을 중심으로 반경 5m 이내의 습도가 2~3%(6,400m3 기준) 정도 증가할 수 있다는 것을 확인 하였다. 이를 통하여 전시장에서 회화와 같이 물감을 사용하거나 종이나 나무와 같이 습기에 취약한 소재를 사용하는 전시물과의 설치 유격에 참고할 수 있는 최소한의 근거를 마련하는 성과를 거두었다고 볼 수 있다. 하지만 본 연구에서의 조사 범위가 어린이 문화원으로 한정되어 있고, 포그 스크린 사용 범위가 넓어지면서 장비 사용에 따른 주변 공간과 다른 작품에 미치는 영향에 대한 전문적인 연구를 진행할 필요가 있다.
