1. 서론
최근의 COVID-19 팬데믹은 사회 전반에서 컴퓨터 매개 통신 (Computer-Mediated Communication)의 사용을 가속했다. 엔터 테인먼트 업계는 오프라인 공연장에서 진행하던 팬 사인회, 팬 미팅, 콘서트 등의 행사를 온라인으로 전환하며 사회 변화에 대 응하였다. 국내의 SM 엔터테인먼트와 라이브커넥트는 각각 Beyond Live [1]와 Lakus [2] 플랫폼을 선보였으며, 많은 아티스트 들이 이들 플랫폼을 통해 온라인 라이브 스트리밍 콘서트 (이하 온라인 콘서트), 온라인 팬 미팅 등을 수행하였다. COVID-19로 인한 사회적 거리 두기가 종료되고 오프라인 콘서트가 재개된 현재에도, 온라인 콘서트는 장소에 구애받지 않고 아티스트의 공 연을 볼 수 있다는 장점이 있어 많은 오프라인 콘서트가 온라인 콘서트와 병행하여 수행되고 있다 [3].
일부 아티스트들은 공연을 촬영하고 중계하는 것을 넘어서, 팬 들에게 몰입감 있는 경험을 제공하기 위해 가상 현실 기술을 활용 하여 공연을 진행하기도 했다. 해외의 유명 아티스트 John Legend와 Justin Bieber는 가상의 공연장에서 아바타를 이용하여 진 행하는 가상 아바타 콘서트를 수행했으며, 팬들은 VR 앱을 통해 가상 공연장에 접속하여 몰입감 있는 콘서트를 관람할 수 있었다 (Figure 1) [5, 6]. 이러한 가상 아바타 콘서트는 관객이 공연자와 동일한 가상의 공간에 접속하여 공연을 감상할 수 있으며, 다양 한 시각효과를 활용하여 높은 몰입감을 제공할 수 있다는 장점이 있다.
하지만 온라인 콘서트와 가상 아바타 콘서트, 이 두 가지 형 식의 공연을 동시에 수행하는 것은 쉽지 않다. 실시간으로 가상 아바타 콘서트를 수행하기 위해서는 공연자의 움직임을 추적하 여 가상 공연장에 있는 공연자의 아바타를 움직이는 과정이 필요 하다. 이를 위해 현재 가상 아바타 콘서트에서는 Figure 2와 같이 모션 캡쳐용 특수 장비를 착용하는 것이 일반적이나, 특수 장비의 착용은 공연자의 의상에 제약을 가하기 때문에 온라인 콘서트에 적합하지 않다. 따라서 하나의 공연을 동시에 온라인 콘서트와 가상 아바타 콘서트의 형태로 제공하기 위해서는 별도의 장비 착 용 없이 공연자의 움직임을 추적할 수 있는 공연 시스템의 개발이 필요하다.
본 연구에서는 기존 가상 아바타 콘서트의 한계점을 극복하고, 하나의 공연을 온라인 콘서트와 가상 아바타 콘서트로 동시에 제 공할 수 있는 동시 송출 시스템을 제안한다. 본 시스템은 무대에 설치된 3대의 Microsoft Azure Kinect 센서와, 1대의 iPhone을 이 용하여 공연자의 움직임과 표정을 추적하여 가상 아바타 공연을 수행한다. 공연자가 Figure 2와 같은 특수 장비를 착용하지 않기 때문에 공연자는 원하는 무대 의상을 입고 공연을 수행하고, 그 모습을 촬영 및 중계하여 온라인 콘서트를 수행한다. 관객들은 온라인 콘서트와 가상 아바타 콘서트 중, 자신이 선호하는 형식 의 공연을 선택하여 관람하며 공연자와 상호작용하게 된다. 우리 는 본 시스템의 프로토타입을 구현하고, 그룹 V.O.S의 김경록과 함께 시험 공연을 시행하여 프로토타입 시스템을 검증하였다. 또 한, 우리는 본 연구의 프로토타입 시스템을 통해 확인한 한계점들 을 바탕으로 마커리스 모션 캡쳐를 이용한 가상 아바타 콘서트에 대한 향후 연구 방향에 대해 제언하였다.
본 논문은 크게 다음의 3가지 부분에서 기여도를 가진다:
2. 관련 연구
컴퓨터 그래픽 기술을 통해 구성된 가상의 공연장에서 공연을 수 행하는 시스템은 오래 전부터 시도되어 왔다. 1993년 Lanier는 SIGGRAPH Eletronic Theather에서 HMD (Head Mounted Display)를 착용한 채로 가상 악기를 연주하는 The One Hand of Sound라는 가상 현실 공연을 선보였으며 [8], 1998년 Sul et al. 은 카메라를 이용하여 가상의 공간에 공연자의 모습이 표현되는 가상 노래방 시스템을 제안했다 [9]. 2004년 W. Scott et al.은 현 재의 가상 공연 시스템과 유사하게 라이브 모션 캡쳐 기술과 실 시간 컴퓨터 그래픽 기술을 이용하여 공연자의 움직임에 따라 가 상의 캐릭터가 함께 움직이는 가상 아바타 공연을 선보였다 [10]. 국내에서는 2013년 NCSOFT사가 게임 아이온 내에서 아이유의 모습을 볼 수 있는 스크린과, 아이유가 제어할 수 있는 공연자 아바타를 배치한 가상 공연장을 구성하여 가상 공연을 진행하였 으며, 관객들은 자신의 게임 아바타를 이용하여 공연장에 접속해 공연을 관람하기도 했다 [11].
최근에는 COVID-19 팬데믹으로 사회 전반에서 컴퓨터 매개 기술이 사용되고, 컴퓨터 그래픽 기술이 발전하면서 다양한 온 라인 콘서트와 가상 아바타 콘서트의 사례가 등장하였다. BTS는 온라인 콘서트 방방콘을 통해 전 세계적으로 수 백만 명의 시청자 를 모았으며 [12], 블랙핑크는 유튜브를 통해 온라인 콘서트 The Show [13]를 진행했다. 해외 유명 아티스트 John Legend, Justin Bieber는 WaveXR사와의 협업으로 가상 아바타 콘서트를 진행했 으며 [5, 6], Travis Scott은 앞선 아이유의 사례와 유사하게 게임 Fortnite 내에서 가상 아바타 콘서트를 수행했다 [14].
하지만 다양한 가상 아바타 콘서트와 온라인 콘서트 사례에도 불구하고, 이 두 가지 형식의 공연을 동시에 수행하는 것은 쉽지 않다. 가상 아바타 콘서트를 수행하기 위해서는 공연자의 움직임 을 실시간으로 추적해야 하며, 이를 위해 현재 많은 가상 아바타 콘서트들이 Figure 2와 같은 모션 캡쳐 장비를 착용한다. 하지만 모션 캡쳐 장비의 착용은 공연자의 의상 착용에 제한을 가져오 기 때문에 온라인 콘서트에는 적합하지 않다. 따라서 현재 가상 아바타 콘서트의 한계를 극복하고, 가상 아바타 콘서트와 온라 인 콘서트를 동시에 수행하기 위해서는 별도의 장비 착용 없이 공연자의 움직임을 추적할 수 있는 시스템이 적용되어야 한다.
모션 캡쳐를 위해 별도의 장비를 착용하지 않고 인물의 움직임을 추적하는 시스템을 마커리스 모션 캡쳐 (Markerless Motion Capture)라고 한다. 2010년 Microsoft가 관절 추적 (Skeletal Tracking) 및 표정 추적 (Facial Expression Tracking)이 가능한 RGB-D 센서 Kinect를 출시하고, Kinect SDK를 공개하면서 많은 개발자와 연 구자들이 쉽게 마커리스 모션 캡쳐 기술을 사용할 수 있게 되었다 [15]. Marquardt et al.과 Wang et al.은 Kinect를 이용하여 사용자 의 자세를 추적해 각각 발레 동작과 잘못된 운동 습관에 대해 피 드백을 해주는 시스템을 제안했으며 [16, 17], Rodrigues et al.은 Kinect를 이용하여 무용수의 움직임에 따라 시각 효과를 생성하 는 시스템을 제안했다 [18]. Park과 Lee et al.은 Kinect를 이용한 모션 캡쳐의 정확도를 높이기 위해 여러대의 Kinect 센서를 이용 하여 skeleton 데이터를 수집하여 보정하는 기술을 제안하였으며 [19, 20], Kim et al. 은 Kinect를 이용하여 실시간 상호작용 애니메 이션 시스템을 제안하였다 [21]. 또한 Byun은 심도 카메라를 이용 하여 방송국의 그린 스튜디오에서 연기자와 비쥬얼 이펙트들이 상호작용 할 수 있는 시스템을 제안하기도 했다 [22]. Kinect 발표 이후, 2018년 Apple은 심도 센서 (Depth sensor)가 탑재된 iPhone 을 출시하면서, ARKit SDK를 통해 사용자의 표정을 실시간으로 추적할 수 있는 기능을 공개하였다 [23]. iPhone과 ARKit을 활용 한 실시간 표정 추적 기능은 버츄얼 유튜버 (Virtual Youtuber)와 같은 가상 아바타의 표정을 제어하는 데 활용되었으며 [24], 가 상 아바타 콘서트에서 공연자의 표정을 제어하는 데 사용되기도 하였다.
최근에는 인공지능 기술의 발전으로, 인공지능을 이용하여 실 시간으로 여러 사람의 움직임을 2D 포즈를 감지할 수 있는 Open-Pose와 같은 기술이 개발되었다 [25]. 이를 응용하여 Wang et al. 은 사진 속 인물의 자세를 인식하여 자연스럽게 가상 캐릭터를 합성해주는 시스템을 제안했으며 [26], Umetsu et al.은 관객의 자세를 인식하여 호응을 유도하는 로봇 시스템을 제안했다 [27]. 또한 Song et al.은 실시간으로 영상에서 표정과 신체 골격을 추 적하여 아바타를 제어할 수 있는 시스템을 개발하기도 했다 [28]. 하지만 마커리스 모션 캡쳐에 대한 다양한 이전 연구와 적용 사 례에도 불구하고, 마커리스 모션 캡쳐를 가상 아바타 공연을 위 한 시스템에 적용하여 공연을 수행하는 사례는 찾아보기 어렵다. 우리는 가상 아바타 콘서트와 온라인 콘서트를 동시에 수행하기 위한 마커리스 모션 캡쳐의 활용 가능성을 탐구하고 동시 송출 시 스템을 설계하였다. 또한, 시스템의 프로토타입을 구현하고 실제 아티스트와 시험 공연을 시행하여 이를 검증하였다.
3. 시스템 설계
가상 아바타 콘서트와 온라인 콘서트를 동시에 수행하는 시스템, 그리고 가상 아바타 콘서트를 관람하는 클라이언트를 구현하기 위해서는 여러 고려사항이 존재한다. 본 장에서는 고려사항들과 이에 따른 시스템의 설계 방법에 관해서 설명한다.
가상 아바타 콘서트와 온라인 콘서트를 동시에 수행하기 위해서 는 다음과 같은 기술적 요구사항이 존재했다. 1) 공연자가 모션 캡쳐를 위한 별도 장비를 착용하지 않고, 콘서트 내용과 환경에 맞는 무대 의상을 입을 수 있어야 한다. 2) 공연자의 움직임을 추 적하기 위한 센서가 공연자를 가리거나, 콘서트 중계를 위한 카메 라 운영에 방해가 되어서는 안 된다. 3) 공연자의 전신 움직임과 표정을 실시간으로 추적하여 가상 공연장 내의 공연자 아바타를 제어할 수 있어야 한다.
본 연구에서는 위의 요구사항을 충족하기 위해, 전신 관절 추 적 기능을 지원하는 RGB-D 센서인 Microsoft Azure Kinect를 설 치하여 공연자의 움직임을 추적하였다. To¨lgyessy et al.의 이전 연구에 따르면, Azure Kinect는 최대 3.6m 범위에서 안정적으로 관절 추적 기능을 제공하기 때문에 [29], 소규모 무대에서 공연 자의 움직임을 추적하기에 적합할 것으로 판단하였다. 공연자의 표정은 Apple iPhone 13 Pro를 이용하여 추적하였으며, Figure 2 와 같이 기기가 공연자 얼굴의 정면에 위치해 공연자를 가리는 문제를 해결하기 위해 별도의 스탠드를 이용하여 공연자의 측면 에 배치하였다.
관객들이 가상 아바타 콘서트를 관람할 때 사용되는 콘서트 클 라이언트를 구현할 때는 다음의 사항들이 고려되었다. 1) 가상 아바타 콘서트의 관객들은 관객 아바타를 이용하여 공연장에 접 속하며, 다른 관객 아바타로 인해 콘서트 관람에 방해받아서는 안 된다. 2) 몰입감 있는 관람 경험을 위해 Meta Quest 2와 같은 HMD 기기에서도 작동할 수 있어야 한다. 3) 관객이 관람하고 있 는 플랫폼에서 사용하기 편리한 적절한 응원 방법이 제공되어야 한다.
위의 고려사항을 만족하기 위해 본 시스템에서는 모든 관객이 동일한 크기의 관객 아바타를 이용하여 공연장에 접속하도록 제 한하였으며, 관객의 시점을 관객 캐릭터보다 높게 설정하여 관객 캐릭터가 밀집된 상황에서도 콘서트 관람에 방해가 생기지 않 도록 하였다. 또한 관객 아바타와 가상 공연장의 메시(Mesh)를 가볍게 제작하여 Meta Quest 2와 같은 HMD 기기에서도 원활하 게 작동할 수 있게 하였으며, 사전에 지정된 응원 동작과 응원 효과를 제작하여 버튼 혹은 컨트롤러의 버튼을 이용하여 쉽게 공 연자를 응원할 수 있도록 클라이언트를 구성하였다.
4. 시스템 구현
Figure 3는 본 연구에서 제안하는 가상 아바타 및 온라인 콘서트 동시 송출 시스템의 구조를 나타낸다. 본 장에서는 3장에서 언급 된 고려사항과 설계를 바탕으로 시스템이 어떻게 구현되었는지 소개한다.
3.1 절에서 언급한 것과 같이, 본 시스템에서는 공연자의 움직 임을 추적하기 위해 Microsoft Azure Kinect를, 공연자의 표정을 추적하기 위해 Apple iPhone 13 Pro를 사용하였다. 우리는 공연 자의 신체 일부가 가려지거나, 오류로 인해 공연자의 움직임을 정 확하게 추적하지 못하는 상황에서도 더욱 안정적으로 공연자의 움직임을 추적하기 위해 무대 전면 주위에 총 3대의 Azure Kinect 를 설치하여 공연자의 움직임을 추적하였다. 3대의 Azure Kinect 센서와 1대의 iPhone 13 Pro는 무대 뒤에 있는 모니터링 PC에 연결되었으며, 모니터링 PC는 Kinect SDK와 Unity AR Foundation Framework를 이용하여 각 장치로부터 공연자의 자세를 나타 내는 관절 데이터(Skeleton Data)와 표정을 나타내는 블렌드쉐입 (Blendshape) 데이터를 획득하였다. 획득한 관절 데이터는 모니 터링 PC에서 Lee et al.의 이전 연구에서 제안된 관절 데이터 병합 알고리즘 [20]을 이용하여 병합되었으며, 병합된 관절 데이터가 가상의 공연장 위에 올바르게 배치될 수 있도록 추가적인 위치 보정 작업을 수행하였다.
위치 보정이 완료된 관절 데이터와 공연자의 표정 블렌드쉐 입, 그리고 Opus 코덱 [30]을 이용하여 압축된 콘서트 현장의 소 리는 중계 서버로 전송된다. 중계 서버는 gRPC (gRPC Remote Procedure Call) [31]를 이용하여 모니터링 PC로부터 전달받은 관절, 블렌드쉐입, 콘서트 현장의 소리를 클라이언트로 스트리밍 한다. gRPC의 데이터 전송 특성상 모든 데이터는 직렬화 되어 바이너리 형태로 스트리밍되며, 가상 아바타 콘서트 클라이언트 는 사전에 정의된 데이터 형태로 바이너리 데이터를 복호화한다. 복호화된 관절, 블렌드쉐입, 소리 데이터는 큐에 저장된 후, 프 레임이 업데이트될 때 큐에 저장된 데이터들을 불러와 공연자 아바타의 움직임과 표정을 갱신하고 소리를 재생하게 된다.
본 시스템의 모니터링 PC에서 관절 데이터를 병합하고 보정하 기 위해 Unity 2021.3.10f1 버전이 사용되었다. 모니터링 PC는 Intel i9-7980XE (18 core, 36 thread, 2.60 GHz) 프로세서와 128GB 메모리, RTX 2080 GPU가 탑재되었으며, 중계 서버는 AWS EC2 t3.medium 인스턴스가 사용되었다.
관객들은 Windows, MacOS가 구동되는 PC 혹은 Meta Quest 2 HMD를 이용하여 Figure 4와 같이 구성된 가상의 공연장에 접속 하여 콘서트를 관람할 수 있었다. 가상 공연장은 모바일 프로세 서를 사용하는 Meta Quest 2 HMD에서도 30fps 이상을 유지하며 콘서트 관람이 가능하도록, 공연장과 아바타들의 메시를 간소화 하고, 라이트를 Bake 하여 연산량을 줄였다.
가상 공연장에 접속한 관객들은 공연장 내에서 자유롭게 움직 이며, 사전에 정의된 응원 동작 (Figure 5 (a))과 응원 이모지 효과 (Figure 5 (b))를 이용하여 공연자를 응원할 수 있었다. PC 버전 에서는 화면에 있는 버튼을 클릭하여 응원 동작과 효과를 실행할 수 있었으며, Meta Quest 2를 이용하여 관람하는 관객들은 Figure 6과 같이 컨트롤러의 버튼을 눌러서 응원 동작과 효과를 실행할 수 있었다. Meta Quest 2 버전의 클라이언트에서는 Unity의 역 기구학 (Inverse Kinematics) 기능을 이용하여 관객 아바타의 팔 이 컨트롤러의 위치에 대응되어 움직이도록 구현되었다. 따라서 Meta Quest 2를 이용하여 관람하는 관객들은 사전에 정의된 응원 동작 이외에도 컨트롤러를 움직여 다양한 응원 동작을 수행할 수 있었다. 만약 Meta Quest 2를 이용하는 관객이 Figure 5(a)와 같은 응원 동작을 실행할 경우, 역 기구학 기능이 일시 정지된 후 응원 동작이 실행되었으며, 응원 동작이 종료된 후 역 기구학 기능이 다시 실행되었다. 모든 관객에게는 다른 관객 및 공연자와 직접 적으로 상호작용 할 수 있는 음성 채팅 기능이 제공되었으며, 공 연의 극적인 분위기를 연출하기 위해 관객이 환호성을 지를 경우 파티클이 터지는 효과가 실행되었다. 가상 공연장 내의 관객들의 반응은 Figure 7과 같이 무대 앞에 설치된 모니터를 통해 공연자 에게 실시간으로 보여진다. 공연자는 모니터를 통해 가상 공연장 내의 관객 아바타를 보며, 가상 아바타 콘서트 관객들과 실시간 으로 상호작용하게 된다.
본 시스템의 가상 아바타 콘서트 클라이언트 제작에는 Unity 2021.3.10f1 버전이 사용되었으며, 가상 공연장 내의 관객 상호 작용을 지원하기 위해 Photon Voice와 Photon Fusion이 사용되었 다. 또한 Photon Fusion을 이용하여 구현된 관객 상호작용 서버는 AWS EC2 t3.medium 인스턴스를 이용하여 구동하였다.
온라인 콘서트는 라이브커넥트 사의 Lakus 플랫폼을 사용하며, Lakus 플랫폼을 이용하는 기존 온라인 콘서트들과 동일하게 진 행된다. 본 시스템 환경에서 공연자는 원하는 무대 의상을 입고, 무대에서 자유롭게 공연을 수행할 수 있다. 스태프들은 무대에 설치된 카메라를 이용하여 공연을 촬영하고, SDI(serial digital interface)로 연결된 송출 PC에서 RTMP(real time messaging protocol)을 이용해 스트리밍 서버로 전송된다. 스트리밍 서버는 사 용자들의 안정적인 관람을 위해 HLS(HTTP live streaming)형식 으로 스트림을 변환하여 CDN(content delivery network)을 통해 영상을 중계한다.
관객들은 Figure 8과 같이 구성된 Lakus 웹 페이지를 통해 공연 을 관람한다. 관객들은 선호에 따라 공연을 여러 시점에서 볼 수 있는 다시점 모드 혹은 채팅 모드를 활성화하여 공연을 관람할 수 있으며, 상단에 배치된 버튼을 눌러 다시점 모드와 채팅 모 드를 전환할 수 있다. 공연자는 가상 아바타 콘서트와 동일하게, 무대 앞에 설치된 모니터를 통해 온라인 콘서트 관객들의 채팅을 확인하며 관객들과 실시간으로 소통할 수 있다.
5. 시스템 성능 평가 및 시험 공연
본 연구의 프로토타입 시스템의 공연자 추적 성능을 평가하기 위 해 실험실 환경에서 성능 평가를 진행하였다. 성능 평가에서 우 리는 Azure Kinect 데이터에서 관절 데이터를 추적하는데 소요되 는 시간, Kinect들에서 추적된 관절 데이터를 합성 및 보정하는데 소요되는 시간, 그리고 서버에서 클라이언트로 관절 데이터를 중 계할 때 생기는 중계 지연 시간을 측정하였다. 본 실험은 1800 프레임 동안 Azure Kinect에서 데이터를 수집하여 관절 데이터 추적, 보정, 중계에 소요되는 시간을 측정하여 그 평균값을 계산 하는 방식으로 수행되었다.
4.1 절에서 언급한 프로토타입 시스템과 동일하게, 본 실험에 서 관절 데이터 구성을 위해 Intel i9-7980XE (18 core, 36 thread, 2.60 GHz) 프로세서와 128GB 메모리, RTX 2080 GPU가 탑재된 PC가 사용되었다. 관절 데이터 중계 서버는 AWS EC2 t3.medium 인스턴스가 사용되었으며, 관절 데이터 수신 클라이언트는 AWS EC2 t2.micro 인스턴스가 사용되었다.
실험 결과, 1800 프레임의 데이터에서 관절 데이터를 추적하 는 데에는 총 24,660ms가 소요되었으며, 프레임당 평균 13.7ms 가 소요되었다. 관절 데이터의 보정에는 총 16,200ms가 소요되 어 프레임당 평균 9ms가 소요되었으며, 스켈레톤 중계에는 평균 3.129ms의 지연시간이 확인되었다. 우리는 측정된 지연시간을 바탕으로, 본 연구에서 제안하는 프로토타입 시스템이 가상 아바 타 콘서트 현장에 적용되어 실시간(30fps 이상)으로 가상 아바타 를 제어하기에 적합한 성능을 가지고 있음을 확인했다.
우리는 본 연구의 프로토타입 시스템이 실제 콘서트 현장에서 적 용 가능한지 검증하기 위해, 그룹 V.O.S의 김경록과 함께 시험 공연을 진행하였다. 시험 공연은 공연 시작 3일 전부터 Lakus 플 랫폼에 공연 공지가 업로드되었으며, 관객들은 무료로 티켓을 발 급받아 공연을 관람할 수 있었다. 관객들은 선호에 따라서 가상 아바타 콘서트 혹은 온라인 콘서트에 접속하여 공연을 관람하였 으며, 가상 아바타 콘서트 관객에게는 공연 전 가상 아바타 콘 서트 클라이언트 프로그램과 설치법, 사용법이 포함된 안내문이 제공되었다. 시험 공연은 약 20분간 진행되었으며, 공연에 대한 소개와 “모든 만약을 더하면”, “니가 들었으면 좋겠어.. 힘내” 두 곡의 공연이 진행되었다.
가상 아바타 콘서트의 성능을 측정하기 위해, 관객 기기의 시스 템 정보 (CPU, GPU 정보, 메모리 용량, OS 버전)과 각 기기에서 의 현재 fps, 관객 상호작용 서버와 클라이언트 간의 RTT (Round trip time)가 측정되었다. 또한 가상 아바타 콘서트 관객의 관람 경험을 측정하기 위해 공연 중 관객들의 상호작용에 대한 로그가 수집되었다. 공연이 종료된 이후에는 가상 아바타 콘서트 관객 들은 Table 1의 시청 경험 질문지에 응답하도록 요청되었으며, 개방형 질문을 제외한 모든 항목은 7점 점수 척도로 응답하였다.
총 9명의 관객이 가상 아바타 콘서트를 관람하였으며, 가상 아바 타 콘서트 관객들은 모두 PC (Windows 5명, MacOS 4명)를 이용 하여 접속했다. 관객들은 i7-8700 (6 core, 12 thread, 4.2GHz) 프 로세서와 GTX 1080 GPU, 8GB 이상의 메모리가 장착된 고사양 기기를 사용하였다. 이들 기기에서 가상 아바타 콘서트 클라이 언트는 평균 644fps의 속도로 작동했으며, 관객 상호작용 서버와 클라이언트 간의 RTT는 평균 35ms로 측정되었다.
가상 아바타 콘서트 시청 경험 질문지는 총 3명의 관객으로부 터 응답을 수집하였으며, 결과는 Table 1와 같다. 본 설문 경험을 통해 가상 아바타 콘서트와 콘서트에서 제공된 응원 방법이 공연 관람에 몰입감을 제공했으며, 가상 아바타 콘서트가 직관적이고 조작하기 편리하다는 사용자 의견을 확인할 수 있었다. 다만, 공 연자 아바타의 움직임과 표정에 대해서는 다소 부정적인 평가가 확인되었다. 그 이유에 대해, 공연자 아바타 움직임과 표정에 대 한 개방형 질문에서 공연자 아바타가 마이크를 잡는 손이 얼굴을 가려서 아쉬웠다는 의견을 확인할 수 있었다. 본 공연에서 선호 되었던 점에 대해서는 관객 아바타와 함께 반응하는 것이 재밌고, 가상 공연장의 분위기가 좋았다는 의견이 있었으며, 아쉬웠던 점 에 대해서는 음향적 문제로 음질이 좋지 못했던 것, 공연자 캐릭 터의 얼굴이 더욱더 잘 보였으면 좋겠다는 의견이 확인되었다. 향후 개선 방향에서는 공연장 내부의 사물과 상호작용이 가능하 고, 관객들과 소통이 된다면 실제 재즈바에 있는 것 같은 느낌이 들 것 같다는 의견을 확인할 수 있었다.
온라인 콘서트 관람자들의 시청 경험을 확인하기 위해서 우리 는 Lakus 플랫폼 관람자들의 채팅을 정성적으로 분석하였다. 관 람자들은 타 온라인 콘서트와 동일하게 공연자를 응원하는 채팅 을 전송하며 자연스럽게 공연을 관람하였고, 가상 아바타 공연을 위한 센서들로 인한 불편을 호소한 경우는 확인되지 않았다. 우 리는 이를 통해 가상 아바타 콘서트와 온라인 콘서트가 상호 간섭 없이 동시에 성공적으로 진행되었다는 것을 확인할 수 있었다.
6. 한계
본 연구는 가상 아바타 콘서트와 온라인 콘서트를 동시에 수행할 수 있는 시스템을 제안하고, 프로토타입 시스템을 공연 현장에 적용하여 시험 공연을 시행하였다. 하지만 본 연구는 몇 가지 한 계점을 가지고 있다. 3.1 절에서 언급한 것과 같이, 본 연구에서 사용한 RGB-D 센서인 Azure Kinect는 최대 3.6m 범위에서 안정 적인 관절 추적 기능을 제공하는데 [29], 이는 대규모 공연장에 적용하기에는 적절하지 않다. 본 시스템에서는 공연자의 표정을 추적하기 위해 iPhone을 스탠드에 고정하여 무대에 배치하였는 데, 이는 움직임이 적은 발라드 공연에서는 적합할 수 있으나, 움 직임이 많은 댄스 가수 혹은 아이돌의 공연에서 적용하기에는 적절하지 않을 수 있다.
본 시스템의 관절 데이터 구성에도 한계점이 존재한다. 본 연 구의 시스템은 공연자가 한 명인 경우에만 사용이 가능하다는 한계점이 존재한다. 시청 경험 설문지에서 공연자와 아바타의 움 직임과 표정에 대해서 다소 부정적인 평가가 확인되었으며, 본 시스템의 구성 과정에서 공연자의 손목과 손가락에 대한 추적이 원활하게 이뤄지지 않아 시험 공연 시에는 손목과 손가락을 고정 해 공연을 진행하였다. 또한 본 연구에서 공연의 질을 평가하기 위해 시행한 사용자 평가의 표본이 적다는 점도 본 연구의 한계 점이다.
7. 향후 연구 제언
우리는 본 연구의 한계점을 바탕으로, 가상 아바타 콘서트와 온 라인 콘서트를 동시에 수행하기 위한 시스템의 향후 연구 방향에 대해서 제언한다. 본 연구의 시스템에서는 손목, 손가락과 같은 인체의 세부 관절에 대한 세밀한 추적이 어려웠으며, 한 명의 공 연자만 인식할 수 있었다는 한계점이 존재했다. 라이브 스트리밍 용 영상에 포함되지 않기 위해 모션 캡처용 카메라를 공연자와 멀리 배치하는 것은 이러한 문제를 더욱 어렵게 한다. 따라서, 향 후 더욱 넓은 범위를 지원하며, 인체 세부 관절에 대한 더욱 정교 한 추적과, 여러 명의 공연자를 동시에 인식할 수 있는 시스템에 대한 연구가 진행될 수도 있을 것이다. 또한 공연의 특성상 독특 하고 화려한 형태의 의상이 주로 사용되는데, 본 연구의 시스템은 사람의 체형을 가릴 정도로 부피가 큰 옷을 입은 사람을 인식할 때, 간혹 관절을 제대로 추적하지 못하는 모습을 보여주기도 했 다. 향후 연구에서는 다양한 형태의 의상에 대해서도 강건하고 높은 정확도를 보여줄 수 있는 마커리스 모션 캡쳐 시스템에 대 한 연구가 진행될 수도 있을 것이다.
본 연구에서는 공연자의 표정을 추적하기 위해 무대 가까이에 iPhone을 배치하였는데, 이는 아이돌, 댄스 가수와 같이 움직임 이 많은 공연자에게는 적절하지 않은 방법이다. 향후 연구에서는 무대 가까이에 기기를 배치하지 않아도, 원거리에서 표정을 정확 하게 추적할 수 있는 시스템에 대한 연구가 필요할 것이다. 또한 Jang et al.과 Karras et al.이 이전 연구에서 제안한 것과 같이 발 음을 기준으로 얼굴을 애니메이션 하는 방법 [32, 33]을 원거리 표정 인식 기술에 접목하여, 더욱 정확도 높은 표정 애니메이션 을 생성하는 방법에 대한 연구가 진행될 수도 있을 것이다.
소리를 이용하여 애니메이션을 제작하는 방법은 표정 이외에 도, 락 밴드나 악기 세션을 가상 아바타 콘서트로 접목할 때 악기 와의 상호작용을 더욱 정교하게 하여, 더욱 정확한 손가락 움직임 을 표현하는 데에도 활용될 수 있을 것이다. 실물 악기를 연주하 는 연주자의 모습을 마커리스 모션 캡쳐 기술을 이용해 인식하고 이를 가상 아바타와 가상 악기 오브젝트에 사실적으로 적용하는 기술은 현재 많이 연구되어 있지 않다. 향후 연구에서는 마커리스 모션 캡쳐 기술과 소리를 이용한 애니메이션 제작 기술을 활용하 여 가상 공간에서 악기를 연주하는 더욱 정교한 공연자의 모습을 구현할 수도 있을 것이다.
마지막으로 본 연구에서 가상 아바타 콘서트의 관객 경험을 확인하기 위해 질문지를 배포하고 응답을 받았으나, 그 표본의 수가 다소 적었다는 한계점이 존재했다. 향후 연구에서는 더욱 많은 사용자를 대상으로 다양한 가상 아바타 콘서트 시나리오에 대한 관객 경험 연구를 수행하여, 관객들이 선호하는 카메라 배 치, 상호작용 기능, 그리고 관객들의 몰입감과 존재감에 영향을 미치는 요인들을 확인할 수도 있을 것이다.
8. 결론
본 연구는 컴퓨터를 활용한 대표적인 공연 형식인 온라인 콘서 트와 가상 아바타 콘서트를 동시에 수행할 수 있는 시스템을 제 안했다. 제안된 시스템은 공연자의 의상을 제한하지 않고 가상 아바타 콘서트를 수행하기 위해 무대에 설치된 3대의 RGB-D 센 서를 이용하여 공연자의 움직임을 추적하여 가상 공연장의 공연 자 아바타를 제어하였으며, 본 시스템의 성능을 평가하기 위해 관절 데이터 추출, 보정 소요 시간 및 데이터 중계에 걸리는 지연 시간을 측정하였다. 또한 이 시스템을 실제 공연 현장에 적용하 여, 국내 유명 아티스트 그룹 V.O.S의 김경록과 함께 시험 공연 을 시행하고 가상 아바타 콘서트 시스템에 대한 관객의 반응을 확인하였다. 실험 결과는 제안된 시스템을 통해 온라인 콘서트 와 가상 아바타 콘서트를 동시에 효율적으로 수행할 수 있다는 것을 보여주었다. 다만, 본 연구의 시스템은 소규모 공연장에서 공연자가 한 명일 경우에만 작동하며, 인체의 세부 관절에 대한 추적이 정교하게 이뤄지지 못했다는 한계점을 가지고 있다. 우리 는 본 연구의 한계점을 바탕으로 향후 마커리스 모션 캡쳐, 표정 인식 기술 그리고 가상 아바타 콘서트 관객의 사용자 테스트에 대한 추후 연구에 대해 제언을 하였다.
하지만 앞서 언급한 한계점에도 불구하고, 본 연구에서 제안 된 시스템은 하나의 공연을 다양한 플랫폼에서 동시에 활용할 수 있도록 하여 공연 제작의 효율을 높일 수 있다는 점에서 의의가 있다. 우리는 본 시스템을 활용하여 공연 제작자들이 더 효율적 으로 관객들의 다양한 취향에 부합하는 공연 컨텐츠를 제작하고, 결과적으로 더 많은 관객을 모집하는 데 도움이 될 수 있을 것으 로 기대한다.
