모바일 디바이스에서 사용자의 입 바람을이용한 연기 시뮬레이션의 상호작용 방법

모바일 디바이스의 인터랙션과 관련하여 새로운 입력 방법으로서 참고할 수 있는 방식들은 카메라와 기울기 센서를 이용 한 방식이다. 카메라를 이용한 RGB 영상 입력 방식을 마우스 기능으로 활용한 예는 비디오 마우스를 들 수 있다. 이 기법은 특정 패턴이 그려진 패드 위에서 움직임으로써 2차원 좌표 값을 얻는 방식이다. 또 다른 인터랙션 접근법은 기울기 센서를 이용한 네비게이션 방법이다. 이를 개선시킨 방법으로 기울기 센서를 이용하여 좌우상하 패닝이나 스크롤을 하는 방법도 있다. 이러한 방법들은 모바일 디바이스와의 인터랙션을 위해 기울기 센서를 이용한 것으로 기기를 상하 또는 좌우 방향으로 기울임으로써 화면 내의 네비게이션, 패닝, 스크롤과 같은 기본적인 조작을 가능하게 한다 [7]. 모바일 인터페이스 방식은 대부분의 손을이용한 스크린 터치 기반 콘텐츠들이다 (Figure 2). 많은 기술들이 손과 발을 사용하고 있으며 이러한 인터랙션 기술의 다양성 부족은 VR, AR, 모바일 등 많은 시장에서 다양한 콘텐츠를 수용하기 어렵다는 문제로 이어진다.

모바일 환경에서 시뮬레이션을 구동하기 위한 다양한 방법론들이 제안되었다 [8, 9, 10]. 연기, 불, 변형체 등 다양한 최적화 기법과 모바일인터페이스를 통해 사용자와 상호작용 하였지만 대부분 손 터치에 한해서 상호작용이 수행된다 (Figure 3 참조).

VR은 사용자의 감각을 기반으로 사용자가 어디에 누구와 함 께 존재하고, 어떠한 행동을 하는지에 대한 경험을 실제처럼 느끼도록 제공하는 것이 중요하다. 다양한 센서와 정보처리의 발달로 관절이나 손동작의 제스처 인식 센서와 디스플레이를 머리에 장착하여 실제 환경에 있는 것처럼 사용자에게 몰입감을 제공해주는 헤드 마운티드 디스플레이장비의 발전으로 VR 환경에서 보다 더 자연스럽고 직관적인 가시화 및 인터랙션이 가능해졌다. 최근에 들어서는 VR의 시각 정보를 입체적이고 현실감있게 전송하는 디스플레이 연구는 물론 공간감을 활용한 오디오 소스를 활용한 청각, 햅틱 시스템을 통한 촉각 등에 대한 연구들이 활발히 이루어지고 있다 [11, 12, 13, 14].

사용자의 몸짓이나 손짓 등의 제스처를 인식할 수 있는 장비로는 키넥트, 립모션, Myo 등이 있다. 키넥트는 RGB 영상뿐만 아니라 깊이 정보도 함께 제공하기 때문에 다양한 동작 인식이 가능하여 게임 등에서 활용되고 있다. 특히, 몸 관절 추적에 효과적으로 사용될 수 있으며 최근에는 동시에 여러 명의 몸 관절도 추적할 수 있다. 립모션의작동 원리는 키넥트와 유사하나 주로 사용자의 손 제스처 인식에 주로 사용되며 (Figure 4 참조), 손의위치, 손가락 관절정보 등 사용자의 손 제스처를 인식하는데 특화된 디바이스이다 [3]. 근육의 움직임을 읽는 웨어러블 입력장치로는 Myo 제스처 컨트롤 암밴드가 있다 [15, 16]. 이 디바이스는 착용자의 팔목에 장착하여 근육 안에 흐르는 전기 신호를 측정하여 손을 흔들거나 손가락을 움직이고 팔을 돌리는 등의 움직임 정보를 제공한다 (Figure 4 참조).

입 바람의 방향을 결정하기 위하여 본 연구에서는 모바일 디바이스와 사용자의 시점 간의 각도를 계산해야 한다. 여기서 시점은 광선추적법과같이 사용자가 모바일 디바이스를 바라 보는 정확한 시점이 아니라, 각도를 기반으로 근사한 값을 이 용한다. 각도는 사용자가 모바일 디바이스를 바라보는 시점 방향을 기준으로 직각과 둔각일 경우를 정상적인 상태(Normal state), 예각일 경우를 비정상적인 상태(Unusual condition)이라고 정의하였다 (Figure 5 참조).

사용자가 모바일 디바이스를 잡은 각도를 계산하기 위해 모바일 기기의 직면 방향과 사용자의 정면 방향 사이의 각도를 계산해야 한다. 이를 위해 우리는 안드로이드의 가속도계 센서를 이용하였으며, 이 센서 값은 3차원 공간상에서의 방향과 움직임에 대한 값을 알려준다. 가장 기본적인 상태는 사용자의 시점과가속도 센서의 Y축 사이의 각도가 직각인 상태이며, 이 상태에서는 바람의 방향이 위쪽 방향을 향한다 (Figure 6a 참조). 일반적으로 사용자가 모바일 디바이스를 직각 또는 둔각 타입으로 잡기 때문에 우리는 이 두 가지 유형에 대해서는 바람의 방향을 위쪽으로 설정하였다 (Figure 6b 참조).

모바일 디바이스를 예각으로 잡는 경우는 평상시에 흔치 않은 경우이며 이와 같은 경우는 바람의 방향을 반대 방향인, 아래쪽으로 설정하였다. 모바일 디바이스가 움직이지 않는 정지 상태라면 각 축에 측정되는 가속도의 값은 9.8m/s² 이다. 따라서 디바이스가 정지상태라고 가정하고, 각 축에서 측정되는 가속도의 벡터 값을이용하여 스마트폰의 기울기를 계산한다 (Equation 1 참조)

각도는 가속도 센서 값을 이용하여 계산하였으며 (Figure 7 참조), α는 가중치이다. 직각에서 둔각으로 기울기가 점점 커질 때마다 바람 방향에 가중치 α를 두어 더욱 강하게 바람이 불도록 방향 벡터의 크기를 증가시켰다 (Equation 1 참조). 그 림은 Y축을 기준으로 설명했지만 X축도 Y축과 마찬가지로 계산한다. 결국 모바일 디바이스는 직각과 둔각을 정상적인 상태로 정의하고, 이로부터 크게 벗어날 경우 방향을 반대로 전환해주는 규칙을 사용하였다. 또한 바람의 크기는 기울기를 통해서도 조절할 수 있으며 Figure 8a에서 Figure 8b로 기울기가 커질수록 위쪽으로 향하는 방향벡터의 크기를 점진적으로 증가시켰다.

우리는 입 바람의 크기를 계산하기 위해 모바일 디바이스에 내장되어 있는 사운드 센서를 이용한다. 모바일 디바이스에서는 저가용 사운드 센서를 사용하기 때문에 본 논문에서는 후처리 필터링 기법을 이용하여 입력 사운드의 크기를 정제하여 사용한다. 사용자가 실제로 입으로 부는 바람의 형태는 아래와 같다 (Figure 9 참조).

위 그림에서 보듯이 입으로 부는 바람의 크기는 처음에 컸다가 점점 크기가 작아지는 형태를 나타낸다. 모바일의 저가용 사운드 센서는 디테일한 소리의 크기까지 잡아내기 어렵다. 우리는 이 같은 한계점을 완화하기 위해 처음에 입력된 입 바람의 크기만으로 바람의 크기가 커졌다가 점점 작아지는 형태로 만들어 낼 수 있는 가중치 함수를 계산한다 (Equation 2 참 조). 아래 수식에서 r은 시간에 따라 감소하는 값이며, 본 논문 에서는 1에서부터 0.025씩 점차 감소하는 형태로 설정하였고, h는 바람의 크기에 영향을 주는 범위를 나타내며, 본 논문에서는 1로 설정하였다 (Equation 2 참조).

위 수식을 적용하면 Figure 10와 같은 가중치 함수를 계산할 수 있으며, 이 형태는 Figure 9에서 보이는 바람의 세기를 스펙트럼으로 표현한 결과와 비슷하다. Figure 9에서 보듯이 바람의 크기는 처음 불었을 때 커지며 그 뒤로 감소하는 특징을 보인다. 본 연구에서는 사운드 센서를 통해 들어오는 바람의 크기를 위 수식을 통해서 실제 바람과 유사한 형태로 정제하여 사용하였다 (Figure 10 참조).

모바일 디바이스에서는 저가용 사운드 센서를 사용하기 때문에 노이즈 제거를 위해 우리는 위에서 계산한 평균 값 필터 γ_mouth를 이용하여 입력 사운드의 크기를 정제하여 사용한다 (Figure 11 참조).

입 바람을이용한 인터페이스 부분이 벡터장으로 시뮬레이션 되려면 유체의 지배방정식인 Navier-Stokes 방정식에 입 바람 인터페이스 부분이 포함되도록 방정식을 일반화해야 한다. 유 체 운동을 나타내는 운동량 방정식의 미분 형태를 계산하기 위해, 우리는 질량 dm를 갖는 유체 입자에 뉴턴의 제2법칙을 아래와 같이 적용한다. 유한 시스템에 대한 뉴턴의 제2법칙은 다음과 같다 (Equation 3 참조).

여기서선형 운동량 P 는 아래 수식에 의해 계산 된다 (Equation 4 참조).

연속체적인 시스템에서 질량 dm에 대해 뉴턴의 제2법칙은 아래와 같이 쓸 수 있다 (Equation 5 참조).

속도장에서 움직이는 질량 dm의 가속도 수식을 얻은 다음 뉴턴의 제2법칙을 벡터 방정식으로 아래와 같이 다시 쓸 수 있다 (Equation 6 참조).

여기서 질량 dm과 부피 dV = dxdydz의 미분 요소에 작용 하는 힘 dF의 요소를 고려해야 한다. 일반적으로 유체 역학에 서 dF는 아래 수식과 같이 표면력(Surface force)과 체력(Body force)으로 구성된다 (Equation 7 참조).

표면에 작용하는 표면력은 아래와 같이 점성(Viscous force) 과 압력의 차(Pressure difference)로써 다시 쓸 수 있다 (Equation 8 참조).

체력은 유한한 전체 요소에 가해지는 힘이며, 일반적인 Navier-Stokes 방정식에서 중력은 유체에 작용하는 유일한 체력이다. 중력 대신에 앞에서설명한 입 바람 기반의 외력을이 용하여 수식1로부터 체력을 아래와 같이 재정의 한다 (Equation 9 참조).

마지막으로 체력은 중력과 함께 아래와 같이 계산한다.

여기서 U_wind는 입 바람으로 생성된 벡터장이며, 이 수식을 이용하여 Navier-Stokes 방정식을 아래와 같이 재구성할 수 있다.

Equation 11과 일반적인 Navier-Stokes 방정식의 유일한 차이점은 사용자로부터 정의된 잠재적 힘인 U_wind의 존재이다. U_wind(x)는 사용자가 입 바람을 불 때만 계산되기 때문에 계산 양이 크게 증가되지 않고 기존 유체 방정식과 쉽게결합된다.