가상 환경에서의 손동작을 사용한 물체 조작에 대한 시각적 피드백 시스템

광선 추적법을 기반으로 한 충돌 검사를 두 물체를 이루고 있는 모든 삼각형 쌍에 대해 수행해야 한다. 이때 두 물체를 이루고 있는 모든 삼각형 쌍에 대해 수행한다면 연산 시간이 오래 걸려 실시간으로 수행하기 어렵다. 따라서 실시간으로 충돌 검사를 수행하기 위해 전처리 과정으로 Wald 등이 제안한 기법[14]으로 kd-트리를 생성하였다. 충돌 검사를 수행할 물체에 대해서 kd-트리를 미리 생성하여, 광선이 지나가는 경로상의 분할 공간 안에 존재하는 삼각형들만 충돌 검사를 하여 불필요한 연산을 줄였다. 성능 향상을 위하여 추가하여 삼각형 쌍에 대한 충돌을 검사하기 전에, 먼저 충돌 검사할 물체를 둘러싸고 있는 AABB(axis-aligned bounding box)와 사용자의 손에 해당하는 모델의 AABB가 교차하는지 검사한다. 두 개의 AABB가 서로 교차하지 않는다면 해당 삼각형이 물체와 충돌하지 않는다고 판단한다. AABB가 교차한다면 Figure 1과 같이 실제 손을 추적하는 매 프레임에 대해서 손 모델을 구성하는 각 삼각형의 정점들로 삼각형 하나당 3개의 광선을 생성한다. 그리고 광선마다 전처리로 만들어 둔 물체의 kd-트리를 탐색하여 광선이 지나가는 공간에 존재하는 삼각형들과 충돌 검사를 수행한다.

광선과 삼각형들의 충돌 검사는 무게중심좌표 검사(barycentric coordinate tests)의 개선된 방법으로 Wald가 제안한 최적화된 투영 방법(projection method)을 사용한다[15]. 무게중심 좌표 검사는 광선이 삼각형을 포함하고 있는 평면과 만나는 교점을 구한 뒤, 구한 교점이 삼각형 내부에 존재하는지 확인하는 방법이다. 투영 방법은 무게중심 좌표 검사 방법을 개선한 것인데, 이는 무게중심 좌표와 삼각형을 다른 평면에 투영하여도 중심 좌표가 변경되지 않는 사실을 이용한 방법이다. 따라서 무게 중심 좌표와 삼각형을 2차원 좌표 평면인 XY, XZ, YZ 중 투영하는데, 이때 투영된 삼각형의 면적이 가장 큰 평면으로 투영한다. 또한, 추가하여 연산량을 줄이기 위하여 각 삼각형에 대해서 광선과 상관없이 교차 검사 때 필요한 정보를 미리 연산하여 저장함으로써 실시간 연산시 성능 최적화를 이루었다.

두 물체를 이루고 있는 삼각형 쌍에 대한 충돌 검사는 3D 모델을 구성하는 삼각형 수가 많을수록 연산량이 많아 실시간으로 처리하기 어렵다. 따라서 실시간으로 두 물체 간의 충돌 검사를 위해 CUDA기반의 GPU 병렬처리로 가속하였다. 이를 위해 충돌 검사에서 기준이 되는 물체의 kd-트리, kd-트리의 말단 노드에서의 삼각형 번호 리스트, 정점 정보를 미리 GPU 텍스쳐 메모리 저장하였다. 따라서 실시간으로 충돌 검사를 수행할 때, GPU에 저장된 정보를 참조하는 방법을 통해 CPU와 GPU 간의 통신을 최소화하여 불필요한 데이터 복사 연산을 피했다. 그리고 추적하고 있는 사용자 손 모델에 대한 정점 정보와 기준이 되는 물체의 좌표계로 옮겨주는 변환 행렬을 GPU 메모리로 복사하고, 이를 사용하여 앞서 설명한 물체 간의 충돌 검사 방법으로 구현된 커널을 호출해 실시간으로 두 물체 간의 충돌 여부를 확인하고 충돌 여부 결과만을 GPU에서 CPU로 전송하였다. 그리고 유니티 엔진에서 실시간 충돌 검사 함수를 사용하기 위해 CUDA로 구현한 충돌 검사 방법을 동적 링크 라이브러리(dynamic link library: DLL)로 구성하여 유니티 엔진에 이식하는 방식으로 구현하였다. 이는 Figure 2와 같다.

립모션 컨트롤러로 인식한 사용자의 손을 역기구학으로 재구성하기 위해 말단장치가 도달해야 할 목표 위치가 필요하다. 사용자의 손은 물체를 통과하여 잡고 있기때문에 손가락의 끝부분을 말단장치라고 하면 도달해야 할 목표 위치는 물체의 표면이 된다. 이를 위해 전처리로 해당 물체에 대해서 부호 거리 장을 생성하여 사용자가 손을 사용하여 물체를 조작할 때, 손가락의 말단장치는 물체 내부로 들어가게 된다. 이때, 부호 거리 장을 활용하여 손가락의 말단장치에서부터 물체 표면까지의 최단거리를 알 수 있고 부호 거리 장의 기울기(gradient)를 계산하여 방향을 알 수 있다. 따라서 손가락의 말단장치의 위치에서 계산한 기울기 방향으로 부호 거리만큼을 이동시킨 위치는 물체 표면에 존재하고 있고, 이를 목표 지점으로 사용하여 역기구학을 통해 사용자의 손가락을 재구성하였다.

앞서 기술한 바와 같이 역기구학이란 기구학 중 매니퓰레이터의 말단장치의 위치가 주어졌을 때, 관절각을 구하는 문제이다. 매니퓰레이터는 관절에 의해 연결된 링크로 구성된다. 매니퓰레이터에 n개의 관절이 있을 때, 관절각은 열 벡터 θ=(θ₁,..., θ_n)^T로 나타낼 수 있다. 그리고 링크의 어떤 지점을 말단 장치로 정의하였을 때, 말단장치의 위치를 열 벡터 $\overrightarrow{s}={\left(s_1,\dots ,s_n\right)}^T$로 나타낼 수 있다. 말단장치가 도달해야할 목표 지점은 열 벡터 $\overrightarrow{t}={\left(t_1,\dots ,t_n\right)}^T$로 표현가능하고, t_i는 i번째 말단장치의 목표위치이다. 말단장치가 목표 지점에 도달하기 위하여 이동해야 할 변화량은 $\overrightarrow{e}=\overrightarrow{t}-\overrightarrow{s}$이다. 말단장치의 위치는 관절 각의 함수이고 이를 $\overrightarrow{s}=\overrightarrow{s}\left(\theta \right)$로 표현할 수 있다.

역기구학 문제는 다음 식에서 θ값을 찾는 것이 된다.

위 식은, 함수 s를 자코비안 행렬 J로 선형근사화하여 반복적인 방법을 통해 계산할 수 있다. 이때, 자코비안 행렬 J는 다음과 같이 정의된다.

이를 정기구학을 위한 기본 식을 말단장치의 속도로 나타내면 다음과 같이 정리할 수 있다.

그리고 관절각 θ는 △θ에 의해 갱신된다.

또한, $\theta ,\overrightarrow{s},\overrightarrow{t}$를 알고 있다고 가정하면 J=J(θ)를 계산할 수 있다. 관절각의 변화에 대한 말단장치의 변화는 변화는 다음과 같다.

위 식이 한 번 수행되어 관절각을 갱신하면, 말단장치는 목표 지점 근처에 도달하게 된다. 말단장치가 목표지점에 충분히 근접할 때까지 반복하여 계산한다. 이 방법은 말단장치의 변화 $\overrightarrow{s}$가 근사적으로 $\overrightarrow{e}$와 같아지도록 △θ값을 선택해야 한다. 이는 다음과 같은 식으로 나타낼 수 있다.

역기구학은 말단장치의 변화로 관절 각의 변화를 계산하는 문제이므로 다음과 같이 자코비안 행렬의 역행렬을 사용하여 구할 수 있다.

하지만 대부분의 경우 자코비안 행렬이 정사각 행렬이나 가역 행렬이 아닐 수 있고, 가역 행렬이라도 특이 행렬에 가까우면 문제가 될 수 있다. 따라서 특이점이 발생하는 역행렬을 사용하는 것이 아닌 자코비안의 전치행렬을 사용하는 방법을 사용한다.

이때, 가중치 α를 적절하게 선택하여 수렴 속도를 빠르게 한다. α값을 선택하는 방법은 새롭게 갱신된 벡터 $\overrightarrow{e}$의 값을 최소화하는 것이다. 이 방법을 위해 말단장치의 변화가 정확하다고 가정하고, α값은 벡터 $\overrightarrow{e}$에 가능한 근접하게 해주는 값으로 선택한다. 이는 다음과 같다.

사용자의 손가락과 물체 간의 충돌이 발생하였을 시, 사용자의 손가락은 물체를 통과하기 때문에 사용자의 손가락의 말단장치를 물체 표면 밖으로 이동시켜 재구성하였다. 이는 Figure 3과 같다.

Figure 3(a)의 경우 말단장치를 목표지점으로 옮기기 전 상태이다. 이를 역기구학으로 Figure 3(b)와 같이 옮기기 위해, 먼저 자코비안 행렬을 정의해야 한다. 자코비안 행렬을 관절의 위치와 회전축으로 계산하면 다음과 같다.

여기서 A, B, C는 각 관절의 위치, R_A, R_B, R_C는 각 관절 A, B, C의 회전축을, E는 말단장치의 위치를 의미한다. 구한 자코비안의 전치행렬과 말단장치가 목표 지점에 도달하기 위해 이동해야 할 변화량을 나타낸 벡터를 곱하여 각 손가락 관절 각들의 변화를 구하였다. 구한 관절 각의 변화를 사용하여 순기구학(forward kinematics)으로 손가락 관절들의 위치와 각도를 갱신하는데, 이때 앞서 기술한 가중치 α를 사용하여 수렴 속도를 빠르게 하였다. 말단장치가 목표 지점에 충분히 근접할 때까지 반복 계산하여 손가락을 재구성하였다.

시각적 피드백 시스템은 앞서 기술한 바와 같이 먼저, 각 물체에 대한 kd-트리와 부호 거리 장을 전처리로 미리 생성한다. 이를 시각적 피드백 시스템을 시작할 때, 물체들의 정점 정보와 미리 생성해둔 물체들에 대한 kd-트리, kd-트리의 리프 노드(leaf node)에서의 삼각형 번호 리스트 정보를 GPU 텍스쳐 메모리에 저장한다. 또한, 물체들에 대한 부호 거리 장 정보는 메인 메모리에 저장하고, 부호 거리 장의 기울기를 계산하여 메인 메모리에 저장한다.

그리고 실시간으로 립모션 컨트롤러로 추적하고 있는 사용자의 손과 조작할 물체 간의 충돌 검사를 수행한다. 이때, “Bounds.Intersects”라는 유니티 엔진에서 제공하는 함수로 사용자의 손을 둘러싸고 있는 바운딩 박스와 물체를 둘러싸고 있는 바운딩 박스 간의 충돌을 검사한다. Figure 4는 사용자의 손과 물체의 바운딩 박스를 나타낸 것이다.

사용자의 손과 물체의 바운딩 박스 간의 충돌이 발생한 경우, 앞서 기술한 광선 추적법을 기반으로 한 사용자의 각 손가락과 물체 간의 충돌 검사를 수행한다. 사용자의 손과 물체의 좌표계를 일치시켜주기 위해 사용자의 손의 지역 좌표계에서 세상 좌표계로 변환하고, 세상 좌표계에서 물체의 지역 좌표계로 변환해주는 변환행렬과 사용자의 손가락의 정점 정보를 GPU 메모리에 저장한다. 이를 사용하여 광선 추적법을 기반으로 한 충돌 검사를 수행하는 CUDA 커널을 호출하여 사용자의 손과 물체의 삼각형들간의 충돌 검사를 수행한다. Figure 5(a)는 사용자의 모든 손가락과 물체와의 충돌이 일어나지 않았을 경우의 모습이다. Figure 5(b)는 사용자의 검지 손가락과 물체 간의 충돌이 일어나 손 전체의 색깔이 반투명한 빨간색으로 나타냈고, 손가락이 충돌한 물체 안으로 들어간 부분은 초록색으로 나타내어 충돌이 발생함과 손가락이 물체 안으로 들어간 정도를 시각적으로 알 수 있도록 구현하였다.

사용자의 손가락이 충돌이 발생한 경우, 물체 내부에 들어가 있는 손가락의 말단장치의 위치를 물체의 부호 거리 장의 해상도를 기준으로 정규화하여 부호 거리 장의 인덱스를 계산하여 부호 거리와 부호 거리의 기울기 정보를 가져온다. 그리고 손가락 말단장치의 위치에서 기울기 방향으로 부호 거리만큼 밀어낸 위치를 계산한다. 이는 물체의 표면에 위치하게 되고, 손가락의 말단장치가 도달해야 할 목표위치가 된다. 앞서 설명한 역기구학을 이용하여 손가락의 말단장치의 위치를 목표위치로 옮기기 위해 비선형 방정식을 풀어 손가락의 관절각들을 계산하여 손가락을 재구성한다. 이는 Figure 6과 같다.

시각적 피드백 시스템에서 움직이는 사용자의 손과 물체와의 충돌을 검사하면서 시각적 피드백을 위한 손을 보여주기 위해 립모션 컨트롤러로 실시간으로 추적하는 가상 손과 이와 같은 데이터를 받는 재구성을 위한 손을 각각 생성하였다. 실시간으로 추적하는 가상 손은 물체와의 충돌을 검사할 때 사용하고, 재구성을 위한 손은 가상 손이 물체와 충돌이 발생하였을 시 역기구학을 통해 손가락의 관절각을 계산하여 시각적 피드백을 주는 손으로 사용하였다. 이는 Figure 7과 같다. 손가락과 물체가 충돌이 발생하여 손이 반투명한 빨간색이 되고, 물체 내부로 들어간 손가락 부분은 초록색이 된다. 그리고 재구성한 손은 파란색으로 나타나 시각적 피드백을 할 수 있게 하였다.

구현한 손을 사용한 물체 조작에 대한 시각적 피드백 시스템이 실시간으로 올바르게 작동하는지 확인하였다. 실제 립모션 컨트롤러로 추적하고 있는 사용자의 손은 반투명한 빨간색을 띠게 하였고, 물체 안으로 들어간 손가락 부분을 초록색을 띠게 하였다. 그리고 재구성한 가상 손은 파란색을 띠게 하여 시각적 피드백 시스템의 결과를 확인하였다. Figure 8, 9는 가상 물체에 대한 조작을 하였을 때의 시각적 피드백 결과이다. 물체 안으로 들어간 사용자의 손가락에 대해 시각적 피드백이 올바르게 작동하는 것을 확인하였다.

Figure 9에서 토끼 물체의 몸통을 잡으면 앞서 확인한 공 물체와 같이 시스템이 제대로 동작하지만, Figure 10과 같이 토끼 물체의 귀의 경우에는 손가락이 귀를 뚫고 지나가는 문제가 발생한다.

문제가 발생하는 경우는 물체에서 얇은 부분을 조작하였을 때 발생하는데 Figure 11과 같이 물체의 얇은 부분 내부에 존재하는 부호 거리의 해상도가 부족하여 조금만 손가락이 통과하여도 표면에서 가장 가까운 곳의 방향이 반대로 향하게 되고, 손가락이 물체를 통과하는 방향과 같은 방향으로 밀어내게 되어 올바르지 못한 결과가 나온 것이다.

얇은 부분에서의 문제를 해결하기 위해 Figure 12와 같이 손가락이 물체를 통과하는 방향$\left(\overrightarrow{u}\right)$과 손가락 말단 장치의 위치를 사용하여 가져온 부호 거리 장의 방향$\left(\overrightarrow{v}\right)$의 내적을 사용하였다. 손가락이 물체를 통과하는 방향과 부호 거리 방향간에 내적을 취하여 얻은 값의 부호가 음수라면 두 벡터의 사잇각은 90∽180도 또는 -90∼-180도 이므로 올바른 시각적 피드백의 결과를 얻을 수 있다고 판단하여 기존의 방법처럼 손을 재구성하였고 또한 그때의 부호 거리 장의 인덱스를 저장해두었다. 만약 두 벡터를 내적하여 얻은 값의 부호가 양수라면 두 벡터의 사잇각은 0∼90도 또는 0∼-90도이므로 올바르지 못한 결과를 얻는다고 판단하여 기존의 방법이 아닌 올바른 결과를 얻었을 때 저장해둔 부호 거리 장의 인덱스를 가지고 손가락 말단장치의 위치가 이동해야 할 새로운 목표 위치를 계산하고, 기존의 역기구학 방법을 사용하여 사용자의 손을 재구성하여 시각적 피드백을 하였다.

본 논문에서 실험에 진행한 PC의 사양은 아래와 같다. 가상 현실 HMD(head mounted display)는 HTC사의 Vive Pro를 사용하였으며 Figure 13과 같이 립모션 컨트롤러를 HMD 전면부에 장착하여 실험하였다.

Figure 14, 15의 각각의 그림에서 왼쪽의 그림은 실시간으로 추적되는 손과 제안 시스템으로 재구성한 손을 동시에 나타낸 것이다. 중간의 그림은 실제 추적하고 있는 사용자의 손(빨간색)과 물체 안으로 들어간 손가락 부분(초록색)을 나타냈다. 오른쪽의 그림은 재구성한 가상 손만을 렌더링한 결과이다.

실험 과정에서 물체 표면에서 손이 움직일 때, 손가락이 불안정하게 떨리는 문제가 발생하였다. 이는 부호 거리 장의 해상도가 토끼 물체에 대해서는 128×128×104, 폰 물체에 대해서는 76×128×76과 같이 낮을 때 발생하였다. 물체 내부를 통과하여 들어간 손가락 말단장치의 위치를 사용하여 부호 거리 장의 인덱스를 계산하게 되는데, 해상도가 낮으면 물체 내부의 부호 거리의 개수가 적어 부호 거리값 간의 차이가 커지고 결국 손가락 말단장치가 이동해야 할 목표 위치를 계산할 때 오차가 커져 시각적 피드백이 올바르지 못한 결과가 나왔다. 이와 같은 문제는 해상도를 높이면 위와 같은 문제가 발생하지 않았다. 이는 물체 내부에 부호 거리의 개수가 많아 촘촘한 부호 거리 장을 가져 부호 거리값의 차이가 크지 않아 시각적 피드백의 결과가 올바르게 나오고 실험 과정에서 불안정하게 떨리는 문제가 발생하지 않았다.

날카로운 물체에 대해 발생하는 문제를 개선한 방법으로 실험을 진행하였다. Figure 16은 부호 거리 장의 해상도가 512×508×400인 토끼 물체의 귀에 대한 개선된 시각적 피드백 결과이다. Figure 17은 부호 거리 장의 해상도가 216×512×264인 의자 물체에 대한 개선된 시각적 피드백 결과이다.

기존의 방법의 경우, Figure 16(a)와 Figure 17(a)의 왼쪽 그림의 빨간색 원 부분을 보면 토끼 물체의 귀나 의자 물체와 같이 얇은 부분을 손으로 조작하였을 때의 시각적 피드백의 결과로 재구성한 손이 올바른 결과를 내지 못하고 손가락이 반대쪽으로 나가는 문제가 발생하였다. 이와 달리 개선한 방법의 경우, Figure 16(b)의 왼쪽 그림의 빨간색 원 부분을 보면 토끼의 귀를 조작하였을 때, 손가락이 반대쪽으로 나가지 않고 그 자리에 유지되는 것을 확인하였다. 또한, Figure 17(b)의 왼쪽 그림의 빨간색 원 부분을 보면 의자를 조작하였을 때, 시각적 피드백이 올바른 결과를 내는 것을 확인하였다.

표면이 고르지 못한 물체에 대해 시각적 피드백 시스템의 실험을 진행하였다. Figure 18은 부호 거리 장의 해상도가 480×512×508인 바이러스 구조 물체에 대한 시각적 피드백의 결과이다. Figure 19는 부호 거리 장의 해상도가 512×512×512인 기하학적 구조 물체에 대한 시각적 피드백의 결과이다. 바이러스 구조 물체의 돌기 부분이 아닌 매끄러운 표면에 대해 손을 사용하여 물체 조작을 수행하여 올바른 결과를 얻을 수 있었지만, Figure 18과 같이 물체 표면에 있는 돌기 부분에 대해 물체를 조작하였을 땐, 빨간색 원 부분을 보면 재구성한 손가락이 돌기를 통과하여 시각적 피드백이 올바르게 되지 않았다. 또한, Figure 19에서도 표면에 주름이 많고 돌기와 같은 부분이 많은 기하학적 구조 물체에 대해서도 동일한 문제가 발생하였다. 이는 시각적 피드백을 위한 부호 거리 장의 정보를 가져올 때, 물체의 표면이 고르지 않은 부분에 대한 부호 거리 장 정보의 변화가 커 문제가 발생하였다.