근접한 물체 사이의 공간 관찰을 위한 보조 카메라 위치 최적화

본 논문에서 필요로 하는 바이섹터-서피스는 3차원 공간에서 서로 다른 두 물체 P와 Q가 있을 때, 이 둘을 각각 다른 영역에 포함되도록 나누는 2 차원 매니폴드(2D maniforld)이다. 바이섹터-서피스의 모양은 가능하면 두 물체 사이 공간의 한 가운데를 지나도록 만드는 것이 좋다. 향후 보조 카메라의 위치를 바이섹터-서피스 위에서만 위치할 수 있도록 제약조건을 준다. 이 제약조건을 이용하여 카메라의 몸체가 물체의 몸체 속으로 들어갈 수 있는 가능성을 차단할 것이다 (4.3 절 참고).

일반적으로 연속적인 표면을 가지는 정확한 바이섹터-서피스를 계산하는 것은 어려운 문제로 여겨지고 있다. 본 연구에서는 계산을 줄이기 위해 Xi Zhao[17]가 제안한 방법을 사용하였다. Figure 2는 이 방법을 2차원 모델로 추상화하여 표현한 것이다. 먼저 두 물체 P와 Q가 메시 모델이라고 가정하고, 두 메시 모델의 모든 꼭지점을 대상으로 드로네 삼각분할 (Delaunay triangulation)을 적용한다(그림 Figure2-(a) 참조). 다음, 드로네 삼각분할 결과를 이용해 보로노이 다이어그램 (Voronoi diagram)을 만든다(그림 Figure2-(b) 참조). 마지막으로 보로노이 다이어그램의 선분 중에서 P와 Q 사이에 연결된 드로네 삼각분할 선분을 교차하는 선분들을 모두 선택하여 하나의 선으로 연결한다. 이렇게 만들어진 선 (또는 3차원 공간에서는 2차원 매니폴드)이 바이섹터-서피스가 된다. Figure2-(b)에 빨간색 굵은 선으로 표시된 부분이 P와 Q 사이의 바이섹터-서피스이다. 이때 바이섹터-서피스는 무한하게 뻗어 나가며 생성된다. 따라서 마지막으로 바이섹터-서피스의 경계 범위를 정해주어 해당 범위 내에서만 생성이 되도록 한다.

Figure 2. (a) represents the Delaunay triangulation result with respect to the vertices of P and Q. (b) represents the Voronoi diagram of (a). The red thicker line represents the bisector-surface between P and Q.

Download Original Figure

이와 같은 방법으로 계산한 바이섹터-서피스의 모양은 비연속적이며 메시 모델의 꼭지점 분포에 따라 모양이 변한다는 단점이 있다. 특히 하나의 메시 모델 상에 있는 꼭지점들 사이의 거리가 지나치게 먼 경우 바이섹터-서피스 모양의 정확도가 떨어진다. 경우에 따라서는 바이섹터-서피스의 일부가 물체의 표면을 통과하는 부작용이 발생할 수 있다. 이 문제를 피하기 위해 3절에서 설명된 것과 같이 메시 모델의 표면에 꼭지점을 추가로 샘플링 하여 꼭지점 사이의 거리가 최대 약 1cm가 넘지 않도록 하였다.

Figure 3은 실제 3차원 메시 모델을 사용하여 계산한 바이섹터-서피스의 예를 나타낸다. 두 물체의 표면 위에 표시된 검은 점은 일정한 간격으로 샘플링 된 꼭지점을 나타낸다. 특히 하늘색 물체는 굴곡이 없는 평면이 많은 폴리곤으로 이루어져 있음에도 불구하고 많은 점이 샘플링 되어 있다. 반투명한 분홍색으로 렌더링 된 부분은 바이섹터-서피스의 메시 모델을 나타낸다.

Figure 3. Bisector-surface between two objects. Vertices were sampled at a regular distance.

Download Original Figure

보조 카메라의 위치를 찾기 전에 계산의 효율을 높이기 위해 보조 카메라의 위치가 될 수 있는 후보들을 먼저 탐색한다. 보조 카메라 위치는 제약 조건을 만족시키기 위해 바이섹터-서피스 메시 모델의 위에 있는 점으로 한정하였다. 계산에 이용된 바이섹터-서피스 메시 모델은 Figure 3과 같이 물체 표면의 점이 충분히 샘플링 되어, 두 물체에 겹치지 않으며 완곡한 형태를 보이고 있다.

보조 카메라의 위치 후보 집합을 찾기 위해 본 논문에서는 보조 카메라의 위치 c^A 와 관찰 위치 O 를 직선으로 연결한 선을 이용하였다. 이렇게 생성한 선이 다른 물체와 부딪히는 지점이 발생하면 어떤 물체에 의해 시야가 가려지는 곳이므로 보조 카메라 위치 후보에서 제외한다. 여기서 보조 카메라의 위치부터 관찰 위치까지 연결한 직선으로는 보조 카메라의 시야를 충분히 확보하기 어렵다. 그러므로 최소한의 시야를 확보하기 위해 직선이 아닌 두 물체 사이의 최소 거리인 p^O 와 q^O 사이의 거리를 지름으로 하는 원기둥을 이용한다. 생성한 원기둥 내에 다른 물체가 겹쳐지는지 여부를 판단하여 바이섹터-서피스 메시 모델의 점들 중에서 물체에 의해 시야가 가려지지 않는 점을 추려낸다. 이렇게 추려진 점들은 보조 카메라 위치 후보의 집합 ℂ로 정의한다.

4.2절에서 구한 보조 카메라 위치 후보 집합 중에서 임의의 위치에 보조 카메라를 위치시켰을 때, 보조 카메라의 시야에서 세 점 p^O, q^O, O 을 모두 확인할 수 있다. 그러나 바이섹터-서피스 메시 모델의 형태에 따라 보조 카메라가 비추는 화면이 메인 카메라가 비추는 화면과 비교했을 때 효율적인 화면을 보여주지 않는 경우가 발생한다. 예를 들어 보조 카메라 위치로 바이섹터-서피스 위에 있는 임의의 점을 선정하였다. 이 점이 다른 점들의 간격에 비해 먼 거리에 위치하면 보조 카메라가 점 O 에서 발생하는 충돌 위험을 관찰하기 어렵다. 또한, 선택된 점에 보조 카메라가 비추는 화면이 메인 카메라가 비추는 화면과 큰 차이가 없는 경우도 발생한다. 이러한 문제들을 해결하기 위해서 첫 번째로 바이섹터-서피스의 꼭지점 사이 거리를 조절할 수 있어야 한다. 두 번째로 메인 카메라가 비추는 화면과 보조 카메라가 비추는 화면이 비슷하지 않도록 조절하여야 한다. 위의 두 조건을 만족하여 보조 카메라가 효율적으로 물체 사이의 충돌 위험을 관찰할 수 있어야 한다. 본 논문에서는 위의 문제를 해결하기 위해 사용자가 직접 조작하는 메인 카메라의 위치와 방향을 이용하여 ℂ의 점들 중에서 보조 카메라의 위치를 최적화한다.

본 논문은 일반적인 3차원 투시도(perspective view)를 이용하여 공간을 표현한다. 이때 메인 카메라의 시점을 여러 방향으로 이동하였을 때, 두 물체의 형태를 파악하기 어려운 위치는 메인 카메라가 보고 있는 시점의 수직 방향이다. 간단한 예를 들어, 도미노 여러 개를 일렬로 세워놓고 첫번째 도미노의 정면에서 바라보면 뒤쪽으로 몇개의 도미노가 있는지 알 수 없다. 이는 도미노를 세워 놓은 측면에서 관찰해야 알 수 있는 정보이다. 본 논문에서도 계산을 최소화하고 실시간으로 두 물체 사이의 충돌 위험을 관찰하기 위해, 메인 카메라가 물체를 보는 방향과 수직 방향에서 점 O 를 관찰하는 보조 카메라의 위치를 찾기로 하였다. 본 논문에서 제안한 제약조건을 만족하는 보조 카메라의 위치 c^A을 찾기 위해 다음과 같은 식을 최적화해야 한다.

ℂ는 4.1절에서 구한 바이섹터-서피스 위의 점들 중 해당 위치에서 p^O, q^O, O 를 모두 관찰할 수 있는 연속적인 점들의 집합이다. c는 ℂ에 속하는 임의의 점이다. v^U는 ℂ에 속하는 임의의 점 c에서 메인 카메라의 방향 벡터이다. v^c는 임의의 점 c에서 관찰 위치 O 를 향하는 방향 벡터이다. (v^U)ⁿ, (v^c)ⁿ는 v^U와 v^c를 각각 정규화 (normalization) 하였다. c^U는 메인 카메라의 위치이다. 위의 식을 정확하게 최적화하기 위해서 바이섹터-서피스를 미분 가능한 연속적인 서피스로 표현해야 하나 계산의 복잡도가 높아진다. 본 연구에서는 계산 복잡도를 줄이기 위해 4.1절에서 제시한 바와 같이 Xi Zhao[17]의 방법으로 계산된 바이섹터-서피스 메시 모델의 꼭지점만을 대상으로 하여 이산적인 계산법을 적용하였다. 수정된 식은 다음과 같다.

𝔻는 바이섹터-서피스 메시 모델에서의 꼭지점 중 세 점 p^O, q^O, O 으로 충돌 없이 직선으로 연결 가능한 점들의 집합이다. d는 𝔻에 속하는 임의의 점이다. v^d는 임의의 점 d에서 관찰 위치 O를 향하는 방향 벡터이다. (v^d)ⁿ는 v^d를 정규화 하였다. w₁과 w₂는 실험을 통해 적합한 값을 찾았다(w₁ = 1, w₂ = 0.01).

위의 식을 통해 구한 보조 카메라의 위치 c^A에서 관찰 위치 O를 향하는 방향 벡터(O – c^A)는 메인 카메라의 방향 벡터와 수직이다. 이 위치는 두 물체에 의해 시야가 가려지지 않는다. 그러나 이 서피스는 Figure 3에서 확인할 수 있는 것처럼 두 물체보다 큰 크기로 생성된다. 따라서 c^A는 O 에서 충분히 먼 위치에 선택될 수 있다. 이러한 문제를 방지하기 위해 c^A가 O에서 일정 거리 이상으로 멀어지지 않도록 최대 거리를 주었다.

보조 카메라 위치를 한 번 최적화하는데 필요한 계산 시간은 P와 Q가 포함하는 꼭지점의 총 개수에 영향을 받는다. 가장 많은 계산을 차지하는 부분은 드로네 삼각화와 보로노이 다이어그램을 계산하는 시간이다. 본 연구에서는 계산의 효율성이 증명된 퀵헐(quickhull) 알고리즘[18]을 사용하였다. 실험결과 Intel(R) Core(TM) i7-6700 CPU를 장착한 컴퓨터에서 꼭지점의 수가 1700 개 미만일 때 보조 카메라 위치의 실시간 갱신이 가능함을 확인하였다.

최적화 계산에 비연속적으로 변화하는 파라메터 (꼭지점 위치)가 사용되므로 상황 변화에 따른 보조 카메라의 위치 변화도 비연속적일 수밖에 없다. 하지만, 비연속적인 카메라 위치 변화는 보기에 불편하고 사용자가 카메라의 현재 위치를 쉽게 인지할 수 없게 한다. 이 문제를 해소하기 위해서 보조 카메라 위치의 변화가 필요할 때 최적값을 바로 대입하지 않고 아래의 식과 같은 방법으로 현재 위치 $l_0^A$를 30ms마다 갱신하여 최적값에 점진적으로 수렴하도록 하였다.

본 실험은 3인칭 시점에서 두 물체의 충돌 위험 영역을 관찰한다. 본 논문에서 제시하는 보조 카메라의 효용성을 확인하기 위해 여러 가상 환경을 제작하여 실험하였다. 아래의 Figure 4와 Figure 5는 각각 두 가지의 물체가 근접하게 배치되어 있는 모습을 보여준다. 이때, 두 물체는 물체의 어느 부분도 충돌하지 않도록 조작하였다. Figure 4는 의자 모델에 도넛 모델이 걸쳐져 있는 모습이다. Figure 5는 컵 모양 모델 안에 막대 모델이 들어가 있는 모습이다. 두 그림 모두 고정된 물체가 근접하게 배치되어 있을 때, 충돌 위험 영역을 찾아낸다. 이 영역은 그림의 오른쪽 상단에 있는 서브 뷰-포트에서 확인할 수 있다. Figure 4와 Figure 5에서 볼 수 있는 빨간 점은 보조 카메라의 위치를 나타낸다. 결과적으로 빨간 점은 바이섹터-서피스 위에 존재하며 물체와 서로 겹치지 않는다(Figure 4에서 빨간 점이 물체와 겹치는 이유는 사용자가 빨간 점을 쉽게 확인 할 수 있도록 점의 크기를 크게 생성해서 생긴 것이다). 결과적으로 보조 카메라는 빨간 점의 위치에서 두 물체 사이에서 충돌이 발생할 수 있는 위치를 효율적으로 비추고 있는 것을 확인할 수 있다. 충돌 위험이 있는 영역이 다른 물체에 의해 가려지지 않으며, 두 물체의 영역을 모두 표시하여 이 영역의 거리 간격을 확인할 수 있다.

Figure 4. Chair and donut example.

Download Original Figure

Figure 5. Cup and stick example.

Download Original Figure

본 실험은 1인칭 시점에서 핸드 모션 인식 장치를 이용하여 가상 환경을 탐험하며 충돌 위험을 관찰한다. 실험을 진행하기 위하여 본 논문에서는 핸드 모션 인식 장치 중 하나인 립 모션 컨트롤러(Leap Motion Controller)를 이용하였다. 립 모션 컨트롤러는 특별한 센서를 손에 장착하지 않고 컴퓨터에 연결하면 쉽게 사용할 수 있다. 또한 간편한 사용법에 비해 3차원 공간의 손의 미세한 움직임까지 추출해 낼 수 있다는 장점을 가지고 있다. 따라서 손 동작의 미세한 움직임이 필요한 본 연구에서는 립 모션 컨트롤러를 핸드 모션 인식 장치로 이용하였다.

본 실험은 1인칭 시점에서 움직이는 물체와 고정된 물체 사이의 충돌 위험을 살펴보기 위해 Figure 6과 같이 가상의 놀이터 모델과 손 모델을 제작하였다. 놀이터 모델은 주어진 가상 환경에 고정되어 있는 모델이고, 손 모델은 핸드 모션 인식 장치를 이용하여 사용자가 보고 있는 1인칭 시점에서 상하좌우 움직이는 등 미세한 동작이 가능하도록 설정하였다.

Figure 6. Exploring 3D virtual world with first-person perspective. (a) and (c) are the main camera views (first-person views) at different times, and (b) and (d) are their secondary camera view, respectively. In (a) and (c), it is very difficult to say at which time the finger is in the hole. However, in (b) and (d), it is obvious that the finger in (d) is in the hole but not in (b).

Download Original Figure

본 실험은 크기가 비슷한 두 물체를 이용한 5.2절에서 수행한 실험과 달리 놀이터 모델이라는 큰 가상 환경에서 진행된다. 이때 계산 상의 효율을 위하여 두 물체 사이에서 충돌 위험이 있는 영역만 고려하도록 하였다. 이는 사용자가 조작하는 손 모델의 위치에 따라 일정한 영역에 속하는 메시 모델의 점들만 계산에 이용하는 방법으로 해결하였다. Figure 6은 5.3절에서 제안한 1인칭 시점의 가상 환경을 구현해 놓은 그림이다. (a)와 (c)는 사용자가 확인할 수 있는 사용자 인터페이스의 전체 화면을 나타내는 그림이고, (b)와 (d)는 보조 카메라의 시점을 비추어주는 서브-뷰포트를 확대한 그림이다. (a)와 (c)의 그림의 메인 화면을 살펴봤을 때, 1인칭 시점에서는 손 모델이 미끄럼틀 모델에 닿았는지 혹은 겹쳤는지, 물체를 통과하였는지 알아보기 어렵다. 이를 보조 카메라의 시점에서 비춰주는 화면인 (b)와 (d)를 통해 확인할 수 있다. (b)의 경우 손 모델의 손가락이 물체에 닿지 않은 것을 알 수 있 고, (d)의 경우 손 모델의 손가락이 미끄럼틀 모델의 입구를 통과한 것을 알 수 있다.

1인칭 시점에서 손 모델을 움직이다 보면 다른 물체와 겹쳐지는 문제가 발생한다. 이때 바이섹터-서피스도 물체 사이에 겹쳐져서 생성된다. 보조 카메라는 바이섹터-서피스 메시 모델의 꼭지점 위에 위치하기 때문에 이렇게 두 물체와 서피스가 겹친 경우 보조 카메라 시점에 문제가 발생한다. 두 물체가 겹쳐진 일부에 그 어느 물체 사이의 거리보다도 가까운 지점이 생기는데, 이 점을 보조 카메라가 관찰할 수 있어야 한다. 그러나 본 논문에서 제시한 방법으로는 이 점을 바라보는 위치가 물체 내부에 존재하는 바이섹터-서피스 꼭지점 위에 정해질 수 있다. 따라서 이러한 문제를 방지하기 위해 본 실험에서는 두 물체가 충돌하는 것을 막지 않지만, 두 물체 내부에 존재하는 바이섹터-서피스의 꼭지점은 제외하고 보조 카메라의 위치를 찾을 수 있도록 하였다.

본 논문의 효용성을 확인하기 위해 5.3절의 실험 방법을 이용하여 사용자 조사를 진행하였다. 실험은 두 가지 방법으로 진행하였다. 첫 번째는 보조 카메라가 없는 환경에서 손 모델을 이용하여 놀이터 모델의 입구에 올바르게 손 모델의 손가락이 들어갔는지 확인한다. 사용자가 손 모델의 손가락이 미끄럼틀 모델 주변에 겹치지 않고 올바르게 중점에 위치하였다고 생각하면 첫 번째 실험을 종료한다. 그리고 메인 카메라를 조작하여 손 모델이 정확한 위치에 도달하였는지 확인하고 걸린 시간을 확인한다. 다음으로 두 번째 방법을 진행한다. 두 번째 실험 방법은 보조 카메라가 있는 환경에서 첫 번째 실험을 동일한 방법으로 수행한다. 사용자는 고정된 메인 화면에서 서브 뷰-포트를 확인하며 손 모델의 손가락을 위치시킨다. 마찬가지로 손 모델이 정확한 위치에 도달하였다고 생각하면 실험을 종료하고, 정확한 위치에 도달했는지 여부와 걸린 시간을 확인한다.

실험을 위해 제약조건을 하나 두었다. 이는 메인 카메라의 위치를 고정하는 것이다. 본 논문의 효용성을 확인하기 위해 제작한 사용자 인터페이스는 프로그램을 처음 실행하였을 때, 메인 카메라가 가상 환경의 중앙에 위치하도록 되어있다. 이때, 피실험자들의 사용자 인터페이스의 조작 환경을 접해본 유무에 따라 화면의 중앙에서 미끄럼틀 모델의 입구를 찾는데 걸리는 시간이 차이가 났다. 이는 본 연구의 효용성을 확인하는데 꼭 필요한 과정이 아니라 생각된다. 따라서 메인 카메라의 위치를 Figure 6의 (a)와 (c) 같이 미끄럼틀 모델의 입구에 위치시켜 놓은 상태로 진행하였다.

본 실험은 대학생 10명(여자 4명, 남자 6명, 20~25세)을 모집하여 진행하였다. 실험 방법은 6.1절에서 소개한 방법으로 진행하였다.

첫 번째로 보조 카메라를 제공되지 않은 가상 환경에서 사용자는 손 모델을 미끄럼틀 모델의 입구에 통과시킨다. 실험을 진행하는데 걸린 시간은 평균 32초가 소요되었다. 10명의 피 실험자들 중 9명의 실험자가 두 물체끼리 충돌하거나 손 모양이 입구에 들어갔다고 판단하였다. 자세한 수치는 Table 1 과 같다. 두 물체가 충돌한 경우, 본 실험에서 제안하는 손 모델의 특성상 손가락이 미끄럼틀 입구에 들어갔으나 접혀져 있는 나머지 손가락들이 미끄럼틀의 입구가 아닌 부분과 충돌한 경우가 대부분이었다.

두 번째로 보조 카메라를 제공하는 가상 환경에서 같은 실험을 진행하였다. 피실험자들은 보조 카메라에 의해 두 물체 사이의 근접한 영역을 보여주는 서브 뷰-포트를 확인하며 손 모델을 미끄럼틀 모델의 입구로 위치시켰다. 두 번째 실험에서 피실험자들은 서브 뷰-포트를 확인하며 물체를 정해진 위치에 위치시키는데 첫 번째 실험에 비해서 평균 10초 가량 짧게 소요되었다. 또한, 10명의 피실험자 중에서 8명이 손 모델을 충돌 없이 정확한 위치에 위치시켰다. 피실험자 중 두 명은 손가락은 미끄럼틀 입구에 들어갔으나 접혀 있는 손가락 부분이 미끄럼틀 모델과 겹치면서 충돌이 발생하였다. 자동 보조 카메라를 이용한 두 번째 실험에서 두 명의 실험자만 실험에 성공하지 못했다. 이는 첫 번째 실험에서 한 명의 실험자만 성공한 것에 비해서 큰 성과라고 판단할 수 있다. 따라서 실험을 통해 본 논문에서 제안한 자동 보조 카메라의 효용성을 입증하였다.