1. 서론
볼륨 렌더링은 3차원 볼륨데이터로부터 2차원의 투영 이미지를 생성하는 방법이다. 직접볼륨렌더링(DVR: Direct Volume Rendering)은 전이함수를 사용하여 투명도와 색상과같은 시각적정보를 각 복셀에 매핑하고, 광선을 통해 복셀 당 시각적 정보를 2차원의 스크린에 투영시켜 최종 이미지를 만들어 낸다 [1]. 전이함수를 통해 복셀의 시각적 특성을 쉽게 변경할 수 있기 때문에 사용자는 관심있는 특정 구조를 강조하거나 내부 구조를 볼 수있도록 표면을 투명하게 만들 수 있다. 이처럼 볼륨렌더링은 복셀의 광학 특성을 직접적이고 대화식으로 조작하여 3차원 의료영상 데이터의 구조를 분석하는 매우 강력한 방법이다. 그러나 볼륨렌더링은 복셀이 투명할 수 있기 때문에 2차원의 디스플레이에서는 볼륨렌더링의 결과 이미지에 존재하는 레이어들의 깊이 순서를 깊이 버퍼를 사용하는 매쉬 렌더링에서처럼 엄격하게정의 할 수 없다. 이는 3차원 데이터의 구조 식별에 크게 도움이될 수 있는 깊이인식을 사용하기 어렵게 하여 볼륨렌더링의 유용성을 제한한다. 예를 들어,3차원 데이터에 특정 부분을 선택하고 싶을 때 깊이 정보을 이용할 수 없으면 사용자는 그 부분의 위치를 추정하여 선택하고 데이터를 회전하여 확인하고, 다시 추정하여 선택하는 등의 수 많은 시행착오를 거쳐야만 3차원 상에서의위치를 파악할 수 있다.
최근 가상 현실에 대한 많은 발전은 볼륨렌더링의 품질의 향상 으로 이어질 수 있다. 가상 현실 디스플레이는 사용자가 수 많은깊이 큐를 사용할 수 있게 함으로써,3차원의 데이터를 그대로3차원으로 활용할 수 있게 해준다. 하지만, 하드웨어의 많은 발전에도 불구하고,3차원 렌더링은 많은 계산량으로 인해 멀미를일으키지 않는 충분한프레임재생 빈도를 확보하기는 쉽지 않다.더욱 볼륨렌더링은 광선 투사로 인해 다른 매쉬 렌더링 보다 더많은 계산량을 요구하기 때문에 가상현실에서의 고해상도의 안정적인 볼륨렌더링을 제공하기에는 상당한 어려움이있다. 또한스테레오스코픽 광선 투사에 기반한 볼륨렌더링에서 스테레오스코픽 카메라 설정을 통한 다른 시선 방향에서 진행한 두 개의 2차원으로의 투영 결과를 양 눈에 띄워 주었을 때 다른 매쉬 렌더링과 같이 효과적인 깊이인식이 나타나는지에 대해서는단정하기 어렵다. 또한 깊이인식의 향상이 이루어졌을 때, 특정 부분선택, 볼륨 분리, 비정상적인 부분 발견 등과 같은 볼륨렌더링에서 수행될 수 있는 작업들의 효율이 얼마나 증가가 되는지에 대한부분 또한 연구가 되지 않았다.
따라서 본 연구에서는 가상현실에서의 안정적인 실시간 고해상도 볼륨렌더링 시스템을 구축하고, 사용자 연구를 통해 이 시스템의 깊이인식 향상 효과와, 그에 따른 3차원 데이터의 특정 부분선택 작업의 효율 향상 효과에 대한 연구를 수행했다. 멀미를 일으키지 않는 충분한 프레임재생 빈도를 확보하면서도 고해상도의 볼륨렌더링 결과를 제공하기 위해, 포비티드(Foveated) 렌더링 방법을 광선 투사에 적용하였다. 이를 통해 전체적인 프레임재생 빈도를 향상시키면서도, 사용자의 중심시야각에는 충분한 품질의 결과를 제공 할 수 있다. 결과 검증을 위해 두 가지 다른사용자 연구를 진행하였다. 첫 번째 사용자 연구는 깊이 인식 시험을 통해 2차원 디스플레이의 볼륨렌더링 결과와 스테레오스코픽 광선 투사 기반의 볼륨렌더링 결과간의 깊이 인식의 정도의차이를 조사한다. 두 번째 사용자 연구는 깊이 인식이 존재하지않는 환경과 깊이인식이 존재하는 두개의 서로 다른 환경에서 볼륨렌더링의 특정 부분 선택 작업을 진행하여 깊이인식의유무에따른 볼륨렌더링 작업의 효율 변화를 조사한다.
2. 관련 연구
볼륨렌더링의 가장 주요한 목적은 3차원 볼륨 데이터의 구조를 효과적으로 이해할 수 있도록 하는 것이다 [2]. 하지만 볼륨렌더링은 매쉬 렌더링과 달리 불투명한 표면을 가지지 않는 반투명한 구조로 이루어져 있고 광선 투사로 인해 깊이 정보가 사라지게 되어 볼륨 데이터의 구조를 분석하기 쉽지 않다 [3]. 이러한 문제를 해결 하기 위해 효과적인 전이함수 디자인 [4, 5, 6], 다양한방법들을 통한 복셀 분류 [7, 8, 9], 볼륨 셰이딩 [10, 11] 등의연구가 진행되어 왔다. 하지만, 볼륨 데이터가 점점 복잡해 지고있어, 이러한 방법만으로는 볼륨데이터의 3차원 구조정보를 파악하는데 한계가 있다. 이에 대한 하나의 해결책으로써 광선 투사로 인해 사라지던 깊이 정보를 활용하려는 연구가 진행되어왔다. 그 중 하나로 Schott et al. [12]의 연구에서는 볼륨렌더링에 적합한 DOF 렌더링 알고리즘을 제안하여 깊이 정보를 추측할 수있도록 하였고, 이를 통해 볼륨렌더링에 의해 생성된 이미지에서각 부분의 깊이와 크기에 대한 이해도를 향상시킬 수 있었다. 이 연구의 방법을 사용하여 Grosset et al. [13]에서 깊이인식 차이에대한 사용자 연구를 진행하였다. 사용자 연구 결과 DOF 렌더링알고리즘은 3차원 볼륨 데이터에서 각 부분의 상관 깊이를 파악하는데 도움이 되었다. Mauderer et al. [14]의 연구에서는 안구추적기를 사용하여 2차원의 DOF를 볼륨렌더링의 최종 이미지에 적용함으로써, 안구 추적기와 DOF의 결합이 깊이 인식을 향상 시키는데 효과적이라는 것을 증명했다. 실질적인 깊이 정보를제공하는 것이 아닌, 2차원의 디스플레이에서 깊이 정보를 추측할 수 있게 하는 것만으로도 3차원 볼륨 데이터의 구조를 이해하는데 도움이 되었다. 하지만, 추측을 할 수 있게 하는 것이 아닌,실제 깊이 정보가 제공될 때, 3차원 볼륨 데이터를 이해하는데 얼마나 도움이 되는지에 대한 연구는 진행되지 않았다.
최근에는 하드웨어의 발전으로 가상현실에 대한 연구가 활발히 진행되고 있다. 가상현실은 디스플레이를 2차원에서 실제 우리가 인식하고 있는 3차원의 공간으로 확장시켜줌으로써, 2차원 디스플레이에 3차원 물체를 투영시켜 보여주던 방식에서 실제 3차원의 공간에 3차원의 물체를 띄워 보여 줄 수 있게 되었다. 이러한 발전은 3차원 볼륨 데이터를 다루는 볼륨렌더링의 발전에도 많은 도움을 줄 수 있으며, 이와 관련된 다양한 연구들이 진행되어 왔다. 그 중 하나로 Sousa et al. [15]의 연구에서는 가상현실에 볼륨렌더링 시스템을 구현하여 방사선 전문의가 주변 환경의 변화에 상관없이 3차원 볼륨 데이터를 일관되고 편리하게 분석할수 있게 하였다. 이 연구는 가상현실에서의 볼륨렌더링 시스템의 편리성을 입증하였으며, 사용자가 보고 있는 환경을 자유롭게조정할 수 있는 가상현실의 장점을 활용한 사례라고 할 수 있다.
하지만 가상현실에서 프레임이 재생 되는 속도가 일정 수준 이상으로 유지되지 못하면, 사용자는 쉽게 어지러움증을 느끼게되어 사용성이 급격히 감소한다. 이러한 문제점은 높은 계산량을 요구하는 볼륨렌더링을 가상현실에서 구현하는 데에 큰 문제점으로 작용한다. Patney et al. [16]의 연구에서는 안구 추적기와 가상현실을 결합하여 사용자가 응시하고 있는 방향만 프레임재 생 속도를 높게 유지 하는 방법을 사용하여 가상현실의 렌더링성능을 향상시켰다. 이 방법을 통해 사용자는 보고 있는 부분을선명하게 볼 수 있으며, 초점을 맞추고 있지 않은 주변 부분은 흐려지게 된다. 이러한 방법에서 착안하여 우리는 볼륨렌더링에서 지역에 따라 광선 투사법의 샘플링 빈도수와 광선의 개수를 조절하는 방법을 통해 가상현실에서 고해상도의 실시간 볼륨렌더링이 가능한 시스템을 구축한다.
3. 가상현실에서의 실시간 고해상도 볼륨렌더링 시스템
고해상도의 볼륨렌더링 결과를 얻기 위해서 광선 투사법의 샘플링 빈도를 높이게 된다. 하지만, 샘플링 빈도가 높아질수록 계산량이 증가하게 되며 볼륨렌더링의 전체적인 프레임재생 속도가 낮아지게 된다. 그렇기 때문에 가상현실에서 사용자들이 어지러움증을 느끼지 않을 정도의 높은 프레임재생 속도를 유지하면서 고해상도로 볼륨렌더링을 진행하기에는 어려움이있다.
이를 해결하기 위해, 본 연구에서는 사용자의 응시점을 기준으로 거리에 따라 샘플링 빈도를 조절하는 포비티드 볼륨렌더링 방법을 통해 사용자가 보고자 하는 부분은 선명하게 렌더링하며 주변 부분은 낮은 해상도로 렌더링한다. 이를 통해 사용자가느끼는 볼륨렌더링의 품질은 유지함과 동시에 높은 프레임재생속도를 유지할 수 있게 하여 가상현실에서의 실시간고해상도 볼륨렌더링 시스템을 구축했다.
본 연구는 3차원 GPU를 기반으로 하는 직접볼륨렌더링 시스템 [17] 과 복셀의 기울기(Gradient)를 법선 벡터로 사용하는 볼륨퐁 쉐이딩 모델 [18] 을 기반으로 한다. Figure 1는 일반적인 직접 볼륨렌더링 시스템을 나타낸다. 물체와 카메라의 좌표계는 (b)와 같이 나타낼 수 있으며, 카메라와 물체 사이의 가상의 스크린에 광선을 쏘아 부딪히는 복셀들의 시각적 정보를 모으는 광선 투사법을 진행한다. 이때 광선의 진행 속도를 조절하여 샘플링빈도를 조절할 수 있다.
본 연구에서 구현한 포비티드 볼륨렌더링 시스템에서는 사용 자가 응시하는 곳을 중심으로 샘플링 빈도를 조절하게 된다. 즉, 사용자의 응시점은 가장 높은 빈도로 샘플링을 진행하게 된다.
광선의 샘플링 빈도를 조절하기 위해서 사용자의 응시점을 찾고, 응시점으로부터 거리를 기반으로 광선의 진행 속도를 조절 한다. 응시점을 찾는 방법은 [8] 에서 2차원 화면에서 사용자가한 부분을 클릭했을 때 동일 선상에 위치한 구조 중 어떤 구조가 선택하고자 의도한 구조인지 찾는 방법과 유사하다. Figure 2은응시점을 찾는 방법을 나타낸다. 화면의 중심점에 광선을 쏘아알파 합성을 진행하며, 이때 사용되는 알파 값이 일정 값보다 크게 되는 위치까지 진행한다. 이 위치를 사용자가 보고자 의도한부분이라고가정하며 응시점으로 결정하게 된다. 이응시점과 현재 샘플링 위치의 거리를 통해 다음 광선의 진행 속도를 결정한 다. Figure 3은 거리에 따른 샘플링 빈도의 변화를 설명한다. 가장높은 샘플링 빈도와 가장 낮은 샘플링 빈도의 차이를 조절할 수 있으며, 차이가 클수록 높은 렌더링 성능 향상을 기대할 수 있지만, 응시점과 주변 부분의 이질감이 생길 수 있다. 본 연구에서는가장 높은 샘플링 빈도와 가장 낮은 샘플링 빈도의 차이를 다섯배로 설정하였다.
가상현실 헤드셋의 위치 및 회전 방향 추적을 통해 사용자의 눈의 위치를 파악한다. 또한 사용자의 컨트롤러를 통한 데이터와 상호 작용으로 데이터의 크기, 회전 방향, 위치가 결정된다. 이 정보는 서버로 전달되어, 서버에서는 스테레오스코픽 광선 투사를 진행하여 각 눈의 위치에 따른 볼륨렌더링 결과를 생성하고 가상현실 헤드셋으로 전송한다. 이 과정은 실시간으로 일어나게되며, 이를 통해 가상현실에서 사용자와 상호작용이 가능한 볼륨렌더링을 구현한다.
스테레오스코픽 영상을 만들기 위하여, 볼륨 데이터를 좌표계의 중심에 고정하고 카메라를 양 눈의 위치에서 각각 광선 투사를 진행하게 된다. 사용자의 위치는 가상현실 헤드셋의위치와 방향에 따라 결정되며, 이 위치를 기반으로 사용자의 양 눈의 위치를결정하게 된다. 양 눈 사이에 거리는 65mm를 기준으로 설정하였으며, 사용자에 따라 조정이 가능하다.
사용자는 VIVE의 전용 컨트롤러를 사용하여 정해진 동작을 통해 볼륨 데이터와 상호작용 할 수 있다. Figure 4는 VIVE 컨트롤러에서 사용자가 사용할 수 있는 버튼과 각 버튼의 역할을 나타낸다.전면 버튼을 누른채로 컨트롤러를 위로 움직이면 볼륨 데이터가 확대되고 아래로 움직이면 축소된다. 후면 그립 버튼을 누른상태에서 컨트롤러를 회전하면 컨트롤러의 회전방향으로 볼륨데이터를 회전시킬 수 있다. 측면 버튼을 누른채로 컨트롤러를 이동하면 볼륨데이터가같은 방향으로 이동하게 된다.
본 연구에서는 볼륨렌더링을 위해 Intel i7-6700 CPU, 64GB RAM 및 NVIDIA GTX1080 8GB GPU를 사용하였고, 가상현실 을 위해 HTC VIVE HMD를 사용하였으며, 사용자와 볼륨데이터 간의 상호 작용을 위해 HTC VIVE의 전용 컨트롤러를 사용했다. 또한 생성한 스테레오스코픽 영상을 HMD에 띄우기 위해OpenVR 라이브러리를 사용했다.
Table 1은 퐁 쉐이딩과 광선 상의 복셀의 개수의 두배의 샘플링빈도가 적용된 고해상도 볼륨렌더링을 일반적인 가상현실 볼륨렌더링 시스템과 본 연구에서 구현한 포비티드 볼륨렌더링 시스템에서 진행했을 때의 렌더링 속도를 비교한다. 이 표에서 볼 수있듯이 포비티드 볼륨렌더링 시스템은 일반적인 볼륨렌더링 시스템보다약 두배 빠르며, 2563 볼륨 데이터를 초당 최대 약 80 프레임으로 렌더링 할 수 있다. 따라서 사용자에게 가상현실에서의 고해상도의 부드러운 볼륨렌더링 경험을 제공할 수 있다.
| Frames Per Second | |||
|---|---|---|---|
| Data | Size | VR | Foveated VR |
| CT-XMasTree | 256x248x256 | 35 | 62 |
| MRT-Aneuyrism | 256x256x256 | 41 | 81 |
| CT-Head | 512x512x452 | 5 | 12 |
4. 사용자 연구
본 연구에서는 가상현실이 볼륨렌더링의 유용성에 어떤 영향을 미치는지 측정하기 위해 사용자 연구를 진행한다. 이를 위해 두개의 사용자 연구를 수행한다. 첫 번째 연구는 2차원에서의 심도가 적용된 볼륨렌더링 시스템과 가상현실에서 볼륨렌더링 시스 템의 깊이 인식의 차이를 조사한다. 두 번째 연구는 볼륨 데이터에서 특정 부분을 선택하는 실험을 통해 깊이 인식의 유무에 따른 볼륨렌더링의 유용성의 차이를 조사한다.
첫 번째 사용자 연구는 2차원 DOF 볼륨렌더링 시스템과 가상현실 볼륨렌더링 시스템이 제공하는 깊이인식의 차이를 알아보기위해, 참가자들에게 두 시스템을이용하여 특정 과제를 수행하게 한다. 본 연구에서는 더 높은 깊이 인식을 가진 시스템을 사용할때 사용자가 볼륨 데이터상의 구조들을 더 정확히 구분할 수 있을 거라 가정하여, 각 시스템상의 볼륨 데이터의 특정 세 구조의깊이 순서를 추측하는 과제를 구성하였다. 각 과제에서 사용된 볼륨데이터에는 빨강, 초록, 파랑 세 가지 색의 동그라미를 통해특정 세 구조가 표시되어 있다. 각 동그라미 옆에는 1, 2, 3의 번호가 표기되어 있으며, 사용자는 볼륨 데이터를 관찰하여 세 구조의깊이 순서를 추측한 후, 자신이 추측한 순서를 위 번호를 이용하여 응답한다. 실험 전, 참가자들의 연령, 성별, 가상현실 경험도,가상현실에 대한 흥미, 볼륨렌더링에 대한 지식을 조사하는 사전설문을 진행한다. 실험에 시간 제한은 없으며, 참가자는 답을확신할 수 있을 때까지 볼륨 데이터를 충분히 관찰한 후 깊이 순서를 응답한다.
기존 2차원 볼륨렌더링 시스템에서는 광선 투사로 인해 깊이 정보가 사라진다.2차원 DOF 볼륨렌더링 시스템과 가상현실 볼륨렌더링 시스템은 서로 다른 방법으로 기존 2차원 볼륨렌더링 시스템의 부족한 깊이인식을 보완하고 있다. 본 연구에서는 2차원의 디스플레이에서 깊이 정보 추측을 도와주는 2차원 DOF 볼륨렌더링 시스템보다 실제 깊이 정보를 제공하는 가상현실 볼륨렌더링 시스템이 데이터의 특성에 상관 없이 더 높은 깊이 인식을제공하여, 사용자는 볼륨 데이터 안의 구조들의 깊이 순서를 더정확히 추측할 수 있을 것이라 가정한다. 볼륨 데이터 안의 구조들이 겹쳐져 있으면 구조들의 깊이 추측이 더 어려워지므로, 본연구에서는 깊이인식에 영향을 미치는 볼륨 데이터의 특성을 데이터 안의 구조들의 분리 상태로 정의한다. 따라서 볼륨 데이터안의 구조들이 서로 분리되어 있을 경우와 구조들이 서로 겹쳐져있을 경우, 두 가지 경우에 따라 두 개의 가설을 설정하였다.그리고 본 연구에서는 볼륨렌더링에서 주로 사용하는 실제 볼륨데이터(인위적으로 만들어지지 않고, CT나 MRI 등의 영상 기술을 통해 얻어진 볼륨 데이터)를 사용했을 때에도 가상현실 볼륨렌더링 시스템이 더 높은 깊이인식을 제공하는지 검증하기 위해 하나의 가설을 추가로 설정하였다. 따라서 본 연구에서는다음과같이 총 세 개의 가설들을 설정하였다.
-
가설 1: 실험에 사용되는 볼륨 데이터 안의 여러 구조들이 서로 분리되어 있을 때, 2차원 DOF 시스템보다 가상현실시스템이 더 높은 깊이인식을 제공하여, 사용자는 2차원 DOF시스템에서보다 가상현실 시스템에서 구조들의 깊이 순서를 더 정확히 추측할 수 있을 것이다.
-
가설 2: 실험에 사용되는 볼륨 데이터 안의 여러 구조들이서로 겹쳐져 있을 때, 2차원 DOF 시스템보다 가상현실 시스템이 더 높은 깊이인식을 제공하여, 사용자는 2차원 DOF시스템에서보다 가상현실 시스템에서 구조들의 깊이 순서를 더 정확히 추측할 수 있을 것이다.
-
가설 3: 실제 볼륨 데이터를 사용할 때, 2차원 DOF 시스템보다 가상현실 시스템이 더 높은 깊이 인식을 제공하여, 사용자는 2차원 DOF 시스템에서보다 가상현실 시스템에서 구조들의 깊이 순서를 더 정확히 추측할 수 있을 것이다.
총 30명의 참가자가 이 사용자 연구 실험에 참가했다. 참가자들의연령은 20세와 28세 사이 (평균 22.53세, 표준편차 2.31세)이며, 13명은 남성, 17명은 여성이었다. 참가자의 가상현실 사용 경험이 실험 과제의 결과에 영향을 미칠 수 있으므로, 참가자의 가상현실 관련 경험을 조사하였다. 사전설문조사에서 참가자들 중 16명은 가상현실 관련 경험이 전혀 없다고 답했고, 12명은 가상현실 게임을 체험하거나 가상현실 영상을 감상하는 등의 1회에서 5회 사이의 경험이 있다고 답했다. 그 외 2명 중 한 명은 약 세달 동안 가상현실 비디오를 관찰했다고 답했고, 나머지 한 명은 가상현실 관련 프로그램을 개발한 적이있다고 답했다. 참가자들은 가상현실에 대한 흥미를 1(낮음)에서 7(높음) 사이의 숫자로 답했는데, 그 결과 평균 4.8, 표준편차 1.56 이었다. 총 30명 중 3명의 참가자가 볼륨렌더링에 대한 배경지식을 가지고 있었다.
참가자들은 2차원 DOF 시스템과 가상현실 시스템에서 볼륨 데이터의 특정 세 구조의 깊이 순서를 추측하는 과제를 수행한다. 이 실험에는 총 6개의 테스트 데이터를 사용하며, 테스트 데이터의 정보는 Table 2를 통해 확인할 수 있다. 가설 검정을 위해테스트 데이터는 실제 볼륨 데이터와 인위적으로 만들어진 데이 터를 모두 포함한다. 참가자는 두 시스템을 각각 사용하여 과제를수행하게 되는데, 테스트 데이터를 두 개의 데이터셋(데이터셋 1: Bonsai, XMasTree, Sphere 1, 데이터셋 2: Aneuyrism, Neghip, Sphere 2)으로 나누어 각 시스템에서 서로 다른 데이터셋을 사용하게 한다. 그리고 참가자들의 시스템 사용 순서를 고르게 섞어,시스템 사용 순서에 따른 영향을 최소화 한다. 이러한 설정을 위해 우리는 참가자들을 4개의 그룹으로 나누었다. 각 그룹의 시스템 사용 순서와 각 시스템에서 사용한 데이터셋은 Table 3을 통해확인할 수 있다. 각 시스템에 따른 실험 설계는다음과같다.
| Data | Type | Size |
|---|---|---|
| Bonsai | CT | 256x256x256 |
| XMasTree | CT | 256x248x256 |
| Aneuyrism | MRT | 256x256x256 |
| Neghip | Simulation | 64x64x64 |
| Sphere 1 | Synthetic | 256x256x256 |
| Sphere 2 | Synthetic | 256x256x256 |
2차원 DOF 시스템: 참가자들은 모니터 상에 나타난 이미지를보고 실험 과제를 수행한다. 각 테스트 볼륨 데이터 당 하나의 이미지셋이 주어진다. 본 연구에서는 2차원 DOF 볼륨렌더링 시스템을 통해 테스트 볼륨 데이터를 미리 렌더링 한 후, 그 결과를 이미지셋으로 만들어 모니터상에 나타낸다. 이는 사용자가 실험중에 테스트 볼륨 데이터를 변형시키거나 회전함으로써 볼륨에 대한 깊이 정보를 얻는 것을 막고, 오직 2차원 DOF 시스템이 제공하는 깊이 인식을 통해 깊이 정보를 얻을 수 있게 한다. 하나의 이미지셋은 총 4개의 이미지로 구성된다(Figure 7). 첫 번째 이미지(Figure 7a)는 모든 부분에 초점이 맞춰진 볼륨 데이터가 렌더링 된 이미지이다. 참가자가 깊이 순서를 맞춰야 하는 3개의 특정구조가 이미지상에 표시되어 있다. 나머지 세 이미지(Figure 7b, Figure 7c, Figure 7d)는 각각 첫 번째, 두 번째, 세 번째 구조의 깊이에 초점을 맞춰 DOF 효과가 적용된 볼륨 데이터를 렌더링한 이미지이다. 이 실험에서 참가자들은 먼저 첫 번째 이미지를 통해 주어진 특정 세 구조와 각 구조에 부여된 숫자를 파악한다.그리고 각 구조의 깊이에 초점을 맞춰 DOF 효과가 적용된 나머지 세 이미지를 관찰함으로써, 세 구조의 깊이 정보를 파악하고 깊이 순서를 추측하여 응답한다. 위 과정을 총 3개의 볼륨 데이터에 대해 진행한다.
가상현실 시스템: 참가자들은 HMD를 착용하여 가상현실상에 렌더링 된 볼륨을 관찰하고, 주어진 세 특정 구조의 깊이 순서를 추측한다. 사용자가 실험 중에 테스트 볼륨 데이터를 변형시키거나 회전함으로써 볼륨에 대한 깊이 정보를 얻는 것을 막고, 오직 가상현실 시스템이 제공하는 깊이인식을 통해 깊이 정보를 얻게 하기 위해, 참가자가 볼륨을 회전하거나 확대/축소할 수 없고 초기 설정 그대로 볼륨을 관찰하게 한다. 컨트롤러의 전면 버튼을 누름으로써, 가상현실 상의 참조 이미지를 띄운다(Figure 8b). 2차원 DOF 시스템 실험에서와 같이, 참조 이미지에는 참가자가 깊이 순서를 맞춰야 하는 3개의 특정 구조가 이미지상에 표시되어 있다. 버튼을 다시 누르면 참조 이미지가 사라진다. 컨트롤러의 후면 그립 버튼을 누르면 다음 테스트 볼륨으로 넘어간다. 참가자들은 참조 이미지를 통해 주어진 특정 세 구조와 각 구조에 부여된 숫자를 파악한 다음, 가상현실상의 볼륨을 관찰하면서 세 구조의 깊이 순서를 추측한다. 위 과정을 총 3개의 볼륨 데이터에 대해 진행한다.
참가자들은 2차원 DOF 시스템, 가상현실 시스템, 총 2개의 시스템을 이용하여 과제를 진행한다. 시스템 이용 순서는 참가자가 속한 그룹에 따라 다르며, 참가자 그룹에 따른 시스템 이용 순서는 Table 3를 통해 확인할 수 있다. 실험에 시간 제한은 없으며,참가자는 답을 확신할 수 있을 때까지 볼륨 데이터를 충분히 관찰한 후 깊이 순서를 응답한다. 각 시스템에 따른 실험 절차는 다음과 같다.
2차원 DOF 시스템: 먼저, 실험 진행자가 견본 이미지셋을 참가자들에게 보여주며 이미지셋을 구성하는 4개의 이미지에 대해 설명하고 참가자가 수행해야 하는 실험 과제에 대해 설명한다. 그후 실험이 시작된다. 참가자들은 이미지 셋을 보며 자신이 인지한 깊이 순서를 답하고, 진행자는 참가자들의 응답을 기록한다. 응답을 마치면 참가자는 마우스를 이용하여 다음 이미지셋으로 넘어간다. 총 3개의 이미지셋에 대하여 응답을 마치면 2차원 DOF시스템 실험은 종료된다.
가상현실 시스템: 먼저, 실험 진행자는 참가자들에게 실험 과제에 대해 설명하고 컨트롤러의 사용법을 알려준다. 그 다음, 참가자는 HMD를 착용하고 실험을 시작한다. 참가자들은 가상현실상의 볼륨 데이터를 관찰하며 자신이 인지한 깊이 순서를 답하고,진행자는 참가자들의 응답을 기록한다. 응답을 마치면 참가자는 컨트롤러의 후면 그립 버튼을 이용하여 다음 테스트 데이터로 넘어간다. 총 3개의 테스트 데이터에 대하여 응답을 마치면 가상현실 시스템 실험은 종료된다.
2D-DOF와 VR, 두 시스템 간의 사용자의 깊이인식 차이를 조사하기 위하여, 시스템과 테스트 데이터에 따른 정답률을 계산했다. 결과는 Table 4과 같다. 모든 데이터에서 2D 시스템보다 VR시스템에서 정답률이 더 높았다.
| Correct Answer Rate (%) | ||
|---|---|---|
| Data | 2D-DOF | VR |
| Bonsai | 33.3 | 60 |
| XMasTree | 6.7 | 40 |
| Aneuyrism | 0 | 46.7 |
| Neghip | 13.3 | 60 |
| Sphere 1 | 13.3 | 86.7 |
| Sphere 2 | 6.7 | 66.7 |
2차원 DOF 시스템에서 테스트 데이터에 따른 각 응답의 비율은 Figure 9와 같고, 가상현실 시스템에서 테스트 데이터에 따른각 응답의 비율은 Figure 10와 같다. 각 테스트 볼륨에 주어진 구조는 1번 구조, 2번 구조,3번 구조 총 3개이므로, 가능한 세 구조 의 깊이 순서는 123, 132, 213, 231, 312, 321 총 6가지이다. 각 차트에서 빨간 테두리로 표시된 응답은 해당 데이터에서의 정답을 의미한다. 대부분의 데이터에서 가상현실 시스템에서보다 2차원 DOF 시스템에서 응답의 비율이 더 고르다는 것을 차트를 통해 확인할 수 있다. 이를 수치적으로 확인하기 위해 두 시스템에서각 테스트 데이터 별로 응답 수의 표준편차를 구함으로써 응답 비율의 분포를 확인했다. 그 결과는 Table 5와 같다. Aneuyrism 데이터를 제외한 모든 데이터에서 가상현실 시스템보다 2차원 DOF 시스템의 표준편차가 더 작았고, 각 시스템에서의 표준편차의 평균 또한 2차원 DOF 시스템에서의 표준편차가 더 작았다. 따라서 2차원 DOF 시스템에서 응답의 비율이 비교적 더 고르게 분포한다는 것을 수치적으로 확인할 수 있다. 즉, 2차원 DOF 시스템은 가상현실 시스템과 달리, 응답의 일관성이 더 낮다는 것을의미하며, 이는 2차원 DOF 시스템의 깊이인식이 더 낮다는 것을의미한다.
| Standard Deviation | ||
|---|---|---|
| Data | 2D-DOF | VR |
| Bonsai | 1.378 | 3.728 |
| XMasTree | 1.871 | 2.501 |
| Aneuyrism | 2.950 | 2.429 |
| Neghip | 2.168 | 3.332 |
| Sphere 1 | 1.871 | 5.206 |
| Sphere 2 | 1.378 | 3.782 |
| Average | 1.936 | 3.498 |
볼륨 데이터 안의 여러 구조들이 서로 분리되어 있을 때, 두 시스템 간의 사용자의 깊이 인식 차이를 조사하기 위하여, 볼륨의 세 구조가 서로 분리되어 있는 Sphere 1 데이터의 실험 결과를 분석하였다. 먼저, Figure 11a를 통해 2차원 DOF 시스템의 정답률 (0.133)보다 가상현실 시스템의 정답률(0.867)이 더 높다는 것을확인할 수 있다. 더 정확한 검증을 위해 통계적 가설검정을 실시했다. 실험 결과값이 정규분포를 따르지 않아 (p<0.05), Mann-Whitney U 검정을 실시했다. 그 결과, 두 시스템 간의 정답률에 있어서 유의미한 차이가 나타났다 (Mann-Whitney U=30.000,p<0.001). 따라서 가설 1이 성립하며, 실험에 사용되는 볼륨 데이터 안의 여러 구조들이 서로 분리되어 있을 때, 2차원 DOF 시스템보다 가상현실 시스템이 더 높은 깊이인식을 제공한다고 말할수 있다.
볼륨 데이터 안의 여러 구조들이 서로 겹쳐져 있을 때, 두 시스템 간의 사용자의 깊이 인식 차이를 조사하기 위하여, 볼륨의 세 구조가 서로 겹쳐져 있는 Sphere 2 데이터의 실험 결과를 분석하였다. 먼저, Figure 11b를 통해 2차원 DOF 시스템의 정답률(0.067)보다 가상현실 시스템의 정답률(0.667)이 더 높다는 것을 확인할 수 있다. 더 정확한 검증을 위해 통계적 가설검정을 실시했다. 결과값이 정규분포를 따르지 않아 (p<0.05), Mann-Whitney U 검정을 실시했다. 그 결과, 두 시스템 간의 정답률에 있어서 유의미한 차이가 나타났다 (Mann-Whitney U=45.000, p=0.001). 따라서 가설 2가 성립하며, 실험에 사용되는 볼륨 데이터 안의 여러 구조들이 서로 겹쳐져 있을 때, 2차원 DOF 시스템보다 가상현실 시스템이 더 높은 깊이 인식을 제공한다고 말할 수 있다.
CT, MRI 등의 실제 볼륨 데이터를 사용할 때 두 시스템 간의 사용자의 깊이 인식 차이를 조사하기 위하여, 두 개의 실제 데이터셋의 실험 결과에 대하여 통계적 가설검정을 실시했다. 첫 번째 데이터셋은 Bonsai와 XMasTree 데이터로 구성되고, 두 번째 데이터셋은 Aneuyrism과 Neghip 데이터로 구성되었다. 결과값이 정규분포를 따르지 않아 (p<0.05), Mann-Whitney U 검정을 실시했다. 첫 번째 데이터셋에서, 두 시스템 간의 정답률에 유의미한 차이가 나타났다 (Mann-Whitney U=58.500, p=0.013<0.05).또한 두 번째 데이터셋에서도, 두 시스템 간의 정답률에 유의미한 차이가 나타났다 (Mann-Whitney U=46.500, p=0.002<0.05). Figure 11c는 첫 번째 데이터셋에서, 2차원 DOF 시스템의 정답률 (0.2)보다 가상현실 시스템의 정답률(0.5)이 더 높다는 것을 보여 준다. Figure 11d는 두 번째 데이터셋에서, 2차원 DOF 시스템의 정답률(0.067)보다 가상현실 시스템의 정답률(0.533)이 더 높다는 것을 보여준다. 따라서 가설 3이 성립하며, 실제 볼륨 데이터를 사용할 때, 2차원 DOF 시스템보다 가상현실 시스템이 더 높은 깊이인식을 제공한다고 말할 수 있다.
따라서 본 연구는 총 3개의 가설이 모두 성립함을 밝힘으로써,볼륨 데이터의 특성에 상관 없이 2차원 DOF 볼륨렌더링 시스템보다 가상현실 볼륨렌더링 시스템이 더 높은 깊이인식을 제공한다는 것을 검증하였다.
첫 번째 사용자 연구를 통해서 2차원에서의 심도가 적용된 볼륨렌더링 시스템보다 가상현실에서의 볼륨렌더링 시스템의 깊이 인식이 향상 된다는 것을 확인하였다. 두 번째 사용자 연구에서는 깊이 정보의유무에 따른 볼륨렌더링을 통한 작업의 정확도와 속도의 차이를 통해 깊이 정보가 볼륨렌더링을 통한 작업의 성능에 어떤 영향을 미치는지를 조사한다. 깊이 정보가 존재하지않는 시스템은 가상현실 헤드셋에 2차원 스크린을 띄워 볼륨렌더링 영상을 보여주게 되며, 사용자는 마우스를 통해 볼륨데이터와 상호작용하게 된다. 깊이 정보가 존재하는 시스템은 가상현실헤드셋을 통해 볼륨렌더링의 스테레오스코픽 영상을 띄우게 되며, 사용자와 볼륨데이터와 상호작용은 마찬가지로 마우스로 진행한다. 이 두 시스템에서 사용자는 볼륨 데이터의 특정 부분을 선택하는 작업을 진행하게 되며 오차와 수행 시간이 측정된다.이때 사용자는 특정 부분을 찾기 위해 데이터를 회전하고 확대 하는 등의 상호작용을 해야 하며, 특정 부분의 위치를 추정하여선택 마크를 통해 선택해야 한다. 선택 후에는 다시 데이터와 상호작용을 통해 선택이 정확히 되었는지 확인이 가능하며, 이에따라 선택 마크의 위치를 조절할 수 있다. 깊이 정보가 아닌, 선택 마크와 물체와의 겹침을 통해 깊이를 추정하는 것을 방지하기위해, 선택 마크는 항상 우선적으로 화면에 렌더링 되게 된다.
사용자가 깊이 정보를 활용할 수 있는 환경에서는 3차원 볼륨 데이터의 각 구조의 공간적 위치를 추정할 수 있기 때문에 선택해야하는 위치를 대략적으로 파악할 수 있어 선택 마크를 쉽게 목표지점에 가까이 위치시킬 수 있을 것이다. 물론 사용자는 이후에 정확한 선택을위해 데이터와 상호작용하는 과정이 필요하지만,처음 선택 마크를 위치시키는 과정이 깊이 정보가 없는 환경에서보다 훨씬 빠를 것이다. 또한, 선택이 정확히 되었는지 확인하는과정에서 깊이 정보가 존재하는 시스템은 더 적은 회전과 확대/축소 작용을 통해 상태를 확인할 수 있어, 전체적으로 깊이 정보가 있는 시스템이 더 빠른 시간안에 선택 작업을 끝낼 수 있을것이다.
선택이 정확히 되었는지 확인하는 과정에서 볼륨 데이터의 다른 구조가 선택 지점을 가리는 상황이 발생했을 시 제한된 시점에서 선택의 정확도를 판단해야 하므로, 깊이 정보가 존재하는 시스템이 더 정확한 판단을 할 수 있을 것이다.
결론적으로, 깊이 정보가 존재하는 시스템이 그렇지 않은 시스템 보다 특정 부분 선택 작업의 속도와 정확도가 모두 뛰어날 것이다.
총 8명의 참가자가 실험에 참가했다. 참가자들의 연령은 21세와 27세 사이이며 (평균: 23.75, 표준편차: 2.6) 남성은 6명, 여성은 2명이다. 사전 설문조사에서는 가상현실 경험도, 컴퓨터 능숙도, 볼륨렌더링 경험도에 대해 1 7(1: 낮음, 7: 높음) 단계로 조사하였다. 참가자들의 가상현실 경험도는 평균 3.9, 컴퓨터 능숙도는 4.9, 볼륨렌더링 경험도는 3.4이다.
-
기본 설정: 사용자는 가상현실 헤드셋을 착용하고 진행하며, 깊이 정보가 없는 시스템은 가상현실 헤드셋에 2차원 스크린을 띄워 볼륨렌더링을 진행한다. 깊이 정보가 있는 시스템은 가상현실 헤드셋에 스테레오스코픽 볼륨렌더링 영상을 띄워준다. 볼륨 데이터와 사용자와의 상호작용은 마우스로하게 되며, 왼쪽 버튼을 클릭한 채로 움직이면 볼륨을 회전,휠 버튼을 클릭한 채로 움직이면 볼륨 상하 좌우 이동, 오른쪽 버튼을 클릭한 채로 움직이면 볼륨을 확대 및 축소 시킬수 있다. 볼륨 데이터에서 선택해야 하는 특정 부분은 파란색으로 표시되게 된다. 처음에는 초록색 화면이 떠 있고, 키보드의 Shift 키를 누르면 2초뒤 실험이 시작되게 된다.
-
선택 작업: 사용자는 볼륨 데이터를 회전하고 확대/축소하는과정을 통해 선택해야 하는 부분을 찾아야 한다. 목표지점을 찾고 나면, 선택 마크를 생성하여 목표지점을 정확히 선택해야 한다. 선택 마크는 키보드의 Ctrl키를 누른 상태에서 마우스 왼쪽 클릭을 통해 생성할 수 있으며, 마우스 왼쪽 버튼을 클릭한 상태로 움직이면 위치를 조정할 수 있다. 또한, 마우스 휠을 통해 선택 마크를 앞 뒤로 이동시킬 수 있다. 사용자가 목표 지점을 정확히 선택했다고 생각될 시 키보드의 Shift 버튼을 눌러 다음으로 넘어가게 된다. 본 과정의 실제실험 화면을 Figure 12에서 볼 수 있다.
-
훈련 과정: 본 실험에 들어가기 전에, 실험을 진행할 수록 익숙해짐에 따라 실험에 영향을 주는 것을 방지하기 위하여, 충분한 훈련 과정을 거친다. 이 때 볼륨 데이터로는 256 × 256 × 256 크기의 CT-Lung 데이터를 사용하여 12번의 선택작업을 수행한다.
-
본 실험: 훈련 과정이 끝나고 나면 256 × 256 × 226 크기의 CT-Head 데이터를 사용하여 선택 작업을 12번 수행 한다. 이때 각 작업의 오차와 수행 시간이 측정된다. 오차는 실제목표 지점과 사용자가 최종적으로 선택한 지점의 중심 간의 거리를 측정하며, 수행 시간은 각 실험이 시작 된 시점부터 사용자가 Shift를 눌러 다음으로 넘어가기 전까지 측정한다.
-
진행 과정: 훈련 과정과 본 실험을 깊이 정보가 없는 시스템과, 깊이 정보가 있는 시스템에서 각각 진행한다. 참가자 중 4명은 깊이 정보가 없는 시스템을 먼저, 나머지는 깊이정보가 있는 시스템을 먼저 진행한다.
8명의 참가자가 각 시스템(두 시스템) 당 12번의 실험을 거쳐 총192번의 결과를 얻었으며, 이 중 10번의 결과는 사용자의 조작실수로 인해 실험을 완료하기 전에 실험이 종료되어, 결과 분석에 제외되었다. 수집한 결과의 분포는 Figure 13와 같으며, 오차의평균은 각 시스템이 19.5, 18.2mm, 시간의 평균은 각 시스템이 44.0, 34.9초로 나타났다. Kolmogorov-Smirnov 정규성 검정을 시행했을 때, 오차 결과의 유의확률은 깊이정보가 없는 시스템에서 0.0000006, 깊이정보가 있는 시스템에서 0.00002, 수행시간은 각시스템이 0.00003, 0.0001로 0.05보다 모두 작아 정규 분포를 이루지 못한다. 그렇기 때문에 MANN-WHITNEY-U 검증을 통해결과를 분석하였으며, 결과에서 오차는 두 시스템 간의 유의확률이 0.543으로 0.05보다 크기 때문에 두 시스템 간의 유의미한 차이를 보이지 않는 것으로 나타났다. 깊이 정보가 존재하지 않는시스템에서도 참가자들이 볼륨 데이터를 회전시키며 선택의 정확도를 확인할 수 있고, 다른 구조에 의해 목표 지점이 가려진다해도, 선택 결과를 확인하기엔 충분한 시점을 확보할 수 있었고,이로 인해 두 시스템 간의 정확도의 차이가 나이 않은 것으로 보 인다. 수행시간은 두 시스템 간의 유의확률이 0.03으로 0.05보다 작아 두 시스템 간의 유의미한 차이를 보이는 것으로 나타났다. 또한 깊이 정보가 있는 시스템의 수행 시간의 평균이 깊이 정보가 없는 시스템보다 9.1초만큼 적게 걸렸으므로, 깊이 정보가 존재할 때 볼륨 데이터의 특정 부분을 선택하는 작업에서 수행속도가 더 빠름을 알 수 있다. 따라서 귀무가설을 기각하고 대립가설을 채택함으로써, 깊이 정보는 볼륨렌더링 작업의 효율을 증가시킬수 있음을 알 수 있다.
5. 결론
본 연구에서는 가상현실 환경에서 사용자가 어지러움증을 느끼지 않도록 충분한 초당 렌더링 프레임 수를 확보하면서도 고해상도의 영상을 만들어 낼 수 있는 포비티드 볼륨렌더링 시스템을제안하였다. 이 시스템은 일반적인 가상현실 시스템보다 약 두배 빠른 성능을 보여주었다. 하지만 5123과 같은 큰 데이터에는 아직 충분한 렌더링 속도를 갖추지 못하였다. 향후 연구에서 대용량 볼륨렌더링의 가속화 및 최적화 연구를 진행할 계획이다. 또한 현재 시스템은 사용자가 바라보는 방향의 볼륨 구조 중 사용자에게가장 영향을 많이 미치는 부분을 응시점으로 설정하였 는데, 이는 사용자가 다른 투명한 구조에 초점을 맞추지 못하는 한계를 가진다. 이는 향후 안구 추적기를 통해 사용자의 응시점을 정확히 파악하여 볼륨렌더링에 적용하는 연구를 통해 해결할 수 있다.
사용자 연구는 가상현실 시스템을 통해 깊이인지가 볼륨렌더링의 성능 향상에 어떻게 기여하는지를 검증하였다. 첫번째 사용자 연구 결과에 따르면 가상현실 시스템에서의 볼륨렌더링은 2차원 화면에서의 심도를 사용한 볼륨렌더링보다 높은 깊이인지를 보여준다. 이는 사용자가 가상현실을 사용할 때 볼륨렌더링의 깊이 정보를 충분히 활용할 수 있다는 것을 의미한다. 두번째 사용자 연구 결과에 따르면 볼륨데이터에서 특정 부분 선택 작업을 할 때 깊이 정보를 통해 더 빠른 속도로 작업을 완료할 수 있었다.이는 깊이 정보가 볼륨데이터를 조작하는데 큰 역할을 했음을 알수 있다. 두 사용자 연구를 종합해 봤을 때, 깊이 정보를 충분히 활용할 수 있음은 볼륨렌더링의 유용성을 향상시킬 수 있으므로, 가상 현실이 사용자에게 깊이 정보를 충분히 활용할 수 있게해줌으로써, 볼륨렌더링의 유용성을 크게 향상 시킬 수 있다는것을 나타낸다. 본 사용자 연구는 소규모 인원으로 진행되었고, 결과가 정규분포를 따르지 않아 소규모의 집단에 적용이 가능한 통계적 분석인 MANN-WHITNEY-U 검증을 통해 결과를 분석하여 유용한 분석 결과를 얻을 수 있었다. 향후 연구에서 대규모 인원에 대한 사용자 연구 또한 필요해 보이며, 연령층, 가상현실의 경험도, 멀미의 수준 등으로 여러 집단을 나누고 집단에 따른 가상현실의 효과에 대한 사용자 연구도 진행되어야 할 것이다.
