가상현실에서의 3차원 드로잉을 위한 피드백 설계 및 효과 분석

가상현실에서의 깊이감은 현실을 묘사하는 것처럼 사실적인 표현을 하여 사용자가 몰입하는 데 중요하지만, 현실을 재 현한 것을 디스플레이를 통해 보게 되므로 두 눈의 수렴과 조절에 불일치가 발생하여 사용자의 시각 피로도는 증가하 게 된다 [6]. 정밀히 설계되지 않은 입체 화면의 경우 오히려 사용자의 시지각에 불편을 초래할 수 있으며 개인의 우세눈(eye dominance), 시력(visual acuity), 동공 사이 거리 (interpupillary distance) 등 정확한 깊이감 지각을 위해 고 려해야 할 변인을 충분히 반영하는 것이 중요하다 [7].

가상현실 콘텐츠에는 주로 시각, 청각, 촉각의 감각이 사 용되고 시각은 대부분의 콘텐츠에서 확인할 수 있었으며, 촉각을 통하여 깊이감, 공간감을 느낄 수 있었다 [8]. [9]에 의하면, 선 원근법과 공기 원근법이 깊이감 지각반응과 안 구운동반응에 영향을 미치는가에 관하여 실험한 결과, 원근 법 종류에 관하여 지각반응의 차이는 있으나, 안구운동반응에는 영향을 주지 않은 것으로 나타났다. [10]에 의하면, AR 기반 제품 디자인의 환경에서의 감각형 객체를 디자인하여 가상 객체의 촉감을 느끼게 하고 다차원 피드백(시각, 청각, 촉각)을 구현한 시스템을 시연한 결과, 몰입감 향상 방법들의 유용성에 대해 긍정적인 평가를 받았다.

가상환경에서의 다양한 피드백은 사용자 경험을 높인다는 연구 결과가 있다 [11]. 또한, 피드백에 관한 연구는 운동, 예술, 치료 등 여러 분야에 접목되어 연구가 진행되고 있다. 운동 분야에서는 운동 자세가 중요하므로 주로 사용자의 정확한 동작을 위해 피드백을 제공한다. [12]의 연구 결과에 따르면, 가상현실에서 고관절 운동 동작을 수행할 때 시각적 피드백을 주면 동작 오차가 유의하게 감소한 것을 확인 할 수 있다. 또한, [13]에 의하면, 필라테스 운동을 하는 동 안 전신 거울을 통해 자신의 자세 및 움직임을 시각적으로 확인하면서 운동했을 때가 그렇지 않은 경우보다 만성 뇌졸 중 환자의 정적 및 동적 균형 능력이 더 많이 향상된 것을 확인할 수 있다.

피드백은 음악 분야에서도 다양한 연구가 진행되고 있다. [14]에 의하면, 가상환경에서 악기를 연주할 때 햅틱 피드백을 제공하여 악기를 연주하는 느낌을 주었다. 사용자들은 햅틱 피드백에 긍정적인 반응을 보였고, 사용자가 입력에 대한 확신을 줄 수 있음을 확인하였다. 또한, [15]에 의하면, 두 개의 진동자가 부착된 암밴드를 이용하여 햅틱 피드백을 통한 현악기 연주자의 음정 교정을 돕는 HapTune 시스템을 개발하였다. 사용자 실험을 통하여, 현악기 교육에서 사용되 는 기존 시스템인, 시각 피드백을 이용한 크로매틱 튜너의 단점인 자세 오류를 유도하는 것과 악보 읽기를 방해한다는 점을 보완하면서 대등한 교육 효과를 보여주었다.

환자들의 더 효과적인 치료를 위해 감각 피드백을 통한 많은 연구가 진행되고 있다. [16]에 의하면, 다양한 생체 신호를 이용하여 글자를 타이핑하는 기술인 스펠러 기술을 이용하여 기존 RC 스펠러와 안구 검출 시스템 그리고 시각 피드백 기술을 결합한 RC-VF 스펠링 시스템을 제안하고 실험한 결과, 기존 방식보다 성능면에서 우수함을 입증하였다. 만성 뇌졸중 환자들의 보행훈련을 가상현실에서 시각 또는 청각 피드백과 함께 중재하여 평가한 결과, 전통적인 균형 훈련과 비슷한 중재 효과를 보였고 [17], 일어서기 훈련에서는 시각과 청각 피드백을 적용한 실험군이 대조군보다 일어 서기 동작의 질적인 향상에 효과를 보이고, 균형 능력에 효 과를 보였다[18]. 또한, 시각 피드백 자세균형 훈련 프로그 램을 통해 정상 20대 성인과 60대 고령자를 대상으로 실험 한 결과, 두군 모두 자세균형 능력에서 유의한 향상을 보인 것을 확인할 수 있다 [19, 20].

가상·증강현실에서도 피드백에 관한 다양한 연구가 진행 되고 있다. 가상환경에서 사용자에게 거리 정보를 제공하여 UI 조작을 실험한 결과, 햅틱 피드백의 감각 치환을 통해 고유감각과 시각 정보의 불일치를 일정 부분 해소할 수 있 다는 것을 확인할 수 있다 [21]. [22]에 의하면, 진동과 임팩 트가 결합된 햅틱 에츄에이터를 만들고 진동 피드백과 비교한 결과, 사용자들은 철과 나무에서는 진동과 임팩트가 결 합된 피드백을, 고무에서는 진동 피드백을 더 선호하였다. 진동과 임팩트가 결합된 피드백은 강체의 충돌 효과와 비슷 한 느낌을 제공하고 사실적인 충돌 효과를 느끼게 하는 것을 확인할 수 있다. [23]에 의하면, 촉각적 착각의 대표적인 Saltation 현상을 활용하여 플랫폼 환경에서 실험한 결과, 신체 외부 공간에서의 촉각적 피드백 전달이 가능한 것으로 나타났다. [24]에 의하면, 음향 반향판의 피드백을 이용하여 공간에서 스케치할 때 깊이 방향 오차를 줄여 모델과의 일치도를 증가시켰다. 터치스크린에서 펜을 이용하여 그리기 과제를 수행할 때 청각 피드백을 제공한 경우에 사용자의 만족감이 더 높았고 [25], 터치스크린 휴대전화를 사용하여 청각과 촉각 피드백을 실험한 결과, 청각 피드백이 촉각 피 드백보다 더 도움이 된다는 결과가 나타났다[26].

햅틱과 사운드 피드백이 깊이 정보를 보충하여 사용자의 위치 인식에 큰 도움이 된다는 연구 결과[27]를 통하여 본 논문의 실험에서도 긍정적인 효과를 보여줄 것으로 예상한 다.

가상현실에서의 드로잉 프로그램에는 대표적으로 Google 사 의 Tilt Brush와 Oculus 사의 Quill[28] 등이 있다. 이와 같 은 프로그램들을 활용한 예술도 나오고 있다. 국내 최초 VR 아티스트 염동균 작가의 가상현실 기술과 예술을 결합시킨 형태의 공연인 VR 드로잉 퍼포먼스를 예로 들 수 있다. VR 드로잉 퍼포먼스는 아티스트의 시점을 공유한 대형 스크린을 통해 다양한 퍼포먼스와 색다른 볼거리를 제공한다 [29].

가상현실과 증강현실에서의 드로잉에 관한 연구는 많이 이뤄지고 있다. 자유형 표면 모델링을 위한 새로운 프레임 워크인 SurfaceBrush [30]는 가상현실에서 스케치할 때, 사용자가 의도한 매니폴드가 없는 형태의 3D 표면으로 변환 하는 표면 처리 방법을 제안하였다. 연필 및 종이와 유사한 방식으로 태블릿 PC와 일반 용지를 사용한 3D 스케치 인터 페이스인 Napkin Sketch [31]는 핸드-헬드 혼합현실 기술을 사용하여 3차원 스케치를 하는데 투영 3D 스케치를 기반으로 3차원 표현을 만들고 스케치에서의 획에 내재된 기하학적 관계를 활용하는 one stroke 기술을 사용한다. [32]에서 는 스마트폰과 트래킹되는 펜을 가지고 스케치를 하여 객체를 생성하는 증강현실 기반 3D 스케치 시스템을 구성하였 다.

본 논문에서 개발한 가상현실 3차원 드로잉 시스템은 3차원 드로잉시 정확한 위치 입력을 위한 피드백의 효과를 검증 하기 위한 시험 시스템이며 자유로운 드로잉을 위한 시스템이 아니다. 사용자가 입력해야 할 정확한 위치는 예제 선 모델로 주어지며, 사용자는 가상현실 장치인 헨드-헬드 컨 트롤러를 이용하여 최대한 정확하게 주어진 선을 따라 그린다. 매 프레임마다 컨트롤러의 위치를 추적하여 주어진 선 모델과의 오차 거리를 계산하며, 사용자에게 다양한 종류의 피드백을 제공하여 입력 위치를 수정하는데 도움이 되도록 하였다. 본 연구에서 설계한 피드백은 시각, 청각, 촉각의 형태로 설계되었으며, 피드백을 제공하지 않는 경우와 시각, 청각, 촉각의 피드백을 각각 제공하는 경우를 비교하여, 피드백의 유무에 따른 효과와 피드백의 형태에 따른 차이를 분석한다.

가상현실에서 사용자는 컨트롤러를 이용하여 예제로 주어진 선 모델에 대해 따라 그리기를 수행한다. 컨트롤러는 가상 세계에서 붓의 형태로 보여지며 컨트롤러를 통해 입력된 위치 값을 연결하여 선으로 보여준다(Figure 4).

Figure 4: 3-dimensional drawing system.

Download Original Figure

사용자에게 주어지는 선 모델은 평면적인 모델과 입체적인 모델로 분류된다(Figure 5). 평면적인 모델에는 직선, S 선, 원형, 사각형이 있으며(Figure 5 (a)-(d)), 입체적인 모델 에는 나선과 불규칙 형태로 그려진 선들이 있다(Figure 5 (e)-(i)). 평면적인 모델을 따라 그리는 것은 현실 세계에서 종이나 캔버스 등 2차원 공간에 그림을 그리는 것과 유사하 지만, 입체적인 모델을 그리는 것은 깊이감이 필요한 3차원의 입력 작업으로 정확한 위치 입력이 어렵다.

Figure 5: Line shapes used in the experiment.

Download Original Figure

본 연구에서는 사용자가 선 모델을 따라 그릴 때 최대한 정확하게 그릴 수 있도록 시각, 청각, 촉각 방식의 피드백을 설계하고 단일 피드백을 제공한다.

사용자가 선 모델을 잘 따라 그린다면 피드백을 제공하지 않아도 되지만, 그렇지 못한 경우에는 피드백을 제공하여 상황을 인지하도록 도와준다. 사용자가 그리는 선과 주어진 선 모델과의 거리로 드로잉의 오차를 판단한다. 사용자가 그리는 선과 주어진 선 모델 사이의 거리가 멀다는 것은 드 로잉의 오차가 크다는 것이다. 드로잉의 오차 정도에 따라 피드백의 강도를 다르게 제공하기 위하여 오차의 범위를 3 단계로 구분하였다. 따라서 사용자가 그리는 선과 주어진 선 모델의 위치를 비교하여, 드로잉의 오차 정도에 따라 사 용자에게 제공되는 피드백의 강도가 달라진다. Table 1은 피드백 설계를 요약한 것으로 오차 거리에 따른 오차 단계 의 구분과 각 단계별로 구현된 시각, 청각, 촉각 피드백을 제시하였다.

시각 피드백은 화면에 나타나는 붓의 핸들 색상을 다르게 하여 사용자가 스스로 오차를 인지할 수 있도록 한다. Figure 6은 오차 단계에 따라 달라지는 붓 핸들의 색상을 보여준다.

Figure 6: Implementation of the visual feedback in (a) error level 1, (b) error level 2, and (c) error level 3.

Download Original Figure

청각 피드백은 사용자의 드로잉 오차 정도에 따라 빠르기 가 다른 같은 소리를 제공하여 사용자가 오차를 인지할 수 있도록 한다. 3 단계로 구분된 거리 오차에 따라 느린 템포, 중간 템포, 빠른 템포의 소리가 출력된다(Figure 7 (a)).

Figure 7: Implementation of the auditory feedback (a) and the haptic feedback (b).

Download Original Figure

마지막으로 촉각 피드백은 사용자에게 진동을 제공하여 사용자가 오차를 인지할 수 있도록 도와준다. 진동은 가상 현실 장비인 컨트롤러에 내장된 기능을 활용하였다. 진동 주파수와 진폭을 변경하여 진동의 세기를 조절할 수 있다. 사용자의 드로잉에 방해가 되지 않도록 드로잉 시 사용하지 않는 손의 컨트롤러에 진동을 출력한다. 앞의 두 피드백과 동일하게 촉각 피드백도 거리 오차에 따라 3단계로 구분되 어 있으며 오차가 클수록 진동의 세기를 강하게 하였다 (Figure 7 (b)).

본 시스템은 Unity 3D 2018.3.1.f1 엔진과 SteamVR 플러그인을 통합하여 개발하였으며, 가상현실 장비는 HTC Vive Pro를 사용하였다. 실험 참가자는 가상현실 헤드셋을 착용 하고 양손에 컨트롤러를 쥔 상태로 실험에 참여하였다.

Figure 5의 선 모델을 포함하여 총 11개의 선 모델을 제 공하였으며, 20대 성인 4명(남: 2명, 여: 2명)을 대상으로 실험을 수행하였다. 실험 참가자는 사전에 본 시스템의 드로잉에 적응할 시간을 위해 1분 정도의 자유로운 드로잉 시간을 가졌다. 또한, 실험 참가자가 실험 도중 그린 선은 수정 할 수 없도록 하였다. 실험 참가자의 드로잉 시간에 제약은 두지 않았지만, 피드백에 따른 시간을 비교하기 위해 드로 잉 시간을 측정하였다.

시각, 청각, 촉각 중에서 어떤 피드백이 더 효과적인가를 알아보기 위하여, 시각, 청각, 촉각 중 하나로 단일 피드백을 제공하였다. 실험 참가자가 선 그리기를 반복할수록 선 형태에 익숙해지는 것을 감안하여 무작위의 순서로 피드백을 제공하였으며 피드백에 따른 드로잉 오차를 비교하여, 어떤 피드백이 더 도움이 되었는지 평가하였다.

실험 참가자는 가상환경에서 주어진 피드백을 받으며 눈 앞에 보이는 선 모델들을 따라 그린다. 피드백 형태에 따른 영향 외에도 피드백 유무의 영향을 확인하기 위해, 실험 참 가자는 피드백이 없는 상태로 11가지 모델의 선을 따라 그리는 것으로 실험을 시작한다. 이후에 시각, 청각, 촉각 피 드백을 무작위로 정하여 앞선 실험과 마찬가지로 11가지의 선 모델을 따라 그리는 실험을 진행한다. 따라서 실험 참가 자는 피드백 없는 경우와 시각, 청각, 촉각 피드백이 있는 경우에 각각 선 모델을 11개씩 따라 그리게 되고 시간은 평균적으로 10분 정도 소요되었다. 실험이 끝난 다음에는 모든 실험 참가자에게 가장 만족스러운 피드백과 따라 그리기에 가장 어려웠던 선 모델을 질문하였다.

본 3차원 드로잉 시스템은 실험 참가자가 주어진 선 모델을 따라 그리는 동안 매 프레임마다 드로잉 오차를 3단계로 측 정한다. 즉 드로잉에 걸린 총 프레임 수가 드로잉 오차를 측정한 횟수인데, 총 프레임 수는 동일한 실험 참가자가 동 일한 모델을 그리는 경우에도 매번 다르다. 피드백에 따른 오차의 검출 횟수를 측정하고 효과를 비교하기 위해서는 오차의 측정 횟수를 맞추어야 하므로, 단계별 오차의 검출 횟수를 총 프레임 수로 나누어 단계별 오차 비율을 계산하였 다. 단계별 오차의 검출 횟수는 빈도(frequency)이며, 이를 총 프레임 수로 나눈 값은 상대 빈도(relative frequency)가 된다.

단계별 오차 거리는 Table 1의 오차 ε 범위의 중간값을 사용하였다. 즉, 1단계는 1cm, 2단계는 2.25cm 그리고 3단 계는 4cm이다. 이 값을 단계별 상대 빈도와 곱하여 프레임 별 평균 오차 거리를 계산한다. 아래 Table 2는 총 100 프 레임에서 오차를 측정하여 단계별 오차의 검출 횟수 (frequency of error level)와 상대 빈도(relative frequency of error level), 오차 거리와 상대 빈도의 곱을 계산한 예시이다. 마지막 열의 값을 합한 0.3475cm가 프레임 별 평균 오차 거리(mean error distance)이며 이를 식으로 표현하면 다음과 같다.

각각의 선 모델에 대해 모든 실험 참가자의 단계별 오차 비율(상대 빈도)의 평균을 구한 결과, 피드백을 제공한 경우가 피드백을 제공하지 않은 경우보다 대부분의 모델에서 2단계 및 3단계의 오차 검출 비율이 낮아졌다. Figure 8은 Figure 5 (g)의 선 모델을 대상으로 실험 참가자들의 단계별 오차 비율의 평균을 표시한 그래프이다. 1, 2단계의 오차 비율은 피드백이 제공되지 않은 경우가 가장 높으며, 시각, 청각, 촉각 피드백은 비슷한 결과를 보여준다. 또한, 3단계 오차는 피드백이 제공되지 않은 경우에만 검출되었다.

Figure 8: Proportion of error levels for all participants when drawing the line in Figure 5 (g).

Download Original Figure

Figure 9은 3번 실험 참가자의 모든 선 모델에 대한 단계 별 오차 비율의 평균을 표시한 그래프이다. 피드백이 제공 되지 않은 경우, 모든 단계에서 오차 검출 비율이 높았으며 시각, 청각, 촉각 피드백은 비슷한 효과를 보였다.

Figure 9: Proportion of error levels for a participant (#3) over all line models.

Download Original Figure

Figure 10은 모델 별로 모든 사용자의 평균 오차 거리를 평균 낸 그래프이다. 피드백이 제공되었을 때, 모델 대부분 에서 평균 오차 거리가 크게 감소하였다. Table 3은 평균 오차 거리를 수치로 정리한 것이다. 피드백이 제공되지 않은 경우를 기준으로 청각 피드백은 80.63%, 촉각 피드백은 56.75% 그리고 시각 피드백은 57.29%로 평균 오차 거리가 감소한 것을 확인할 수 있다. 따라서 피드백이 제공되지 않 았을 때보다, 피드백을 제공하였을 때 드로잉의 오차가 감소하였고, 피드백이 제공되지 않았을 때의 정확도보다 청각, 촉각, 시각 피드백이 제공되었을 때의 정확도가 각각 24.02%, 76.22%, 74.55% 향상되었다.

Figure 10: Average error distances for all line models.

Download Original Figure

Figure 5 (f)의 선 모델인 Spiral의 경우, 청각 피드백과 시각 피드백의 평균 오차 거리가 피드백을 제공받지 않은 경 우보다도 크다. 실험 결과를 상세히 관찰하면 4명의 실험 참가자 중 3명의 참가자는 피드백이 제공되었을 때의 오차 거리가 피드백이 제공되지 않은 경우보다 작았으나, 한명의 참가자가 피드백이 제공된 경우에도 상당히 큰 오차를 만들었다. Spiral 모델은 깊이 값이 변하는 곡선을 그려야 하는 형태인데 해당 사용자는 Chair shaped line 모델 (Figure 5 (h))에서도 다른 참가자에 비해 상대적으로 드로잉 오차가 컸다. 이 경우는 실험 참가자 개인의 특성에 기인한 것으로 유추할 수도 있으나, 충분한 수의 실험 참가자를 대상으로 실험을 수행하지 못한 근본적인 문제가 있었다. 향후 충분한 수의 참가자 대해 실험을 수행하여 통계적 으로 유의미한 결과를 도출할 필요가 있다.

드로잉에 걸린 시간은 대체적으로 피드백이 제공된 경우가 제공되지 않은 경우에 비해 증가하였다. 실험 참가자들은 주어진 선 모델을 가능한 정확하게 따라 그리는 것이 실험의 목적임을 잘 파악하고 있었으나 피드백이 제공되지 않은 경우에는 오차의 발생을 정확히 인지하지 못하여 상대적 으로 빠른 시간에 드로잉을 완료하였다. 피드백이 제공된 경우에는 오차 발생을 인지하고 정확한 입력을 하기 위해 집중하기 때문에 드로잉 시간이 증가하는데, 이는 피드백 제공의 효과에 부합하는 결과이다.

가장 따라 그리기 어려웠던 선 모델로는 3명의 실험 참가 자가 Flower shaped line 모델(Figure 5 (i))을 선택하였고, 1 명의 실험 참가자는 Chair shaped line 모델(Figure 5 (h))을 선택하였다. 실험 시 제공되었던 피드백에 대한 반응은 실험 참가자 대부분이 비슷하였는데 시각 피드백은 드로잉에 방해가 되지 않으며, 편안한 느낌이었고 촉각 피드백은 피드백 강도에 따라 드로잉의 오차 정도를 잘 인지할 수 있었 다고 답변하였다. 반면에, 청각 피드백은 시끄러운 소리가 오히려 선을 따라 그리는데 방해가 되었다고 답변하였다.