Article

가상현실에서의 3차원 드로잉을 위한 피드백 설계 및 효과 분석

김지은1https://orcid.org/0000-0003-1342-4286, 박우희2https://orcid.org/0000-0001-9333-1850, 이지은3,*https://orcid.org/0000-0001-5692-9263
Jieun Kim1https://orcid.org/0000-0003-1342-4286, Woohee Park2https://orcid.org/0000-0001-9333-1850, Jieun Lee3,*https://orcid.org/0000-0001-5692-9263
Author Information & Copyright
1한성대학교 IT융합공학과
2한성대학교 IT융합공학과
3한성대학교 IT융합공학과
1Division of IT Convergence Engineering, Hansung University it_jieun@naver.com
2Division of IT Convergence Engineering, Hansung University woohee817@gmail.com
3Division of IT Convergence Engineering, Hansung University jieunlee@hansung.ac.kr
*corresponding author: Jieun Lee/Hansung University(jieunlee@hansung.ac.kr)

© Copyright 2020 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 19, 2020; Revised: Jun 22, 2020; Accepted: Jun 25, 2020

Published Online: Jul 01, 2020

요약

본 논문은 3차원 가상환경에서 드로잉할 때, 사용자에게 위치 입력에 대한 피드백을 부여하는 효과적인 방법을 설계하고 그 성능을 측정하여, 피드백을 통해 사용자가 올바른 위치를 입력하는데 도움을 줄 수 있는지 확인하 고자 한다. 주어진 선 형상을 핸드-헬드 컨트롤러를 이용하여 따라 그리는 실험에서 사용자에게 위치 입력 오차에 대해 세 단계의 시각, 청각, 촉각 피드백을 각각 제공하고, 어떤 피드백이 가장 효과적인지를 분석하였다. 피드백의 형태에 따른 위치 입력 정확도를 분석한 결과, 피드백은 특정 크기 이상의 입력 오류를 크게 감소시킬 수 있었으며, 시각과 촉각 피드백이 청각 피드백보다 효과적이었다.

Abstract

This paper proposes an effective method of giving users feedback on 3-dimensional drawing and measures its performance to ensure that feedback can help users enter the correct position in 3D. In the experiment of drawing a given line shape using a hand-held controller, the user is provided with three levels of visual, auditory, and haptic feedback for the position input error. As a result of analyzing the position input accuracy according to the type of feedback, all types of feedback are able to significantly reduce errors, and visual feedback and haptic feedback are more effective than auditory feedback.

Keywords: 가상현실; 3차원 드로잉; 피드백; 시각 피드백; 청각 피드백; 촉각 피드백
Keywords: Virtual reality; 3-dimensional drawing; Feedback; Visual feedback; Auditory feedback; Haptic feedback

1. 서론

가상현실은 컴퓨터로 만든 가상환경 내에서 사용자의 오감 정보를 확장 및 공유함으로써 현실 세계에서 실질적으로 경험하기 어려운 상황을 실감적으로 체험할 수 있게 하는 기술이다. 최근 가상현실 분야는 디바이스의 진화, ICT 기술 의 발전 그리고 글로벌 기업 및 연구그룹들의 차세대 컴퓨팅 플랫폼 구현을 위한 HMD 기술에 연구개발 투자 등으로 급성장하고 있다[1, 2]. 가상현실 기술은 사용자의 몰입 경험을 향상시키고 가상 멀미를 최소화할 수 있는 디스플레이 기술과 트레킹 기술을 중심으로 연구개발이 진행되고 있다[3]. VIVE, Oculus 등 가상현실 장비들의 발전으로 가상 공간 안에서의 활동은 점점 다양해지고 복잡한 활동들이 가능 해지고 있다.

4차 산업혁명의 기반 기술인 증강현실(Augmented reality; AR), 가상현실(Virtual reality; VR), 혼합현실(Mixed reality; MR)의 시장에 대한 기대와 기술의 발달로 시장의 변화가 지속되고 있다. 정보통신산업진흥원의 ‘2017 국외 디지털콘 텐츠 시장조사’ 보고서에 따르면 AR/VR 기술 고도화, 기업의 투자 강화, 생태계 활성화, 디바이스 가격 인하, 콘텐츠 증가로 인한 소비자 수용성 증가로 인해 향후 5년간 연평균 95.6%씩 고속 성장하며 2021년에 1,089억 달러로 확대될 전 망이다[4]. 가상현실이나 증강현실, 혹은 혼합현실은 시간과 공간을 지배하여, 불가능하거나 위험하거나 또는 비용문제로 포기해야 했던 많은 체험을 가능하게 한다. 이러한 가상 현실의 가치를 실현하기 위해서는 기술 자체에 관한 연구도 중요하나, 융합적인 시각에서 다양한 체험 활동을 가상으로 변환하려는 시도가 계속되어야 하며, 시행착오를 거쳐 실제 와 유사한 체험이 가능하도록 가상현실 시스템을 발전시키는 것이 중요하다.

가까운 미래에 인류는 체험의 상당 부분을 가상환경에서 얻게 될 것이다. 일반인들이 즐기는 가상현실 프로그램이 게임에 집중되어 있으나, 취미, 여가, 교육 등의 분야에서 수준 높은 가상현실 시스템들이 개발된다면, 폭발적으로 사용자가 늘어날 것으로 예측된다.

미술 활동을 위한 가상현실 애플리케이션으로는 Google의 Tilt Brush[5]가 대표적이다. Tilt Brush는 2014년에 Skillman 과 Hackett의해 개발되었으며, Google은 Tilt Brush를 인수 하여 2016년에 정식으로 출시하였다. 룸-스케일(room-scale) 가상현실 애플리케이션으로 사용자는 다양한 유형의 브러시를 활용하여 3차원 공간에서 그리기를 할 수 있다. 핸드-헬 드 컨트롤러(hand-held controller)로 입력되는 3차원 움직임 정보를 3차원 가상 공간에 스트로크로 재현해 낸다(Figure 1). 사용자는 종이나 컴퓨터의 그림판과 같은 애플리케이션 에서 2차원 입력을 하는 것과 달리 3차원 공간에서 스트로크 입력을 해야 한다(Figure 2).

jkcgs-26-3-69-g1
Figure 1: Drawing in virtual reality with Tilt Brush[5].
Download Original Figure
jkcgs-26-3-69-g2
Figure 2: Stroke effects and flame effects of Tilt Brush[5].
Download Original Figure

이 경우 수평(좌우)과 수직(상하)을 구분하는 것과 동시에 깊이(전후)를 구분하여야 한다. 그리기에서 3차원 입력은 현실 세계에서도 경험하기 어려운 것으로 대부분의 사용자는 가상현실의 3차원 공간에서 깊이 정보를 입력하는 것에 어 려움을 느낀다. 예를 들어, 한 붓 그리기로 원을 그리는 경우 시작점과 끝점의 깊이 값을 맞추기가 쉽지 않아 그리기를 마친 후 시선을 달리해서 보면 깊이 값이 맞지 않는 경우가 많다(Figure 3).

jkcgs-26-3-69-g3
Figure 3: Drawing a circle in 3D, (a) a front view, and (b) a side view.
Download Original Figure

본 논문에서는 3차원 가상 공간에서 드로잉할 때 사용자에게 위치 입력에 대한 피드백을 부여하는 효과적인 방법을 설계하고 그 성능을 측정하여, 피드백을 통해 사용자가 올 바른 위치를 입력하는데 도움을 줄 수 있는지 확인하고자 한다. 또한, 피드백의 형태에 따른 효과를 비교하고자, 시각, 청각, 촉각의 세 가지 피드백을 각각 제공하고, 어떤 피드백 이 가장 효과적인지를 분석하고자 한다.

본 논문의 구성은 다음과 같다. 2장에서 관련 연구를 소 개하고, 3장에서는 위치 정보 피드백 설계 방법을 제안한다. 4장에서는 피드백을 활용하여 사용자가 그리기를 한 결과의 정확도를 비교한 실험 결과를 보고한다. 마지막으로 5장에서 결론을 제시한다.

2. 관련 연구

2.1 가상현실의 깊이감

가상현실에서의 깊이감은 현실을 묘사하는 것처럼 사실적인 표현을 하여 사용자가 몰입하는 데 중요하지만, 현실을 재 현한 것을 디스플레이를 통해 보게 되므로 두 눈의 수렴과 조절에 불일치가 발생하여 사용자의 시각 피로도는 증가하 게 된다 [6]. 정밀히 설계되지 않은 입체 화면의 경우 오히려 사용자의 시지각에 불편을 초래할 수 있으며 개인의 우세눈(eye dominance), 시력(visual acuity), 동공 사이 거리 (interpupillary distance) 등 정확한 깊이감 지각을 위해 고 려해야 할 변인을 충분히 반영하는 것이 중요하다 [7].

가상현실 콘텐츠에는 주로 시각, 청각, 촉각의 감각이 사 용되고 시각은 대부분의 콘텐츠에서 확인할 수 있었으며, 촉각을 통하여 깊이감, 공간감을 느낄 수 있었다 [8]. [9]에 의하면, 선 원근법과 공기 원근법이 깊이감 지각반응과 안 구운동반응에 영향을 미치는가에 관하여 실험한 결과, 원근 법 종류에 관하여 지각반응의 차이는 있으나, 안구운동반응에는 영향을 주지 않은 것으로 나타났다. [10]에 의하면, AR 기반 제품 디자인의 환경에서의 감각형 객체를 디자인하여 가상 객체의 촉감을 느끼게 하고 다차원 피드백(시각, 청각, 촉각)을 구현한 시스템을 시연한 결과, 몰입감 향상 방법들의 유용성에 대해 긍정적인 평가를 받았다.

2.2 사용자 입력에 대한 피드백 생성

가상환경에서의 다양한 피드백은 사용자 경험을 높인다는 연구 결과가 있다 [11]. 또한, 피드백에 관한 연구는 운동, 예술, 치료 등 여러 분야에 접목되어 연구가 진행되고 있다. 운동 분야에서는 운동 자세가 중요하므로 주로 사용자의 정확한 동작을 위해 피드백을 제공한다. [12]의 연구 결과에 따르면, 가상현실에서 고관절 운동 동작을 수행할 때 시각적 피드백을 주면 동작 오차가 유의하게 감소한 것을 확인 할 수 있다. 또한, [13]에 의하면, 필라테스 운동을 하는 동 안 전신 거울을 통해 자신의 자세 및 움직임을 시각적으로 확인하면서 운동했을 때가 그렇지 않은 경우보다 만성 뇌졸 중 환자의 정적 및 동적 균형 능력이 더 많이 향상된 것을 확인할 수 있다.

피드백은 음악 분야에서도 다양한 연구가 진행되고 있다. [14]에 의하면, 가상환경에서 악기를 연주할 때 햅틱 피드백을 제공하여 악기를 연주하는 느낌을 주었다. 사용자들은 햅틱 피드백에 긍정적인 반응을 보였고, 사용자가 입력에 대한 확신을 줄 수 있음을 확인하였다. 또한, [15]에 의하면, 두 개의 진동자가 부착된 암밴드를 이용하여 햅틱 피드백을 통한 현악기 연주자의 음정 교정을 돕는 HapTune 시스템을 개발하였다. 사용자 실험을 통하여, 현악기 교육에서 사용되 는 기존 시스템인, 시각 피드백을 이용한 크로매틱 튜너의 단점인 자세 오류를 유도하는 것과 악보 읽기를 방해한다는 점을 보완하면서 대등한 교육 효과를 보여주었다.

환자들의 더 효과적인 치료를 위해 감각 피드백을 통한 많은 연구가 진행되고 있다. [16]에 의하면, 다양한 생체 신호를 이용하여 글자를 타이핑하는 기술인 스펠러 기술을 이용하여 기존 RC 스펠러와 안구 검출 시스템 그리고 시각 피드백 기술을 결합한 RC-VF 스펠링 시스템을 제안하고 실험한 결과, 기존 방식보다 성능면에서 우수함을 입증하였다. 만성 뇌졸중 환자들의 보행훈련을 가상현실에서 시각 또는 청각 피드백과 함께 중재하여 평가한 결과, 전통적인 균형 훈련과 비슷한 중재 효과를 보였고 [17], 일어서기 훈련에서는 시각과 청각 피드백을 적용한 실험군이 대조군보다 일어 서기 동작의 질적인 향상에 효과를 보이고, 균형 능력에 효 과를 보였다[18]. 또한, 시각 피드백 자세균형 훈련 프로그 램을 통해 정상 20대 성인과 60대 고령자를 대상으로 실험 한 결과, 두군 모두 자세균형 능력에서 유의한 향상을 보인 것을 확인할 수 있다 [19, 20].

가상·증강현실에서도 피드백에 관한 다양한 연구가 진행 되고 있다. 가상환경에서 사용자에게 거리 정보를 제공하여 UI 조작을 실험한 결과, 햅틱 피드백의 감각 치환을 통해 고유감각과 시각 정보의 불일치를 일정 부분 해소할 수 있 다는 것을 확인할 수 있다 [21]. [22]에 의하면, 진동과 임팩 트가 결합된 햅틱 에츄에이터를 만들고 진동 피드백과 비교한 결과, 사용자들은 철과 나무에서는 진동과 임팩트가 결 합된 피드백을, 고무에서는 진동 피드백을 더 선호하였다. 진동과 임팩트가 결합된 피드백은 강체의 충돌 효과와 비슷 한 느낌을 제공하고 사실적인 충돌 효과를 느끼게 하는 것을 확인할 수 있다. [23]에 의하면, 촉각적 착각의 대표적인 Saltation 현상을 활용하여 플랫폼 환경에서 실험한 결과, 신체 외부 공간에서의 촉각적 피드백 전달이 가능한 것으로 나타났다. [24]에 의하면, 음향 반향판의 피드백을 이용하여 공간에서 스케치할 때 깊이 방향 오차를 줄여 모델과의 일치도를 증가시켰다. 터치스크린에서 펜을 이용하여 그리기 과제를 수행할 때 청각 피드백을 제공한 경우에 사용자의 만족감이 더 높았고 [25], 터치스크린 휴대전화를 사용하여 청각과 촉각 피드백을 실험한 결과, 청각 피드백이 촉각 피 드백보다 더 도움이 된다는 결과가 나타났다[26].

햅틱과 사운드 피드백이 깊이 정보를 보충하여 사용자의 위치 인식에 큰 도움이 된다는 연구 결과[27]를 통하여 본 논문의 실험에서도 긍정적인 효과를 보여줄 것으로 예상한 다.

2.3 가상현실 드로잉

가상현실에서의 드로잉 프로그램에는 대표적으로 Google 사 의 Tilt Brush와 Oculus 사의 Quill[28] 등이 있다. 이와 같 은 프로그램들을 활용한 예술도 나오고 있다. 국내 최초 VR 아티스트 염동균 작가의 가상현실 기술과 예술을 결합시킨 형태의 공연인 VR 드로잉 퍼포먼스를 예로 들 수 있다. VR 드로잉 퍼포먼스는 아티스트의 시점을 공유한 대형 스크린을 통해 다양한 퍼포먼스와 색다른 볼거리를 제공한다 [29].

가상현실과 증강현실에서의 드로잉에 관한 연구는 많이 이뤄지고 있다. 자유형 표면 모델링을 위한 새로운 프레임 워크인 SurfaceBrush [30]는 가상현실에서 스케치할 때, 사용자가 의도한 매니폴드가 없는 형태의 3D 표면으로 변환 하는 표면 처리 방법을 제안하였다. 연필 및 종이와 유사한 방식으로 태블릿 PC와 일반 용지를 사용한 3D 스케치 인터 페이스인 Napkin Sketch [31]는 핸드-헬드 혼합현실 기술을 사용하여 3차원 스케치를 하는데 투영 3D 스케치를 기반으로 3차원 표현을 만들고 스케치에서의 획에 내재된 기하학적 관계를 활용하는 one stroke 기술을 사용한다. [32]에서 는 스마트폰과 트래킹되는 펜을 가지고 스케치를 하여 객체를 생성하는 증강현실 기반 3D 스케치 시스템을 구성하였 다.

3. 가상현실 드로잉에 대한 피드백 설계

3.1 개요

본 논문에서 개발한 가상현실 3차원 드로잉 시스템은 3차원 드로잉시 정확한 위치 입력을 위한 피드백의 효과를 검증 하기 위한 시험 시스템이며 자유로운 드로잉을 위한 시스템이 아니다. 사용자가 입력해야 할 정확한 위치는 예제 선 모델로 주어지며, 사용자는 가상현실 장치인 헨드-헬드 컨 트롤러를 이용하여 최대한 정확하게 주어진 선을 따라 그린다. 매 프레임마다 컨트롤러의 위치를 추적하여 주어진 선 모델과의 오차 거리를 계산하며, 사용자에게 다양한 종류의 피드백을 제공하여 입력 위치를 수정하는데 도움이 되도록 하였다. 본 연구에서 설계한 피드백은 시각, 청각, 촉각의 형태로 설계되었으며, 피드백을 제공하지 않는 경우와 시각, 청각, 촉각의 피드백을 각각 제공하는 경우를 비교하여, 피드백의 유무에 따른 효과와 피드백의 형태에 따른 차이를 분석한다.

3.2 가상현실 3차원 드로잉 시스템

가상현실에서 사용자는 컨트롤러를 이용하여 예제로 주어진 선 모델에 대해 따라 그리기를 수행한다. 컨트롤러는 가상 세계에서 붓의 형태로 보여지며 컨트롤러를 통해 입력된 위치 값을 연결하여 선으로 보여준다(Figure 4).

jkcgs-26-3-69-g4
Figure 4: 3-dimensional drawing system.
Download Original Figure

사용자에게 주어지는 선 모델은 평면적인 모델과 입체적인 모델로 분류된다(Figure 5). 평면적인 모델에는 직선, S 선, 원형, 사각형이 있으며(Figure 5 (a)-(d)), 입체적인 모델 에는 나선과 불규칙 형태로 그려진 선들이 있다(Figure 5 (e)-(i)). 평면적인 모델을 따라 그리는 것은 현실 세계에서 종이나 캔버스 등 2차원 공간에 그림을 그리는 것과 유사하 지만, 입체적인 모델을 그리는 것은 깊이감이 필요한 3차원의 입력 작업으로 정확한 위치 입력이 어렵다.

jkcgs-26-3-69-g5
Figure 5: Line shapes used in the experiment.
Download Original Figure
3.3 3차원 드로잉을 위한 피드백 설계

본 연구에서는 사용자가 선 모델을 따라 그릴 때 최대한 정확하게 그릴 수 있도록 시각, 청각, 촉각 방식의 피드백을 설계하고 단일 피드백을 제공한다.

사용자가 선 모델을 잘 따라 그린다면 피드백을 제공하지 않아도 되지만, 그렇지 못한 경우에는 피드백을 제공하여 상황을 인지하도록 도와준다. 사용자가 그리는 선과 주어진 선 모델과의 거리로 드로잉의 오차를 판단한다. 사용자가 그리는 선과 주어진 선 모델 사이의 거리가 멀다는 것은 드 로잉의 오차가 크다는 것이다. 드로잉의 오차 정도에 따라 피드백의 강도를 다르게 제공하기 위하여 오차의 범위를 3 단계로 구분하였다. 따라서 사용자가 그리는 선과 주어진 선 모델의 위치를 비교하여, 드로잉의 오차 정도에 따라 사 용자에게 제공되는 피드백의 강도가 달라진다. Table 1은 피드백 설계를 요약한 것으로 오차 거리에 따른 오차 단계 의 구분과 각 단계별로 구현된 시각, 청각, 촉각 피드백을 제시하였다.

Table 1: Error levels and feedback design.
Error level level 1 level 2 level 3
Error distance ε (cm) 0.5≤ε<1.5 1.5≤ε<3.0 3.0≤ε<5.0
Category Target Output
Visual feedback Color of brush handle yellow orange red
Auditory feedback Sound tempo slow moderate fast
Haptic feedback Intensity of vibration weak moderate strong
Download Excel Table

시각 피드백은 화면에 나타나는 붓의 핸들 색상을 다르게 하여 사용자가 스스로 오차를 인지할 수 있도록 한다. Figure 6은 오차 단계에 따라 달라지는 붓 핸들의 색상을 보여준다.

jkcgs-26-3-69-g6
Figure 6: Implementation of the visual feedback in (a) error level 1, (b) error level 2, and (c) error level 3.
Download Original Figure

청각 피드백은 사용자의 드로잉 오차 정도에 따라 빠르기 가 다른 같은 소리를 제공하여 사용자가 오차를 인지할 수 있도록 한다. 3 단계로 구분된 거리 오차에 따라 느린 템포, 중간 템포, 빠른 템포의 소리가 출력된다(Figure 7 (a)).

jkcgs-26-3-69-g7
Figure 7: Implementation of the auditory feedback (a) and the haptic feedback (b).
Download Original Figure

마지막으로 촉각 피드백은 사용자에게 진동을 제공하여 사용자가 오차를 인지할 수 있도록 도와준다. 진동은 가상 현실 장비인 컨트롤러에 내장된 기능을 활용하였다. 진동 주파수와 진폭을 변경하여 진동의 세기를 조절할 수 있다. 사용자의 드로잉에 방해가 되지 않도록 드로잉 시 사용하지 않는 손의 컨트롤러에 진동을 출력한다. 앞의 두 피드백과 동일하게 촉각 피드백도 거리 오차에 따라 3단계로 구분되 어 있으며 오차가 클수록 진동의 세기를 강하게 하였다 (Figure 7 (b)).

4. 실험

4.1 실험 방법

본 시스템은 Unity 3D 2018.3.1.f1 엔진과 SteamVR 플러그인을 통합하여 개발하였으며, 가상현실 장비는 HTC Vive Pro를 사용하였다. 실험 참가자는 가상현실 헤드셋을 착용 하고 양손에 컨트롤러를 쥔 상태로 실험에 참여하였다.

Figure 5의 선 모델을 포함하여 총 11개의 선 모델을 제 공하였으며, 20대 성인 4명(남: 2명, 여: 2명)을 대상으로 실험을 수행하였다. 실험 참가자는 사전에 본 시스템의 드로잉에 적응할 시간을 위해 1분 정도의 자유로운 드로잉 시간을 가졌다. 또한, 실험 참가자가 실험 도중 그린 선은 수정 할 수 없도록 하였다. 실험 참가자의 드로잉 시간에 제약은 두지 않았지만, 피드백에 따른 시간을 비교하기 위해 드로 잉 시간을 측정하였다.

시각, 청각, 촉각 중에서 어떤 피드백이 더 효과적인가를 알아보기 위하여, 시각, 청각, 촉각 중 하나로 단일 피드백을 제공하였다. 실험 참가자가 선 그리기를 반복할수록 선 형태에 익숙해지는 것을 감안하여 무작위의 순서로 피드백을 제공하였으며 피드백에 따른 드로잉 오차를 비교하여, 어떤 피드백이 더 도움이 되었는지 평가하였다.

실험 참가자는 가상환경에서 주어진 피드백을 받으며 눈 앞에 보이는 선 모델들을 따라 그린다. 피드백 형태에 따른 영향 외에도 피드백 유무의 영향을 확인하기 위해, 실험 참 가자는 피드백이 없는 상태로 11가지 모델의 선을 따라 그리는 것으로 실험을 시작한다. 이후에 시각, 청각, 촉각 피 드백을 무작위로 정하여 앞선 실험과 마찬가지로 11가지의 선 모델을 따라 그리는 실험을 진행한다. 따라서 실험 참가 자는 피드백 없는 경우와 시각, 청각, 촉각 피드백이 있는 경우에 각각 선 모델을 11개씩 따라 그리게 되고 시간은 평균적으로 10분 정도 소요되었다. 실험이 끝난 다음에는 모든 실험 참가자에게 가장 만족스러운 피드백과 따라 그리기에 가장 어려웠던 선 모델을 질문하였다.

4.2 드로잉 오차 측정 및 오차 거리의 계산

본 3차원 드로잉 시스템은 실험 참가자가 주어진 선 모델을 따라 그리는 동안 매 프레임마다 드로잉 오차를 3단계로 측 정한다. 즉 드로잉에 걸린 총 프레임 수가 드로잉 오차를 측정한 횟수인데, 총 프레임 수는 동일한 실험 참가자가 동 일한 모델을 그리는 경우에도 매번 다르다. 피드백에 따른 오차의 검출 횟수를 측정하고 효과를 비교하기 위해서는 오차의 측정 횟수를 맞추어야 하므로, 단계별 오차의 검출 횟수를 총 프레임 수로 나누어 단계별 오차 비율을 계산하였 다. 단계별 오차의 검출 횟수는 빈도(frequency)이며, 이를 총 프레임 수로 나눈 값은 상대 빈도(relative frequency)가 된다.

단계별 오차 거리는 Table 1의 오차 ε 범위의 중간값을 사용하였다. 즉, 1단계는 1cm, 2단계는 2.25cm 그리고 3단 계는 4cm이다. 이 값을 단계별 상대 빈도와 곱하여 프레임 별 평균 오차 거리를 계산한다. 아래 Table 2는 총 100 프 레임에서 오차를 측정하여 단계별 오차의 검출 횟수 (frequency of error level)와 상대 빈도(relative frequency of error level), 오차 거리와 상대 빈도의 곱을 계산한 예시이다. 마지막 열의 값을 합한 0.3475cm가 프레임 별 평균 오차 거리(mean error distance)이며 이를 식으로 표현하면 다음과 같다.

Table 2: An example of error distance, frequency of error level, and mean error distance.
Error distance ε (cm) Frequency of error level Relative frequency of error level Product of ei and pi
Symbol ei fi pi=fi/ N ei×pi
No error 0 75 0.75 0.0000
Level 1 1.00 20 0.20 0.2000
Level 2 2.25 3 0.03 0.0675
Level 3 4.00 2 0.02 0.0800
Total N=100 1.00 0.3475
Download Excel Table
m e a n e r r o r distance = i = 1 3 e i p i
4.3 실험 결과

각각의 선 모델에 대해 모든 실험 참가자의 단계별 오차 비율(상대 빈도)의 평균을 구한 결과, 피드백을 제공한 경우가 피드백을 제공하지 않은 경우보다 대부분의 모델에서 2단계 및 3단계의 오차 검출 비율이 낮아졌다. Figure 8Figure 5 (g)의 선 모델을 대상으로 실험 참가자들의 단계별 오차 비율의 평균을 표시한 그래프이다. 1, 2단계의 오차 비율은 피드백이 제공되지 않은 경우가 가장 높으며, 시각, 청각, 촉각 피드백은 비슷한 결과를 보여준다. 또한, 3단계 오차는 피드백이 제공되지 않은 경우에만 검출되었다.

jkcgs-26-3-69-g8
Figure 8: Proportion of error levels for all participants when drawing the line in Figure 5 (g).
Download Original Figure

Figure 9은 3번 실험 참가자의 모든 선 모델에 대한 단계 별 오차 비율의 평균을 표시한 그래프이다. 피드백이 제공 되지 않은 경우, 모든 단계에서 오차 검출 비율이 높았으며 시각, 청각, 촉각 피드백은 비슷한 효과를 보였다.

jkcgs-26-3-69-g9
Figure 9: Proportion of error levels for a participant (#3) over all line models.
Download Original Figure

Figure 10은 모델 별로 모든 사용자의 평균 오차 거리를 평균 낸 그래프이다. 피드백이 제공되었을 때, 모델 대부분 에서 평균 오차 거리가 크게 감소하였다. Table 3은 평균 오차 거리를 수치로 정리한 것이다. 피드백이 제공되지 않은 경우를 기준으로 청각 피드백은 80.63%, 촉각 피드백은 56.75% 그리고 시각 피드백은 57.29%로 평균 오차 거리가 감소한 것을 확인할 수 있다. 따라서 피드백이 제공되지 않 았을 때보다, 피드백을 제공하였을 때 드로잉의 오차가 감소하였고, 피드백이 제공되지 않았을 때의 정확도보다 청각, 촉각, 시각 피드백이 제공되었을 때의 정확도가 각각 24.02%, 76.22%, 74.55% 향상되었다.

jkcgs-26-3-69-g10
Figure 10: Average error distances for all line models.
Download Original Figure
Table 3: Average error distances for all participants by model. (Unit: cm)
No feedback Auditory feedback Haptic feedback Visual feedback
I line 0.51 0.35 0.07 0.16
S line 0.35 0.27 0.16 0.24
Circle 0.48 0.20 0.29 0.15
Square 0.27 0.24 0.14 0.17
Slanted S line 0.49 0.41 0.26 0.31
Donut shaped circle 0.27 0.25 0.22 0.17
Spiral 0.26 0.47 0.25 0.33
Arbitrary line 1 0.43 0.25 0.20 0.20
Arbitrary line 2 0.30 0.26 0.27 0.22
Chair shaped line 0.39 0.39 0.17 0.20
Flower shaped line 0.34 0.20 0.30 0.19
Average error distance 0.37 0.30 0.21 0.21
Error distance reduction (%) 100.00 80.63 56.75 57.29
Download Excel Table

Figure 5 (f)의 선 모델인 Spiral의 경우, 청각 피드백과 시각 피드백의 평균 오차 거리가 피드백을 제공받지 않은 경 우보다도 크다. 실험 결과를 상세히 관찰하면 4명의 실험 참가자 중 3명의 참가자는 피드백이 제공되었을 때의 오차 거리가 피드백이 제공되지 않은 경우보다 작았으나, 한명의 참가자가 피드백이 제공된 경우에도 상당히 큰 오차를 만들었다. Spiral 모델은 깊이 값이 변하는 곡선을 그려야 하는 형태인데 해당 사용자는 Chair shaped line 모델 (Figure 5 (h))에서도 다른 참가자에 비해 상대적으로 드로잉 오차가 컸다. 이 경우는 실험 참가자 개인의 특성에 기인한 것으로 유추할 수도 있으나, 충분한 수의 실험 참가자를 대상으로 실험을 수행하지 못한 근본적인 문제가 있었다. 향후 충분한 수의 참가자 대해 실험을 수행하여 통계적 으로 유의미한 결과를 도출할 필요가 있다.

드로잉에 걸린 시간은 대체적으로 피드백이 제공된 경우가 제공되지 않은 경우에 비해 증가하였다. 실험 참가자들은 주어진 선 모델을 가능한 정확하게 따라 그리는 것이 실험의 목적임을 잘 파악하고 있었으나 피드백이 제공되지 않은 경우에는 오차의 발생을 정확히 인지하지 못하여 상대적 으로 빠른 시간에 드로잉을 완료하였다. 피드백이 제공된 경우에는 오차 발생을 인지하고 정확한 입력을 하기 위해 집중하기 때문에 드로잉 시간이 증가하는데, 이는 피드백 제공의 효과에 부합하는 결과이다.

가장 따라 그리기 어려웠던 선 모델로는 3명의 실험 참가 자가 Flower shaped line 모델(Figure 5 (i))을 선택하였고, 1 명의 실험 참가자는 Chair shaped line 모델(Figure 5 (h))을 선택하였다. 실험 시 제공되었던 피드백에 대한 반응은 실험 참가자 대부분이 비슷하였는데 시각 피드백은 드로잉에 방해가 되지 않으며, 편안한 느낌이었고 촉각 피드백은 피드백 강도에 따라 드로잉의 오차 정도를 잘 인지할 수 있었 다고 답변하였다. 반면에, 청각 피드백은 시끄러운 소리가 오히려 선을 따라 그리는데 방해가 되었다고 답변하였다.

5. 결론

본 연구에서는 가상환경에서 정확한 3차원 드로잉을 보조할 수 있도록 시각, 청각, 촉각 피드백을 설계하고 그 성능을 비교하였다. 피드백이 제공되지 않은 경우보다 피드백을 제공한 경우의 드로잉 오차가 20% ~ 43% 정도 감소하여 피 드백의 효과를 확인할 수 있었다. 피드백의 형태에 따라서 는 청각 피드백에 비해 시각 피드백과 촉각 피드백의 효과가 우수하였다. 촉각 피드백은 드로잉시 방해가 될 수 있 다는 예상과 다르게 오류를 정확하게 인지하는데 도움을 주어 효과를 보였고 청각 피드백은 소리 발생이 사용자의 집 중력을 방해하는 요소로 작용하여 시각 및 촉각 피드백에 비해 효과가 낮은 것으로 평가되었다. 청각 피드백은 소리의 높낮이나 음색 등 다른 요소를 활용하여 더 좋은 피드백 효과를 얻을 수 있도록 개선할 필요가 있다.

향후 연구에서는 3차원 입력의 위치 오차를 수직, 수평, 깊이 축으로 분해하여 피드백의 효과를 더 세밀하게 분석하고, 시각, 청각, 촉각의 단일 양식 피드백을 결합한 다중 양 식 피드백을 설계하고 개발할 계획이다. 이를 통해 효과적 인 3차원 인터랙션과 가상현실 활동에 도움이 될 것으로 기대한다.

감사의 글

이 성과는 2020년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2019R1F1A1062543).

References

[1].

한국전자통신연구원(2016), VR/AR 착용형 디스플레이 기술동향, 2016.

[2].

이민식, 김광섭, 가상·증강현실(VR·AR)산업의 부상과 경쟁력 확보방안, KDB산업은행 미래전략연구소, 산은조사 월보, 제 743호, pp. 70-95, 2017.

[3].

임상우, 서경원, “AR/VR 기술,” 한국과학기술기획평가원 KISTEP 기술동향브리프, VOL. 2018, NO. 9, 2018.

[4].

2017년도 국외 디지털콘텐츠 시장조사, 정보통신산업진 흥원, 2017.

[5].

Google의 Tilt Brush, https://www.tiltbrush.com/

[6].

이혜진, 정동훈, “가상현실 영상의 깊이감이 사용자의 지각된 특성, 프레즌스, 피로도에 미치는 영향,” 한국방 송학보, VOL. 33, NO. 2, pp. 184-216, 2019.

[7].

장은희, 서대일, 김현택, 유병현, “사이버멀미 통합 모델: 가상현실 사용자의 불편감 현상 연구,” 정보과학회논문 지, VOL. 45, NO. 3, pp. 251-279, 2018.

[8].

차은지, 한정엽, “오감형 가상현실 콘텐츠 사례연구,” 한 국공간디자인학회논문집, VOL. 11, NO. 5, pp. 9-17, 2016.

[9].

윤재화, 조광수, “3D GUI 의 깊이감 지각에 영향을 미 치는 시각적 요인 분석 및 사용성 평가,” 한국HCI학회 학술대회, VOL. 2017, NO. 2, pp. 113-116, 2017.

[10].

하태진, 김영미, 류제하, 우운택, “증강현실 기반 제품 디자인의 몰입감 향상 기법,” 전자공학회논문지-CI, VOL. 44, NO. 2, pp. 37-46, 2007.

[11].

A. S. Garcia et al., “A study of multimodal feedback to support collaborative manipulation tasks in virtual worlds,” in Proceedings of the 16th ACM Symposium on Virtual Reality Software and Technology, 2009.

[12].

김정진, 김유신, 김도형, 박천수, 윤범철, “가상현실에서 시각적 피드백 유,무에 따른 고관절 운동 동작 오차 수 준 비교,” 한국사회체육학회지, VOL. 45, NO. 2, pp. 947-953, 2011.

[13].

임희성, 김주년, 윤석훈, “거울 시각 피드백을 이용한 매트 필라테스 운동이 만성 뇌졸중 환자의 균형에 미치 는 영향,” 한국특수체육학회지, VOL. 27, NO. 2, pp. 33-47, 2019.

[14].

고인석, 조성원, 박채용, 최승문, “VBand: 햅틱 피드백 과 악기 메타포가 가미된 가상 현실 기반 밴드 합주 시 스템의 구현,” 한국HCI학회 학술대회, VOL. 2018, NO. 1, pp. 324-328, 2018.

[15].

유용재, 최승문, “햅틱 피드백을 이용한 현악기 연주자 의 음정 교육 시스템,” 한국HCI학회 학술대회, VOL. 2014, NO. 2, pp. 149-151, 2014.

[16].

이민호, 원동옥, 이성환, “시각피드백을 사용한 높은 정 확도의 뇌-컴퓨터 인터페이스 기반 스펠러 기술,” 한국 정보과학회 학술발표논문집, VOL. 2016, NO. 12, pp. 573-575, 2016.

[17].

전재환, 안희은, 윤태림, “만성 뇌졸중 환자들의 균형과 보행에 대한 가상현실 피드백의 효과,” 한국신경근육재 활학회지, VOL. 9, NO. 1, pp. 35-41, 2019.

[18].

이동현, 최성진, 최호석, 신원섭, “만성 뇌졸중 환자의 일어서기 훈련 시 시각적 피드백과 청각적 피드백이 균 형과 수행력에 미치는 효과 비교,” 대한물리의학회지, VOL. 10, NO. 4, pp. 59-68, 2015.

[19].

이정원, 유미, 정구영, 이낙범, 권대규, “게임기반의 시 각 피드백 훈련이 자세균형 조절에 미치는 영향,” 한국 콘텐츠학회논문지, VOL. 12, NO. 3, pp. 25-33, 2012.

[20].

이정원, 유미, 이아름, 권대규, “고령자의 게임기반 시 각피드백 훈련에 따른 자세 균형 효과,” 한국콘텐츠학회 논문지, VOL. 13, NO. 10, pp. 9-18, 2013.

[21].

손형기, 길현재, 황인욱, 김진용, “거리에 따른 촉각 정 보를 이용한 손가락 기반 가상현실 상호작용,” 한국HCI 학회 학술대회, VOL. 2018, NO. 1, pp. 270-274, 2018.

[22].

박채용, 이지완, 오송이, 최승문, “사실적인 충돌 효과 를 위한 진동 및 임팩트 햅틱 피드백,” 한국HCI학회 학 술대회, VOL. 2019, NO. 2, pp. 249-252, 2019.

[23].

이재동, 김영선, 김정현, “착각 효과에 기반한 가상 및 실제 객체와의 촉각 상호 작용 방법 및 시스템,” 한국 HCI학회 학술대회, VOL. 2012, NO. 1, pp. 75-77, 2012.

[24].

최상민, 김학수, 채영호, “가상 공간 개념 스케치를 위 한 음향 반향을 포함하는 새로운 곡선 모델링 도구,” 멀 티미디어학회논문지, VOL. 12, NO. 2, pp. 281-289, 2009.

[25].

노진우, 한광희, “터치스크린에서 펜을 이용해 필기 시 청각 피드백의 효과,” 한국HCI학회 학술대회, VOL. 2014, NO. 2, pp. 1143-1146, 2014.

[26].

김영일, 김세미, 민영삼, “터치스크린 휴대폰 사용 환경을 고려한 소리, 진동 피드백 연구,” 한국HCI학회 학술 대회, VOL. 2008, NO. 2, pp. 130-134, 2008.

[27].

김승찬, 양태헌, 권동수, “햅틱 / 사운드 그리드를 이용 한 3 차원 가상 환경 내의 위치 정보 인식 향상,” 한국 HCI학회 학술대회, VOL. 2007, NO. 2, pp. 447-454, 2007.

[28].

Oculus의 Quill, https://quill.fb.com/

[29].

김상민, 국내 최초 VR 아티스트 염동균 작가의 VR 아 트 드로잉 퍼포먼스 ‘주목’, 미래한국신문, 2018. 07. 09, http://www.futurekorea.co.kr/news/articleView.html?idxno=108352

[30].

Enrique Rosales, Jafet Rodriguez, and Alla Sheffer. 2019. “SurfaceBrush: From Virtual Reality Drawings to Manifold Surfaces,” ACM Transaction on Graphics, VOL. 38, NO. 4, 2019.

[31].

Xin M, Sharlin E, Sousa MC, “Napkin sketch-handheld mixed reality 3D sketching,” In Proceedings of VRST 2008, Bordeaux, France, pp. 27–29, 2008.

[32].

김준한, 한제완, 최수미, “증강현실에서 펜을 이용한 3 차원 스케치,” 한국정보과학회 학술발표논문집, VOL. 2019, NO. 6, pp. 2034-2036, 2019.

<저자소개>

김 지 은

jkcgs-26-3-69-g11

  • 2019년 한성대학교 졸업(공학사)

  • 2019년~현재 한성대학교 대학원 IT융합공학과 석사과정

  • 관심분야: 가상현실, 증강현실, HCI, 컴퓨터그래픽스 등

박 우 희

jkcgs-26-3-69-g12

  • 2019년 한성대학교 졸업(공학사)

  • 2019년~현재 한성대학교 대학원 IT융합공학과 석사과정

  • 관심분야: 가상현실, 증강현실, HCI, 캐릭터 애니메이션 등

이 지 은

jkcgs-26-3-69-g13

  • 1997년 이화여자대학교 졸업(공학사)

  • 1999년 포항공과대학교 대학원 졸업(공학석사)

  • 2007년 서울대학교 대학원 졸업(공학박사)

  • 1997년~2002년 LG전자기술원

  • 2008년~2018년 조선대학교 컴퓨터공학과 교수

  • 2018년~현재 한성대학교 IT융합공학부 교수

  • 관심분야: 컴퓨터그래픽스, 가상현실, 기하처리알고리즘 등