1. 서론
가상현실은 사용자에게 몰입감 높은 경험을 제공하기 위하여 시 각, 청각, 촉각 등의 다양한 감각을 만족시 키는 상호작용을 가능 하게 한다. 또한, 몰입 형 가상현실은 사용자의 감각에 기반하여 어디에 있는지, 누구와함께 있는지, 무슨 행동을 하는지에 대한 경험을 실제처럼 느끼는 현존감에 초점을 맞추어 게임과 같은 엔 터 테 인먼트 분야는 물론 교육, 관광, 제조, 군사 등 다양한 분야와 의 융합을 통한 새로운 어플리케이션이 개발 및 제작되고 있다. 이와 관련된 기술로 Oculus Rift CV1, HTC Vive, 삼성 오디세이 VR등의 가상현실 HMD와함께 트레드밀, 가상현실 햅틱 글러브 등의 시스템들과의 결합을 통해 사용자가 더욱 몰입할 수 있는 체험 환경으로 발전하고 있다. 뿐만 아니라 가상 환경과 직접적 으로 상호작용하고 객체들을 현실감 있게 제어할 수 있는 몰입형 가상현실에서의 사용자 인터페이스, 햅틱 피드백 등의 연구들이 현재까지 다양한 관점에서 폭넓게 이루어지고 있다. 최근에는 가 상현실이 일상 생활에 보다 밀접하게 관여하는 다양한 어플리 케이션이 기획, 제작되는 추세이고 인간 중심의 심리학, 사회적 현상 등을 분석하는 연구들도 진행되고 있다 [1, 2, 3, 4].
몰입형 가상현실에서의 현존감을 위해서는 사용자가 가상 환 경과 어떻게 상호작용하는지가 중요하다. 몰입형 가상현실은 사 용자의 움직임을 보다 정확하게 측정하여 사실적으로 표현하기 위하여 관절 또는 힘의 변화를 감지 및 측정 함은 물론 행동을 통해 가상현실 환경 과 상호작용하는 과정에서 발생하는 물리 적 반응을 피드백하는 햅틱 시스템, 모션 플랫폼등의 연구들이 다양 하게 이루어지고 있다 [5, 6]. 여기에 제한된 체험 공간에서 넓은 가상현실 환경에서의 자유롭고동적인 걷기를 표현하기 위한 알 고리즘 [2, 7], 걷기 시뮬레이터 [8] 등의 연구들도 진행되고 있다.
몰입 형 가상현실에서 의 상호작용과 관련된 연구들을 토대로 쇼핑몰, 재활, 교육 등 다양한 응용 분야와 융합하여 어플리 케 이 션으로 제작하는 연구들이 진행되고 있다 [9, 10, 11]. 이는 특정 목적을 가지는 사용자 또는 주어진 목표가 분명한 조건 속에서 가상현실을 기반으로 몰입을 높이는 체험 환경을 통해 실제와 같은 경험과 향상된 효과 (교육, 치료 등)를 얻을 수 있음을 확 인하였다. 하지만, 대부분 몰입형 가상현실의 체험 환경이 일반 사용자들의 교육, 체험 만을 목적으로 하는 경우가 많다. 사고나 질병으로 인하여 일시적으로 건강이 나빠진 일반인 환자의 치료 또는 재활을 위한 가상현실 어플리케이션이 존재하기는 하지만 장애를 가진 사용자의 교육, 적응 등에 초점을 맞추어 체험 환경 을 제시 하는 연구나 어 플리 케 이 션은 부족한 상황이 다.
따라서 본 연구는 장애 인 사용자 또는 장애 인의 입장으로 체 험하는 사용자의 관점 에서 몰입형 가상현실을 설계한다. 구체적 으로 후천적 시각 장애인 또는 잠재적으로 시각 장애가 발생할 수 있는 상황에서의 실외 도보 적응이나 일상 생활에서의 시각 장애인의 걷기에 대한 간접 경험을 목적으로 체험 환경을 구축 한다. 단, 일반 사용자 입장에서는 단순히 교육의 효과를 높이는 목적이나 간접 경험으로 체험이 종료되어도 문제가 되지 않지 만, 장애인의 현실적 인 적응까지 고려한다면 일상 생활에서 겪을 수 있는 예측 불가능한 여러 상황을 포함해야 한다. 즉, 보다 사 실적인 체험 환경을 구축하는 것이 필요하다. 따라서 본 연구는 불규칙한 주변 실외 환경을 고려하고, 이를 예측과 추론의 과정 을 통해 상황을 판단할 수 있도록 딤러닝을 활용한 몰입형 보행 상호작용 방법을 새롭게 제안한다. 제안하는 상호작용의 핵심은 다음과 같다.
-
시각 장애인이 실외 공간을 걷는데 고려해야 되는 상황, 현 실에서 발생하는 예측 불가능한 요인들을 포함하여 점자 블 록이 포함된 인도와 차도로 구성 된 실외 공간을 구성한다.
-
제자리걸음을활용한 트래커 기반 걷기와 VR 컨트롤러기반 흰지팡이로 구성된 시각 장애인의 체험에 최적화된 몰입형 보행 상호작용을 제안한다.
-
흰지팡이를 통해 도보 위의 점자 블록을 인지하고 예측 불가 능한 상황과 불규칙한 조건에서의 정확한 판단을 지원하는 딤러닝 기반 이미지 인식 모델을 설계한다.
제안하는 VR 흰지팡이는 실제 지팡이를 활용하여 구성함은 물론 점자 블록 인식 및 추론 과정 또한 가상현실로 한정하는 것 이 아닌 현실세계에서 적용 가능한 학습 모델로 설계하는 것이 핵심 목표이다.
2. 관련 연구
몰입형 가상현실은 사용자의 시각, 청각, 촉각 등의 다양한 감각 을 기반으로 가상의 환경에서 실제와유사한 경험을 제공받을수 있도록 입체적 시각정보를 전달하는 디스플레 이, 공간감을 극대 화하기 위하여 오디오 소스를 활용한 사운드 처리, 그리고 가상 환경을 직접적으로 상호작용 할 수 있는 방법으로 인체(손, 시선, 다리 등)를 기반으로 한 햅틱 시스템, 자연스러운 걷기를 위한 모 션 플랫폼 등에 대한 연구들이 진행되고 있다 [12, 13, 14]. 높은 몰입을 통해 가상현실에서 의 현존감을 향상시 키 기 위해서는 가 상과 실제 사이의 경계를 허물수 있을 만큼의 현실적인 상호작용 이 필요하다. 이를 위해 현실 공간에서의 사람이 움직이는 인체 관절을 정확히 감지하고, 동작의 의도, 행동 과정을 분석하여 가 상현실에 반영하는 연구들이 수행되고 있다. 인체 관절을 정확히 감지하기 위한 연구들로 표면 또는 광학 마커 를 관절에 부착하고, 카메라로 마커를 감지 및 추적하여 가상 모델의 동작에 매핑시키 는 연구들이 진행되었다 [15, 16]. 이는 손 제스쳐, 얼굴 표정, 몸 전체의 움직 임을 캡쳐하는 연구로 발전하여 가상에서 실제와 같 은 움직 임을 표현하는 기술까지 이루어 져 왔다 [1].
상호작용 과정 에서 사용자의 의도, 행동을 표현하는 것과 함께 사용자로부터 발생하는 힘을 측정하고, 정확한 힘으로부터 발생 하는 물리 적 반응을 사용자에게 피 드백하는 과정 또한 중요하다. Jayasiri et al. [17]은 사용자의 힘에 기반하여 물리적 상호작용 을 표현하는 햅틱 시스템과 이를 지원하는 햅틱 인터페이스를 제안하였고, 이와관련하여 3-RSR [18], 3-DoF 웨어러블 햅틱 장 비 [19], 그리고 휴대용 손 햅틱 시스템 [12] 등 응용 연구들이 다양하게 이루어지고 있다. 이밖에도 제한된 실내 공간에서 무한 한 걷기를 표현하기 위한 알고리즘 연구 [7], 제자리 걸음을 감지 하는 휴대용 걷기 시뮬레이터 [8] 등의 연구들 또한 이루어지고 있다. 그럼에도 불구하고 햅틱 시스템이나 모션 플랫폼은 주로 사용자의 손또는 걷기에 대한 처리에 초점이 맞추어져 있어 사용 자의 신체를기반으로 일상생활에서 쉽게 접할수 있는도구들로 응용하는 연구들은 부족한 상황이 다.
몰입형 가상현실에서 상호작용에 기반한 연구들은 궁극적으 로 사용자가 가상에서 실제와 같은 경험을 느끼는 현존감을 향 상시 키 기 위함이 중요한 목적 이다. Slater et al. [20]을 중심으로 한 현존감 연구들은 다양한 사례를 중심으로 이루어져 왔다. 사 용자의 걷기 경험에서의 현존감 [21], 사용자가 의사소통 [22] 등 다양한 관점에서 분석하였다. 그리 고 이 러한 연구들이 발전하 여 가상현실에서의 환경과 조건이 사용자 행동과 인식에 미치는 정신적 인 영향으로부터 심리학, 신경 과학 등 타 학문과의 융합 까지 포괄적으로 분석하는 방향으로 발전되고 있다 [4]. 그리고 이는 몰입형 가상현실의 어플리케이션 측면에서 시선, 손 등을 활용한 상호작용이 현존감 향상에 미치는 요인들을 분석하는 연 구들까지 진행되었다 [13, 14]. 이러한 연구들을토대로 가상현실 어플리케이션을 제작하고 사용자로부터 성능, 효과를 검증 및 분 석하는 연구들 또한 이루어지고 있다. 몰입형 가상현실 쇼핑 어 플리케이션을 구축하기 위한 제스쳐 상호작용에 대한 연구 [9], 소 근육 재활을 위한 가상 홈 트레이닝 환경 [10], 범죄 프로파 일링 시뮬레이션 교육 시스템을 통한 성능 측정 및 분석 [11]은 물론 가상현실 기술을 활용한 몰입형 전래동화 콘덴츠 제작 [23] 까지 다양한 분야에서 응용할 수 있는 방향을 제시하고 있다. 하 지만 이러한 어플리케이션 대부분은 일반인 사용자의 체험 환경 에 초점 이 맞추어져 있어 특수한 상황의 사용자, 장애 인 사용자 등 체험 환경 의 폭을 확대해 나갈 필요가 있다.
따라서 본 연구는 가상현실 체험 환경의 사용자 폭을 넓히면 서 기존의 상호작용과는 다른 새로운 시스템을 제안하기 위하여 시 각 장애 인 사용자에 초점을 맞춘 도보 적응 어플리 케 이 션을 제 작하고, 이를 지원하는 새로운 보행 상호작용을 설계한다. 또한 사용자의 현존감을 향상시 키 기 위하여 실외 체험 환경 의 사실적 표현을 높이고 시각 장애인의 길 안내 도구인 점자 블록의 인지, 추론 과정을 돕는 학습 모델을 함께 제 안하고자 한다.
3. 시각 장애인 가상현실 체험 환경 설계
제안하는 몰입형 가상현실은 시각 장애인의 시점에서 실외 공간 에서의 도보 적응을 위한 체험 환경을 제시하는 것을 목적으로 한다. 체험 환경의 주요 대상은 시각 장애인 (특히, 후천적 시각 장애인)과 시각 장애인의 입장을 간접 경험하는 일반 사용자로 한다. 그리고 체험 범위는 점자 블록이 배치된 도로 위에서의 도 보 적응을 위해 인도와 차도를 구분하는 과정, 점자 블록의 안내 에 따라 길을 찾아가는 과정으로 구성된다. 이를 위해 본 연구는 시각 장애 인을 위한 가상현실 도보 체험 환경을 토대로 점자 블 록 인식을 위한 딤 러닝이 적용된 새로운 몰입형 보행 상호작용을 제안한다. 이는 현실세계의 흰지팡이에도 적용 가능한상호작용 기기와학습 모델로 도보 적응의 현실성을 높이는 핵심 기능이다.
시각 장애인의 가상현실 도보 체험 환경은 체험을 수행하는 주체 인 사용자 (시 각 장애 인 또는 시 각 장애 인의 역할)와 체험 공간과 장면으로 구성된 가상 환경으로 구분하여 설계한다. Figure 1은 제안하는 체험 환경의 전체적 인 구조를 나타낸 것이다. HMD를 착용한 사용자는 컨트롤러와 흰지팡이를 연결한 VR 흰지팡이를 통해 점자 블록을 판단하고, 양 발에 트래커를 부착하여 제자리 걸음을 인지함으로써 걷기 상태를 결정하도록 한다. 가상 환경은 현실 환경과 유사한 체험 환경을 제공하기 위하여 도시 장면을 컨셉으로 점자 블록과 보도 블록으로 구성된 인도 그리고 위험 요 소인 차도로 구성된 실외 가상 공간으로 제작한다. 본 연구에서 가상현실 체험 환경에 사용하는 장비는 HTC Vive HMD와 전용 컨트롤러이며, 제자리 걸음 인지를 위해 사용되는 트래커 역시 HTC Vive 트래커를 활용하여 장비 간의 호환성 과 효율성을 높이 도록 한다.
본 연구는 시각 장애인의 입장에서 예측하기 힘든 주변 상황이 사용자에게 미치는 두려움, 점자 블록은 인지하고 길을 판단하는 과정에서의 어려움 등 실제와같은 보행 경험을 제공함을 목적으 로 몰입형 보행 상호작용을 제안한다. 이는 흰지팡이를 통해 길 위에 배치된 점자블록을 인지 및 판단 (주행, 교차, 방향 전환등), 재질, 관리 상태 등에 따른 예측 불가능한 상황과 불규칙한 조건 에서 정확한 검사와 피드백을 위하여 VR 흰지팡이를 설계하고 학습 모델이 적용가능한 구조로 정의한다.
상호작용의 첫번째 처 리과정은 가상 공간에서의 사용자 걷기 이 다. 제한된 공간에서 넓은 실외 도시 공간을 자연스럽게 걷는 과 정이 보행에서의 시작이고, 보행은 다리를 이용하기 때문에 두 다리를 직접 활용할 수 있는 상호작용을 설계하는 것이 필요하 다. Lee et al. [24]은 키보드나 컨트롤러를 활용하는 기존의 입력 처 리 방식으로 단순히 걷기를 표현하는 것과 비교하였을 때 향상 된 현존감을 제공함을 확인하였다. 단, 트레드밀 방식의 모션 플 랫폼이나 모션 캡쳐 장비 등을 활용하는 걷기 상호작용을 활용할 경우 더 욱 현존감을 향상시 킬 수 있지만, 높은 비용으로 누구나 쉽게 사용하기에는 한계가 있다. Lee et al. [8]은 이러한 문제를 해결하기 위한한방법으로제자리 걸음기반의 휴대용걷기 시뮬 레이터를 제안하였다. 본 연구는 제자리 걸음을 활용하는 기존의 휴대용 걷기 시뮬레이터의 알고리즘을 기반으로 대중성의 측면 에서 쉽게 접근이 가능하도록 HMD와 함께 제공되는 트래커를 활용한 걷기 처 리과정을 설계한다.
트래 커를 활용하여 제자리 걸음을 판단 과정은 다음과같다. 우 선 Figure 2에서와 같이 트래커를 양 발등 위에 밴드로 연결한다. 발등 위에 부착된 트래 커는 가상 공간에서 3차원 로컬 축을 가지 며, 센서를 통해 위치와 회전 변화를 감지하게 된다. 트래커 기반 걷기 처 리과정은 Lee et al. [8]의 휴대용 걷기 시뮬레이 커와 같이 방향 전환, 걷기, 정지의 3가지 상태로 구성된다. 우선, 사용자가 다리를 들어 걷기 행동을 하는지를 판단하기 위하여 트래커의 Y 축 이동 변화를 감지한다. Y축으로 이동 변화 값이 임계값 이상 일 경우 사용자가 다리를 들어 제자리 걸음과 관련된 행동을 하고 있는 것으로 결정한다. 이때, 방향 전환은 트래커의 Y축 (X-Z평 면) 회전 변화 값이 임계값 이상인지를 검사하여 판단한다. 같은 방법으로 방향 전환이 아닌 경우, 트래 커 의 X축 (Y-Z평 면) 회전 변화 값을 통해 걷기 여부를 결정한다. 마지막으로 이 모든 변화 가 발생하지 않을 경우 사용자는 정지 상태인 것으로 처 리한다.
제안하는 트래 커 기 반 걷기 처 리과정은 휴대용 걷기 시 뮬레 이 터와 비교하여 마스터 보드의 RF 모듈 또는 블루투스 통신으로 걷기 상태를 걷기 상태를 가상 환경의 캐릭터에 반영하는 과정을 생략하고, 가상 환경 내에서 판단 및 적용을 직접적으로 처 리함으로써 효율 성을 높이며 범용적 인 상호작용으로 활용될 수 있다.
Figure 3은 트래커를 Unity 3D 엔진에서 감지하고, 제자리 걸 음을 판단하기 위한 개발 환경을 설정한 것이다. HMD의 위치를 기반으로 컨트롤러 인식 과정과 동일하게 트래커를 인식할 수 있도록 Steam VR 플러그인에서 제공하는 트래 커 프리 랩을 활용 하여 양 발 위치에 설정한다.
시각장애인의 보행은보조기구를 전혀 사용하지 않은보행, 안내 보행, 전자기기를 이용한 보행, 안내견 보행 등 다양한 방식으로 이루어지지만, 그 중에서 가장 보편적 인 방법은 흰지팡이를 활용 한 보행 방법 이다. 이는 독립성, 안전성, 효율성 이 높다는 장점을 있어 많이 활용된다. 따라서 본 연구도 지팡이를 활용하여 가상현 실 도보 체험 환경을 구축하기 위하여 VR 흰지팡이를 설계한다. Figure 4는 본 연구에서 제작한 VR 흰지팡이로 HTC Vive 컨트 롤러 에 실제 지팡이 연결하여 가능한 사용자에게 시 각 장애 인이 느끼는 경험을 실제와 같이 제공할 수 있도록 한다. 이때, 흰지팡 이와 점자 블록이 닿았을 때 전달되는 촉각은 컨트롤러의 진동 모듈로 대체하여 차이는 있지만 점자 블록에 닿았음을 손 끝으로 느낄 수 있는 체험 환경으로 구성한다.
Algorithm 1 은 컨트롤러에 부착시킨 흰지팡이가 지면과 닿았 을 때 컨트롤러의 진동을 처리하는 과정을 나타낸 것이다. 기본 적으로 본 연구는 HTC Vive 컨트롤러를 사용하여 가상현실 체험 환경을 구성하지만, Oculus와 같은 다른 장비를 활용하여 VR 흰 지광이를 설계하는 것을 고려하여 알고리즘을 정의한다.
1： procedure VR WHITE CANE FEEDBACK PROCESS
2: state ← recognition of braille block using VR white cane.
3: if state == braille block then
4: controllerObj ← controller object such as HTC Vive or Oculus touch controller.
5: inut settings of controllerObj.
6: tansfer vibration through haptic input function of controllerObj.
7: collision sound output.
8: else if state == roadway then
9: car or warning sound output.
10: end if
11: end procedure
3.3 딥러닝 기반 점자 블록 인식
VR 흰지팡이는 가상현실 환경에서 사용자가 도로 위의 점자 블 록을 인지함으로써 안전한 보행을 도와주는 장비이다. 따라서 VR 흰지팡이를 통해 점자 블록을 인식하는 과정이 필요하다. 본 연구는 점자 블록 유무만을 단순하게 판단하는 것으로 끝나는 것 이 아니 라 다양한 점자 블록의 종류에 따른 인지 및 판단, 시 간에 흐름에 따른 블록의 상태 변화 등 예측 불가능한 여 러 상황과 조 건 속에서도 정확한 의사결정을 할 수 있도록 딥러닝을 활용한 점자 블록 인식 과정을 설계한다.
제안하는 딥러닝 모델은 구글의 인셉션 (inception) v3모델을 기반으로 점자 블록, 인도, 차도로 구성된 이미지들로 새롭게 학 습 (retraning)을 진행하였다. Figure 5는 본 연구에서 점자 블록 인식을 위해 사용한 데이터 셋으로 주행을 도와주는 선형 점자 블록과 교차, 상황 인지를 통한 유도를 목적으로 하는 점형 점자 블록의 두 종류의 점자 블록 영상과 함께 보도블록으로 구성된 인도와 차도의 총 네 가지 종류의 레 이블로 구성한다.
새로운 작업에 대해 적합한 신경망 구조를 발견하고, 새로 학 습 시키는 것은 많은 시간과 노력이 들어가기 때문에 본 연구는 이미지 분류 및 인식에서 정확히 동작하는 검증된 모델의 구조와 파라미터들을 가져와 새로운 데이터 셋에 새롭게 학습을 진행하 는 전이 학습 (transfer learning)을 통해 학습 데이터를 추출하였 다 [25].
다음은 정의한 데이터 셋을 토대로 학습된 결과를 VR 흰지팡 이 에 적 용하여 가상 환경 에 서 점 자 블록을 판단하는 과정 을 구현 한다. 우선, 점자 블록 인식에 필요한 영상을 촬영하기 위해 VR 흰지팡이에 카메라를 추가로 배치한다. 이때, 카메라는 현실 세 계의 흰지팡이 에 적용하는 것을 함께 고려하여 지 면과 닿는 끝부 분에서 살짝 위쪽에 배치시 키고 지면을 바라보도록 방향을 설정 한다 (Figure 6(a) ). Figure 6(b) 는 Unity 3D 엔진에서 VR 흰지 광이 에 배치한 카메라와 이로부터 촬영 된 영상을 나타낸 것이다. 본 연구는 256 × 256 해상도로 학습을 진행하였고, 실험 영상 역시 같은 해상도를 유지하기 위하여 촬영 영상의 해상도를 설 정하였다. VR 흰지팡이로부터 촬영된 영상을 학습 모델의입력 노드 (input_node)로 전달하고 결과 노드 (output_node)로 출력된 정확도를 통해 Figure 6(c) 와 같이 추론을 한다. 이러한 과정을 거쳐 VR 흰지팡이가 점자 블록임을 인식하게 되면 컨트롤러에 진동을 전달함으로써 사용자가 인지하도록 설계한다. 이때, 진 동을 느끼지 못하는 경우를 대비하여 효과음을 함께 전달하도록 구현하였다.
제안하는 학습 모델은 가상 환경에서 VR 흰지팡이에 적용 가 능한모델을설계하는것으로국한되는것이아니라현실세계의 흰지팡이에 적용 가능한 모델까지 고려하여 설계하였기 때문에 다양한 실사 영상을 학습 데 이 터로 활용하여 결과를 추론하도록 구현하였다. 흰지팡이를 활용하여 점자 블록을 인지하는 과정은 손 끝으로 점자책을 읽는 것과 같이 지팡이 끝의 촉각으로 정확히 판단하는 것이 중요하다. 하지만, 파손 또는 마모 등의 원인으로 점자블록이 훼손되어 제 기능을 하지 못하는 경우가 늘고 있고 이로 인한 안전사고가 많이 발생하고 있다. 따라서 딤러닝 기반 점자 블록 인식을 가상현실 뿐만 아니라 현실세계에 적용할 수 있는 모델로 설계하여 점자 블록 인지의 정확성을 높여 이러한 문제를 해 결하는데 도움을 주고자 하는 것 이 다.
4. 실험 및 분석
본 연구는 시각 장애인의 입장에서 흰지팡이를 사용하여 도보 체험하는 과정을 보다사실적으로 제공하기 위하여 몰입형 상호 작용을 지원하는 장비들과 함께 실험 어플리케이션을 제작한다. 실제 시각 장애인의 경우 HMD 착용하는 것이 의미가 없지만, 정확한 위치 추적을 위해 HMD를 착용하는 것을 전제로 하였고, 일반 사용자의 경우 시각 장애인과 잠재적으로 시각 장애인이 될 수 있는 상황을 모두 고려하여 앞이 전혀 보이지 않는 상황, 백내 장환자처럼 사물을 인식하기 어려울 정도로흐리게 보이는상황 그리고 녹내장 환자처럼 시야의 일부가 가려져서 판단이 어려운 상황등을 모두 제공할수 있도록 어플리케이션을 제작한다.
실험을 위해 제작한 가상현실 어플리케이션은 Unity 3D 2017.3.1f1 엔진을 기반으로 SteamVR 플러그인 (SteamVR Beta 1.4.9)을통합하여 구현하였다. 어플리케이션 제작에 사용된 그래 픽 리소스 가운데 VR 흰지팡이 모델은 Autodesk 3ds Max 2017, Adobe Photoshop CS5, Adobe Illustrator CS5를 활용하여 직 접 제 작하였고, 그 외 배경적 요소들은 유니 티 사의 에셋 스토어 (asset store)에서 제공하는 리소스를 활용하였다. 또한, 딤 러닝 기반 점 자 블럭 인식은 아나콘다 (Anaconda 3, conda 4.6.12)와 텐서플로 우 (TensorFlow 3.6.8)을 통해 구현하였으며, Unity 3D 엔진에서 학습 모델에 대한 실험은 텐서플로우샵 플러그인 (TensorFlow-Sharp 1.12.0)을 활용하여 구현하였다. 마지막으로 시각장애인의 도보 체험 환경에 사용된 PC는 Intel Core I7-8700, 16GB RAM, Geforce 1080 GPU를 탑재하고 있다. Figure 7은 이를 기반으로 본 연구에서 제시하는 환경에서 사용자가 체험하는 과정을 나타 낸 것이다.
Figure 8는 시각 장애인의 도보 적응 과정을 체험하기 위하여 제작한 어플리케이션의 결과이다. 어플리케이션은 사용자가 정 해진 몇가지 훈련 코스 중 하나를 선택한다. 그리고 훈련 코스에 따라 시작지점에서 도착지점까지 VR 흰지팡이를 사용하여 이동 하면서 도보 훈련을 진행하게 된다. 어플리케이션의 배경은 일상 생활에서 쉽게 접할수 있는 실외 도시 환경으로구성하였고, VR 흰지팡이를 통해 점자 블록의 안내를 받아 천천히 목적지까지 이동하도록 하였다. 이때, HMD를 통해 전달되는 영상은 시각을 거의 잃은 상황에서부터 녹내장과 백내장 시야에서의 장면 등을 다양하게 고려하여 체험하도록 하였다.
다음은 제안한 가상현실 도보 체험 환경의 현존감에 대한 설 문 실험이다. 몰입형 보행 상호작용을 통해 시각 장애인으로써 체험하는 과정에서 만족하는 현존감을 느끼는지를 설문 실험을 통해 확인하였다. 우선, 설문 참가자는 20~37세 사이의 총 m명 을 대상으로 하였고, 세 가지 장면을 순차적으로 경험한 후 주어 진 설문지에 응답하는 방식으로 진행하였다. 본 연구는 Witmer et al. [26]가 제안한 현존감 설문지를 활용하여 설문 결과를 도출 하고, 이를 분석하였다. 현존감을 측정하는 여러 요인을 구분하 여 총 19개의 문항으로 구성된 현존감 설문지에 참가자는 각각 1~7사이의 값을 선택하여 입력한다. 설문 결과 전체적인 현존 감 평균은 전혀 보이지 않는 장면 (평균: 5.2149, SD: 0.8806), 흐 린 시야 (평균: 5.5965, SD: 0.0806), 제한된 시야 (평균: 5.5395, SD: 0.7982) 로 5.0 이상의 비교적 높은 값이 기록되었다. 전혀 보이지 않는 장면은 시각적 경험 없이 오로지 VR 흰지팡이를 통 한 상호작용에 의존하여 체험을 하기 때문에 시각이 제공하는 현존감이 배제되어 상대적으로 낮은 값이 기록되었다. 참가자가 기록한 세부 항목을 통해 제 안한 상호작용이 현존감에 미치 는 영 향을 확인하면, 장면에 따라 차이가 있음을 확인할 수 있다. 앞이 보이지 않는시각장애인의 시점 장면의 경우시각적인 정보가전 혀 제공되지 않음으로 인하여 사용자는 몰입형 보행 상호작용에 만 의존하게 되어 인터페이스의 만족을 평가하는 중요한 기준이 된다. 결과적으로 다른 두 장면과 비교하여 인터페이스의 질에 대한세부 항목에서 1.0 이상의 차이를 기록하였고, 이는 보행 상 호작용이 현존감 향상에 높은 영향을 미치는 것으로 확인할 수 있었다. 이에 반해, 백내장 또는 녹내장 시야에서는 일부 제공되 는 시각적 정보를 토대로 체험을 진행하게 됨으로써 모든 항목이 전체적으로 비슷한 값을 나타내는 것을 알 수 있었다. 특히, 모든 장면이 공간을 통한 움직 임, 자연스러운 이벤트 제어 등 Realism 항목에서 높은 값을 기록하였는데 , 이는 제안한 몰입형 보행 상 호작용이 몰입을 통한 현실감을 높이는데 많은 작용을 한 것으로 판단된다.
마지막으로 학습 모델을 통해 사용자가 인지하는 점자 블록에 대한 정 확성을 분석 하였다. 실 험 에 참가한 참가자돌이 제시 된 시 작점 에서 목적 지 로 향하는 과정 에서 VR 흰지팡이로부터 촬영 된 지면 영상에 대한 인식 결과와 정확도 값을 기록 하였다. Figure 9 은 이를 나타낸 것으로 점자 블록과 인도, 차도를 정확히 구분하 고 있으며, 점자 블록에 대하여 다음과 같은 정확성을 나타냄을 확인할 수 있었다 (선형: 93.37%, 점형: 78.10%, 인도: 98.04%, 차도: 88.97%). 어플리케이션에 사용된 점자 블록 텍스쳐가 실제 블록과 같이 훼손, 변형 되는 여 러 상황을 고려하고 있지 않기 때 문에 정확도 및 인식 결과가 높게 나타난 것으로 보인다. 다만, 점형 점자 블록의 경우, 차도와 인접해 있는 경우가 많아 촬영 각 도에 정확도가 낮아지는 경우가 일부 존재하였다. 하지만 이 경우 에도 계산된 정확도 결과 값이 상대 적으로 낮을 뿐 점자 블록으로 인지하는데 문제가 없었다. 이러한 점들을 종합적으로 고려하여 추후에는 실제 실외 도시 환경과 똑 같은 지면을 표현하여 장면을 구성할 필요가 있다
5. 결론
본 연구는 일상 생활에서 길을 찾고 활동하는데 어 려움을 겪는 시 각장애인의 도보 적응을 지원하는몰입형 가상현실 체험 환경을 제안하였다. 제안하는 시각 장애인 가상현실 체험 환경은 시각 장애 인이 길을 안전하게 걷기 위해 사용하는 여러 도구 중 가장 일반적으로 사용되는 흰지팡이를 가상현실 환경에서 똑같이 체 험할 수 있도록 트래커기반 걷기 처리과정과 VR 흰지팡이로 구 성된 몰입형 보행 상호작용 설계하였다. 또한 VR 흰지팡이를 통 해 인도 내에서 점자 블록을 인식하고, 점자 블록의 안내에 따라 안전하게 목적지까지 이동하는 과정을 정확한 의사 결정과정을 통해 판단하도록 딤러닝 기반 점자 블록 인식 과정을 설계하였 다. 제안한 몰입형 보행 상호작용과 다양한 상황을 고려하여 점 자 블록 인식을 통한 정 확한 의사결정 을 지 원 하는 딤 러 닝 방법 에 대한 검증을 위하여 점자 블록, 보도 블록, 차도 등을 모두 포함한 실외 가상 도시 환경으로 구성된 실험 어플리케이션을 제작하였 다. 그리고 일반 참가자들을 대상으로 시 야가 전혀 보이지 않는 시각 장애 인, 시 야가 흐리 게 보이는 백내장 환자, 시 야의 일부가 가려져 보이는녹내장 환자등 여러 시점에서 도보 체험을 진행하 였다. 우선, 현존감 설문을 통하여 제안한 시 각 장애 인 가상현실 체험환경에서 각각의 상황에 맞는 적절한 현존감이 제공되고 있 으며, 몰입형 상호작용이 실제 흰지팡이를사용한듯한 움직임과 주변 환경과 현실적으로 반응하는 경험을 제공하여 현존감 향상 에 도움을 주었음을 알 수 있었다. 마지막으로 VR 흰지팡이의 의 사결정을 위하여 설계한 학습 모델이 도보 체험을 하는 과정에서 점자 블록과 인도, 차도를 정확히 구분하고 인지하는 지 여부를 확인하였고, 높은 정확도와 인식률을 보임을 알 수 있었다.
현재의 실험 환경은 가상환경에서의 체험만을 제공하고 있기 때문에 현실세계에서 사용자가 흰지팡이를 가지고 도보 체험 하 는 실제 경험과의 비교 평가는 진행하지 않았다. 따라서 향후 현 실세계에서 실제 경험 값을 기준으로 제안한 가상 체험 환경의 현존감 여부를 비교 실험함으로써 결과의 신뢰도를 높이도록 할 것이다. 또한, 딤러닝 기반 점자 블록 인식 방법 역시 가상 체험 환경을 도시 재생을 통해 보다 현실적으로 표현함으로써 가상은 물론 현실에서도 적용 가능한 수준의 인식률과 정확도를 가질 수 있는지를 실험하도록 할 계획 이 다.
