1. 서론
‘몰입형 가상현실(immersive virtual reality)’은 사용자가HMD(Head Mounted Display)를 착용하고 현실과는 차단된상태에서 컨트롤러나 제스처 인식 센서 등을 통해 사물과직접 상호작용하면서 가상현실을 체험하는 것으로 ‘비몰입 형 가상현실(desktop virtual reality)’ 보다 현존감이 높다. 현존감이 높은 콘텐츠는 사용자의 흥미와 참여율이 높다는 장점을 가지고 있다.
가상현실 기술은 의학 분야에서 다양하게 활용된다. Dascal의 연구는 2005년도부터 2015년도까지 입원 의료 환경에서 가상현실 기술이 사용된 연구의 유용성과 효능을 검토하였다. 해당 결과는 통증, 산만함, 섭식 장애, 비만, 인지재활, 운동 재활과 같은 의학적 증상으로 그룹화하였다. 대다수의 연구에서 가상현실이 효과적이고, 사용하기 쉬우며, 안전하고, 환자의 만족도를 높이는데 기여하는 것으로 나타났다[1]. Howard의 연구는 가상현실 재활 프로그램의 효과(운동 제어, 균형, 보행, 힘)에 대해 분석하였고 가상현실 재활(VRR; Virtual Reality Rehabilitation)이 효과적인 이유는흥미의 증가, 물리적 충실도 증가, 인지적 충실도 증가와 같은 세 가지 메커니즘을 가지기 때문이라고 기술하였다[2]. 전통적인 재활 프로그램은 지루하고 반복적인데 비해 가상현실 재활 프로그램은 몰입형 디스플레이를 통해 흥미가 증가된다. 전통적인 재활은 실생활과 한정된 공간 및 도구를이용하여 재활을 하지만 가상현실을 이용한다면 제약 없이다양한 공간과 도구를 이용하여 재활할 수 있기 때문에 물리적 충실도가 증가한다. 또한 다양한 시나리오 구성이 가능해 인지적 기능 향상이 가능하다. 그림 1은 이 연구에서 제안하는 메커니즘을 도식화한 것이다.
뇌 손상으로 인해 생기는 질병은 신체의 마비를 수반하는경우가 흔하며 일상생활을 하는데 어려움이 생긴다. 환자는 일상생활 활동들을 치료적 목적으로 사용하는 작업치료를받게 된다. 작업치료에는 여러 분야가 있는데 그 중에서도인지/운동 훈련은 일상생활로서 주방일, 가사 업무 활동을 포함하고 치료적 활동들로 카드, 도미노 게임, 페그 보드와블록 게임 등이 포함된다[3]. 이러한 일상생활 활동들은 대부분 손을 이용하는 활동들이지만 뇌졸중 환자는 손이나 팔의 기능이 저하되어 지속적인 소근육 재활이 필요하다. 전통적인 뇌졸중 재활은 환자가 재활 치료기관에 방문하여 작업치료사의 지도 아래 치료 활동을 한다. 하지만 움직임이 불편한 환자가 재활 치료기관에 방문하는 것이 쉽지 않고 작업치료도구는 비용이 많이 들어 개인이 여러 가지의 도구를 구매하여 집에서 재활을 하는 것도 어렵다. 또한 작업치료 도구들은 단순한 작업의 반복으로 인해 사용자의 흥미가 떨어져 지속적인 재활 훈련이 어렵다.
그림 2는 가상현실 기술을 활용한 재활 시스템이다. 전통적인 재활 훈련의 문제점들을 해결하고자 하였으나, 해당시스템들은 고가의 가격이거나 시스템의 부피가 크기 때문에 재활 훈련을 위해서 환자가 직접 기관에 방문해야 된다는 고질적인 단점을 극복하지 못하였다.
따라서 본 논문의 시스템은 이러한 단점을 해결하고자 가상현실 기술을 활용하였고, 환자가 재활 훈련기관에 가지않고도 재활 훈련을 할 수 있는 시스템을 구현하였다. 해당 시스템은 손을 활용한 소근육 재활 훈련 콘텐츠가 구현되어있으며, 사용자는 가상 홈(virtual home)에서 일상생활에 대한 다양한 생활 작업 치료를 받을 수 있다는 장점을 가지고 있다.
소근육 재활 시스템의 장점으로는 첫 번째, 기존 재활 시스템보다 저렴한 가격으로 재활을 할 수 있다. Corbetta의연구에서 재활 목적의 가상현실 재활 프로그램은 가격이 비싸 임상에서는 자주 사용되지 않는다고 하였다[7]. 서론에 소개된 재활에 특화된 가상현실 장비에 비해 본 연구에서 제안하는 시스템은 비교적 저렴한 가격으로 시스템을 구성할 수 있어 임상에서도 충분히 사용할 수 있을 것으로 생각된다. 박태성의 연구[8]에서는 저렴한 가격의 가상현실 장비는 사이버 멀미가 유발될 수 있다고 하였는데 이는 가상현실 기술의 발전으로 차츰 감소될 것으로 보인다.
두 번째, 환자가 직접 재활 치료기관에 찾아가지 않고 집에서 재활할 수 있다. 기존 재활 시스템은 전문적인 장비로 구성되어 있어 치료기관에 찾아가 재활을 하지만 제안하는 시스템은 환자가 쉽게 구성할 수 있는 PC와 HTC VIVE, Leap Motion으로 구성되어 있다. 따라서 환자의 집에 충분한 공간만 있다면 환자가 직접 찾아가지 않고도 재활을 할수 있다.
세 번째, 가상 홈에서 재활을 하므로 위험 요소가 적다. Larson의 연구에서 실제 생활에서 수행하기에 위험할 수 있는 일상생활 활동에서의 연습은 안전한 가상환경에서 수행할 수 있다고 하였다[9]. 본 연구에서 제안하는 재활 또한 가상환경에서 수행하므로 마비 증상이 있는 뇌졸중 환자가 안전하게 재활을 할 수 있다.
네 번째, 재활 콘텐츠의 추가로 다양한 재활 훈련이 가능하다. 전통적인 재활에서 작업치료 도구를 이용하여 재활을 할 때 다른 도구를 이용하여 재활을 하고자 한다면 새로 구입을 해야 하지만 가상현실 기술을 이용하면 다양한 도구를 이용하여 재활을 할 수 있다. 가상현실 기술의 발전으로이전보다 비교적 쉽게 가상현실 콘텐츠를 제작할 수 있기 때문이다.
2. 이론적 배경
가상현실 시스템 구현에는 Unity 엔진과 Unreal 엔진이주로 활용되며, 사용자에게 가상의 현실을 제공해주는 HMD 장비로는 대표적으로 HTC VIVE와 Oculus Rift가 활용된다. Unity 엔진과 Unreal 엔진은 그래픽스 라이브러리에 대한 전문적인 지식이 없어도 3D 콘텐츠를 쉽게 제작하는데 도움을 주며, HMD 장비를 사용할 수 있도록 플러그인을 제공해 주어 가상현실 콘텐츠를 쉽게 구현할 수 있도록 도와준다.
그림 4는 손동작 인식에 활용되는 Leap Motion이다. Leap Motion motion은 2개의 카메라와 3개의 적외선 LED로 구성되어있는 컨트롤러이며, 카메라의 시야 안에서 팔과손, 손가락을 인식할 수 있다. Leap Motion의 SDK는 C++, C#, Java 등 여러 언어를 지원하고, 앞서 언급한 Unity 엔진과 Unreal 엔진에서 개발이 가능하다. 또한, 립모션의 개발자 가이드에서는 가상현실 프로젝트에서 뇌졸중 치료를 위한 도구로서 립모션을 사용한 것을 언급하고 있다[10]. 만약가상현실 시스템에서 Leap Motion을 사용하고자 한다면, 그림 4의 (a)와 같이 Leap Motion의 VR Mount를 HTC VIVE의 앞쪽에 부착하고 Leap Motion을 장착시켜야 한다. 이는사용자의 시선 방향에서 손동작을 인식해야 되기 때문이다.
가상현실을 이용하여 뇌졸중 재활에 사용하는 경우는 상지 기능 재활, 하지 기능 재활(보행 속도 및 균형), 일상생활 동작 훈련, 인지 재활, 원격 재활이 있다[11].
상지 기능 재활을 위한 박태성의 연구는 그림 5와 같이HTC VIVE와 NVIDIA 사에서 개발한 VR Fun House를 이용하여 뇌졸중 환자들을 대상으로 기능 재활을 하였다[8]. 그결과 몰입형 가상현실 프로그램을 이용하여 재활을 한 환자는 전통적인 방법을 이용한 환자보다 상지 기능이 더 증가하였다. LuPu의 연구는 몰입형 가상현실에서 Oculus Rift와Leap Motion을 이용하여 상지 기능 재활을 위한 시스템을 개발하였다[12]. 이 연구에서는 TRAVEE 시스템의 설계를상지 재활에 맞게 수정하여 적용하였다. TRAVEE 시스템은Caraiman의 연구에서 제안한 재활 과정을 개선하고 환자의회복 율을 높이기 위한 시스템이다[13]. LuPu의 연구에서시스템은 그림 6의 (a)와 같고 상지 재활은 가상의 치료실에서 치료사 아바타가 재활 동작을 수행하면 환자가 이를 따라 하는 방식으로 진행된다. 수행 내용은 그림 6의 (b)와 같이 환자에게 익숙한 가상 치료실에서 이루어지며 테이블 위에 손을 올려놓은 상태에서 팔을 움직이고 손가락을 굽혔다 피는 운동과 공을 던지거나 미는 운동을 한다.
하지 기능 재활은 Corbetta의 연구에서 ‘뇌졸중’, ‘가상현실’, ‘보행’, ‘균형’ 키워드를 이용하여 문헌 검색을 통해 가상현실을 이용한 재활이 보행에 효과적인가를 분석을 하였다[7]. 기존의 가상현실을 이용한 하지 재활은 Nintendo Wii Balance Board, Kinect를 이용하거나 트레드밀을 이용하여 가상현실을 걷는 방법이 있다[14]. 분석 결과 가상현실을이용하여 재활하였을 때 보행 속도, 균형, 이동성이 크게 향상되었다.
Joystim은 일상생활 동작 훈련과 인지재활, 상지 재활을 함께할 수 있는 시스템이다[5]. Joystim은 그림 7과 같이 전자키 버튼, 원형 손잡이, 좌우 선택 버튼, ㄱ자 모양의 손잡이,에어 튜브, 운전대, 가스밸브 손잡이, 핀치, 터치스크린으로 구성되어 있다. 재활 콘텐츠는 일상생활 영역과 인지재활 영역으로 구성되며 일상생활 영역은 손잡이 문 열기, 불빛끄기, 건반 누르기 등 다양한 콘텐츠를 난이도 별로 체험할수 있다. 인지 훈련은 단어 찾기, 그림 완성하기 등 여러 콘텐츠를 작업치료사의 지도 아래 반복 수행하도록 구성되어있다. 브래하트는 일상생활 기능 훈련, 팔 운동, 손 기능 향상 훈련, 움직임 속도와 정확도 훈련을 할 수 있고 모션 인식 카메라와 모션 인식 글러브로, 출력 디스플레이로 구성되어 있다[6]. 모션 인식을 통해 횡단보도를 건너는 과제를 수행할 수 있고 손동작을 이용한 20가지의 콘텐츠를 진행할수 있다.
원격 재활은 의료 전문가가 통신장치를 이용하여 환자에게 재활 중재 전략이나, 평가, 지원을 하는 것을 말한다[15]. Lloréns의 연구에서 Kinect를 이용한 가상현실 균형 회복 프로그램을 이용하여 재활을 하였다[16]. 같은 프로그램을 이용하여 대조군은 병원에서 재활을 하며 실험군은 집에서 재활을 하였다. 두 집단 간 임상적 효과는 큰 차이는 없었지만 집에서 하는 가상현실 재활은 이동 경비를 절감할 수 있었다.
기존 뇌졸중 재활을 위해 Xbox나 Nintendo Wii,Playstation을 이용한 비몰입형 가상현실 게임을 재활에 활용한 연구가 많았다. 그 이유는 전문적인 재활 훈련에 필요한 가상현실 장비와 프로그램의 가격이 비싸기 때문이며 환자가 지속적으로 체험하기 위해 게임을 이용한 것으로 보인다. 최근에 저렴한 가격의 몰입형 가상현실 장비가 출시되고 있으며 비몰입형 가상현실 프로그램을 이용하였을 때보다 몰입형 가상현실 프로그램을 재활한다면 환자가 지속적으로 재활하는데 있어 도움이 될 것으로 보인다.
3. 가상 홈 트레이닝 시스템
본 논문에서 제안하는 시스템은 HTC VIVE와 Leap Motion을 활용한다. HTC VIVE의 주요구성은 헤드셋, 베이스 스테이션, 컨트롤러이다. 헤드셋은 2160 x 1200 픽셀의 해상도를 지원하여 사용자는 몰입도 높은 가상현실 체험을 할 수 있다. 베이스 스테이션은 공간을 감지하는 하드웨어로 적외선을 쏘아 헤드셋과 컨트롤러에 있는 적외선센서를 추적한다. 플레이 영역은 베이스 스테이션 한 쌍의 위치에 따라서있는 자세 공간과 방 크기(room scale)공간을 선택하여 설정할 수 있다. 서있는 자세 공간은 최소 영역은 없으며 방 크기 공간은 최소 2m x 1.5m, 최대 3.5m x 3.5m의 크기를 지원한다. 컨트롤러는 입력장치로서 이를 이용하여 가상현실에서 물체와의 상호작용, Scene 전환 등을 할 수 있다.
Leap Motion을 사용하면 현실세계에서 사용자의 손동작을 인식하여 가상현실 공간에서 물체와 상호작용할 수 있다. Unity에서 사용할 수 있는 Leap Motion의 SDK 최신 버전 이름은 Orion이다. Orion은 Core와 Interaction Engine, Graphic Renderer, Hands Module 3가지 모듈로 구성되어있다. Core는 Leap Motion에서 손에 대한 데이터를 프로젝트에서 사용하기 위한 필수적인 요소이고 Graphic Renderer는 손과 오브젝트가 상호작용할 때 다양한 효과를 나타낼수 있도록 한다. 마지막으로 Hands Module은 Leap Motion의 데이터를 사용하여 프로젝트에 맞는 손 모양의 FBX를 이용할 수 있다. 그리고 Orion은 Unity에서 Leap Motion을 이용하여 가상현실 프로그램 제작에 사용할 수 있는 LMHeadMountedRig와 그림 9와 같이 3가지 기본적인HandModel을 제공한다.
소근육 재활 시스템에서는 베이스 스테이션을 방 크기 공간으로 설정하고 그 공간에서 환자가 걸어 다니며 컨트롤러 대신 Leap Motion을 이용하여 물체와 상호작용한다. 서있는 자세 공간을 설정하고 컨트롤러 입력이나 손 제스처를 이용하여 가상공간을 이동할 수 있지만 환자의 활동성을 보다 높이기 위해 방 크기 공간을 사용한다. HandModel은 손의 각 관절의 굽힘 정도를 시각적으로 확인할 수 있는 Capsule Hands를 사용한다. 그림 10은 소근육 재활시스템에서 Capsule Hands를 적용시킨 모습이다.
가상 홈 트레이닝(virtual home training)은 일상생활 동작훈련인 주방일, 집안일을 할 수 있는 가상현실 환경이다. 가상 홈에서 재활을 하는 이유는 사용자에게 익숙한 환경을 제공하여 가상현실 재활 프로그램으로 훈련한 내용을 일상생활에 바로 적용시키기 위함이며, 환자가 가상과 현실 사이에 이질적인 느낌을 갖지 못하도록 한 것이다. 이로 인해 환자는 몰입감이 향상되어 효과적으로 가상현실 재활 프로그램으로 훈련할 수 있다.
가상 홈 트레이닝은 그림 11과 같이 손과 상호작용할 수있는 오브젝트 이외에 소파, 테이블, 의자 등을 배치하여 가상현실에서 재활 훈련을 하게 되지만, 현실에서 재활 훈련을 받는 느낌을 받을 수 있다.
소근육을 재활 측면에서 사용자 인터페이스 또한 소근육을 많이 사용하도록 설계하였다. 이를 위해 Interaction Module의 Hand UI를 이용한다. Hand UI는 설정을 통해 왼손이나 오른손에서 UI가 나타나게 할 수 있으며 그림 12와 같이 손바닥이 사용자의 얼굴에 향할 때 만약 왼손에 나타나게 설정하였다면 왼손의 오른 편에 나타난다. Hand UI는 향후 추가될 수 있는 재활 진행 상황, 가상 작업치료 보드등 가상현실 재활 콘텐츠를 선택할 수 있는 버튼을 추가할 수 있다.
재활 콘텐츠는 작업치료로서 일상생활 동작 훈련(ADL; Activities of Daily Living)을 위한 콘텐츠로 구성된다. 기본적으로 문 열기, 전등 켜기가 있으며 주방 일은 주방에 놓인 컵, 접시와 같은 주방용품을 찬장에 넣는 것으로 구성되며 집안일은 바닥에 놓여 있는 물건을 옮기는 작업으로 구성된다.
가상현실에서 물체와 상호작용하기 위한 방법으로는 Leap Motion의 Interaction Engine을 이용한다. 방법은 Hand Model과 상호작용하려는 오브젝트에 Interaction Behaviour 컴포넌트를 추가한다. 이를 사용하기 위해서는 오브젝트에 Rigidbody와 Collider 컴포넌트를 추가해야 한다. 그림 13은 LMHeadMounteRig와 손이 오브젝트와 상호작용할 때 내부에서 논리적 처리를 담당하는 Interaction Manager, 상호작용이 가능한 오브젝트를 Unity Scene에 배치한 모습이다.
상호작용의 기본적인 Event로는 Hover, Contact, Grasp을 제공하고 상태를 나타내는 Begin, End, Stay를 제공한다. 또한 물체마다 다른 상호작용을 위해 스크립트에 Interaction Behaviour 컴포넌트를 추가하여 프로그램에 맞는 상호작용을 구현할 수 있다. 문 손잡이나 세면대 수도꼭지와 같은 오브젝트를 잡았을 때 위치나 회전이 고정되어야 하는 경우 PhysX의 속성을 제한하거나 OnGraspedMovement callback을 이용한다. 그림 14는 가상 홈에 소근육 재활 훈련 절차를 구현한 것이다.
4. 결론
본 논문에서는 뇌졸중 환자를 대상으로 집에서 자율적으로 일상생활동작 훈련을 통해 소근육을 재활할 수 있는 시스템을 제안하였다. 이를 위해 HTC VIVE를 착용하여 몰입도를 향상시키고 Leap Motion을 이용하여 손 제스처를 통해 가상 오브젝트와 상호작용함으로써 소근육 재활을 할 수 있도록 설계하고 구현하였다.
본 시스템을 활용하면 기존 재활 시스템보다 저렴한 가격으로 재활을 할 수 있고 환자가 직접 재활 치료기관에 찾아가지 않고 집에서 재활할 수 있다. 또한 가상 홈에서 재활을 하므로 위험 요소가 적으며 재활 콘텐츠의 추가로 다양한 재활 훈련이 가능하다.
마지막으로 본 연구에서 제안한 소근육 가상현실 재활 프로그램은 뇌졸중 환자를 대상으로 하였지만 일상 활동에 제한이 있는 뇌성마비(Cerebral Palsy)와 파킨슨병(Parkinson’s disease)과 같은 신경학적 손상을 입은 환자의 재활에도 도움을 줄 것으로 기대된다.
연구의 제한점으로는 실제 환자를 대상으로 시험하지 못한점이다. 하지만 본 연구와 재활 기능이 비슷한 Oña 향후 연 구에서는 제안하는 시스템을 이용하여 뇌졸중 환자에 대해효과가 있는지 실험을 통해 검증하며, 작업치료 보드를 추가하고 일상생활 동작 훈련에 환자가 지속적인 재활을 할 수 있도록 게임적 요소를 추가하고자 한다. Leap Motion을 이용할 때 인식 범위에 손이 있어도 손가락이 겹친다면 인식율이 낮다는 단점이 있다.
이 점을 고려하여 소근육 재활 시스템에 사용되는 작업치료 보드는 손가락 체스(Finger Extension Remedial Game)와 컵 쌓기 (Stacking cones), 단계적 페그 보드(Graded Pegboard)가 적합할 것으로 보인다. 또한 전문 치료사의 관찰이 가능한 원격 재활 기능을 추가하여 실용성을 향상시킬수 있을 것으로 기대된다. 의 연구에서 기능성 게임을 이 용하여 훈련 후 JAMAR 핸드 동력계를 이용한 힘 측정,박스 & 블록 테스트, 상지기능 평가를 실시하였다. 실험에 참여 했던 5명의 환자에 대해서 실험 초기 전과 후를 비교한 결과 Table 1 ~ Table 3과 같이 다수의 환자에대해서 향상된 결과를 보였다. 이를 비추어 볼 때 뇌졸중 환자가 본 연구에서 제안한 시스템을 이용한다면 손을 이용하여 상호작용 하기 때문에 기능적 향상이 있을것으로 예상된다.
