1. 서론
가상현실이란 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황·환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스를 말한다[1]. 최근 가상현실은 여러 분야에서 활용되고 있는데, 영화나 게임 등 엔터테인먼트 분야의 활용도가 높으며 의료, 교육 및 훈련 분야에서도 다양한 시도를 하고 있다. 스포츠 분야는 가상현실의 이점을 잘 살리는 분야로, 특허청의 자료 [2]에 따르면 2016 ~ 2018년 가상현실 스포츠 분야 국내 특허 출원 수가 2013~2015년에 비해 약 69% 상승하였다.
한국의 성인 3명중 1명은 운동이 부족하다는 통계가 있으며, 이러한 현대인의 운동 부족은 심장질환이나 당뇨, 치매 등 다양한 질병의 원인이 된다 [3]. 꾸준한 운동의 필요성에도 불구하고 시간과 공간의 제약이나 비용의 문제로 운동을 하지 못하는 현대인들에게 최근 ‘홈 트레이닝’이 인기를 얻고 있다. 집안에서 간단한 운동을 따라할 수 있도록 다양한 정보를 제공하는 홈 트레이닝 동영상들을 인터넷에서 쉽게 접할 수 있는데 전문가의 시연하는 동영상을 시청하더라도 자세에 대한 피드백이 주어지지 않기 때문에 정확한 자세를 취하기가 쉽지 않다. 부정확한 자세로 부상을 당하는 경우도 발생한다. 자세를 추적할 수 있는 가상현실 시스템에서도 정확한 자세에 대한 피드백은 필수적이다. 특히 체험자의 시선이 미치지 않는 부분의 자세에 대해서는 시각적인 피드백이 이 외의 다른 양식의 피드백을 적용하는 것을 고려해 볼 수 있다.
본 논문에서는 이러한 문제점들을 해결하고자 가상현실 기반 운동 시스템을 구현하고 사용자가 정확한 운동 자세를 취할 수 있도록 도움을 주는 효과적인 피드백 방법을 제안하였다. 스쿼트(squat), 런지(lunge), 브릿지(bridge) 총 3가지의 코어강화 운동을 선택하였으며 정확한 자세에서 벗어날 경우, 시각 및 촉각 피드백을 사용자에게 제공하여 정확한 자세를 취할 수 있도록 하였다. 사용자 실험을 통하여 시스템에서 제공한 피드백이 정확한 운동을 하는데 효과가 있는지를 분석하여 그 효용성을 평가한다. 본 연구 결과가 활용되어 효과적인 피드백을 제공하는 가상현실 운동 시스템이 개발된다면, 정확한 운동 자세를 통해 최대한의 운동 효과를 이끌어 내어 바쁜 현대인의 건강 증진에 도움이 될 것으로 기대된다.
이후 본 논문은 다음과 같이 구성된다. 2장에서는 피트니스 시스템과 자세 측정 기술에 관련된 기존 연구를 소개하고, 3장에서는 제안하는 시스템을 소개한다. 기준 자세 생성과, 자세의 정확도 측정 방식, 부정확한 자세에 대한 피드백 설계 및 구현 결과를 기술한다. 4장에서는 사용자 실험 결과를 통해 피드백의 유무에 따른 운동 자세의 정확성 향상 효과와 시각 및 촉각의 단일 양식 피드백과 시각과 촉각을 결합한 다중 양식 피드백의 효과 차이를 분석한다. 5장에서는 결론과 향후 연구 계획에 대해 논의한다.
2. 이전 연구
가상현실이나 게임을 이용한 다양한 헬스케어 제품들이 출시되었다. 대표적으로 닌텐도 사의 위 핏(Wii Fit) [4]은 사용자의 균형 중심점을 추적하는 위 밸런스 보드(Will Balnace Board)를 이용한 여러 가지 운동을 제공한다 (Figure 1). 사용자는 요가, 근력 운동, 에어로빅 등의 일상적인 운동 콘텐츠를 활용할 수 있다. 특히 위 핏은 물리 치료 재활에도 사용되었으며, 실제 헬스 클럽에서 활용되기도 하였다.
2019년 닌텐도는 링 피트 어드벤처(Ring Fit Adventure) [5]라는 새로운 피트니스 게임을 출시하였는데, 양손으로 잡고 조작하는 링 모양의 컨트롤러에 힘 센서를 내장하여 조이거나 당기는 움직임을 인식하도록 하였다(Figure 2). 또한 가속도 센서와 자이로센서를 내장한 레그스트랩을 다리에 부착하여 제자리 걸음이나 무릎을 굽혔다 펴는 등의 하반신 움직임을 인식한다. 사용자는 링콘과 레그스트랩으로 전신운동을 하면서 운동 시간과 소비 칼로리, 트레이닝 성과 등 운동결과를 얻을 수 있다.
BoxVR [6]은 Steam에서 판매되는 가상현실 게임 중 하나로 3차원 체험을 가능한 가상현실의 장점을 살려 날아오는 표적을 맞추며 복싱을 하는 게임이다. 전문 피트니스 강사가 한 안무들을 음악에 맞추어 할 수 있도록 하여 복싱을 할 수 있게 해주는 게임이다. 음악을 통해 흥미를 유지하고 지루함을 없앤 피트니스 운동 게임이다.
본 연구에서 대상으로 하는 코어운동을 위한 시스템을 개발한 사례도 있다. [7]은 사용자로 하여금 운동에 대한 거부감을 최소화하고 재미와 목표의식을 제공하여 꾸준한 운동할 수 있도록 가상현실 기반의 수상 레포츠 시스템을 개발하여, 코어 근육을 단련하고 건강관리를 할 수 있도록 하였다.
가상현실이나 게임에서 사용자의 동작을 추적하는 기술은 크게 카메라를 통해 마커(marker)를 인식하는 방식과 센서(sensor)를 부착하여 인식하는 방식, 마커나 센서를 붙이지 않고 마커리스(markerless)로 인식하는 방식으로 구분할 수 있다.
마커 기반 동작 인식은 여러 대의 카메라를 이용하여 영상을 분석하고 인체에 부착된 마커의 위치를 추적해 동작을 획득하는 기술이다[8]. 다른 방식에 비해 가장 높은 동작 인식 정확도를 제공하지만 시스템을 구축하는 비용이 높고 마커를 부착하는 번거로움이 있어 일상생활의 피트니스용으로는 적합하지 않다. 센서 기반 모션 인식은 카메라를 사용하지 않고 자이로 센서나 지자기 센서, 가속도 센서 등을 몸에 부착하여 관절의 회전 정보를 획득하고 인체의 움직임을 파악하는 방식이다. 마커나 센서를 이용하는 방식은 정확도가 높다는 장점이 있지만, 모션을 획득하기 위한 준비 시간이 오래 걸리므로 주로 전문가 모션을 획득할 때 사용된다. 마지막으로 마커리스 방식은 신체 영역의 컬러 정보나 깊이 정보를 부속해 모션을 획득한다. 상용화된 제품인 XBox의 Kinect는 RGB 카메라의 컬러 정보와 적외선 카메라로 획득한 깊이 정보를 이용하여 사용자의 골격 정보를 계산해 낸다. Kinect는 XBox 게임 콘솔과 함께 게임 사용자에게 많이 보급되어 홈 트레이닝의 용도에 적합하나, 비전 방식이기 때문에 카메라의 시선 방향에서 구별되지 않는 운동 자세를 인식할 수 없다 [9].
HTC의 Vive는 HTC와 Valve가 개발한 가상 현실 헤드셋 하나로 3차원 공간을 인지하고 사용자가 지정된 공간안에서 자연스럽게 움직이며 조작할 수 있게 해주는 장비이다. HTC Vive의 룸스케일은 라이트하우스(Lighthouse)라는 추적센서를 이용하여 Base station에서 나오는 적외선 레이저를 인식하여 사용자의 헤드셋과 컨트롤러의 위치를 추적하는 기술이다.
헤드셋과 핸드헬드 컨트롤러와는 별개로 신체나 물체에 부착할 수 있는 트래커를 제공하는데, 트래커 또한 마찬가지로 Vive 동글과 함께 사용하여 PC와 페어링하여 연결한다면 다른기기와 동일하게 Base station에서 위치정보를 가져와 사용할 수 있다. 최근 Vive의 헤드셋과 양손용 컨트롤러 및 양쪽 발목에 부착한 트래커의 조합으로 사용자의 전신 움직임을 추적해 내는 풀 바디 트래킹(full-body tracking) 기술이 널리 활용되고 있다. VR Chat[10]과 같은 애플리케이션에서는 풀 바디 트래킹으로 댄스 시범을 보이는 사용자를 쉽게 만날 수 있다. 본 논문에서는 Vive의 풀 바디 트래킹을 사용자 자세 측정 기술로 채택하고 정확한 운동자세를 측정하기 위해 기존 조합에 한 개의 트래커를 더 추가하여 허리에 부착하였다.
9축 센서를 가진 웨어러블 밴드[11]는 운동자세에 따라 필요한 부위에 밴드를 착용 후 각 부위의 각속도를 측정하여 측정된 값을 통해 현재 자세의 정확도를 판단하고 휴대폰 어플리케이션으로 피드백을 음성으로 출력하여 사용자가 자세를 교정하도록 안내한다. 웨어러블 밴드는 정확한 각도를 측정할 수 있다는 장점이 있지만 운동별로 밴드를 다시 착용해야 한다는 점과 피드백을 휴대폰의 음성으로만 하기 때문에 정확한 자세 교정이 힘들다는 단점이 있다.
[12]는 Kinect를 통해 사용자의 움직임과 동작을 인식하고 구부림 각도를 계산하여 잘못된 자세에 대한 정보를 사용자 정면에 배치한 거울에 표시해 주는 스마트 거울을 제안하였다. 영상을 보며 운동을 학습하고 스마트거울 앞에 서서 동작을 취하며 스마트 거울에 사용자의 골격자세가 표시되고 올바른 각도면 초록색으로 시각적 피드백을 제공한다. 스마트 거울은 편하게 시각 피드백을 받아 자세를 교정할 수 있는 장점이 있지만 얼굴을 계속 스마트거울에 고정해야 한다는 점과 Kinect 특성상 정면자세의 운동만 가능하다는 단점이 있다.
[13]에서는 Kinect를 활용하여 사용자의 움직임을 잡아내고 모니터로 자신의 아바타를 보며 운동을 한다. 운동 동작 분석은 시상축, 관상축, 수직축의 3가지 방향에서 일어나는 움직임을 평가할 수 있도록 설계하였고 시각적 피드백의 유/무에 따라 동작 오차가 줄어드는지에 대해 실험하였다. 실험 결과 시상축과 관상축 운동은 시각적 피드백을 제시한 경우 움직임의 오차가 감소하였고 수직축의 운동은 오차가 줄어드는 결과를 얻지 못하였다.
본 연구에서는 각 자세들의 특성에 따라 시각정보로 오차를 판별할 수 없는 경우를 고려하여 촉각 피드백을 활용하였다. 가상현실에서는 다양한 방식으로 촉감 정보를 활용하는데 관련된 연구들을 소개한다.
[14]에서는 가상현실 기분 교육프로그램에서 저렴한 촉각 피드백 장치를 통해 어두운 건물에서 생존자를 구출하여 나와야 하는 게임을 개발하였다. 실험은 생존자를 구출하는 과정에서 벽과의 충돌을 감지하여 촉각 피드백을 진동이나 힘으로 주었다. 피드백이 없이 플레이한 경우에 비해 피드백이 있는 경우 구출 시간 및 실수가 감소하였다. 이 결과를 통해 가상환경에서 촉각 피드백이 절차를 배우는 교육 프로그램에서 피험자의 오류의 수를 줄이는데 효과적이라는 결론을 내렸다.
[15]에서는 촉각 피드백을 제공하는 외과 전용 시뮬레이터로 수술 시뮬레이션을 개발하여 훈련 단계 초기에 촉각 피드백을 추가하면 성능이 향상되는지에 대한 분석을 하였다. 외과 레지던트를 대상으로 촉각 피드백을 제공하는 훈련을 먼저 받고 제공하지 않는 훈련을 나중에 받은 그룹과, 반대로 촉각 피드백을 제공하지 않는 훈련을 먼저 받고 제공하는 훈련을 나중에 받은 그룹을 비교하였는데, 훈련을 마친 이 후 평가에서 촉각 피드백을 제공하는 훈련을 먼저 받은 그룹이 훨씬 높은 평가를 받았다. 이는 수술 시뮬레이터 훈련에서 기술을 습득하는데 초기단계에 촉각 피드백을 활용하는 것이 매우 효과적이라는 것을 보여준다.
VBand 시스템을 사용한 [16]에서는 가상 피아노, 가상 기타, 가상 드럼을 사용하여 다수의 사용자가 합주를 할 수 있다. 악기를 연주할 때의 느낌을 살리기 위해 촉감 장치(haptic device)를 악기마다 부착하여 실험하였으며 실험자들은 곡을 합주하고 느낀 전반적인 만족도를 설문으로 응답하였다. 설문조사에 결과로 촉각 피드백에 대해 긍정적인 반응을 보였다. 가상악기를 연주할 때 촉각 피드백은 악기 연주에 대한 입력 확신을 줄 수 있음을 확인하였다.
[17]에서는 시각 효과와 플레이 연출, 진동에 의한 타격감을 구현하여 가상현실 야구 게임을 구현하고 사용자의 몰입도에 대해 실험하였다. 실험 결과 위의 세 가지 요소는 현실감을 높이는 데 기여한 것으로 평가되었고 특히 촉각 피드백의 구현은 가상현실 콘텐츠의 필수 요소임을 확인할 수 있었다.
[18]에서는 아두이노와 진동 센서로 제작한 촉감 장치를 개발하여 신체에 부착한 후 가상현실에서 물체를 건드리면 촉감을 느낄 수 있도록 진동을 발생하였다. 몰입감과 현실감을 분석하기 위한 설문 결과, 간단한 촉감 시스템으로도 기존의 상호작용보다 높은 몰입감을 제공할 수 있음을 보였다.
3. 가상현실 트레이닝 시스템
본 논문은 가상현실 환경에서 운동을 하는 사용자에게 정확한 자세를 취할 수 있도록 피드백을 제공하는 시스템을 소개한다. Figure 4에 제시된 것과 같이 스쿼트, 런지, 브릿지의 총 3가지 코어 운동 자세를 대상으로 하였으며, 정확한 자세를 취할 수 있도록 시각 피드백과 촉각(진동) 피드백을 사용자에게 제공한다.
제안하는 시스템의 가상 현실에는 운동 자세를 보여주는 강사와, 체험자의 아바타가 있다. 또한 올바른 운동 자세를 1인칭 시점에서 관찰할 수 있도록 아바타와 같은 위치에 표시되는 가이드가 존재한다 (Figure 5).
사용자가 가상현실 장비를 착용하고 준비 자세를 취하면, 아바타가 사용자의 신체 크기에 맞게 스케일이 보정된다. 강사 캐릭터의 운동에 따라 사용자가 운동을 시작하면, 사용자의 위치에서 가이드가 정확한 기준 자세로 운동을 하며, 사용자는 강사의 움직임과 가이드의 움직임을 참고하여 운동을 할 수 있다 (Figure 6). 정확한 동작의 기준이 되는 중요 지점에서 사용자의 위치와 기준 위치 간의 오차를 측정하여 피드백을 제공한다. 피드백은 시각과 촉각(진동)의 단일 양식 피드백과 시각과 촉각을 모두 사용하는 다중 양식 피드백을 제공한다. 피드백의 유무에 따른 효과와 피드백의 형태에 따른 효과를 분석하기 위하여 피드백이 없는 경우, 시각 피드백이 제공되는 경우, 촉각 피드백이 제공되는 경우, 시각과 촉각의 다중 양식 피드백이 제공되는 경우로 구분하고, 각 상황에서 사용자는 스쿼트, 런지, 브릿지 운동을 수행한다.
본 연구에서는 HTC Vive Pro 가상현실 장비를 사용하였다. 일반적인 가상현실 장비에 포함되는 헤드마운티드 디스플레이(Head-mounted display; HMD)와 양손에 쥐는 컨트롤러(Hand-held controller) 이외에도 신체나 물체에 부착하여 위치 트래킹을 할 수 있는 Vive 트래커(Vive tracker)를 허리와 양 발에 부착하여 머리, 양 손, 허리, 양 발의 위치를 트래킹하고, 역기구학(inverse kinematics)을 적용하여 신체의 자세를 추적한다 (Figure 7).
전문가는 3.2에 기술한 대로 가상현실 장비를 착용하고 스쿼트, 런지, 브릿지 자세를 취한다. 최종 자세에서 역기구학을 적용하여 주요 관절의 각도를 계산하여 전문가 자세로 기록한다. 런지는 양쪽 발을 번갈아 가며 취하는 자세이므로 양쪽 자세를 따로 저장하였다.
이렇게 저장된 전문가의 자세는 사용자의 신체 길이를 기준으로 조정되어 사용자 맞춤 자세로 변경된다. 사용자 맞춤 자세를 생성하기 위해서는 사용자의 신체 길이는 머리에 착용한 HMD와 양 손에 든 컨트롤러, 양 발목과 허리에 부착한 트래커의 위치를 기준으로 측정되며, 아바타와 가이드의 스케일이 사용자의 신체 길이에 맞게 변경된다. 스케일이 조정된 가이드에 전문가 자세의 관절 값을 적용하여 생성된 자세가 사용자의 신체 조건에 맞는 기준 자세가 된다.
사용자가 3.2에 기술한 위치에 가상현실 장치를 부착하고 목표 자세를 취하면, 센서의 위치와 사용자 맞춤 기준 자세에서 대응되는 위치의 차이를 통해 자세의 정확도를 측정한다. Figure 8은 스쿼드, 런지, 브릿지 운동에서 위치 정확도를 측정하는 신체 부분을 표시한 것이다. 스쿼트와 런지는 양 발목과 허리의 뒤쪽에서 위치를 측정하며, 브릿지는 양 발목과 배꼽 부분에서 위치를 측정한다.
3.4에 기술한 방법으로 사용자 자세와 사용자 맞춤 기준 자세 사이의 오차를 측정한 후 불일치의 여부에 대해 시각 및 촉각 피드백을 제공한다. 시각 피드백은 위치 오차를 측정하는 위치에 구를 표시하여 사용자에게 보여주는데, 오차가 없을 때는 녹색으로 표시되고 오차가 있을 때는 빨간색으로 표시된다(Figure 9).
또한 촉각 피드백을 위한 진동 장치를 오차를 측정하는 부분에 부착하는데, 촉각 피드백은 등과 엉덩이 같이 시각적으로 볼 수 없는 부분의 자세를 교정하는데 효과적으로 사용될 수 있다. 진동은 오차가 측정된 부분에서 발생하며 자세를 맞추어 오차가 없어질 때까지 계속 발생하게 된다.
본 실험에서 사용된 진동 하드웨어는 아두이노 우노를 기반으로 소형 코어리스 진동모터를 이용하여 제작하였다. 운동에 활용되기 위해서는 무선 통신, 실시간 통신이 필수적이므로 블루투스 통신 모듈(HC-06 모듈)을 사용하였다.
아두이노에 지정되어 있는 코드는 진동센서가 연결된 8, 9, 10번 포트의 작동 유무를 블루투스 통신을 통해 들어온 값에 따라 결정하는 스위치 역할을 한다 (Figure 10). 블루투스를 통해 유니티에서 사용자의 운동 자세가 정확하지 않을 경우 진동을 켜고 일치할 경우 다시 끄기 위한 데이터를 아두이노로 입력하게 되어있으며 이러한 과정은 실시간으로 이루어져 사용자의 자세에 오차가 있을 경우 즉각적으로 촉각 피드백을 제공할 수 있다. Figure 11은 아두이노와 진동 센서를 허리와 발목에 부착한 사진이다.
4. 실험
실험 시스템은 Unity 3D 2019.2.17f1 엔진과 SteamVR 플러그인을 사용하여 개발하였으며, 가상현실 장비는 HTC Vive Pro를 사용하였다.
실험은 총 4가지 방식으로 진행하였다. 시각 및 촉각 피드백 없이 가이드의 자세를 보고 따라하는 방식, 시각 피드백만 제공하는 방식, 촉각 피드백만 제공하는 방식, 마지막으로 시각 및 촉각 피드백을 동시에 제공하는 방식으로 진행하였다.
실험 대상자는 VR 경험이 어느정도 있는 20대 성인 4명을 대상으로 하였고, 스쿼트, 런지, 브릿지를 4가지 피드백 방식에 따라 각 5회씩 수행하도록 하였다. 매 시행마다 최종 자세에서 사용자 자세와 기준 자세의 오차 거리를 측정하고, 시작 자세에서최종 자세를 취하는 시간을 기록하여 결과를 분석하였다.
자세의 정확도를 판별하기 위해서는 3.4에 기술된 것과 같이, 발과 허리의 위치를 측정해야 하지만, 시작 시 올바른 지점에 발을 위치시키면 반복 수행을 하는 과정에서 발의 위치가 바뀌지 않는다. 따라서 발의 위치에 대한 오차를 측정하지 않았으며, 허리의 위치 오차를 측정하였다. 실제로도 스쿼트, 런지, 브릿지 운동은 허리 및 골반의 위치를 정확하게 하는 것이 가장 중요하다. Figure 12는 런지 자세를 취하는 실험자의 모습이다.
Figure 13과 Table 1은 스쿼트, 런지, 브릿지 운동에서의 허리 오차를 cm단위로 측정하여, 전체 실험자에 대해 평균값을 구한 결과를 보이고 있다.
스쿼트의 경우, 피드백이 없는 경우에 허리 위치의 평균 오차 거리가 10.64 cm이었으나, 시각 피드백이 제공된 경우에 5.19 cm, 촉각 피드백이 제공된 경우에 6.17 cm로 오차 거리가 감소하였으며, 시각과 촉각의 다중 양식 피드백이 제공된 경우에 오차 거리는 3.40 cm까지 감소하여 정확도가 크게 향상되었다. 피드백이 없는 경우의 오차 거리를 기준으로 비교할 때, 시각과 촉각의 다중 양식 피드백에서는 오차 거리는 31.95%까지 줄어들었다. 런지의 경우에도 피드백이 없는 경우에 허리 위치의 오차 거리가 8.27 cm이었으나, 시각 피드백이 제공된 경우에 5.05 cm, 촉각 피드백이 제공된 경우에 4.77 cm로 오차 거리가 감소하였으며, 시각과 촉각의 다중 양식 피드백이 제공된 경우에 오차 거리는 2.87 cm까지 감소하여 정확도가 크게 향상되었다. 반면에 브릿지는 피드백의 효과가 크지 않았는데, 스쿼트와 런지 동작처럼 허리의 위치가 많이 틀어질 수 있는 자세에 비해 브릿지는 허리를 상하로 움직이는 단순한 동작으로 피드백이 없는 상황에서도 허리 위치를 비교적 정확하게 잡을 수 있었기 때문이다.
피드백의 효과로 시작 자세에서 최종 자세를 취하는데 걸리는 시간이 단축될 것으로 예상하였으나, 체험자 개인의 운동 속도에 따라 다를 뿐 의미 있는 결과는 도출되지 않았다.
5. 결론
본 연구는 정확한 운동자세로 코어 운동을 할 수 있도록 시각 및 촉각 피드백을 제공하는 코어 운동 가상현실을 구현하고, 피드백의 유무와 방식에 따라 정확한 자세를 취하는데 효과가 있는지 분석하기 위하여 사용자 실험을 수행하였다.
스쿼트와 런지 운동의 경우 유의미한 결과로 피드백이 없는 경우 보다 시각이나 촉각 피드백의 단일 양식 피드백을 제공하는 경우가 효과적이었고 시각과 촉각의 다중 양식 피드백을 제공한 경우 더 좋은 자세 교정 효과를 보여주었다.
향후에는 사용자의 자세를 보다 정확하게 측정하기 위하여 모션 캡쳐 시스템을 활용할 계획이다. 또한 복잡하고 역동적인 운동자세를 대상으로 더욱 정교한 방식의 피드백을 설계하고 적용하여, 자세 교정 효과를 높이는 방법에 대해 연구를 수행할 계획이다. 본 연구의 결과는 운동뿐만 아니라 재활이나 일상 생활의 자세 교정을 위해서도 활용될 수 있을 것으로 기대된다.
