1. 서론
최근 가상현실과 증강현실 기술의 발전과 함께 착용형 디스플레이 장치인 HMD(Head Mounted Display)대한 사용자의 관심이 급증하고 있다. 글로벌 기업들은 경쟁적으로 자사의 가상현실 및 증강현실 HMD를 출시하고 있으며, 일반 사용자들은 이를 이용하여 다양한 콘텐츠를 체험할 수 있게 되었다. 대표적으로, 페이스북은 페이스북 스페이스(Facebook Spaces)라는 네트워크 가상공간을 구축하여 HMD를 착용하고 재미있는 가상현실 체험을 가능하게 하였다[1]. 또한, 마이크로소프트의 홀로렌즈는 HMD에 부착된 여러 대의 카메라를 이용하여 공간을 인식 및 추적하여 증강현실 및 혼합현실 환경을 구성하고, 사용자의 제스처와 음성을 입력으로 활용해 다양한 체험을 가능하도록 하였다[2]. 이러한 가상현실 및 증강현실 기술은 자연스럽고 직관적인 상호작용과 함께 사용자에게 보다 더 유용하게 제공되면서 발전할 것으로 예상된다.
가상현실 및 증강현실에서 자연스러운 상호작용을 위해 사용자의 시선 정보가 매우 중요해지고 있다. 일반적으로 사용자의 시선은 사용자의 제스처가 발생하기 전에 사용자가 관심을 갖는 곳으로 먼저 이동한다. 그리고 관심 대상에 시선이 고정되면 사용자는 필요한 제스처나 동작을 수행하여 콘텐츠와 상호작용을 수행한다. 특히 다수의 사용자가 가상공간과 증강현실 환경을 공유하는 상황에서 각 사용자의 시선은 이들 간의 협업을 효과적으로 지원하기 위해 활용이 가능하다. 따라서 가상현실 및 증강현실 환경에서 보다 자연스러운 상호작용에서는 사용자의 시선에 대한 정보가 매우중요하다.
많은 연구들이 영상에서 눈 영역 인식 및 추적과 함께 2차원 시선 추적에 집중해왔다[2]. 2차원 시선 추적은 공간상에 정해진 평면과 카메라로 촬영한 사용자 눈 영역 간의 관계에 대한 함수를 구하는 방식이다[4]. 이러한 2차원 방식은 정해진 환경에서의 시선 기반의 상호작용이 가능하고, 데스크탑 같은 범위가 고정된 환경에 유용하다. 하지만 가상현실 및 증강현실에서는 사용자들이 3차원 공간상에서 상호작용이 이루어지므로 3차원 시선에 대한 처리가 필요하다.
지금까지 3차원 시선 인식을 위해 상대적으로 많은 연구가 진행되지는 않았다. 3차원 시선에 대한 인식은 3차원 공간에 위치한 사용자의 시선 좌표를 추정하는 것이며 3차원 모델 방식, 안구 특징을 반영한 방식이 제안되었다. 3차원 모델 방식은 눈의 기하학 모델을 구성하고 눈 시선간의 교차를 통해 3차원 시선정보를 계산하는 방식이다[7]. 반면 안구 특징 방식은 눈의 기하학 특성을 고려해 특징을 획득하고 이를 바탕으로 관계 함수를 생성하는 방식이다[8]. 최근에는 동공반사 특징을 활용한 방식이 제안되었다. 동공반사는 외부의 빛으로부터 동공에서 반사가 일어나는 푸르키네 현상을 이용하는 것으로 사용자의 시선의 초점 거리에 따라 변하는 푸르키네 위치정보를 통해 3차원 시선을 계산하는 방식이다[9,10]. 하지만 기존의 3차원 시선 연구는 제한된 환경에서의 검증이 이루어져 왔고, 실시간으로 사용자의 시선을 추적해야 하는 가상현실이나 증강현실에 대한 고려가 부족하다.
본 논문에서는 증강현실을 위해 착용형 양안 추적기 기반의 시선 초점 거리를 추정하는 방법을 제안한다. 제안하는 방법은 먼저 일반적인 양안 추적기로부터의 눈 추적 관련 다양한 정보를 획득하고 처리한다. 그리고 획득한 정보를 바탕으로 다층 퍼셉트론 알고리즘(MLP, Multilayer Perceptron)을 활용하여 개별 사용자 및 범용 사용자 모델을 구성하여 시선 초점 거리 추정 모델을 생성한다. 제안하는 방법의 성능을 검증하기 위해 사용자 13명으로부터 눈 추적정보와 시선 정보를 획득하였다. 이를 이용하여 개별 사용자 시선 초점 거리 추정 모델과 13명의 범용 시선 초점 거리 추정 모델을 구성하여 제안한 방법의 성능을 분석하였다. 분석결과 개별 사용자 모델에서는 평균 90.1.%, 그리고 13명의 범용 시선 추정 모델에서는 89.7%의 정확도를 보였다.
본 논문의 구성은 다음과 같다. 먼저 2절에서 시선 초점 거리 인식 기술동향을 설명하고 3절에서는 제안한 양안식 추적기를 바탕으로 한 시선 초점 거리 추정 방법에 대해 상세히 설명한다. 4절에서는 제안한 시선 초점 거리 추정 방법을 검증하기 위한 실험방법과 실험결과를 기술하고 5절에서는 시선 초점 거리 인식 결과와 제한점에 대해 논의한다. 마지막으로 6절에서 결론과 함께 향후 연구에 대해 언급한다.
2. 관련연구
시선 추적기술은 눈 영역 영상을 획득한 뒤 사용자의 눈동자를 감지하고 방향을 추적하여 공간에서 시선 좌표를 추적하는 기술이다. 시선추적기는 데스크탑 등에 사용자 신체 외부에 부착되어 사용자의 눈을 추적하는 데스크탑 방식과 사용자가 착용한 안경이나 HMD에 부착되어 사용자가 어디로 이동하든 시선을 추적할 수 있는 착용형 추적기로 나눌 수 있다. 본 논문에서는 착용형 시선 추적 기술 중심으로 하고 하고 있어 안경이나 HMD에 착용이 가능한 2D 및 3D 시선 추적 기술을 살펴본다.
2D 시선 추적 방식은 사용자 눈으로부터 특정 평면상에서 x, y에 해당하는 눈 시선 방향을 추적하는 방식이다. 이 방식은 사용자 눈의 동공위치 정보와 2D 평면간의 매핑함수를 구해 2D 평면상의 시선 위치를 찾는다. 이를 위해 NIR(Near Infra-red) LED와 카메라를 착용형 장치에 부착하고 눈과 공간 내 평면 간 2D-2D 관계를 형성하는 방식이 제안되고 있다. 이러한 방식은 간단하게 구성할 수 있는 장점이 있는 반면 얼굴 움직임으로 인한 오차가 많이 발생한다. 외형 기반의 방식은 눈의 외형적인 특징과 시선이 형성되는 2D 평면간의 관계를 일반화한 클래스를 구성하고 유사한 클래스를 추정하여 시선을 계산하는 방식이다[5.6]. 이 방식은 사전에 눈정보와 시선 초점 거리에 따른 클래스 DB를 구성하고 유사한 클래스를 찾고 시선 초점 거리를 계산한다. 이 방식은 클래스 DB 구성에 따라 성능이 좌우되며 정확한 시선 측정을 위해서는 보다 정밀한 DB를 구축해야 하는 단점이 있다.
3D 시선을 추정하는 방식은 인간의 두 눈의 기하학 모델을 바탕으로 3차원 공간상에서 시선 정보를 생성하는 방식이다. 이 방식은 눈 전체를 포함하는 안구(eyeball)와 내부의 각막(cornea), 동공(pupil), 홍채(iris), 수정체(lens), 망막(retina) 등으로 눈을 3차원으로 구성하고 외부에 있는 피사체가 빛을 통해 각막을 거쳐 망막에 나타나는 경로를 표현하는 눈의 모델을 바탕으로 한다. 눈의 모델을 바탕으로 한 3차원 시선 추적기술은 모델 기반의 시선추적과 2D-3D 매핑 관계를 형성하는 특징 방식으로 나뉜다. 모델 기반의 방식에서는 눈의 기하학구조를 구성해서 3D 시선을 추정이 필요한데 많은 연구들이 카메라 보정 과정을 통해 눈의 기하학 모델을 구성하고 눈의 수렴특징을 적용하여 3차원 시선을 계산하였다[3]. 또한 두 눈의 수렴 현상을 바탕으로 3D시선에 대한 추정을 향상시키기 위해 거리 보정을 바탕으로 한 시선 보간(Interpolation)이 제안되었다[8]. 하지만 시선의 교차점을 구하는 방법은 얼핏 보기에 가능할 듯싶지만, 센서의 정확도가 낮고 인간의 생리적 특성 때문에 구하기가 어렵다.
3D 시선의 정확도를 향상시키기 위해 눈의 기하학 모델을 바탕으로 특징을 추출하고 2D-3D 관계를 형성하는 기법이 제안되고 있다. 보다 좋은 성능을 위해 기계학습이 적용되고 있는데 이 방식은 동공특징 정보와 3차원 좌표간의 관계를 SVM(Support Vector Machine)이나 MLP 등의 알고리즘을 적용하여 시선 초점 거리를 추정하는 방식이다[8][14]. 또한 최근에는 눈의 기하학 모델과 함께 동공 반사 특성인 푸르키네 현상을 적용하는 기법이 연구되고 있다[9,10]. 푸르키네 현상은 환경의 빛이 눈의 각 층을 통과하면서 반사되는 영상 특징을 활용해 눈의 기하학 특징을 얻는 방식이다. 하지만, 이 방식은 동공반사가 잘 보이는 1미터 이내의 근거리에 적합한 방식이다.
3. 착용형 양안 시선추적기 기반 시선 초점 거리 추정 방법
증강현실 및 가상현실 환경에서 사용자들이 시선정보를 바탕으로 자연스러운 상호작용을 할 수 있도록 착용형 환경에서 시선 초점 거리 인식이 중요하다. 증강현실 및 가상현실 환경에서 사용자의 시선 추적 기술은 3차원 공간에서 근거리 및 원거리에 대한 이동이 자유롭고 실시간 동작이 가능해야 한다. 이를 위해 제안한 방법은 일반적인 착용형 양안 시선추적기를 바탕으로 근거리 및 원거리 인식과 실시간 처리를 목표로 한다. 이를 위해 제안한 방법은 일반적인 눈추적기에서 활용가능 한 정보를 활용한다. 여기에는 시선 백터뿐만 아니라 두 눈 사이의 안구중심의 거리, 그리고 추적 신뢰도 정보가 포함된다. 그리고 시선 초점 거리 인식의 성능을 향상시키기 위해 인식 기계학습 알고리즘을 바탕으로 시선 초점 거리 추정 모델을 생성한다. 이후 생성된 시선 추정 모델을 바탕으로 시선 초점 거리 인식과 시선 추정을 통해 시선 초점을 파악한다. 그림 1은 제안한 양안 시선추적기 기반 시선 초점 거리 추정 방법에 대한 전체 과정을 나타낸다.
먼저 시선 초점 거리를 추정하기 위한 모델을 생성하기 위해 양안 시선추적기로부터 다양한 정보를 획득한다. 일반적으로 시선 추적기는 영상에서 동공 영역을 검출한 뒤 눈에 대한 시선방향, 동공크기 등 다양한 정보를 추출한다. 본 논문에서는 일반적인 눈 추적기에서 활용 가능한 정보인 안구의 3차원 위치, 각 눈의 3차원 시선 백터 정보를 활용한다. 또한, 눈의 중심좌표를 바탕으로 두 눈간 거리와 인식된 동공영역의 신뢰도를 추가 특징으로 활용한다. 이러한 정보를 바탕으로 Table 1과 같이 총 14개의 특징정보를 구성하였다. 여기에서 F0-F2와 F3-F5는 환경 카메라를 기준으로 각 눈 안구 중심의 3차원 좌표이며 F6-F8과 F9-F11은 각 눈의 3차원 시선백터를 나타낸다. 그리고 F12는 두 눈 간의 거리를 F13은 검출된 동공 위치 정보에 대한 신뢰도를 나타낸다.
그리고 안구 특징과 관련된 정보를 바탕으로 시선 초점 거리 추정 모델을 생성한다. 여러 가지 기계학습 모델이 활용 가능하지만 보다 정확한 시선 초점 거리 인식과 추정을 위해 다층퍼셉트론(MLP, Multilayer Perceptron) 알고리즘을 활용한다. MLP는 다층 신경망을 바탕으로 인식하는 비선형 학습 알고리즘이며 패턴인식에서 많이 활용되고 있다. 특히 MLP는 이산화된 클래스 인식과 연속된 클래스에 대한 값을 추정하는 모델을 만드는데 유용하다. 본 논문에서는 사용자의 시선 초점 거리를 일정한 단위로 이산화한 시선 초점 거리 분류와 시선 구간 내 연속된 시선 초점 거리를 추정하는 회귀모델을 구성하기 위해 MLP를 활용한다. 분류 기반의 시선 초점 거리 추정 모델은 정해진 몇 가지 초점 거리에 대한 선택이라 정확도가 높은 반면 에러가 발생하면 오차가 크다는 단점이 있다. 반면 회귀 함수 기반의 추정 모델은 시선 범위 내에서 연속적인 시선 초점 거리를 알 수 있다.
이렇게 생성된 시선 초점 거리 추정 모델을 적용하여 현재 사용자의 눈 초적 정보를 바탕으로 시선 초점 거리를 인식한다. 이를 위해 눈 추적기로부터 시선정보와 동공의 3차원 위치 등 눈 영역에 대한 정보를 실시간으로 획득한다. 이후 획득된 특징을 바탕으로 시선 초점 거리 추정 모델을 통해 시선 초점 거리에 대한 결과를 추론한다. 시선 초점 거리 인식 모델에서는 각 시선에 대한 확률을 계산하고 이중에서 가장 확률이 높은 초점 위치를 최종으로 선택한다. 시선 초점 거리 추정 모델에서는 획득된 특징을 MLP 기반의 회귀함수를 이용하여 시선 초점 거리를 계산한다.
4. 실험 및 분석
본 논문의 실험을 위해 Pupil-labs의 눈추적기를 활용하였다[10]. Pupil-labs의 눈추적기는 두 개의 눈 영상 획득 카메라와 한 개의 월드 카메라로 구성된다. 눈 영상 획득 카메라는 640x480 해상도와 120Hz의 갱신률을 가지고 있으며 IR LED가 부착되어 눈으로부터 반사되는 적외선을 바탕으로 동공을 검출한다. 월드 카메라는 1024x768 해상도를 갖고 있으며 60Hz속도로 사용자 시선방향으로의 영상을 획득한다. 눈 영역을 검출하고 관련 데이터를 획득하기 위해 Pupil-labs에서 제공하는 소프트웨어인 Pupil Capture를 사용하였다.
실험데이터 획득을 위해 13명의 사용자(P0∼P12)를 선발하여 거리에 따른 눈 추적 데이터를 획득하였다. 이들 사용자의 연령은 23세부터 33세 사이이며 평균 28세이다. 제안한 시선추적기의 기본 설정을 위해 사용자는 시선추적기를 착용하고 9포인트 기반의 카메라 및 시선 초점 거리 보정을 수행하였다. 이후 사용자는 1m∼5m 거리에 배치된 판넬을 일정시간 동안 각각 응시하도록 하여 눈 추적 데이터를 획득하였다(그림 2). 사용자가 일정한 거리에 배치된 판넬을 응시하면 시선추적 정보를 기록하였다. 각 사용자는 1m, 2m, 3m, 4m 및 5m의 총 5회에 걸쳐 배치된 판넬을 응시하였으며, 일정 시간 후 눈 추적기로부터 양 눈의 위치와 시선 정보를 획득하여 저장하였다. 이를 통해 각 사용자당 9000개 내외의 샘플을 획득하였으며 13명으로부터 총 123,862개의 샘플을 획득하였다.
획득한 눈 추적 데이터를 바탕으로 MLP 기반의 개인별 모델 및 일반화된 모델 기반 시선 초점 거리 추정과 회귀 추정에 대한 성능을 분석하였다. 사용자별 시선 초점 거리 추정 모델 분석에서는 13명에 대한 개별 사용자의 샘플을 바탕으로 MLP 기반의 시선 초점 거리 인식과 회귀 기반의 시선 초점 거리 추정에 대한 성능을 평가하였다. 또한 전체 사용자 모델 분석에서는 하나의 일반화된 모델을 가능성을 파악하기 위해 획득된 모든 샘플을 바탕으로 범용 시선 초점 거리 인식 및 추정 모델에 대한 성능을 평가하였다. MLP 기반의 기계 학습 및 테스트를 위해 기계학습 도구 Scikit-learn[12]과 Weka[13]를 활용하였다.
먼저 사용자별로 모델링된 MLP 기반 시선 초점 거리 인식기에 대한 성능을 분석하였다. 사용자별 초점 거리인식 성능 측정을 위해 사용자의 눈의 특징정보 구성에 따라 양 눈, 오른쪽 눈 및 왼쪽 눈 모델을 구성하였다. 이후 구성된 모델을 바탕으로 1∼5m 사이의 5가지 초점 중 현재 사용자의 초정거리가 맞는지 여부로 정확도를 계산하였다. 그림 3은 사용자별로 양 눈, 오른쪽 눈 및 왼쪽 눈에 대한 각 사용자별 시선 초점 거리 인식 정확도를 나타내고 있다.
먼저 양 눈 특징 정보를 모두 활용한 결과를 살펴보면 전체적으로 90.1%로 나타났다. 이는 1∼5m의 5가지 시선 깊이에 대해 10번 중 9번은 알아낼 수 있음을 의미한다. 그림 3에서처럼 사용자별로 성능을 살펴보면 P1, P4 사용자는 저조한 반면 그 외의 사용자에게는 우수하게 나타났다. 그리고 오른쪽 눈 왼쪽 눈과 또는 양 눈의 특징을 반영한 추정결과를 비교했을 약간의 성능 차이가 있었지만 신뢰할만한 차이는 발생하지 않았다.
개별 사용자 MLP 회귀 모델을 이용한 시선 초점 거리 추정오류는 전체적으로 ±42cm로 나타났다. 그림 4는 사용자별로 양 눈, 오른쪽 눈 및 왼쪽 눈에 대한 추정 오류를 나타내고 있다. 사용자별로 보면 P4, P7 및 P12가 ±50cm이상으로 저조한 반면 나머지 사용자는 ±50cm 이하로 상대적으로 우수한 결과가 나타났다. 특히 양 눈, 오른쪽 눈, 왼쪽 눈에 따른 분석에서는 양 눈 특징을 활용했을 때가 한쪽 눈을 특징 정보를 활용했을 때 보다 통계적으로 우수함을 알 수 있었다(t(12)=4.9211, p<.004, t(12)=3.2992, p<.0064).
전체 사용자를 정보를 반영하여 MLP 기반 범용 추정 모델에 대한 성능을 분석하였다. 전체 사용자를 반영한 MLP 기반 범용 추정 모델은 시선 깊이 추정을 위해 사용된 눈 특징정보에 따라 MLP6, MLP12, MLP12+C, MLP12+I 및 MLP12+I+C의 5가지 모델을 구성하였다. MLP6는 개별 사용자별 모델에서처럼 양눈의 시선백터인 6개 특징을 사용한 모델이고, MLP12는 양눈의 시선백터와 안구의 위치 정보로 12개의 특징을 사용한 모델이다. 그리고 MLP 12+C는 MLP12에 눈 추적에 대한 신뢰도를 포함한 모델이고, MLP+I는 MLP12에 양 눈간 거리 특징 정보를 포함한 모델이다. 그리고 MLP12+C+I는 동공 검출 신뢰도와 양눈 간의 거리 정보를 모두 포함한 모델이다. 아래의 그림 5는 5가지 MLP 기반 범용 추정 모델에 대한 성능을 나타낸다.
그림 5와 같이 눈 시선 초점거리 추정결과는 사용된 특징 정보에 따라 달라짐을 알 수 있었다. 개별 사용자 모델처럼 양눈의 시선정보만을 활용한 경우 분류 추정정확도는 48.6%로 인식 에러가 많이 발생함을 알 수 있었다. 반면 양눈의 시선 백터뿐만 아니라 추가적인 특징을 활용할 경우 추정 정확도가 향상됨을 알 수 있었다. 특히 양눈 시선정보, 안구위치, 신뢰도, 동공간 거리 정보를 활용하는 MLP12+C+I 모델은 추정 정확도가 89.7%로 나타났다. 이는 동공의 정확도와 동공간 거리특성이 초점거리 추정에 영향이 있음을 의미한다.
전체 사용자를 대상으로 한 MLP 기반 범용 회귀 추정 모델에서는 모델에 사용된 특징에 따라 성능이 달라짐을 알 수 있었다. 그림 6은 MLP기반 시선 초점 거리 추정 모델에 대한 성능을 나타내고 있다.
양눈 안구의 시선정보만을 활용했을 때 사용자별 모델에서는 평균 ±42cm인 반면 범용 사용자 모델에서는 ±129.7.cm으로 상대적으로 높게 나타났다. 하지만 양 눈의 시선백터뿐만 아니라 안구의 위치를 모두 활용했을 때 추정오류가 급격히 줄어듦을 알 수 있었고 눈 추적 데이터에 대한 신뢰도를 포함했을 때 ±31.4cm 까지 내려감을 알 수 있었다.
5. 논 의
실험을 통해 양 눈의 안구 및 시선정보와 MLP를 바탕으로한 개인별 모델과 전체 사용자를 대상으로 한 범용 모델에 대한 성능을 평가하였다. 개인별 모델에서는 사용자의 시선 초점 거리 추정을 위해서는 개인차로 인한 오차 최소화가 중요함을 알 수 있었다. 양 눈의 시선정보만 활용한 일반적인 모델을 적용한 경우 48.6%의 정확도를 보인 반면 개인별 모델에서는 평균 90.1%를 보였다. 이는 개별 사용자 모델이 적용되었을 때 시선 초점 거리 인식 성능 향상이 있음을 의미한다. 하지만 개인별 시선 추정 분석 결과를 보면 여전히 20cm∼105cm의 많은 차이가 발생하였다. 따라서 사용자에 따른 인식률 향상을 위해서는 개인별 추정 모델이 적합하지만 추가적인 성능 개선이 필요하다.
일반화된 범용 시선 추정 모델을 위해서는 안구와 관련된 특징정보가 매우 중요하다. 기존의 연구에서는 보다 정확한 시선 초점 거리 추정을 위해서 동공정보, 안구 위치정보, 시선정보, 푸르키네 정보를 활용하였다 [9] 본 논문에서도 시선정보 뿐만 아니라 안구정보, 신뢰도 및 눈간 거리 정보를 활용했을 때 시선 초점 거리 추정 정확도가 향상됨을 알 수 있었다. 더 정확한 시선 초점 거리 인식을 위해서는 딥러닝 같은 인식 모델과 저수준의 안구 특징정보 활용이 필요하다.
제안하는 시선 초점 거리 추정 방법은 몇 가지 제한점이 있다. 먼저 시선 초점 거리 추정을 위해서는 매번 사용자가 착용할 때마다 초점 거리와 카메라 파리미터에 대한 보정을 필요로 한다. 사용자들이 매번 사용할 때 마다 보정을 해야 하므로 부가적인 시간도 필요하고 번거로운 절차이므로 이에 대한 개선이 필요하다. 또한 제안한 기법은 일반적인 추적기를 바탕으로 하고 있어 푸르키네 정보를 포함하고 있지 않다. 보다 정확한 시선 추정을 위해서는 동공 정보와 푸르키네 정보 활용이 필요하다. 그리고 증강현실과 가상현실에서 자유롭게 활용할 수 있도록 양쪽 눈과 한쪽 눈을 모두 지원하는 시선 추정 기법이 필요하다.
6. 결 론
본 논문에서는 착용형 양안 추적기 기반의 시선 초점 거리 추정 방법을 제안하였다. 제안한 방법은 양안 추적기를 통해 각 눈의 3차원 위치와 3차원 시선 정보를 획득하였고 눈간 거리를 정보를 추가로 활용해 특징벡터를 구성하였다. 그리고 MLP를 적용하여 시선 초점 거리 추정 모델을 생성하여 시선 초점 거리를 인식하였다. 실제 사용자를 대상으로 한 시선 초점 거리 추정 분석 결과 개인별 모델을 통해 높은 인식율과 개인별 차이가 발생함을 알 수 있었다. 또한 전체 사용자를 대상으로 한 모델에서는 눈 시선 정보뿐만 아니라 동공의 위치, 검출된 동공 정보에 대한 신뢰도 및 양 눈 동공의 거리가 매우 중요함을 알 수 있었다.
제안한 시선 초점 거리 추정 방법은 시작단계에 있기 때문에 여전히 개선점을 안고 있다. 향후 연구로는 보다 저수준의 특징정보와 푸르키네 정보를 활용해 추정모델을 구성하는 것이 수행되어야 한다. 또한 가상현실 및 증강현실 환경에서 활용을 위해 초점 거리 정보와 함께 3차원 시선 정보 및 손 추적 정보 등과 결합하여 효과적인 사용자 상호작용에 대한 연구가 필요하다.
