이기종 원격협업을 지원하는 확장현실 기반 데이터 시각화

물리적인 제약을 받지 않는 확장 현실 공간에서 데이터 시각화 오 브젝트를 매핑(mapping)하고 인터랙션하기 위한 다양한 연구가 존재한다. 우선, ImAxes [12]는 가상현실(VR) 환경에서 데이터 의 로드 및 장면의 전환이 없이 사용자가 직접 정규 문법(formal grammar: 축의 개수 및 조립의 방식에 따라 서로 다른 시각화 테 크닉이 구현됨)을 토대로 시각화를 생성한다는 점에서 인터랙션 의 방식이 개선되었다. 그렇지만 너무 많은 시각화 오브젝트를 생성하게 되면 급격한 성능 저하가 발생하거나, 분석 도중 이전에 작업하던 데이터 인스턴스가 일시적으로 사라지는 현상이 나타 난다. 또한, 다량의 변수를 대상으로 시각화를 진행하는 Parallel Coordinate는 특정 축을 중심으로 필터링 기능을 실행했을 때 인 접한 축에 대해서만 필터링이 반영되고 이외 다른 축에는 필터링 작업이 반영되지 않는 문제가 발생한다.

ImAxes의 후속 작업인 IATK [7]에서는 더 많은 종류의 시각화 를 조합하여 분석하는 수준으로 툴킷이 발전되었다. 그리고 Be The Data [13] 에서는 VR 환경에서 다차원 데이터 시각화를매 핑한 뒤, 사용자가 카메라의 관점을 데이터 인스턴스의 위치로 자유롭게 이동시킬 수 있는 기능을 제공하여 데이터 분석의자 유도를 높였다. 그러나 두 연구 모두 시각화의 변형을 위해서는 Unity 상의 인스펙터(inspector) 창에서 직접 구체적인 수치 조정 을 진행해야하는 불편함이 있다. 이는 곧 PC의 제어 하에 VR 디 바이스가 분석을 할 수 있는 구조이기 때문에 사용자들은 게임 엔진의 조작 과정을 거쳐야하므로 사용 난이도가 올라갈 수 있다.

이후에는 사용자가 고자유도 환경 속에서 데이터 시각화를 직접 분석하고 변형하는 연구들이 진행되었다. 우선 Gadget Arms [9] 시스템은 Microsoft HoloLens 및 Leap Motion 손 추 적 센서를 이용해 시각화 파라미터의 메뉴를 제어하고 DxR toolkit [8]의 시각화 오브젝트를 변형, 회전, 배치할 수 있는 기 능을 제공했다. 최근에는 가상현실에서 원거리 객체를 정확하 게 상호작용하기 위해 Extended Hand 및 Portal기술 [10]을 융 합하여 원거리 가상 객체를 제어하는 방식이 연구되었다. 또한, iARVis [14]는 모바일 AR 기반 정보 시각화 환경에서 데이터를 자동 배치하고 이미지, 차트 등을 함께 제공하여 데이터의 이해 를 도왔다. 이상의 방식들은 VR 환경에 적합한 인터랙션 방안을 소개하고 있으며 시각화 객체들을 직접 접촉하는 방식을 택한다 는 특징이 있다. 따라서 앞으로는 XR 디바이스와 비XR 디바이스 (PC, 모바일) 모두에서 조작이 용이한 인터페이스를 가지고 리모 트 형식으로 데이터 시각화를 자유롭게 분석하는 방식의 연구가 진행되는 것이 필요하다.

확장현실 데이터 시각화 오브젝트를 다수의 사용자들이 협업 분석하는 방식을 연구한 사례들을 살펴보면 다음과 같다. 우선, ART(Augmented Reality above the Tabletop) 시스템 [15]에서는 두 명 이상의 참가자가 XR 디바이스를 착용한 뒤 Touch-sensitive tabletop 위에 매핑된 3차원 형태의 Parallel Coordinate을 가지고 군집분석(cluster) 및 이상치(outliers)를 찾는 방법을 소개하였다. 해당 연구는 터치 스크린을 기준으로 공간 구성이 되므로 가상 현실에 매핑된 시각화의 오버플로팅(overplotting) 현상을 줄이는 장점이 있다. 또한, 증강현실 및 터치 스크린 기반 평면 인터랙 션을 적절히 조합하여 데이터 분석에 대한 몰입감을 향상시켰다. 그러나 해당 연구에서 소개한 시스템은 Video see-through 기능의 품질 저하 및 지연 현상 발생이 있었다. 그리고 유선 연결 방식의 HMD를 착용하여 공간 이동의 제약이 있었기 때문에 협업을 진 행하는 다른 사용자의 분석 위치를 확인하기 어려워 토론 중에는 시각화에만 집중하게 되는 문제가 있었다.

다음으로 FIESTA(Free-roaming Immersive Environment to Support Team-based Analysis) [11] 에서는 세 명의 참여자가 팀을 이루어 공유 작업 공간에서 2D 시각화를 벽면에, 3D 시각화를 주 변 공간에 생성하며 협업하는 연구를 제시하였다. 해당 연구에서 는 다수의 그룹이 협업을 진행할 때 지연 없는 네트워크 환경을 제공했다는 장점이 있다. 또한, 협업자의 분석 위치를 아바타로 표현하여 정보를 제공하였다. 그러나 특수 장비를 착용하여 진 행하는 방식이 행동의 제약을 발생시켰다. 그리고 잠재적 충돌 위험으로 인해 협업자들이 각자의 위치에서만 주로 분석을 진행 하며, 다른 사용자의 영역으로 자유롭게 이동하여 협업을 진행하 지 못하는 한계가 있다.

이후 리모트 환경 기반 시각화 협업 연구들이 진행되었다. Wizualization [16]은 리모트 환경에서 MR 디바이스를 사용하는 두 사용자가 터치형 상호작용 제스처와 음성명령을 이용하여 시 각화를 조작하는 방법을 제시한다. 해당 사례는 사용자들 간의 시각적 분석의 자유도를 높여준다는 장점이 있지만 분석 결과물 을 장기적으로 기억하도록 돕거나 시각화 분석 방법을 안내할 수 있는 인터페이스를 연구하는 부분이 추가로 필요하다고 언급했 다. 다음으로 분산형 비대칭 공동 시각화(Distributed Asymmetric Collaborative Visualization)에 대한 연구 [17]가 진행되었다. 해당 연구에서는 네트워크의 관계 분석을 위한 시각화 시스템을 제작 하고 비대칭(PC-VR) 및 대칭(PC-PC/VR-VR) 환경에서 시각화 협업 수행 정도를 비교 실험하였다. 실험 결과 비대칭 디바이스 를 사용하는 경우가 협업 수행에 긍정적인 인지 효과를 얻는다는 것을 발견하였다. 그러나 VR 디바이스에서는 네트워크 시각화 를 쉽게 제어하기 어려운 문제가 있어, 가상현실 공간 안에서 데 이터 인스턴스의 특징을 매핑하고 이를 리포팅하는 역할을 주로 수행하는 한계가 있었다.

몰입형 분석을 위한 협업 환경 연구들을 종합해 볼 때, 개선된 연구를 진행하기 위해서는 이기종 디바이스 사용자들에게 분석 방법을 안내하고 업무 내용 및 과정을 저장할 수 있는 기능을 제 공하며, 각 디바이스들이 서로 독립적으로 데이터 시각화 분석을 진행할 수 있도록 시스템을 설계할 필요가 있다.

우선 VR 디바이스 사용자 A는 Parallel Coordinate를 만들기 위 한 인터랙션을 진행한다. 노드-링크 컨트롤 인터페이스에서 04 car data.csv 파일 로드가 완료된 ‘Data Setting’에다 ‘Visualization Technique’노드를 연결시킨다. 해당 노드에서는 Parallel Coordinate 버튼을 누른다. 다음으로 Parallel Coordinate의 변수 설정을 위해 ‘Attribute Selection’ 노드를 연결시킨 후, Engine Size, Cly, HP, City MPG, Hwy MPG, Weight 변수를 선택한다. 그런 다음 Show Visualization 버튼을 클릭하여 시각화를 생성한다.

이때, PC 사용자 B는 사용자 A가 만든 Parallel Coordinate를 동시에 관찰하면서 첫째 분석 업무인 ‘상관관계 비교(4.2.1장에 서 자세히 서술)’를 위한 변수들을 짝지어본 뒤, 사용자 A에게 Parallel Coordinate의 변수 순서 변경을 요청한다. 동시에 사용자 A는 ‘Axis Order Panel’을 이용하여 변수의 순서를 Cyl, Weight, Engine Size, City MPG, HP, Hwy MPG로 변경한다. 해당 변수로 순서를 변경하면 HP를 기준으로 HP-City MPG, HP-Hwy MPG 의 상관관계를 비교할 수 있고, Weight를 기준으로 Weight-Cyl, Weight-Engine Size의 상관관계를 비교할 수 있다. 사용자 B는 좀 더 확실한 비교를 위해 네 가지의 상관관계를 비교하기 위한 Scatterplot을 생성한다. 동시에 사용자 A는 생성된 네 개의 Scatterplot을 모니터링한다.

변수의 순서가 조정된 Parallel Coordinate와 네 개의 Scatterplot 에 대해서 두 사용자는 총 두 가지의 업무를 수행한다.

두 사용자가 원하는 협업 분석이 종료된 다음에는 프로젝트 저장 및 공유 작업을 진행한다. 저장된 프로젝트는 두 사용자가 생성한 시각화 및 노드-링크 제어 인터페이스 작업물들이 저장된다. 해 당 프로젝트 파일은 다른 사용자들에게 공유 및 배포될 수 있다.

사용성 검증을 위한 실험 설계 방법을 서술하면 아래와 같다. 우 선, 본 시스템의 협업 분석을 위해 관련 분야의 전공자 네 명(남자 3명, 여자 1명, 나이 24-35, 모두 VR 및 PC 사용 가능)을 피실험자 로 선정하였다. 실험 장소로는 물리적으로 떨어진 두 공간을 확 보한 뒤, 각 공간에 VR 디바이스와 PC 디바이스를 배치시켜 두 디바이스가 서로 리모트 인터랙션을 할 수 있도록 설정하였다. VR 디바이스는 Meta Quest 3 HMD 및 컨트롤러를 사용하였다. 피실험자 네 명은 각각 두 명씩 팀을 이루어 협업 분석을 진행하 며, 협업 분석의 내용은 4장에서 소개한 협업 시나리오 과정을 순 서대로 체험하는 방식으로 구성되었다. 그리고각 팀은 총 2회에 걸쳐서 협업 분석을 진행한다. 예를 들어 피실험자 1과 2가 있을 때, 1차 협업 분석에서는 피실험자 1이 VR을 사용하고, 피실험자 2가 PC 사용하여 시나리오 협업 분석을 진행한다. 2차 협업 분 석에서는 두 피실험자가 디바이스를 바꾸어서 동일한 시나리오 협업 분석을 진행한다. 피실험자 3과 4도 앞서 설명한 방법대로 총 2회에 걸친 협업 분석을 진행한다.

파일럿 실험을 진행할 때는 실험 진행자가각 피실험자에게 시 스템에서 제공하는 시각화의 기능, 사용하는 04 car data의 특징, 노드-링크 제어 인터페이스의 사용 방법, 각 디바이스의 컨트롤 러 제어 방법을 설명하였다. 또한, 제시되는 시나리오를 피실험 자들이 충분히 협업 분석할 수 있는 수준까지 이해하도록 학습 및 질의 응답을 실시하였다. 피실험자들은 협업 시나리오를 진행할 때 시나리오에 대한 메뉴얼(Figure 8)이 제공된다. 각 피실험자는 현재 자신이 사용하는 디바이스에서 메뉴얼에 따라 협업 분석을 진행하고 디바이스를 변경하여 같은 과정을 한 번 더 진행한다.

협업 분석을 진행한 후에는, 분석된 데이터의 특징을 올바르 게 이해하는 지 측정하기 위해 각 피실험자들에게 문항에 응답하 도록 하였다. 문항은 총 세 종류로 구성되며 첫째는 City MPG-HP 및 Hwy MPG-HP의 상관관계를 비교하는 문항, 둘째는 Cyl-Weight 및 Engine Size-Weigh의 상관관계를 비교하는 문항, 셋째 는 범위값 설정 및 필터링이 진행된뒤 추출되는 데이터 인스턴 스들의 특징을 서술하는 문항이다.

문항 응답 과정이 끝나고 나면, 각 피실험자들에게 Table 2의 질문 리스트를 기반으로 총 여섯 개의 서술형 응답을 진행하였 다. 질문 주제는 밝히지 않았으며, 부여된 문항 번호 순서대로 응 답이 이루어졌다. 그리고 3번-6번 문항에 대해서 리커트 5점 척 도를 활용하여 사용성 만족도(5점으로 갈수록 긍정적인 만족도) 를 측정하고, 해당 점수를 부여한 사유에 대해서도 서술하도록 요청하였다. 이후 피실험자가 작성한 응답에 대해서 추가 의견이 필요한 상황에는 해당 피실험자에게 인터뷰를 실행하였다.

피실험자들이 협업분석을 진행하기 위한 사전 설명 진행 단계 소요시간은 평균 24분이 소요되었다. 그리고 피실험자 1과 2가 진행하는 1차 협업 분석은 14분, 2차 협업분석은 13분이 소요되 었으며 피실험자 3과 4가 진행하는 3차 협업 분석은 13분, 4차 협 업분석은 10분이 소요되었다. 그리고각 팀이 주어진 세 개의 문 항을 푸는 시간은 평균 6분이 소요되었으며, 두 팀 모두 대체적으 로 데이터 해석의 오류 없이 올바른 분석 결과(1번 정답률:100%, 2번 정답률: 75% 3번 정답률: 100%)를 낸 것을 확인하였다. 이후 여섯 개의 서술 문항을 응답하고 인터뷰를 실행한 시간은 평균 11분이 소요되었다.

피실험자 네 명에게 받은 여섯 문항에 대한 응답을 순서대로 정리하면 아래와 같다.

PC 디바이스를 이용한 시스템 사용 의견을 묻는 1번 문항에 대 해서는, 모든 피실험자들이 노드-링크를 생성하여 자유롭게 조작 하고, 시각화 뷰의 확대/축소와 이동이 자연스럽게 이루어졌다는 점을 언급했다. 하지만 평면 모니터 안에서 노드-링크를 연속해 서 만들게 되면 한정된 공간으로 인해서 제약이 느껴진다는 점, 노드-링크 인터페이스를 이루는 노드 중 일부 버튼 글씨가 작게 보인다는 점을 단점으로 보았다.

VR 디바이스를 이용한 시스템 사용 의견을 묻는 2번 문항에 대해서는, 시각화가 입체적으로 보여서 비쥬얼 클러터가 감소한 다는 점,공간 제약을 벗어나기 때문에 시각화의 분석 결과물 수 치를 읽기가 더 편했으며 몰입감을 높인다는 의견을 주었다. 그 러나 노드-링크 제어 인터페이스에서 일부 노드들이 반투명 패널 밖에 위치하는 오류가 있었으며, 특히 모든 피실험자들이 컨트롤 러에 손떨림이 그대로 반영되는 문제로 인해서 선택 인터랙션을 진행하는 것이 어렵다는 것을 지적하였다.

노드-링크 제어 인터페이스의 사용성을 묻는 3번 문항에 대해 서는 평균 4점이 나왔다. 각 피실험자들이 해당 점수를 준 사유를 정리했을 때, 시각화를 생성하기 위해서는 데이터셋-시각화 테크 닉-변수의 선택을 간단하게 거치면 만들 수 있다는 점이 매우 직 관적이었으며, 만들어진 시각화에 여러 업무들을 붙여서 시각화 를 비교하는 점이 분석에 있어 용이하다는 의견을 주었다. 하지만 최저 점수인 3점을 준 피실험자는 노드-링크 제어 인터페이스는 직관적이지만, VR 디바이스를 이용했을 때 특정 인스턴스를 선 택하고 수치를 드래그하는 데 있어서 어려움이 있었던 점, 그리고 PC에서는 한정된 공간에서 이루어지다보니 전체 노드 크기가 작 아서 수치를 보거나 변수들을 볼 때 눈의 피로도가 증가한다는 점을 단점으로 보았다.

PC 기반 인터랙션의 정밀성을 측정하는 4번 문항에 대해서는 평균 4.75점이 나왔으며, 모든 피실험자들이 마우스를 기반으로 노드를 생성하여 시각화를 조작하는 데 있어 시스템이 충분한 반 응을 보이고 있다는 의견을 준 것으로 나타났다.

그러나 VR 기반 인터랙션의 정밀성을 측정하는 5번 문항에 대해서는 평균 2.25점이 나왔다. 상대적으로 낮은 점수를 부여한 사유를 확인한 결과, 모든 피실험자들이 VR 컨트롤러로 특정 오 브젝트를 선택하는 것에 대해서 불편함을 느낀 것으로 나타났다. 그리고 추가 인터뷰 과정에서 일부 피실험자는 컨트롤러를 사용 하여 노드를 옮길 때 주변 인터페이스들이 같이 눌려져서 반응하 는 점, PC도 인터페이스가 작다고 느꼈지만 VR도 일부 노드의 인터페이스는 여전히 크기가 작아서 사용이 불편했다는 점을 지 적하였다.

마지막으로 네트워크 환경을 이용하여 헙업 분석을 진행하는 데 있어 편의성을 측정하는 6번 문항에 대해서는 평균 3점이 나왔 다. 해당 점수를 부여한 사유를 정리한 결과, 피실험자들이 서로 공간에서 떨어져 있어도 노드를 이용하여 인터페이스를 조작하 고 시각화가 실시간으로 바뀌는 점에 대해서는 긍정적이었으나, VR의 성능이 PC만큼 따라주지 않는다는 디바이스의 한계로 인 해, PC 및 VR 디바이스들이 동등한 조작을 하더라도 VR쪽에서 는 불편함이 계속 발생될 것이라는 의견이 있었다. 그리고 추가 인터뷰 과정에서 일부 피실험자는 리모트 환경에서 이기종 디 바이스가 아닌 PC-PC 형태로 분석을 진행한다면 더욱 수월하게 협업을 진행할 수 있었을 것이라는 의견도 주었다.

파일럿 실험 결과 피실험자들은 ‘노드-링크 제어 인터페이스 를 사용하면 원하는 데이터셋과 변수들을 선택한 뒤 시각화를 매핑하고 시각화에 대한 분석 업무를 진행하는 데 있어 상당히 직관적이었으며, 시스템 사용에 대한 특별한 가이드라인 설명이 없어도 조작이 쉽다는 점에서 기여도가 높다고 생각한다.’라는 의견을 주었다. 또한, 협업 진행 시 통신의 품질 등에 대해서도 긍정적인 의견을 준 것으로 나타났다.

다만 VR 디바이스에서 컨트롤러 사용의 불편함, 일부 노드의 인터페이스 크기가 작아서 분석 진행에 어려움이 있었다는 점 등 은 본 연구에서 개선해야할 과제로 남았다.