Article

Origin-Destination 기반 시각화 도구의 개발 및 사회 문제 해결을 위한 사용자 연구

김창기1https://orcid.org/0009-0008-6380-765X, 황성진2https://orcid.org/0000-0003-2685-5544, 김한성3https://orcid.org/0000-0003-4618-0441, 이수기4https://orcid.org/0000-0002-0940-4488, 차재혁2https://orcid.org/0000-0003-4869-901X, 김광욱2,*https://orcid.org/0000-0002-4184-2058
Changki Kim1https://orcid.org/0009-0008-6380-765X, Sungjin Hwang2https://orcid.org/0000-0003-2685-5544, Hansung Kim3https://orcid.org/0000-0003-4618-0441, Sugie Lee4https://orcid.org/0000-0002-0940-4488, Jaehyuk Cha2https://orcid.org/0000-0003-4869-901X, Kwanguk (Kenny) Kim2,*https://orcid.org/0000-0002-4184-2058
Author Information & Copyright
1한양대학교 인공지능학과
2한양대학교 컴퓨터·소프트웨어학과
3한양대학교 사회학과
4한양대학교 도시공학과
1Department of Artificial Inteligence, Hanyang University, Seoul, Republic of Korea
2Department of Computer and Software, Hanyang University, Seoul, Republic of Korea
3Department of Sociology, Hanyang University, Seoul, Republic of Korea
4Department of Urban Planning & Enginnering, Hanyang University, Seoul, Republic of Korea
*corresponding author: Kwanguk (Kenny) Kim/Hanyang University(kenny@hanyang.ac.kr)

© Copyright 2024 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 15, 2024; Revised: Jul 02, 2024; Accepted: Jul 05, 2024

Published Online: Jul 25, 2024

요약

이동 정보에 대한 분석은 다양한 사회문제 해결에 도움이 될 수 있으며, 이러한 이동 정보를 정량화하여 나타낸 대표적인 데이터 중 하나가 Origin-Destination(OD) 데이터이다. 기존 연구들에서는 OD 데이터에 시각화 방법론을 도입했으나, 이러한 시각화 도구를 실제 사회 문제 해결에 사용하여 사용성을 평가한 적은 없다. 본 연구에서는 사회 문제 해결에 용이한 시각화 도구(이하 SeoulOD-Vis)를 3가지 모듈(지도 시각화, 조건 선택, 세부 정보 표기)에 기반해 개발하였다. 그리고 28명의 피험자를 대상으로 SeoulOD-Vis와 동일한 OD 데이터를 기반으로 제작된 공개된 시각화 도구(기존 시각화 도구)의 사용성을 비교하였다. 그 결과, SeoulOD-Vis 가 기존 시각화 도구보다 높은 사용성 및 문제 수행 성능을 보였으며, 이는 SeoulOD-Vis에 포함된 ‘조건 선택’ 및 ‘세부 정보 표기’ 모듈에 기인했다. 또한, ‘지도 시각화’ 모듈에서 제공하는 히트맵 및 플로우맵은 각기 다른 목적으로 사용되며 다양한 사회 문제 해결에 도움을 줄 수 있음을 확인했다. 본 연구의 결과는 추후 이동 정보를 활용한 사회 문제 해결을 위한 시각화 도구 개발 및 이를 통한 다양한 사회 문제 해결에 기여할 수 있을 것으로 기대된다.

Abstract

Mobility data is important to understand social phenomena and problem. Previous studies have utilized Origin-Destination (OD) visualization methods to represent human’s mobility. However, the effectiveness of visualization tools as a method for understanding social phenomena remains unexplored. Therefore, in this study, we developed a visualization tool called SeoulOD-Vis to facilitate understanding social issues. It included three different modules: map visualization, condition selection, and detailed information presentation. We recruited 28 participants to evaluate the SeoulOD-Vis and compared it with a publicly available visualization tool. The results suggested that the SeoulOD-Vis had higher usability and problem-solving performances. Interview results suggested that it attributed to its 'condition selection' and 'detailed information presentation' modules. Our results will contribute to develop visualization tools to solve social problems using mobility data.

Keywords: 출발지-목적지 데이터; 데이터 시각화; 히트맵; 플로우맵; 사용성
Keywords: Origin-Destination Data; Data Visualization; Heatmap; Flowmap; Usability

1. 서론

사람들의 이동은 사회과학적으로 중요한 의미를 가지며[1], 이동 정보에 대한 분석은 도시계획, 교통, 위기상황 대처 등 다양한 사회문제 해결에 활용될 수 있다[2, 3, 4, 5, 24]. 예를 들어, 도시 내 노인 인구를 위한 대중교통 수요를 파악하고 해당 서비스를 제공하기 위해 핸드폰 네트워크 운영 데이터 기반 이동 정보를 활용할 수 있다[2, 20, 21, 22, 23]. 또한, 이동 정보에 따른 버스 노선, 정류장, 배차간격 등의 최적화에 활용될 수 있도록 Global Positioning System (GPS) 기반의 이동 데이터를 분석할 수 있다[3]. 더 나아가, 재난 발생 후 다양한 사회 변화 현상을 이해하고, 효과적인 대처, 긴급 대응 계획, 자원 배치 전략 및 정책 수립을 위해 이동 공간 통계 데이터를 활용할 수 있다[4, 20].

이동 정보를 정확하게 분석하기 위해서는 정량화되고 개인정보가 보호된 데이터가 필요하며, Origin-Destination (OD) 데이터는 사회과학 및 도시공학 등 다양한 분야에서 이동 분석을 위해 활용하는 대표적인 데이터이다[5]. 이동은 특정 시점에 특정 지역에서 출발하여, 다른 특정 시점에 특정 지역에 도달하는 이동들의 집합이며, OD 데이터의 경우 이러한 각각의 이동들에 대응되는 이동 인구수와 같은 세부 정보들로 포함하고 있다[2, 6, 20]. OD 데이터를 얻는 방법에는 주로 설문조사, Call Detail Records (CDRs), GPS, 이동통신 데이터가 있다[2]. 이 중 휴대폰과 기지국과의 통신 기록을 바탕으로 얻어지는 이동통신 데이터의 경우 휴대폰이 켜져 있으면 항상 수집이 가능하며, 익명화를 통해 사용자의 개인정보 보호의 이점이 있어 자주 활용된다[17, 18].

OD 데이터의 경우 데이터의 양이 많고, 직관적인 분석이 용이하지 않기 때문에, 사람들의 데이터에 대한 직관적 이해를 돕고자 다양한 시각화 방법을 도입했다[3, 5, 6, 7]. 이러한 시각화 방법으로는 플로우맵(flow map)[5, 6] 및 히트맵(heat map)[3, 7] 방법이 제안되었다. 플로우맵은 지도 위에 선이나 화살표를 통해 특정 지역에서 다른 지역으로의 이동을 나타내고, 선의 너비를 통해 이동의 양을 표현하는 방법이며, 히트맵의 경우 색상 분포를 통해 특정 지역의 이동 정도를 표현하는 방법이다. 이러한 시각화 방법론이 실제 이용자가 데이터를 이해함에 있어 도움을 주는지를 확인하고자 기존 연구에서는 시각화 도구의 유용성을 평가했다[8, 9]. 예를 들어, 플로우맵에서 대규모의 OD 데이터를 시각화 할 때, 서로 다른 선들끼리 중첩되거나 과도하게 교차되는 문제를 해결하기 위해 적용한 추상적 시각화 방법(visual abstraction approach)을 도입한 후, 그 효과를 사례 연구(case study), 정량 평가, 전문가 인터뷰를 통해 평가했다[8]. 또한, 플로우맵에서 선 간의 중첩되는 문제를 해결하고자 사용자가 지정한 경유지를 필터링을 통해 나타내고, 경로 관련 정보를 시각화하는 방법을 제안했으며, 그 효과를 사례 연구 및 전문가 인터뷰를 통해 평가했다[9].

그러나, OD 데이터의 시각화가 실제로 사회 문제 해결 관점에서 얼마나 유용한지에 대한 연구는 없었다. 따라서, 본 연구에서는 사회과학, 도시공학, 컴퓨터공학 전문가들이 모여서 사회 문제 해결에 사용할 수 있는 OD 데이터 기반 시각화 도구를 개발하고, 해당 도구가 사회 문제 해결에 효과적인지 기존 시각화 도구와 비교하여 평가하고자 한다.

2. SeoulOD-Vis의 개발

이 장에서는 본 연구에서 사용하는 OD 데이터인 KT 서울 이동 데이터를 소개하고, 사회 문제 해결을 위해 개발된 본 시각화 도구(이하 SeoulOD-Vis)를 소개한다.

2.1 KT 서울 이동 데이터

본 연구에 활용된 OD 데이터는 KT 서울 이동 데이터로 2019년 1월 1일부터 2022년 12월 31일까지의 서울시 내의 모든 이동 정보를 포함한다. 해당 이동 정보는 휴대폰과 기지국 간의 통신 데이터을 통해 수집된다. 수집 정보로는 이용자들의 위치 및 시간 정보, 그리고 익명화된 인적 사항(성별, 나이대 등) 등이 있다. 이 때, 위치 정보의 경우 교통 폴리곤을 기준으로 표기된다. 여기서 교통 폴리곤이란 한국교통연구원에서 제안한 공간 단위로 행정동 단위보다 약 4배 정도 세분화된 공간 단위이다. 2019년 기준 서울은 424개의 행정동 및 1831개의 교통 폴리곤으로 분할되어 있다.

통신 데이터에 기반한 KT 서울 이동 데이터 내 각 이동은 <T1, T2, O, D, I1, …, I5>와 같은 벡터로 표현된다. 여기서 T1, T2의 경우 해당 이동의 출발 및 도착 시간을 의미한다. O, D의 경우 출발 및 도착 위치에 대한 교통 폴리곤 코드를 의미한다. I1, … , I5의 경우 해당 이동에 대응되는 이동인구, 이동거리, 이동시간, 성별, 나이를 나타낸다. 즉, 이를 종합하면 <T1, T2, O, D, I1, …, I5> 벡터의 경우, T1 시점에 O 위치에서 출발하여 T2 시점에 D 위치에 도착한 이동인구, 이동거리, 이동시간, 성별, 나이는 I1, …, I5이라고 해석할 수 있다.

2.2 SeoulOD-Vis 시각화 도구

본 SeoulOD-Vis는 3가지 기능(지도 시각화, 조건 선택, 상세 정보 표시)을 통해 다양한 사회 문제 해결에 용이한 이동 정보의 시각화를 가능하게 한다. 그림 1은 SeoulOD-Vis의 3가지 기능을 나타낸다. ‘지도 시각화’ 기능에서는 서울시 내의 전체적 이동 흐름 및 각 지역 별 이동을 필요에 맞춰 파악할 수 있도록 두 가지 시각화 방법(플로우맵과 히트맵)을 제공한다. 플로우맵은 서울 시 내의 전체적인 이동 흐름을 파악하기 위해 특정 지역에서 다른 지역으로의 이동을 선을 통해 나타낸다. 출발과 도착 부분의 선의 색상의 차이를 통해 출발과 도착을 구분할 수 있다. 또한, 선의 굵기를 통해 이동 인구수 등의 규모를 표현한다.

jkcgs-30-3-9-g1
Figure 1. Framework of SeoulOD-Vis (SeoulOD-Vis means Seoul Origin-Destination data Visualization tool)
Download Original Figure

반면, 히트맵의 경우 각 교통 폴리곤의 이동을 파악하기에 용이하며, 교통 폴리곤 별 이동 인구수 등의 규모를 색상의 진하기를 통해 시각적으로 나타낸다. ‘조건 선택’ 기능에서는 사용자가 탐색하고 싶은 이동 정보를 상세하게 선택할 수 있도록 한다. 이를 통해 OD 데이터를 직접 조회하고 해당 데이터를 시각화하는 효과를 제공한다. ‘조건 선택’에서는 기본적으로 이동이 일어난 연도, 월, 시간대를 선택할 수 있으며, 이동 인구의 나이대, 성별을 선택할 수 있다. 히트맵으로 시각화 하는 경우 이동 유형, 지도 색상, 분포기준, 최대 기준치, 관심 폴리곤을 추가적으로 설정할 수 있다. ‘이동 유형’에는 유입, 유출, 유입+유출이 있으며 각각 각 교통 폴리곤 지역으로 유입, 유출, 그리고 유입과 유출 인구를 합하여 시각화해준다. ‘지도 색상’을 통해 사용자의 선호에 맞게 빨강, 파랑, 초록 중 선택할 수 있다. ‘분포기준’을 통해 시각화 하고자 하는 정보를 인원수, 평균이동거리, 평균이동시간 중에서 선택할 수 있다. 예를 들어, 평균이동거리로 선택한 경우, 특정 교통 폴리곤의 이동 인구의 평균이동거리가 높을수록 해당 지역은 더 진하게 시각화 된다. ‘최대 기준치’를 통해 지정된 값을 초과하는 모든 지역은 그 값에 상관없이 모두 가장 진한 색상으로 시각화할 수 있다. 만약 ‘최대 기준치’를 디폴트값인 ‘선택 안함’으로 유지한다면 모든 교통 폴리곤 값 중 최댓값을 ‘최대 기준치’로 설정한 것과 같은 결과를 보인다.

마지막으로, ‘관심 교통 폴리곤 지역’을 통해 현재 이동 정보를 탐색하고자 하는 과심 교통 폴리곤이 시각화 화면 중앙에 오도록 할 수 있다. 플로우맵에서도 공통 선택지 이외에, 도착지 색상, 선 굵기 기준, 최소 기준치, 출발지·도착지 폴리곤을 설정할 수 있다. ‘도착지 색상’을 통해 선의 색상을 사용자의 선호에 맞게 빨강, 파랑, 초록 중 선택할 수 있다. ‘선 굵기 기준’을 통해 시각화하고자 하는 정보를 인원수, 이동거리, 이동시간, 시간/거리 중에 선택할 수 있다. 시각화 된 선의 굵기는 선 굵기 기준의 값이 클수록 굵어진다. ‘최소 기준치’를 통해 설정된 값 미만의 두께를 갖는 선들은 시각화하지 않을 수 있고, 이를 통해 시각화 결과가 지나치게 복잡해지는 것을 방지할 수 있다. ‘최소 기준치’를 디폴트값인 ‘선택 안함’으로 유지하면 선 굵기가 최대인 선들만 시각화 한다. 마지막으로, ‘관심 출발지’와 ‘관심 도착지’에 관심 지역의 교통 폴리곤을 입력하여 관심 출발지에서 유출된 모든 이동만 표기하거나, 관심 도착지로 유입된 모든 이동만 표기할 수 있다.

‘상세 정보 표시’ 기능에서는 시각화를 통해서는 확인할 수 있는 각 이동 정보에 대한 세부정보를 확인할 수 있도록 한다. 이를 통해 OD 데이터 직접 조회하여 세부 정보를 확인하는 것과 동일한 효과를 제공한다. ‘상세 정보 표시’ 기능은 히트맵의 경우, 특정 교통 폴리곤 지역에 마우스를 올려 놓으면 나타난다. 이 때 보여지는 정보는 해당 지역의 교통 폴리곤 코드, 행정동 명칭, 이동 인구수, 평균 이동거리, 평균 이동시간이다. 또한, 플로우맵의 경우, 시각화 된 선 위에 마우스를 올려 놓으면 해당 이동에 대한 상세 정보가 나타난다. 이 때 나타나는 정보는 출발지와 도착지의 교통 폴리곤 코드 및 행정동 명칭, 이동 인구수, 평균 이동거리, 평균 이동시간, 거리 대비 시간 정보를 알 수 있다.

3. 실험 방법

3.1 피험자

SeoulOD-Vis시각화 도구가 사회 문제 해결에 얼마나 유용한지를 평가하기 위해 28명의 피험자를 모집했다. 피험자의 평균 나이는 23.82세, 표준편차는 3.70세였으며, 여성 피험자는 총 15명이다.

3.2 실험 조건

본 실험에서는 두 가지 시각화 도구와 두 세트의 사회 문제들을 사용했다. 시각화 도구의 경우 2장에서 설명한 SeoulOD-Vis 및 대조군으로 ‘서울시 생활이동 데이터 시각화 도구’1)(본 논문에서는 기존 시각화 도구라고 지칭함)를 사용하였다. 기존 시각화 도구의 경우 ‘서울 열린데이터 광장’에서 개발했으며, 실험 당시 2024년 4월까지의 OD 데이터를 시각화 할 수 있다.

기존 도구는 좌측 사이드바를 통해 지역, 연도, 월, 주차, 이동유형(유출 또는 유입)과 같은 시각화 조건을 선택할 수 있다. 원하는 조건을 선택해 해당 데이터를 시각화 하면, 선택된 지역을 중심으로 시각화가 되고, 선택한 이동유형에 따라 해당 지역에서 유출 또는 해당 지역으로 유입되는 인구를 화살표 통해 시각적으로 보여준다. 오른쪽 사이드바에는 ‘남녀 유출인구 비율’, ‘연령별 유출인구’, ‘동별 유출인구’에 대한 정보가 제공된다. 아래쪽 사이드바에서는 모든 요일에 대해 1시간 단위의 유출 또는 유입 인구를 원으로 시각화하여 보여준다.

실험에 사용된 두 세트의 사회 문제는 각 세트별로 3개의 범주(도시공학, 사회복지, 보건·재난 이슈)에 해당하는 이동 정보를 통해 파악할 수 있는 1개의 질문들로 구성되어 있다. 표 1은 실험에 사용된 수행 문제를 요약 정리해서 보여준다.

Table 1. Summary of tasks to evaluate visualization tools
문제 세트 (1) 문제 세트 (2)
사회 복지 청년 주택 공급을 위해 청년층의 이동을 파악하고자 합니다. 2022년 3월, 통학·출근 시간대에 청년층의 유출 인구수가 가장 많은 지역을 구하시오. 노약자를 위한 이동 편의 시설 개선을 위해 노인 인구의 이동을 파악하고자 합니다. 2022년 12월, 70대 이상 노인층의 이동이 가장 많은 구간을 구하시오.
도시 공학 지역 랜드마크 개장이, 해당 지역으로의 젊은 층의 인구 이동에 미치는 영향을 확인하고자 합니다. 여의도 더현대 개장 1년 전, 젊은 층의 유입 인구수와 유입 인구의 평균 이동거리를 구하고, 해당 값이 동일한 조건으로 개장 1년 후에는 어떻게 변화했는지 구하시오. 퇴근 시간대, 교통 혼잡 구간 이동을 파악하여 교통을 개선하고자 합니다. 2022년 11월, 퇴근 시간대에 종로3가역에서 유출 인구가 가장 많은 구간과, 거리 대비 이동시간이 가장 오래 걸리는 구간을 각각 구하시오.
보건 재난 국가 재난이 해당 지역 상권에 미치는 영향을 확인하고자 합니다. 이태원 참사 전, 20대 및 30대가 이태원역이 위치한 지역으로 유입된 인구수를 구하고, 이태원 참사 후, 유입된 인구수가 어떻게 변화했는지 구하시오. COVID-19 확산이 유동 인구 밀집 지역의 인구 이동에 미치는 영향을 확인하고자 합니다. COVID-19 발생 초기, 강남역이 위치한 지역으로 가장 많이 유입한 지역을 찾고, 발생 1개월 후, 동일한 조건에서 같은 이동이 얼마나 감소했는지 구하시오.
Download Excel Table
3.3 측정 변인

본 연구에서는 시각화 도구에 대한 사용성과 문제 수행 성능을 측정하기 위해 아래와 같은 측정 변인들을 사용했다.

3.3.1. 시각화 도구의 사용성 평가를 위한 측정 변인

System Usability Scale (SUS). 사용자들의 시스템 사용성을 전반적으로 평가하기 위해 개발된 5-point Likert Scale 문항 10개로 구성된 설문지이다 [10, 11]. 해당 설문은 시스템을 사용하는 것에 대한 주관적인 반응, 만족도를 측정한다. SUS 점수의 경우 10개 문항의 합산하여 산출하며, SUS 점수가 높을수록 높은 사용성을 의미한다.

Acceptance. 사용자의 시스템에 대한 직접적인 태도로 측정하기 위해 5-point Likert Scale 문항 9개로 구성된 설문지이다 [12]. "직접적인 태도"란 사용자의 시스템이나 기술에 대해 직접적인 반응이나 선호도를 나타내며, 이는 "접근, 회피" 또는 "호의적, 비호의적"과 같은 경향으로 나타날 수 있다. 해당 설문을 통해 시스템의 유용성(Usefulness)과 만족도(Satisfying)를 측정할 수 있으며, 각각 홀수 항목과 짝수 항목 점수의 합으로 산출된다.

시각화 사용성 설문지. 시각화 도구의 사용성을 측정하기 위해 총 3개의 5-point Likert Scale 문항으로 구성된 자체 설문을 설계했다. 설문에 사용한 3개 질문은 다음과 같다: (1) 본 도구를 사용하여 원하는 정보를 쉽게 찾을 수 있다. (2) 본 시각화 도구를 사용하여 효율적으로 과제를 수행할 수 있다. (3) 본 시각화 도구는 과제 수행에 필요한 기능을 제공한다.

3.3.2. 시각화 도구의 문제 수행 성능 평가를 위한 측정 변인

Task Accuracy. 주어진 문제를 시간 안에 성공적으로 수행했는지를 확인하는 지표로, 문제를 성공적으로 수행한 경우 1점, 그렇지 않은 경우 0점을 부여했다. 최종 task accuracy는 6개 문제에 대한 점수의 평균으로 산출했다. 단, 한 문제에 두 개의 소질문이 있는 경우에는 각 소질문마다 0.5점씩 부여했다.

Task Time. 주어진 문제를 수행하는데 걸린 시간을 측정하는 지표이다. 각 시각화 도구 별로 6개의 문제를 수행할 때 걸린 시간을 평균 내어 산출하며, 문제 수행과 무관한 시각화 도구의 조건 선택 후 시각화까지 소요된 시간은 제외했다.

NASA-raw task load index (NASA-RTLX). 사용자가 작업이나 문제를 수행하는 동안이나 그 직후의 사용자의 인지부하를 측정하기 위해 설계된 다차원 척도 설문지이다 [13, 19].

20-point Likert Scale 문항 6개로 구성되어 있으며, NASA-RTLX 점수는 6개 문항의 점수에 5를 곱한 후, 곱해진 값들을 모두 평균 내어 산출한다. NASA-RTLX 점수는 높을수록 더 많은 인지부하가 유발되었음을 의미한다.

3.4 실험 절차

그림 2는 전체적인 실험 절차를 나타낸다. 피험자들은 실험에 사용될 두 가지 시각화 도구(SeoulOD-Vis 및 기존 도구)의 사용법에 대해 설명을 듣고, 각각의 도구를 사용해 2개의 연습문제를 수행하고, 도구에 익숙해지는 연습 세션에 참여한다.

jkcgs-30-3-9-g2
Figure 2. Experimental procedure
Download Original Figure

본 실험에서는 각 시각화 도구 당 3개의 문제를 2 세트(총 6문제) 수행한다. 하나의 문제 세트가 종료된 경우, 피험자는 SUS, Acceptance, 시각화 사용성 설문지, NASA-RTLX에 응답하고 이후 5분 내외의 인터뷰를 진행한다. 이후 다음 문제 세트에 대해 동일한 과정을 반복한다. 하나의 시각화 도구에 대한 실험이 종료된 이후, 피험자는 5분 간 휴식을 취하고, 다른 시각화 도구에 대해 위 과정을 반복한다. 시각화 도구 및 문제 세트 순서는 상쇄균형화 (Counter Balanced) 되었다. 모든 실험이 종료된 후에는 2분 내외의 최종 인터뷰를 진행했다. 이후 실험에 관한 debrief 진행하고 실험을 종료하였다. 정확한 Task Time 산출을 위해 문제 수행 동안 화면 녹화와 Mouse Tracking을 실시하였고, 모든 인터뷰 내용은 녹음되었다.

3.5 데이터 분석

두 시각화 도구 간 차이를 확인하기 위해 정량 및 정성 분석을 진행했다. 정량 분석에는 SPSS 27.0 (SPSS Inc., Chicago, USA) 프로그램을 활용하여 시각화 도구에 대한 사용성과 문제 수행 성능에 관한 6가지 측정 변인을 분석했다. 두 시각화 도구 간의 유의미한 차이가 있는지 확인하기 위해, 대응표본 T 검정(Paired T-test) 수행하였고, 통계적 유의 수준은 p<0.05로 설정되었다. 정성 분석에는 인터뷰 데이터를 텍스트로 전사하여 (1) OD 데이터 시각화 도구의 사회 문제 해결 활용성, (2) OD 데이터 시각화 도구의 정보 탐색 용이성, (3) 히트맵과 플로우맵 간 차이, (4) OD데이터 시각화 도구에 대한 전문가, 비전문가 차이에 관해 분석했다.

4. 사용성 평가 결과

4.1 사용성

SUS 점수 (t (27) = -4.21, p<.001), Acceptance 내 Usefulness (t (27) = -4.00, p<.001) 및 Satisfying 점수 (t (27) = -3.63, p<.05) 모두 SeoulOD-Vis가 통계적으로 유의미하게 기존 도구보다 더 높았다. 또한, 시각화 사용성 설문지의 세 문항 모두 SeoulOD-Vis가 기존 도구보다 통계적으로 유의미하게 높은 값을 보였다: (1) 본 도구를 사용하여 원하는 정보를 쉽게 찾을 수 있다 (t (27)=-0.52, p<.001), (2) 본 시각화 도구를 사용하여 효율적으로 과제를 수행할 수 있다 (t (27)=-5.17, p<.001), (3) 본 시각화 도구는 과제 수행에 필요한 기능을 제공한다 (t(27)=-5.11, p<.001).

4.2 문제 수행

문제 수행에 관련된 문제 수행 정확도(task accuracy), 문제 수행 시간(task time) 및 문제 수행 중 인지부하(NASA-RTLX)를 분석한 결과, SeoulOD-Vis가 기존 도구에 비해 문제 수행

정확도가 높았으며(t (27) = -15.16, p<.001), 문제 수행 시간이 짧고(t (27) = 11.55, p<.001), 문제 수행 간 인지부하가 적었다 (t(27) = 3.11, p<.01). 모든 차이는 통계적으로 유의미했다.

4.3 인터뷰
4.3.1. OD 데이터 시각화 도구의 사회 문제 해결에서의 활용성

피험자 28명 전원이 OD 데이터 시각화 도구는 다방면에 걸쳐 이동 관련 사회 문제 해결에 활용될 수 있고 답변했다 (표3). 활용 가능 범주로는 도시 인프라 구축의 효과 및 부작용 분석, 교통 개선, 사회 복지, 재난 예방, 상권 분석 등이 언급되었다. 구체적으로, 쓰레기 매립지와 같은 혐오 시설이 이동의 미치는 영향을 파악하거나 (9번 피험자), 출퇴근 시간대의 유동량을 파악해 유동량이 많은 지역의 교통편을 확충하거나 (21번 피험자), 연령별 유입 인구를 통해 특정 연령층을 위한 인프라를 구축하거나 (7번 피험자), 사람이 밀집되는 시간 및 지역을 파악해서 안전 요원을 배치하거나 (4번 피험자), 연령대 별 유동 인구가 많은 지역을 파악해 해당 지역 특성에 4맞는 상권 특징을 파악할 수 있을 것이라 응답했다 (13번 피험자).

4.3.2. SeoulOD-Vis의 ‘조건 선택’ 및 ‘상세 정보 표기’ 기능과 시각화 도구의 사용성

피험자 28명 중 19명이 SeoulOD-Vis가, 9명은 SeoulOD-Vis와 기존 도구가 동일하게 문제 해결에 효과적이었다고 응답했다. 비록 피험자들이 유저 인터페이스 측면에서는 기존 도구가 SeoulOD-Vis보다 보기 편하고, 오른쪽 사이드바를 통해서 정보를 자동으로 정리해주는 부분이 편리하다고 판단했지만, 대체로 SeoulOD-Vis를 기존 도구보다 효과적이라고 판단한 근거는 정보 탐색이 수월하고 세부 정보를 쉽게 확인할 수 있어서였다. 예를 들어, SeoulOD-Vis의 ‘조건 선택’ 기능이 사용자에게 최대한 많은 선택을 가능하게 하며 (10번 피험자를 포함한 15명의 피험자), ‘상세 정보 표기’ 기능이 사회 문제 해결에 필요한 이동 관련 구체적인 정보를 제공했기 때문이라고 응답했다 (15번 피험자를 포함한 12명의 피험자).

Table 2. Usability and problem-solving performance comparison between SeoulOD-Vis and the previous method
SeoulOD-Vis 기존 t p-value
Mean (Standard Deviation) Mean (Standard Deviation)
System Usability Scale 81.43 (13.70) 73.30 (13.40) 4.21 <.001
Acceptance (Usefulness) 1.55 (0.45) 1.08 (0.70) 4.00 <.001
Acceptance (Satisfying) 1.34 (0.53) 0.84 (0.84) 3.63 .001
NASA-Raw Task Load Index 37.99 (15.03) 47.49 (12.53) -3.11 .004
Task Accuracy 0.86 (0.16) 0.39 (0.16) 15.16 <.001
Task Time 80.35 (25.10) 163.40 (32.54) -11.55 <.001
Download Excel Table
4.3.3. SeoulOD-Vis의 ‘지도 시각화’ 내 플로우맵 및 히트맵의 차이

피험자 28명 중 18명이 SeoulOD-Vis의 ‘지도 시각화’ 방법인 히트맵과 플로우맵이 각기 다른 목적으로 활용될 수 있을 것이라고 응답했다. 히트맵의 경우, 하나의 지역에서 이루어지는 이동을 알려주므로, 특정 지역의 인구 유동량이나 지역 간 특성 비교에 용이하다고 응답했다 (2번 피험자를 포함한 12명의 피험자). 반면, 플로우맵의 경우 이동의 출발과 도착을 선으로 이어 나타내므로 특정 지역에서 다른 지역으로의 이동에 대해서 알아보기에 편하다고 답했다 (20번 피험자를 포함한 14명의 피험자).

4.3.4. 시각화 도구에 대한 전문가 및 비전문가 차이

본 실험에는 시각화 도구를 활용한 사회 문제 해결에 관련된 사회과학 및 도시공학 분야 연구자 6명이 참여했다. 이들 모두 SeoulOD-Vis가 기존 도구보다 문제 해결에 효과적이라고 응답했다. 이는 관련 분야 종사자가 아닌 22명의 피험자 13명(59%)만 SeoulOD-Vis가 더 효과적이라고 응답한 것과 대비된다. 이러한 이유는 관련 분야 종사자들의 경우 다른 시각화 도구의 사용 경험이나 기존 연구 경험에 비추어 SeoulOD-Vis 가 자세한 정보 제공의 가치를 더 분명하게 인지하기 때문이다.

예를 들어, 피험자들은 SeoulOD-Vis의 ‘조건 선택’을 통해 필요에 맞는 정보만 시각화 할 수 있다는 점이 피험자가 평소에 사용하는 시각화 도구보다 편리했고 (6번 피험자), 지역구 단위가 아닌 OD 데이터에 주어진 교통 폴리곤 단위로 시각화가 되어 연구에 필요한 세부사항을 손쉽게 얻을 수 있었으며 (12번 피험자), 히트맵에서 색상 분포 차이나 플로우맵에서 지역 간 이동을 표기하는 선들이 이동 정보를 전체적으로 확인할 수 있다고 응답했다 (14번 피험자).

5. 논의

본 연구는 이동 정보의 시각화가 실제 사회 문제 해결에 얼마나 유용한지를 평가하고자, ‘지도 시각화’, ‘조건 선택’, ‘상세 정보 표시’ 3가지 기능을 통해 주어진 이동 데이터(OD 데이터)에 기반한 SeoulOD-Vis 시각화 도구를 개발했고, 해당 도구의 유용성을 공개된 시각화 도구와 비교했다. 그 결과 SeoulOD-Vis가 기존 도구보다 높은 사용성 및 문제 수행 성능을 보였다. 이는 SeoulOD-Vis에서 제공하는 ‘조건 선택’ 및 ‘상세 정보 표시’ 모듈이 사용자의 정보 탐색을 수월하게 하고 사용자가 필요로 할 수 있는 정보를 모두 표기하기 때문이다. 특히, SeoulOD-Vis에 대한 선호도는 관련 분야 종사자일수록 더 높게 나타났다.

피험자들은 설문지에서 SeoulOD-Vis의 사용성이 기존 도구에 비해 높다고 응답했으며, 인터뷰를 분석한 결과 SeoulOD-Vis의 ‘조건 선택’ 기능이 상세한 정보 탐색을 효과적으로 가능하게 하고, ‘상세 정보 표시’ 기능이 사용자들이 필요로 하는 세부적인 OD 데이터 정보를 모두 보여주기 때문으로 보인다. 특히, 피험자들이 기존 도구의 유저 인터페이스를 SeoulOD-Vis보다 선호했던 점을 고려하면, 사용자들이 사회 문제 해결의 관점에서의 시각화 도구에 대해서는 높은 수준의 정보 탐색 및 정보 제공 기능을 필요로 함을 시사한다.

Seoul OD-Vis의 ‘지도 시각화’ 기능은 플로우맵과 히트맵의 두 가지 시각화 방법을 제안했다. 이는 플로우맵은 전체적인 이동의 흐름을, 히트맵은 특정 지역의 이동 정보를 표현할 수 있는 도구이기 때문이다. 피험자들의 인터뷰를 분석한 결과 피험자들도 두 시각화 방법이 의도한대로 서로 다른 목적을 가지고 있고 각기 다른 문제를 수행하는데 유리하다고 인식했다: 플로우맵은 인구의 이동을 선으로 한 눈에 파악하기 유용하고, 히트맵은 지역 간 전체적인 비교나 특정 지역에 집중해서 보기 유용하다. 이러한 특성을 고려할 때, 본 실험에 사용된 문제 세트(1)은 전체 지역 간의 인구수 비교, 특정 지역에 대한 유입, 유출 인구에 대한 정보를 확인하므로 히트맵을 사용하는 것이 합리적인 반면, 문제 세트(2)는 특정 조건에서의 가장 이동이 활발한 구간, 특정 이동의 출발지 및 도착지 정보를 확인하므로 플로우맵을 사용하는 것이 합리적이다. 이러한 특성은 문제 수행 성능에서도 나타나는데 SeoulOD-Vis는 총 6개의 문제를 수행하면서, 해당 문제에 유리한 시각화 방법을 사용하여 수행할 수 있어 높은 정확도를 기록한 반면, 기존 도구는 플로우맵만 활용할 수 있어 상대적으로 낮은 정확도를 보여줬다.

Table 3. Summary of the interview
피험자 인터뷰 요약
OD 데이터 시각화 도구의 사회 문제 해결 활용성. P4: 시간대 유출, 유입 인구를 알 수 있으니까, 저녁 시간대 유출 유입이 많은 지역에 안전 관리 요원을 배치할 것 같아요.
P7: 연령별 유입 인구를 파악해서 연령별로 지역 내 인프라를 구축하면 좋을 것 같아요.
P9: 쓰레기 매립지 같은 혐오 시설이 사람들의 이동에 얼마나 영향에 미치는지 실제 알아보는데 쓰일 수 있지 않을까라고 생각했어요.
P13: 상권 분석할 때, 20대 연인들이 데이트를 하러 오는 곳에 내가 디저트 카페를 열고 싶다고 하면 해당 조건에 맞게 시각화해서, 그 주변에다가 상권을 잡을 수 있게끔 도움을 받을 수 있을 것 같아요.
P21: 출퇴근 시간에 사람이 제일 많이 출퇴근하잖아요. 이 시간대, 특정 구간에 버스나 지하철 배차를 더 많이 늘릴 수 있을 것 같아요.
OD 데이터 시각화 도구의 정보 탐색 용이성 P7: (기존 시각화 도구)가 지도를 봤을 때, 더 보기가 편했는데, 너무 한정적이었던 것 같아요. 본 시각화 도구가 조건이 명료하게 나와서 선택할 수 있으니까 더 편리함을 느꼈던 것 같아요.
P10: 아무래도 데이터를 원하는 결과를 얻기 위해서는 최대한 많은 조건을 설정할 수 있는 게 좋은 것 같아요. 그래서 전자(본 시각화 도구)가 저는 좀 더 좋았던 것 같아요. 그래도 (기존 시각화 도구)는 장표 같은 거를 바로 보여주는 건 좋다고 생각했어요.
P15: 목적에 따라서 많이 다를 것 같은데, 단순하게 어디서, 어디로 이동이 많다 정도만 알고 싶으면 아까 것(기존 시각화 도구)이 한눈에 보기에 훨씬 좋은데, 진짜 연구를 하기 위해서 더 디테일한 조건이 필요한 거면 이거(본 시각화 도구)를 사용하는 게 훨씬 더 좋을 것 같아요.
히트맵, 플로우맵 간 차이 P2: 지역 간 전체적으로 비교하는 쪽에서는 히트맵이 플로우맵 보다는 1차적으로 와닿지 않을까 생각하고요, 히트맵과 플로우맵은 경우에 따라 다르게 쓰일 것 같아요.
P20: 히트맵의 장점은 특정 지역에서 유출·유입을 숫자로 알 수 있는 것 같은데, 플로우맵은 어디서 어디로 이동했는지에 대한 것이 있어서 연구 분야마다 여러 가지 섞으면서 사용을 해야 될 것 같아요.
OD데이터 시각화 도구에 대한 전문가, 비전문가 차이 P6: 연구자 측면에서는 본 시각화 툴이 쓰기 좋았어요. 제가 전처리 해야 하는 부분까지도 클릭해서 할 수 있으니까 되게 편리했고, 너무 사용하고 싶어요. 케플러 GL이라고 시각화 사이트는 선 굵기 조절하는 것도 너무 힘들었는데 이거는 자기가 알아서 이동 인원에 맞게 정해서 할 수 있다는 점이 진짜 편리한 것 같아요.
P12: 본 시각화 도구가 더 선호가 됐어요. 아무래도 연구를 하다 보니까 세부적으로 원하는 거를 얻고 싶을 때가 많은데, 교통 폴리곤을 시각화한 점이 장점이라고 생각을 합니다.
P14: (본 시각화 도구는) 색깔 차이 아니면 선으로 한눈에 보이잖아요. 이런 지도가 제시가 되면 다른 논문의 글들을 안 보더라도 한눈에 그 결과를 보고 바로 이해할 수가 있거든요. 근데 기존 시각화 도구는 약간 들여다봐야 무슨 의미가 있나 확인할 수 있었어요.
Download Excel Table

본 연구의 결과는 기존 연구[9]에서 강조한 OD 데이터 시각화 도구가 다양한 사회 문제 해결에 도움을 줄 수 있다는 점을 실증적으로 확인했다는 의의가 있다. SeoulOD-Vis는 실험 과정에서 제시된 사회복지, 도시공학, 보건·재난 관련 상황을 분석함에 활용될 수 있었다. 더 나아가, 피험자들은 상권 분석, 연령대 맞춤 인프라 구축, 혐오 시설에 대한 이동 비교 등 주어진 문제의 분야들 이외에도 다양한 분야에서 시각화 도구가 활용될 수 있을 것이라고 언급했다.

본 연구는 몇 가지 한계점을 가진다. 첫째로, 실험에 참여한 피험자들이 모두 젊은 성인이었으며, 관련 분야 종사자가 적었다는 점이다. 따라서, 추후 연구에서는 실제 시각화 도구를 사용해서 사회 문제를 해결하는 해당 분야에 장시간 종사한 피험자 또는 다양한 연령대의 피험자로 실험을 확장할 필요가 있다. 둘째로, 본 시각화 도구가 제안한 3가지 기능(지도 시각화, 조건 선택, 세부 정보 표시)에 대한 세부적인 분석이 요구된다. 비록 정성적 분석을 통해 3개의 기능이 사회 문제 해결을 위한 시각화 도구 개발에 필요함은 확인하였으나, 실제 각각의 기능이 사용성과 문제 수행 성능에 있어서 어떤 영향을 미치는지는 추가적인 연구가 필요하다. 따라서 추후 연구에서는 각 기능이 사용성과 문제 수행 성능에 미치는 영향을 연구할 필요가 있다.

6. 결론

본 연구에서는 실제 사회 문제 해결에 사용 가능한 OD 데이터 기반 시각화 도구인 SeoulOD-Vis를 개발하고, SeoulOD-Vis의 사용성 및 문제 수행 성능을 평가하고자 기존 공개 시각화 도구와 비교하였다. 정량 분석 결과, SeoulOD-Vis가 도구의 사용성 평가 척도인 SUS, Acceptance(Usefulness, Satisfying)에서 모두 높은 점수를 보였으며, 문제 수행 성능 평가 척도인 task accuracy, task time 및 NASA-RTLX에서 모두 우수한 결과를 보였다. 인터뷰에 대한 정성적 분석을 진행한 결과, 이는 SeoulOD-Vis에서 ‘조건 선택’ 및 ‘세부 정보 표시’ 기능이 사용자의 필요에 맞는 조건 선택을 통한 시각화를 가능하게 함을 확인하였고, ‘지도 시각화’에서 제공되는 히트맵 및 플로우맵은 각기 다른 활용성을 보여주며 다양한 사회 문제 해결에 도움이 될 수 있음을 보였다. 본 연구를 통해 실제 OD 데이터 시각화 도구가 사회 문제 해결에 활용되며, 추후 사회문제 전문가들을 위한 도구로 활용되기를 기대한다.

감사의 글

이 논문은 2018년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.2018R1A5A7059549). *Correspondence to K. Kim (kenny@hanyang.ac.kr)

References

[1].

Hinds, J., Brown, O., Smith, L. G., Piwek, L., Ellis, D. A., and Joinson, A. N, "Integrating insights about human movement patterns from digital data into psychological science.", Current Directions in Psychological Science, pp. 88-95, 2022.

[2].

Imai, R., Ikeda, D., Shingai, H., Nagata, T., and Shigetaka, K, "Origin-destination trips generated from operational data of a mobile network for urban transportation planning.", Journal of Urban Planning and Development, pp. 04020049, 2021.

[3].

Massobrio, R., and Nesmachnow, S, "Urban mobility data analysis for public transportation systems: a case study in Montevideo, Uruguay.", Applied Sciences, pp. 5400, 2020.

[4].

Wu, L., Chikaraishi, M., Nguyen, H. T., and Fujiwara, A, "Analysis of post-disaster population movement by using mobile spatial statistics.", International Journal of Disaster Risk Reduction, pp. 102047, 2021.

[5].

Guo, D., and Zhu, X, "Origin-destination flow data smoothing and mapping.", IEEE Transactions on Visualization and Computer Graphics, pp. 2043-2052, 2014.

[6].

Tennekes, M., and Chen, M, "Design space of origin‐destination data visualization.", Computer Graphics Forum, pp. 323-334, 2021.

[7].

Yu, C., and He, Z. C, "Analysing the spatial-temporal characteristics of bus travel demand using the heat map.", Journal of Transport Geography, pp. 247-255, 2017.

[8].

Zhou, Z., Meng, L., Tang, C., Zhao, Y., Guo, Z., Hu, M., and Chen, W, "Visual abstraction of large scale geospatial origin-destination movement data.", IEEE Transactions on Cisualization and computer graphics, pp. 43-53, 2018.

[9].

Zeng, W., Fu, C. W., Müller Arisona, S., Erath, A., and Qu, H, "Visualizing waypoints‐constrained origin‐destination patterns for massive transportation data.", Computer Graphics Forum, pp. 95-107, 2016.

[10].

Grier, R. A., Bangor, A., Kortum, P., and Peres, S. C, "The system usability scale: Beyond standard usability testing.", Proceedings of the human factors and ergonomics society annual meeting, pp. 187-191, 2013.

[11].

Brooke, J, "SUS-A quick and dirty usability scale.", Usability Evaluation in Industry, pp. 4-7, 1996.

[12].

Van der Laan, J.D., Heino, A., and De Waard, D, “A simple procedure for the assessment of acceptance of advanced transport telematics”, Transportation Research - Part C: Emerging Technologies, pp. 1-10, 1997.

[13].

Hart, S. G., "NASA-task load index (NASA-TLX); 20 years later.", Proceedings of the human factors and ergonomics society annual meeting, pp. 904-908, 2006.

[14].

Iqbal, M. S., Choudhury, C. F., Wang, P., and González, M. C., "Development of origin–destination matrices using mobile phone call data.", Transportation Research Part C: Emerging Technologies, pp. 63-74, 2014.

[15].

Sui, P., Wo, T., Wen, Z., and Li, X., "Privacy risks in publication of taxi gps data.", IEEE Intl Conf on High Performance Computing and Communications, IEEE 6th Intl Symp on Cyberspace Safety and Security, IEEE 11th Intl Conf on Embedded Software and Syst (HPCC, CSS, ICESS), pp. 1189-1196, 2014.

[16].

Burkhard, O., Ahas, R., Saluveer, E., and Weibel, R., "Extracting regular mobility patterns from sparse CDR data without a priori assumptions.", Journal of Location Based Services, pp. 78-97, 2017.

[17].

Caceres, N., Wideberg, J. P., and Benitez, F. G., "Deriving origin–destination data from a mobile phone network.", IET Intelligent Transport Systems, pp. 15-26, 2007.

[18].

White, J. and Wells, I., "Extracting origin destination information from mobile phone data.", Eleventh International Conference on Road Transport Information and Control, pp. 30-34, 2002.

[19].

Kim, S., Jung, M., Heo, J., and Kim, K. K, “Interaction between AR Cue Types and Environmental Conditions in Autonomous Vehicles”, IEEE International Symposium on Mixed and Augmented Reality, pp. 376-385. 2023.

[20].

Heo, J., Hwang, S., Moon, J., You, J., Kim, H., Cha, J.and Kim, K., “A framework of transportation mode detection for people with mobility disability”, Journal of Intelligent Transportation Systems, pp. 1-16, 2024.

[21].

Hwang, S., Heo, J., Moon, J., You, J., Kim, H., Cha, J., and Kim, K., “User and Period Independent Transportation Mode Detection for Wheelchair Users”, IEEE Access, pp. 10801-10812, 2023.

[22].

Lee, Y., Oh, S., Cha, J., Kim, K., Lee, S. Y., and Kim, H., “Mobility and life satisfaction among wheelchair users: A study using mobile phone data in Seoul, South Korea”, International Journal of Social Welfare, pp. 368-381, 2022.

[23].

Kim, S. J., Bae, Y. M., and Choi, Y. J., “Design and implementation of real-time augmented reality building information system combined with 3d map”, Journal of the Korea Computer Graphics Society, pp. 39-54. 2018.

[24].

Oh, Y., Lee, C., Oh, J., Yang, J., Kwag, H., Moon, S., Park. S., and Ko, S., “Introduction to Visual Analytics Research”, Journal of the Korea Computer Graphics Society, pp. 27-36, 2016.

< 저 자 소 개 >

김 창 기

jkcgs-30-3-9-i1

  • 2023년 한국교통대학교 AI로봇공학과 학사

  • 2023 ~ 현재 한양대학교 인공지능학과 석사과정

  • 관심분야: 인공지능, 인간-컴퓨터 상호작용

황 성 진

jkcgs-30-3-9-i2

  • 2020년 한양대학교 수학과 학사

  • 2022년 한양대학교 컴퓨터·소프트웨어학과 석사

  • 2022년 ~ 현재 한양대학교 산학협력단 연구원

  • 관심분야: 인간-컴퓨터 상호작용, 인공지능

김 한 성

jkcgs-30-3-9-i3

  • 연세대학교 사회복지학사

  • 미국 Michigan State University 사회복지학석사

  • 미국 University of Southern California 사회복지학박사

  • California State University Fullerton 사회복지학과 조교수

  • 2011 ~ 현재, 한양대학교 사회학과 조교수 부교수 교수

  • 관심분야: 사회복지정책, 사회불평등

이 수 기

jkcgs-30-3-9-i4

  • 1994년 한양대학교 도시공학과 학사

  • 1997년 한양대학교 도시공학과 석사

  • 1999.09~2005.05, 미국 Georgia Institute of Technology, 도시 및 지역계획 박사

  • 2005.08~2012.08, 미국 Cleveland State University 도시정책대학 부교수

  • 2019.03~2020.02, 미국 University of California, Irvine, 도시계획과 방문교

  • 2012.08~현재, 한양대학교 도시공학과 교수

  • 관심분야: 도시계획, 도시 모빌리티, 도시 데이터사이언스, 인공지능 도시계획

차 재 혁

jkcgs-30-3-9-i5

  • 1987년 서울대학교 계산통계학 학사

  • 1991년 서울대학교 컴퓨터공학 석사

  • 1997년 서울대학교 컴퓨터공학 박사

  • 1997 ~ 1998년 한국학술진흥재단(부설)첨단학술 선임정보연구원

  • 1998 ~ 현재 한양대학교 컴퓨터·소프트웨어학과 교수

  • 관심분야: DBMS, 플래시 스토리지 시스템, 멀티미디어 콘텐츠 적응

김 광 욱

jkcgs-30-3-9-i6

  • 2009년 한양대학교 박사

  • 2008년 ~ 2010년 듀크대학교 연구원

  • 2010년 ~ 2013년 캘리포니아주립대학교(Davis) 연구원

  • 2013년 ~ 현재 한양대학교 컴퓨터·소프트웨어학과 교수

  • 관심분야: 인간-컴퓨터상호작용, 가상현실, 의학용소프트웨어