Article

조건부 자율주행에서 제어권 전환 시 운전자의 뇌 활성도에 관한 예비연구

홍다예1https://orcid.org/0000-0003-2225-8195, 김소민1https://orcid.org/0000-0001-5190-7794, 김광욱1,*https://orcid.org/0000-0002-4184-2058
Daye Hong1https://orcid.org/0000-0003-2225-8195, Somin Kim1https://orcid.org/0000-0001-5190-7794, Kwanguk Kim1,*https://orcid.org/0000-0002-4184-2058
Author Information & Copyright
1한양대학교 컴퓨터·소프트웨어 학과
1Dept. of Computer Science, Hanyang University
*corresponding author: Kwanguk Kim/Hanyang University(kenny@hanyang.ac.kr)

© Copyright 2022 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 11, 2022; Revised: Jun 29, 2022; Accepted: Jul 06, 2022

Published Online: Jul 25, 2022

요약

조건부 자율주행 차량은 주행 상황에 따라 운전자에게 제어권을 인계해야 한다. 그러나 운전자가 비운전 과제 에 몰입해 있다면, 상황에 맞는 의사결정을 하지 못할 수 있다. 선행연구에서는 주행 방향정보를 제공하는 단 서 자극 (Cue)이 제어권 전환 성능을 높인다는 것을 확인했으나, 이러한 방법론이 실제 운전자의 뇌 활성도에 미치는 영향에 관한 연구는 매우 제한적이다. 따라서 본 연구는 조건부 자율주행에서 제어권 전환 시, Cue에 따른 운전자의 뇌 활동을 평가한다. 총 25명의 피험자가 운전 시뮬레이터를 활용한 제어권 전환 성능에 평가를 수행하였다. 뇌 활동의 평가를 위해서는 혈액 내 산화 헤모글로빈 농도 변화를 통해 뇌 활성화를 측정하는 기 능적 근적외 분광법이 사용되었으며 뇌 영역 중 전전두피질 (Prefrontal Cortex; PFC)의 활성화를 평가했다. 실험 결과, Cue가 존재하는 경우 운전자의 PFC가 활성화되어 안정적인 제어권 전환 성능이 형성됨을 확인하였다. 본 연구는 Cue가 운전자의 뇌 활성도에 미치는 영향을 정량적으로 확인하였다는 점에서, 향후 조건부 자율주행에 서 생체반응을 활용한 제어권 전환 성능 평가 연구에 기여할 수 있을 것으로 예상된다.

Abstract

Conditional autonomous vehicles should hand over control to the driver according on driving situations. However, if the driver is immersed in a non-driving task, the driver may not be able to make suitable decisions. Previous studies have confirmed that the cues enhance take-over performance with a directional information on driving. However, studies on the effect of take-over cues on the driver's brain activities are rigorously investigated yet. Therefore, this study we evaluates the driver's brain activity according to the take-over cue. A total of 25 participants evaluated the take-over performance using a driving simulator. Brain activity was evaluated by functional near-infrared spectroscopy, which measures brain activity through changes in oxidized hemoglobin concentration in the blood. It evaluates the activation of the prefrontal cortex (PFC) in the brain region. As a result, it was confirmed that the driver's PFC was activated in the presence of the cue so that the driver could stably control the vehicle. Since this study results confirmed that the effect of the cue on the driver's brain activity, and it is expected to contribute to the study of take-over performance on biomakers in conditional autonomous driving in future.

Keywords: 자율주행; 제어권 전환요청; 기능적 근적외 분광법
Keywords: automated driving; take-over request; functional near infrared spectroscopy

1. 서론

기술의 비약적인 발전으로 자동차 패러다임은 빠르고 다양하게 변화하고 있다. 특히 운전자의 조작 없이 차량 이 스스로 외부 환경을 인지하고, 차량을 제어하여 스스 로 목적지까지 주행하는 기술인 자율주행 기술의 고도 화로 인해 자동차는 더 이상 단순한 이동수단이 아닌 또 다른 삶의 공간으로 진화하고 있다. 미국 자동차 공 학회 (Society of Automotive Engineers, SAE)는 자율주행 기술을 자동화 수준에 따라 가장 낮은 수준의 0단계에 서부터 완전한 자율주행에 근접한 수준인 5단계까지 총 6단계로 분류한다 [1]. 그 중 3단계 자율주행인 조건부 자율주행 기술은 현재 개발되고 있는 차세대 자율주행 자동차에 적용되는 주요 단계이다. 차량 제조업체인 Tesla (California, United States)는 2016년 부분 자동화 (SAE Level 2)가 적용된 고속도로 주행 시스템 Basic AutoPilot을 출시했으며 [2] 2017년부터 현재까지 Autopilot 2.0 하드웨어 업데이트를 통해 보다 높은 수준 의 조건부 자동화 (SAE Level 3)를 시도하고 있다 [3].

조건부 자율주행 기술은 고속도로와 같은 특정 조건 의 구간에서 시스템이 주행을 담당하며, 위험상황 등 시 스템 제어가 불가능한 경우에는 운전자가 개입하여 주 행하는 자율주행 단계이다. 차량은 운전 제어권 전환이 필요한 경우, 운전자에게 제어권을 인계하기 위해 신호 를 알리며 이를 제어권 전환 요청 (Take-Over Request; TOR)이라 한다. 조건부 자율주행에서 주된 논의는 안정 적인 운전 제어권 전환이다 [4]. 차량의 자율주행이 시 작되면 운전자는 손과 발이 주행으로부터 자유로운 상 태가 되며 쉽게 비운전 관련 업무 (Non-Driving Related Task; NDRT)에 몰입하게 된다 [5]. TOR이 발생하면, 운 전자는 NDRT를 중단하고 상황을 판단한 뒤에 알맞은 의사결정을 해야 한다. 하지만 책이나 영상 시청 등의 NDRT에 몰입한 운전자들은 상대적으로 상황에 늦게 대 응할 가능성이 높으며, 안정적인 주행을 수행하기까지 상대적으로 시간이 더 소요될 수 있다 [4].

선행연구를 통해 시각, 청각, 촉각자극 기반의 단서 자극 (Cue)이 활용되면 제어권 전환 수행 결과와 주관 적 인지부하를 포함한 제어권 전환 성능이 향상된다는 사실을 확인했으나 [6,7,8,9,10], 이러한 방법론이 운전자 의 생리학적 반응에 미치는 영향에 대한 연구는 제한적 이다. 운전자 반응은 자율주행에서의 주요한 요소로 활 용되기 때문에 운전자의 생리적 반응을 이해하는 것이 필요하고, 그 중에서도 주행 시 운전자의 인지부하 등을 평가하기 위해 뇌의 혈류반응에 대한 영향을 평가하는 것은 필수적이다. 따라서 본 연구에서는 가상현실을 이 용하여 Cue에 따라 운전자의 두뇌 활동에 발생하는 차 이를 평가하고자 한다.

1.1 제어권 전환

기존 연구들은 주로 시각, 청각, 촉각자극 기반의 제어 권 전환에 대해 연구했다. Borojeni 외 연구진은 발광 다 이오드 (Light Emitting Diode; LED) strip을 활용해 주행 방향정보를 제공하는 방법론을 제안하였다. LED strip은 차량 계기판 하단에 배치되며 TOR시, 왼쪽 혹은 오른쪽 LED에 불이 들어오며 변경해야 할 차선 방향을 나타낸 다 [11]. 청각자극과 관련하여 Gold 외 연구진은 TOR 시, 비프음을 활용하였으며 [12] Petermeijer 외 연구진은 좌측 및 우측 진행 방향 정보를 제공하는 방법론을 제 안하였다 [9]. 더 나아가 청각 자극에 운전석의 진동을 활용해 촉각 자극과 결합한 연구도 제안되었다 [8,10]. 이와 더불어 효과적인 방법 중 하나는 증강현실 (Augmented Reality; AR) 기술을 활용한 방향정보 제공 이다. 일례로 Lorenz 외 연구진은 Red 및 Green Carpet 방법론을 제안하였다. Red Carpet은 제어권 전환 후 운 전자가 주행하지 않아야 하는 방향을 증강현실을 통해 도로 위 붉은색으로 표시하는 방법이고, Green Carpet은 주행해야 하는 방향정보를 녹색으로 표시하는 방법이다. 실험 결과, 올바른 주행 방향 정보를 제공하는 Green Carpet이 제어권 전환 성능을 높이는 데 효과적인 것으 로 나타났다 [13]. Eriksson 외 연구진은 Red 및 Green Carpet 개념에 추가적인 증강현실 자극을 추가하여 기존 방법론을 확장했다. 해당 연구진은 차선 전체에 LED를 덧입혀 주행정보를 표시하는 기존의 Carpet과 달리, 화 살표 형태의 LED를 활용했다. 또한 충돌위험이 있는 물 체를 구 형태의 LED로 나타내어 운전자에게 안내했다 [7]. 또한 Heo 외 연구진은 증강현실을 사용한 방향정보 제공과 스마트폰 제어권 전환 알림의 효과를 가시거리 가 상이한 날씨환경에서 확인했다. 실험결과, 날씨에 따 른 가시거리 미확보는 운전자의 주관적 인지부하를 높 이고 제어권 전환 성능을 저하시키는 경향이 나타났으 나, 제어권 전환 요청에 대응하기 위한 Cue가 존재할 경우, 날씨의 영향이 완화된다는 것을 확인했다 [14]. 이 러한 기존 연구들은 Cue가 안정적인 제어권 전환에 도 움을 준다는 사실을 제어권 전환 수행 결과 및 주관적 인 설문을 통해 확인하였으나, 동시에 운전자의 생리학 적 반응 특히 주행 시 뇌의 활성도에 관한 연구는 매우 제한적이다.

기존 연구들은 제어권 전환 성능을 평가하기 위해 다 음과 같은 방법을 활용했다. 제어권 전환 수행 결과는 제어권 전환 시간 (Take Over Time; TOT), 차선 변경 시간 (Lane Change Time; LCT), 충돌 임박 시간 (Time To Collision; TTC), 및 최대 가속도 (Maximum Acceleration; mACC)를 포함한다. TOT는 TOR 발생 후 운전자가 제어권을 전환 받기까지 소요된 시간으로, 운 전자가 짧은 시간 내에 제어권을 인계하여 안전한 주행 을 수행하기까지 충분한 시간을 확보하였는가를 평가하 기 위한 지표이다 [15]. LCT는 제어권 전환 후 위험상 황을 피해 차선을 변경하기까지 소요된 시간이다 [5]. LCT는 TOT와 마찬가지로 운전자가 사고 상황에 대해 얼마나 원활하게 대처했는가를 평가하는데 활용될 수 있다. TTC는 현재 차량의 상대속도가 유지된다고 가정 했을 때 예상되는 충돌까지 남아있는 시간을 의미하며, mACC는 제어권 전환 중 최대 가속도를 의미한다. TTC 및 mACC는 제어권 전환의 효율성 및 안정성을 평가하 는 요소로서 활용된다 [12,16]. 뿐만 아니라 제어권 전환 시 운전자가 느끼는 인지부하를 측정하기 위해 주관적 인지부하 측정 설문인 NASA-raw task load index (NASA-RTLX)를 활용한다 [14].

1.2 생체반응을 활용한 제어권 전환 성능평가

기존의 측정 변인들로는 Cue가 수행 성능과 주관적인 인지부하에 미치는 영향을 파악할 수 있지만, 실제 운전 자의 생리학적 변화는 파악할 수 없다는 한계가 있다. 3단계 자율주행에서는 완전 자율주행이 아니기 때문에 상황에 따라 운전자와 차량 간의 제어권 전환이 요구된 다. 따라서 운전자가 제어권을 인계할 수 있는지 등을 분석하기 위해 운전자의 생리적 반응을 이해할 필요가 있다 [17]. 기존 연구에 따르면 심박수, 피부전도도, 표 정 등을 통해 운전자의 졸음 및 각성 정도 혹은 심리 상태 등을 평가할 수 있다 [17]. 특히, 혈중 산화 헤모글 로빈 (Oxyhemoglobin; HbO) 농도의 증가는 두뇌 활동이 활성화되었음을 의미하기 때문에 [18], 혈중 HbO 농도 를 측정함으로써 주행 중 상황과 운전자의 생리학적 변 화 간의 상관관계를 파악할 수 있다. 따라서 주행 중 발 생한 뇌 혈류변화를 분석하는 것은 자율주행 성능 향상 에 필수적이라고 할 수 있다.

주행 중 운전자의 뇌 혈류변화를 측정할 수 있는 뇌 영상 기법으로는 기능적 근적외 분광법 (functional Near Infrared Spectroscopy; fNIRS)이 있다. fNIRS는 뇌의 활동 을 근적외선으로 측정하는 뇌 영상 기법으로서, 생체조 직에 대해 투과성이 높은 근적외광 (파장 680nm~1000nm)을 두피에 조사한 뒤에 조직을 투과해온 빛을 분석함으로써 혈액 중 헤모글로빈 산화 상태를 비 침습적으로 계측하는 기법이다. HbO 농도는 뇌 영역이 활성화되었을 때 증가하며 [17] 활성화는 뇌 영역에 따 라 인지부하, 불안, 손이나 눈의 움직임 제어 등 다양한 이유로 인해 발생한다 [19,18,20,21]. 또한 기존의 연구 를 통해서 뇌 영역 중 전전두피질 (Prefrontal Cortex; PFC)의 활성화가 운전자가 주행 중 느끼는 인지부하와 상관이 있음을 확인했다 [22,23,24].

1.3 연구의 목적

본 연구는 낮과 밤 환경에서 제어권 전환 시, 주행 방향 정보를 제공하는 Cue 가운데 AR 기반 Cue (AR Cue)가 운전자의 뇌 활성화에 미치는 영향을 확인한다. 따라서 두 가지 환경 조건 (Day, Night) × 두 가지 Cue 조건 (With Cue, Without Cue)을 사용한다. 비교를 위한 통제 조건으로 Cue가 존재하지 않는 조건을 활용했다. 본 연 구에서는 뇌 영역 중 PFC의 활성화 정도를 측정하며 Cue가 존재하는 조건에서 PFC의 활성화 정도가 감소될 것이라는 가설을 기반으로 실험을 진행한다. 추가로 Cue가 제어권 전환 성능을 높인다는 선행연구의 결과가 재현됨을 확인하고자 한다. 낮과 밤 환경에서 Cue가 TOT, LCT, TTC의 성능을 높이며 NASA-RTLX를 통해 측정되는 운전자의 주관적 인지부하를 낮출 것이다.

2. 실험방법

2.1 피험자

본 실험은 대학의 Research Site/Institutional Review Board로부터 승인을 받았으며 실험의 자세한 과정을 피 험자에게 고지한 후 진행되었다. 총 30명의 피험자 (13 명 여성)를 모집하였으며, 이 중 실험과정에서 하드웨어 문제로 측정변수 일부가 누락된 5명은 제외하였다. 따라 서 총 25명 (11 여성)의 피험자의 데이터가 분석에 사용 되었다. 평균 나이는 25.40 (SD = 2.12)이며 Symptom Cheklist-90-Revised (SCL-90-R) [25]를 통해 정신적으로 특이 질환이 없음을 확인하였다. 모든 피험자는 운전면 허를 소지하였으며 평균 운전경험은 24.40 (SD = 20.41)개월이다. 모든 피험자는 실험 참여에 대해 시간 당 15,000원을 보상받았다.

2.2 사용 장비 및 소프트웨어

본 연구에서는 피험자 안전을 위해 브레이크 및 가속페 달 (Thrustmaster, La Gacilly, France)이 부착된 운전시뮬 레이터를 사용하였다. 운전 시뮬레이터는 윈도우 10 운 영체제 기반의 PC에서 작동되었으며 3대의 32인치 커 브드 모니터가 사용되었다. 연결된 3대의 모니터는 좌 우 시야각 110°, 상하 시야각 30° 로 설정하였다 (그림 1). 운전과제는 Unity 3D (Unity Technologies, San Francisco, CA, USA)를 통해 개발되었다. 또한 우리는 주행 중 뇌 활성도 측정을 위해 휴대용 근적외선 뇌 영 상 기기인 NIRSIT Lite (OBELAB Inc., Seoul, Republic of Korea)을 사용하였다. 기기는 15개 채널로 구성되어 있으며 780nm와 850nm 파장의 근적외선 빛을 대뇌 피 질에 입사하여 뇌 혈중 산소 포화도 변화를 측정한다. 측정을 위해서는 1mW 이하의 출력으로 LED를 조사한 다.

jkcgs-28-3-101-g1
Figure 1. Experimental setting using the driving simulator
Download Original Figure
2.3 운전과제

운전과제는 3차선 고속도로 환경에서 진행되며 선행연 구의 결과를 바탕으로 제어권 전환 시 운전자의 주관적 인지부하가 가장 낮았던 낮 환경과 가장 높았던 밤 환 경에서 Cue의 효용성을 평가한다 [14]. 환경은 기존 연 구 [26,15]를 참조하여 낮 환경의 가시거리는 1000m, 밤 환경의 가시거리는 150m로 설정하였다. 차선의 간격이 나 가로등 간 거리는 한국의 교통법규에 따라 배치되었 다. 실험이 시작되면 운전자는 주차장에서부터 주행을 시작하며 출입로를 통하여 고속도로에 진입한다. 첫 번 째 지점 (416m)까지 수동으로 주행하며 해당 지점을 통 과하면 차량은 자율주행 상태로 전환되어 스스로 주행 하게 된다. 이때 차량 계기판에는 ‘Automation’이라는 글 자와 운전 그림이 나타나 자율주행으로 전환되었음을 알리며 차량은 2차선으로 이동하여 차선을 유지한 채 100km/h의 속도로 주행한다. 두 번째 지점 (625m)까지 자율 주행이 진행되며 운전자는 운전 시뮬레이터 우측 에 배치된 스마트폰을 통해 NDRT를 진행한다. 두 번째 지점을 지나게 되면 전방의 사고 상황으로 인해 TOR이 발생한다. 사고 상황에서는 쓰러진 트럭이 2개의 차선 을 막고 있으며 운전자는 1차선 혹은 3차선을 선택하여 주행해야 한다. 기존 연구에 따라 운전자가 안정적으로 반응할 수 있는 8초 전에 [27] 고음의 비프음을 통해 제 어권 전환을 요청한다. 트럭을 피한 뒤에는 주행화면이 어두워지며 해당 시행은 종료된다. 운전자는 위 주행과 정을 Day x Without Cue, Day x With Cue, Night x Without Cue, Night x With Cue의 실험조건 당 당 총 10 번 반복한다 (그림 2). 본 실험의 운전과제는 선행연구 [14]와 동일하게 설계되었다.

jkcgs-28-3-101-g2
Figure 2. Driving scenario
Download Original Figure
2.4 비운전 관련 과제

본 연구에서는 운전자가 NDRT에 몰입해 있던 중 TOR 요청이 발생하였을 때, 실험 조건에 따른 제어권 전환 성능 및 운전자의 뇌 혈류변화를 측정하고자 스마트폰 타자 어플리케이션을 개발하였다. 스마트폰 기기는 Samsung Galaxy S8 (Samsung Electronics, Korea)을 사용 하였으며 타자 어플리케이션은 운전 시뮬레이터와 통신 하여 시간을 동기화 하였다. 자율주행이 시작되면 스마 트폰 화면에는 하나의 어절이 나타나며 피험자는 해당 어절을 똑같이 입력한다. 비운전 관련 업무는 운전자가 제어권을 전환할 때까지 진행되며 지속적인 어절반복으 로 인한 NDRT 몰입 저하를 방지하기 위해 150개 어절 로 구성되어 있는 21개의 어절 묶음이 사용되었다.

2.5 제어권 전환 AR Cue

본 연구에서 사용한 Cue는 선행연구의 Green Carpet 방 법론을 차용하며 제어권 전환 시 증강현실을 통해 운전 자가 주행해야 할 방향정보를 도로 위 LED로 표시한다 [13,7,14]. Cue는 제어권 전환 구간동안 현재 차량의 위 치에 기반하여 사고 차량을 피해 주행하기 위한 차선 변경을 안내하는 시각자극이다.

2.6 측정변인
2.6.1 제어권 전환 성능 결과

제어권 전환 성능 결과는 다섯 가지 측정변수를 포함한 다. TOR 발생 후 운전자가 제어권을 확보할 때까지 소 요되는 시간인 TOT는 기존연구 [12]에 따라 TOR이 발 생한 시점부터 운전자가 운전대를 좌측 및 우측으로 2° 이상 움직이거나 페달을 10%이상 밟은 시점 사이의 간 격으로 산정했다. 두 번째는 LCT로 제어권 전환이 발생 한 시간으로부터 운전자가 장애물을 피해 차선을 변경 할 때까지 소요되는 시간이다 [5]. 세 번째로 현재 차량 과 상대 차량의 충돌 발생까지 소요될 것으로 예상되는 시간인 TTC를 계산하기 위해 [16], 현재 차량과 상대 차량의 상대 속도와 위치를 기준으로 충돌 시간을 매 프레임 마다 계산하였다. 차량의 속도와 주행 중인 차선 이 유지되는 경우 중에서 최솟값을 해당 조건에서의 TTC로 산정하였다. 네 번째로 mACC는 제어권 전환에 서의 최대 가속도를 의미하며 횡축과 종축의 가속도를 구한 후 각각 제곱하여 합한 후 제곱근을 씌워서 구한 값을 사용하였다. 마지막으로 운전자의 주관적 인지부하 를 평가하기 위해 NASA-RTLX설문지를 사용하였다. NASA-RTLX는 인지부하 측정을 위해 보편적으로 활용 되는 주관적 설문 척도이며 [28] 정신적 요구, 신체적 요구, 시간적 요구, 수행도, 노력, 좌절수준의 6가지 항 목에 대해 0에서 100점 사이의 점수를 임의로 할당한 후 이들의 평균을 통해 전체적인 과제난이도를 정량화 할 수 있도록 구성되어 있다.

2.6.2 뇌 혈류변화

제어권 전환 시, 운전자의 PFC영역에서의 혈류량 변화 를 측정하였다 [29,23,22,24]. 전체영역 측정에는 장비를 구성하는 15개 채널의 평균값이 사용되었으며 세부영역 측정에는 측정 장비의 채널 별 값이 사용되었다. 혈류역 학 반응은 측정 기준에 대한 상대적 변화로 제어권 전 환 시 헤모글로빈 농도와 측정 기준 간의 차이를 분석 에 사용하였다 [30]. 측정 기준은 운전자가 주차장 진출 로를 지나거나 NDRT를 수행하는 등 추가적인 과제를 하지 않는 구간인 차량 자율주행 모드 전환 전 10초로 설정하였다. 혈류역학 반응을 평가하는 구간은 TOR-LCT로 제어권 전환 요청 후 차선을 변경하여 위험 상황에서 벗어나기까지 조건에 따른 인지부하 차이를 확인한다.

2.7 실험절차

실험은 브리핑, 사전 설문, 연습시행, 운전과제로 구성되 어 있다. 우선 실험 목적과 과정에 대한 브리핑을 진행 했다. 이어서 SCL-90-R 및 인적사항에 대한 사전 설문 을 진행했다. 사전 설문을 마친 후에는 운전과제의 이해 를 돕기 위해 오후 시간대 환경에서 Cue가 존재하는 조 건과 존재하지 않는 조건을 한 번씩 연습하였다. 이후 뇌 활성도 측정을 위해 fNIRS 장비를 착용하였다. 실험 전 Calibration을 통해 장비의 신호품질을 확인하였으며 피험자들은 뇌 혈류변화 데이터에 잡음이 포함되지 않 도록 주행 중 머리나 몸의 움직임을 최소화할 것을 요 청받았다. 네 개 조건에서 운전과제를 15분 씩 진행했으 며 각 조건이 끝난 뒤에는 NASA-RTLX설문 후, 5분의 휴식시간을 가졌다 (그림 3).

jkcgs-28-3-101-g3
Figure 3. Experimental procedure for the user study (B1: Briefing, B2: Debriefing, Q1: A pre-questionnaire, Q2, Q3, Q4, Q5: Post-questionnaires)
Download Original Figure
2.8 뇌 혈류변화 데이터 전처리

fNIRS raw data (15 channel x 2 wavelengths)는 modified Beer-Lambert law를 사용하여 HbO와 탈산화 헤모글로빈 (Deoxy Hemoglobin, HbR)으로 변환되었다. 본 연구에서 는 HbO데이터만을 분석에 사용하였으며 변환된 신호에 서 심박수, 호흡 등의 잡음을 제거하기 위해 고주파 통 과필터 (차단 주파수 0.005Hz)와 저주파 통과필터 (차단 주파수 0.1Hz)를 적용하였으며 신호품질이 낮은 채널을 제거하기 위해 신호 대 잡음비 (Signal-to-ratio, SNR)와 SNR Outlier (z-score)를 30과 2.58로 설정하였다.

2.9 통계분석

SPSS 25.0 (SPSS Inc., USA) 프로그램을 활용하여 데이 터를 분석하였다. 낮과 밤 환경에서 Cue의 영향을 확인 하기 위해 반복측정 분산분석 (Repeated measures ANOVA)을 수행하였으며 반복측정 분산분석에서 유의 미한 결과가 도출된 경우에 대응표본 t검정 (Paired t-test)를 통해 사후분석을 수행하였다. 통계적 유의 수준 은 p < .05로 설정되었다.

3. 결과

3.1 제어권 전환 성능 결과

TOT를 분석한 결과는 그림4(A)와 같다. 낮, 밤에 따른 유의한 차이가 나타났으며 (F(1, 72) = 13.716, p < .001, η2 = 0.364) Cue에 따른 유의한 차이가 나타났다 (F(1, 72) = 18.908, p < .001, η2= 0.441). 하지만 낮, 밤 과 Cue간의 상호작용 효과는 나타나지 않았다 (F(1, 72) = 3.712, p = .066, η2 = 0.134). LCT를 분석한 결과는 그림 4(B)와 같다. 낮, 밤에 따른 유의한 차이가 나타났 으며 (F(1, 72) = 13.448, p < .001, η2 = 0.359) Cue에 따른 유의한 차이가 나타났다(F(1, 72) = 31.659, p < .001, η2 = 0.569). 또한 환경과 Cue간의 상호작용 효과 가 나타났다 (F(1, 72) = 27.284, p < .001, η2 = 0.532). 사후분석을 수행한 결과 Night x With Cue-Night x Without Cue(t(24) = 5.650, p < .001), Day x Without Cue-Night x Without Cue (t(24) = -4.626, p < .001) 조 건 간의 유의한 차이를 있음을 확인하였다. TTC를 분석 한 결과는 그림4(C)와 같다. 낮, 밤에 따른 유의한 차이 가 나타났으며 (F(1, 72) = 19.568, p < .001, η2= 0.449) Cue에 따른 유의한 차이가 나타났다(F(1, 72) = 59.985, p < .001, η2= 0.714). 또한 낮, 밤과 Cue간의 상호작용 효과가 나타났다 (F(1, 72) = 18.615, p < .001, η2 = 0.437). 사후분석을 수행한 결과 Day x Without Cue-Day x With Cue (t(24) = -4.151, p < .001), Night x Without Cue-Night x With Cue (t(24) = -6.326, p < .001), Day x Without Cue-Night x Without Cue (t(24) = 5.155, p < .001) 조건 간의 유의한 차이를 있음을 확인하였다. mACC를 분석한 결과는 그림4(D)와 같다. 낮, 밤에 따 른 유의한 차이가 나타나지 않았으며 (F(1, 72) = 4.028, p = .056, η2 = 0.144) Cue에 따른 유의한 차이가 나타나 지 않았다(F(1, 72) = 0.216, p = .646, η2= 0.009). 또한 낮, 밤과 Cue간의 상호작용 효과가 나타나지 않았다 (F(1, 72) = 1.667, p = .209, η2 = 0.065). NASA-RTLX 6 개 항목의 평균점수를 분석한 결과는 그림4(E)와 같다. 낮, 밤에 따른 유의한 차이가 나타났으며 (F(1, 72) = 31.644, p < .001, η2 = 0.569) Cue에 따른 유의한 차이가 나타났다(F(1, 72) = 32.558, p < .001, η2 = 0.576). 낮, 밤과 Cue간의 상호작용 효과는 나타나지 않았다 (F(1, 72) = 3.456, p = .075, η2 = 0.126).

jkcgs-28-3-101-g4
Figure 4. Result of the take over performance for AR Cue condition in day and night environment (A) Result of the Take-Over Time (B) Result of the Lane Change Time (C) Result of the Time-to-collision (D) Result of the maximum resulting Acceleration (E) Result of the NASA-RTLX * p < .05, *** p < .001
Download Original Figure
3.2 뇌 혈류변화 결과

PFC 전체 활성도에 대하여 반복측정 분산분석을 진행한 결과는 그림 5와 같다. Cue에 따른 유의한 차이가 나타 났으며 (F(1, 72) = 9.180, p < .05, η2 = 0.277) 낮, 밤과 Cue간의 상호작용 효과가 나타났다 (F(1, 72) = 9.521, p < .05, η2 = 0.284). 사후분석을 수행한 결과 Night x Without Cue-Night x With Cue (t(24) = -3.777, p < .001), Day x Without Cue-Night x Without Cue (t(24) = 2.60, p < .05), Day x With Cue-Night x With Cue (t(24) = -2.177, p < .05)조건 간의 유의한 차이를 있음을 확 인하였다. 하지만 낮, 밤에 따른 유의한 차이는 나타나 지 않았다 (F(1, 72) = 0.191, p = .666, η2= 0.008).

jkcgs-28-3-101-g5
Figure 5. Mean value of the Oxyhemoglobin (HbO) concent ration from baseline
Download Original Figure

Cue가 존재하는 조건과 존재하지 않는 조건 간의 HbO농도 차이를 채널별로 Z-점수로 표현하여 그림 6에 나타내었다. 그림에서 확인할 수 있듯이 Cue존재에 따 른 가장 큰 활성화는 채널 2, 6, 7, 8, 11에서 관찰되었 다. 기존 연구 [31]에 따르면 채널 2는 Right Dorsolateral Prefrontal Cortex (Right DLPFC) 영역에 포함되며 채널 6, 8, 11은 Frontopolar Prefrontal Cortex (FPC) 영역에 포 함된다. 채널 7은 Right Medial Orbitofrontal Cortex (Right Medial OFC) 에 포함된다. Right DLPFC, FPC, Right Medial OFC에 대하여 반복측정 분산분석을 진행 한 결과, FPC영역에서 Cue에 따른 유의한 차이가 나타 났다 (F(1, 72) = 6.883, p < .05, η2= 0.223). 낮, 밤에 따른 유의한 차이는 않았으나 (F(1, 72) = 0.025, p = .876, η2 = 0.001) 낮, 밤 환경과 Cue간의 상호작용 효 과가 나타났으며 (F(1, 72) = 5.472, p < .05, η2 = 0.186), 사후분석을 수행한 결과 Night x Without Cue-Night x With Cue (t(24) = -2.939, p < .05), Day x Without Cue-Night x Without Cue (t(24) = 2.089, p < .05) 조건 간의 유의한 차이를 있음을 확인하였다.

jkcgs-28-3-101-g6
Figure 6. Prefrontal Cortex (PFC) activation maps. Delta v alues of activation in each channel show significant differe nce in the Right Dorsolateral Prefrontal Cortex (DLPFC), Right Medial Orbitofrontal Cortex (OFC), Frontopolar Pref rontal Cortex (FPC) than other PFC area in the With Cue condition.
Download Original Figure

4. 논의

본 연구를 통해 Cue가 존재할 때와 존재하지 않을 때 제어권 전환 성능 및 뇌 활성화에 차이가 존재하는지 파악했다. 제어권 전환 수행 결과를 통해 Cue가 제어권 전환 성능을 향상시킨다는 사실을 확인하고, 주관적 설 문인 NASA-RTLX를 통해 Cue가 주관적 인지부하를 경 감시킨다는 결과를 확인했다. 흥미롭게도 Cue가 존재할 때 뇌가 더 활성화되었으며, 이는 Cue의 존재가 뇌의 인지과정을 높였으며 이로 인해 뇌 활성화 및 안정적인 제어권 전환 성능에 영향을 미친 것으로 보인다.

4.1 Cue가 제어권 전환 성능에 미치는 영향

본 연구에서 활용된 Cue는 사고 차량을 피해 주행하기 위해 차선 변경을 안내하는 시각적인 자극이었다. 운전 자는 TOR이 발생하면 주행 상황을 평가하고, 그 평가를 기초로 다음 행동을 결정해야 한다. Cue가 존재하는 경 우에는 전방 상황에 대한 판단을 위한 시간 절약이 가 능하다. 따라서 측정 변인 중 시간과 관련된 변수인 TOT, LCT, TTC는 Cue가 있는 조건에서 유의하게 높은 성능을 보였다. Cue가 있는 경우, TOT와 LCT는 감소되 었는데 TOT가 감소된 것은 운전자가 TOR을 인식하고 안정적인 주행을 수행하기까지 시간을 확보한 것을 의 미한다. 또한 LCT가 감소된 것은 차선변경을 통해 위험 상황을 벗어나기까지 소요된 시간이 단축된 것으로 운 전자가 사고상황에 보다 원활하게 대처했음을 의미한다. Cue가 있는 경우, TTC의 시간은 증가하였는데 이는 충 돌이 발생하기까지 충분한 시간을 남겨두고 위험상황을 벗어난 것으로 제어권 전환의 안전성이 높아졌음을 의 미한다. 사고 상황에 대한 가치 판단을 효과적으로 할 수 있게 되고 이로 인해 빠른 대처가 가능했기 때문에 주관적 인지부하에서도 차이가 있었을 것이다. 본 결과 들은 Cue가 낮 환경뿐만 아니라 가시거리가 감소되어 제어권 전환 성능이 저하되는 밤 환경에서도 제어권 전 환 성능을 향상시킨다는 선행연구를 뒷받침한다 [14].

4.2 Cue가 뇌 혈류변화에 미치는 영향

Cue의 존재는 피험자의 주관적 인지부하 뿐 아니라 PFC활성화에도 영향을 미쳤다. 하지만 우리가 설정했던 가설과 다르게 피험자들은 Cue가 존재하지 않는 조건 대비 존재하는 조건에서 PFC활성화를 보였다. 이러한 결과가 나타난 이유는 Cue존재여부에 따른 제어권 전환 성능 차이와 연결될 수 있다. 피험자들은 mACC를 제외 한 모든 제어권 전환 성능평가 요소에서 Cue가 존재하 는 조건일 때, 보다 안정적인 제어권 전환 성능을 보였 다. PFC활성화는 인지부하 뿐 아니라 운전자의 Inhibitory control과 연관되어 있으며 이는 운전자의 안 정적인 주행과 연결 된다 [29]. Inhibitory control은 개인 이 더 적절한 행동을 선택하기 위해 자극에 대한 자연 적, 습관 행동반응을 억제하고 목표를 달성할 수 있도록 하는 인지과정이다 [32,33]. 이와 관련하여 선행연구에 서 Eshe 외 연구진은 PFC의 활동 감소가 개인의 위험감 수 및 잘못된 의사결정과 상관관계가 있음을 증명했다 [32]. 또한 Foy 외 연구진은 전방차량을 추월하는 과제 에서 안정적인 주행을 보이는 그룹은 PFC가 활성화되는 반면, 불안정한 주행을 보이는 그룹은 PFC의 변화가 거 의 없다는 사실을 발견했다 [29]. 뿐만 아니라 Nakano 외 연구진은 고령의 운전자가 주행 시 낮은 집중력을 유지하며 높은 빈도로 교통 표지판을 무시한다는 문제 를 제기했다. 연구진은 이들이 주행 시 높은 집중력을 유지할 수 있도록 교통 표지판을 발견할 때에 그것을 손으로 가리키고 표기된 내용을 소리 내어 말하는 ‘Pointing and Calling’방법론을 제안하였으며 실험결과, 해당 방법론이 적용된 조건에서 통제조건 대비 주행 중 집중력 향상 및 PFC활성화를 보였다 [34]. 따라서 본 연 구의 결과는 Cue의 존재가 운전자로 하여금 제어권 전 환 후 위험 상황을 벗어나기까지 Inhibitory control의 인 지과정을 높였으며 이로 인해 PFC의 활성화 및 안정적 인 제어권 전환 성능이 나타난 것으로 해석될 수 있다. 이러한 해석은 PFC의 채널 별 활성화 결과를 통해서도 뒷받침 된다 (그림 6). Cue 존재에 따른 가장 큰 활성화 는 FPC영역에서 관찰되었는데, Coutlee 외 연구에 따르 면 FPC는 Inhibitory control과 연관되어 새로운 자극이 발생했을 때, 기존의 계획을 수정함으로써 주변 환경의 변화에 유연하게 대처할 수 있도록 한다 [35].

4.3 본 연구의 한계 및 향후 연구

본 연구는 제한된 주행 시나리오에서 실험을 진행했다 는 한계를 갖는다. 우리는 통제된 실험을 위해 제한된 주행 시나리오만을 사용하였으며 개발된 시나리오에서 보행자 및 운전자 외 차량과 같은 변수는 고려되지 않 았다. 그러나 Eriksson 외 연구에 따르면 차선변경이나 주행중지 등의 제어권 전환 시나리오에 따라 Cue의 영 향은 다르게 나타날 수 있으며 [7] 보행자와 같은 변수 는 운전자의 인지적 요구량을 증가시켜 Cue에 대한 의 존성을 높일 수 있다. 추가로 운전 시뮬레이터를 통한 가상의 주행상황 구현 등 가상현실의 높은 몰입감을 활 용한 실감형 콘텐츠는 현실에서 실시하기 힘든 다양한 상황을 현실과 비슷한 환경에서 효율적이고 안전하게 체험할 수 있다는 장점을 가짐으로 [36] 향후 연구에서 는 Cue의 성능을 확인하기 위한 추가적인 주행 시나리 오가 고려되어야 한다. 또한 본 연구는 안정적인 제어권 전환을 위한 Cue 중 AR Cue의 효용성만을 확인했다는 한계가 있다. 따라서 향후 연구에서는 다양한 시각, 청 각, 촉각자극을 제공하는 Cue의 효용성을 뇌 활성화를 중심으로 하여 확인해볼 수 있다. 마지막으로 본 연구는 한정된 연령대 및 운전경력을 가진 피험자만을 대상으 로 실험을 진행했다는 한계를 갖는다. 선행연구에 따르 면 운전자의 연령 및 운전경력은 PFC활성화와 연관이 있기 때문에 [29] 향후 연구에서는 다양한 연령대 및 운 전경력을 소지한 피험자를 대상으로 Cue의 영향을 확인 하는 것이 필요하다.

5. 결론

본 연구는 조건부 자율주행에서 제어권 전환 시, Cue가 운전자의 뇌 활성화에 미치는 영향을 확인하기 위해 수 행되었으며, 낮과 밤 환경에서 Cue가 있는 조건과 없는 조건 하에 진행되었다. 본 연구를 통해 Cue가 운전자의 제어권 전환 수행 능력을 향상시키며, 주관적 인지부하 를 경감시킨다는 결과를 확인했다. 또한 Cue는 뇌 영역 중 PFC를 활성화를 유도하여 원활한 제어권 전환에 도 움이 될 수 있음을 확인했다. 본 연구의 결과는 Cue가 제어권 전환을 안정적으로 만드는데 기여한다는 선행연 구의 결과와 이어진다. 본 연구는 자율주행 상황에서 Cue가 운전자의 수행 능력과 주관적 감각 및 생리학적 반응에 미치는 영향을 파악했다는 점에서 의의를 가지 며, 추후 새로운 제어권 전환 Cue의 개발 및 활용을 위 한 연구에 기여할 것으로 기대된다.

감사의 글

이 논문은 2021년도 정부(과학기술정보통신부)의 재원 으로 한국연구재단의 지원을 받아 수행된 연구임(No. 2021R1A2C2013479). 이 논문은 2018년도 정부(과학기술 정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.2018R1A5A7059549). Correspondence to K. Kim (kenny@hanyang.ac.kr)

References

[1].

Sae Mobilus. Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles, 2018.

[2].

Tesla Motors, “Model S software version 7.0,” 2016.

[3].

Tesla Motors, “Autopilot,” 2017.

[4].

W. Morales-Alvarez, O. Sipele, R. Léberon, H. H. Tadjine, and C. Olaverri-Monreal, “Automated driving: A literature review of the take over request in conditional automation,” Electronics, 9(12), pp. 2087, 2020.

[5].

S. Li, P. Blythe, W. Guo, and A. Namdeo, “Investigation of older driver's takeover performance in highly automated vehicles in adverse weather conditions,” IET Intelligent Transport Systems, 12(9), pp. 1157-1165, 2018.

[6].

L. Kalb, L. Streit, and K. Bengler, "Multimodal priming of drivers for a cooperative take-over," In 2018 21st International Conference on Intelligent Transportation Systems (ITSC) pp. 1029-1034, 2018

[7].

A. Eriksson, S. M. Petermeijer, M. Zimmermann, J. C. De Winter, K. J. Bengler, and N. A. Stanton, “Rolling out the red (and green) carpet: supporting driver decision making in automation-to-manual transitions,” IEEE Transactions on Human-Machine Systems, 49(1), pp. 20-31, 2018.

[8].

S. M. Petermeijer, S. Cieler, and J. C. De Winter, “Comparing spatially static and dynamic vibrotactile take-over requests in the driver seat,” Accident analysis & prevention, 99, pp. 218-227, 2017.

[9].

S. Petermeijer, P. Bazilinskyy, K. Bengler, and J. De Winter, “Take-over again: Investigating multimodal and directional TORs to get the driver back into the loop,” Applied ergonomics, 62, pp. 204-215, 2017.

[10].

M. Schwalk, N. Kalogerakis, and T. Maier, “Driver support by a vibrotactile seat matrix–Recognition, adequacy and workload of tactile patterns in take-over scenarios during automated driving,” Procedia Manufacturing, 3, pp. 2466-2473, 2015.

[11].

S. S. Borojeni, L. Chuang, W. Heuten, and S. Boll, “Assisting drivers with ambient take-over requests in highly automated driving,” In Proceedings of the 8th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, pp. 237-244, 2016.

[12].

C. Gold, D. Damböck, L. Lorenz, and K. Bengler, ““Take over!” How long does it take to get the driver back into the loop?,” In Proceedings of the human factors and ergonomics society annual meeting, Vol. 57, No. 1, pp. 1938-1942, 2013.

[13].

L. Lorenz, P. Kerschbaum, and J. Schumann, “Designing take over scenarios for automated driving: How does augmented reality support the driver to get back into the loop?,” In Proceedings of the Human Factors and Ergonomics Society Annual Meeting, Vol. 58, No. 1, pp. 1681-1685, 2014.

[14].

J. Heo, H. Lee, S. Yoon, and K. Kim, “Responses to Take-Over Request in Autonomous Vehicles: Effects of Environmental Conditions and Cues,” IEEE Transaction on Intelligent Transportation System, 2022 (Accepted).

[15].

S. Li, P. Blythe, W. Guo, and A. Namdeo, “Investigation of older driver’s takeover performance in highly automated vehicles in adverse weather conditions,” IET Intell. Transp. Syst., vol. 12, no. 9, pp. 1157–1165, 2018.

[16].

R. V. D. Horst, “Time-to-collision as a cue for decision-making in braking,” Vision in Vehicles—III, 1991.

[17].

S. Balters, J. M. Baker, J. W. Geeseman, and A. L. Reiss, “A methodological review of fNIRS in driving research: Relevance to the future of autonomous vehicles,” Frontiers in human neuroscience, 2021.

[18].

D. Badre, and A. D. Wagner, “Left ventrolateral prefrontal cortex and the cognitive control of memory,” Neuropsychologia, 45(13), pp. 2883-2901, 2007.

[19].

S. Jahani, A. L. Fantana, D. Harper, J. M. Ellison, D. A. Boas, B. P. Forester, and M. A. Yücel, “fNIRS can robustly measure brain activity during memory encoding and retrieval in healthy subjects,” Scientific reports, 7(1), pp. 1-14, 2017.

[20].

A. Nissen, “Why we love blue hues on websites: a fNIRS investigation of color and its impact on the neural processing of ecommerce websites,” In NeuroIS Retreat, pp. 1-15, 2020

[21].

E. K. Miller, and J. D. Cohen, “An integrative theory of prefrontal cortex function,” Annual review of neuroscience, 24(1), pp. 167-202, 2001.

[22].

S. Sibi, H. Ayaz, D. P. Kuhns, D. M. Sirkin, and W. Ju, “Monitoring driver cognitive load using functional near infrared spectroscopy in partially autonomous cars,” In 2016 IEEE Intelligent Vehicles Symposium (IV), pp. 419-425, 2016.

[23].

T. Shimizu, S. Hirose, H. Obara, K. Yanagisawa, H. Tsunashima, Y. Marumo, … and M. Taira, “Measurement of frontal cortex brain activity attributable to the driving workload and increased attention,” SAE International Journal of Passenger Cars-Mechanical Systems, 2(1), pp. 736-744, 2009.

[24].

A. Unni, K. Ihme, H. Surm, L. Weber, A. Lüdtke, D. Nicklas, ... and J. W. Rieger, “Brain activity measured with fNIRS for the prediction of cognitive workload,” In 2015 6th IEEE International Conference on Cognitive Infocommunications, pp. 349-354, 2015.

[25].

L. R. Derogatis, and R. Unger, “Symptom checklist‐90‐ revised,” The Corsini encyclopedia of psychology, pp. 1-2, 2010.

[26].

D. Shinar, “Actual versus estimated night-time pedestrian visibility,” Ergonomics, vol. 27, no. 8, pp. 863–871, 1984.

[27].

S. Samuel, A. Borowsky, S. Zilberstein, and D. L. Fisher, “Minimum time to situation awareness in scenarios involving transfer of control from an automated driving suite,” Transportation research record, pp. 115-120, 2016

[28].

S. G. Hart, “Nasa-task load index (NASA-TLX); 20 years later,” Proc. Hum. Factors Ergon. Soc. Annu. Meet., vol. 50, no. 9, pp. 904–908, 2006.

[29].

H. J. Foy, P. Runham, and P. Chapman, “Prefrontal cortex activation and young driver behaviour: a fNIRS study,” PLoS one, 11(5), pp. e0156512, 2016.

[30].

T. Nguyen, S. Ahn, H. Jang, S. C. Jun, and J. G. Kim, “Utilization of a combined EEG/NIRS system to predict driver drowsiness,” Scientific reports, 7(1), pp. 1-10, 2017.

[31].

T. H. Cho, Y. Nah, S. H. Park, and S. Han, “Prefrontal cortical activation in Internet Gaming Disorder Scale high scorers during actual real-time internet gaming: A preliminary study using fNIRS,” Journal of Behavioral Addictions, 2022.

[32].

N. Eshel, E. E. Nelson, R. J. Blair, D. S. Pine, and M. Ernst, “Neural substrates of choice selection in adults and adolescents: development of the ventrolateral prefrontal and anterior cingulate cortices,” Neuropsychologia, 45(6), pp. 1270-1279.9, 2007.

[33].

L. Steinberg, “A social neuroscience perspective on adolescent risk-taking,” In Biosocial Theories of Crime, pp. 435-463, 2017.

[34].

Y. Nakano, T. Kojima, H. Kawanaka, and K. Oguri. “Study of improving the cognitive ability of elderly drivers. In 16th International” IEEE Conference on Intelligent Transportation Systems pp. 547-551, 2013.

[35].

C. G. Coutlee, and S. A. Huettel, “The functional neuroanatomy of decision making: prefrontal control of thought and action,” Brain research, 1428, pp. 3-12, 2012.

[36].

J. Kim, D. Park, P. Lee, J. Cho, S.-H. Yoon and S. Park. “Development of Management and Evaluation System for Realistic Virtual Reality Field Training Exercise Contents : A Case Study,” Korea Computer Graphics Society, pp. 111-121, 2020.

<저자소개>

홍 다 예

jkcgs-28-3-101-g7

  • 2019년 단국대학교 조소과(학사)

  • 2021년 3월~현재 한양대학교 컴퓨터·소프트웨어학과 석사과정

  • 관심분야: 인간-컴퓨터상호작용, 가상현실

김 소 민

jkcgs-28-3-101-g8

  • 2022년 숭실대학교 산업정보시스템공학과(학사)

  • 2022년 3월~현재 한양대학교 컴퓨터·소프트웨어학과 석사과정

  • 관심분야: 인간-컴퓨터상호작용, 사용자경험디자인

김 광 욱

jkcgs-28-3-101-g9

  • 2009년 한양대학교(박사)

  • 2009년~2010년 듀크대학교 연구원

  • 2010년~2013년 캘리포니아주립대학교(Davis) 연구원

  • 2013년~현재 한양대학교 컴퓨터·소프트웨어학과 조교수/부교수

  • 관심분야: 인간-컴퓨터상호작용, 가상현실, 의학용소프트웨어