사용자 경험 향상을 위한 딥러닝 기반 차량용 AR 매뉴얼

증강현실(AR) 기술은 이제 비전문가인 일반 대중들에게도 낯설지 않을 만큼 그 활용 분야와 범위가 넓어지고 있다. 현재 증강현실 기술을 이용한 사용자 서비스는 화재와 같은 특수한 상황의 시뮬레이션을 위한 특수목적 용도^[1]부터 디 지털 패션 콘텐츠 제작^[2] 등 우리 일상에서 쉽게 찾아볼 수 있는 범용 용도까지, 가상의 콘텐츠를 증강하는 기술적 방 식은 생각보다 다양하지 않으며 주로 아래와 같은 세 가지 의 방식이 보편화 되어 있다.

대다수의 증강 콘텐츠는 단순한 심볼이나 QR코드와 같은 특정 마커를 이용한다. 최근 주요 유명 관광지나 문화재, 박 물관 등에서 관광객이 스마트폰으로 특정 QR코드나 이미지 를 비추면 전시물의 상세 정보를 제공하거나 마스코트 캐릭 터가 나타나 관련 정보를 제공하는 등^[3]의 서비스가 대부분 마커 기반의 증강 방식이다. 마커를 이용하지 않는 증강 기 법으로는 GPS를 통한 위치정보나 비전(Vision) 기술을 이 용하는 경우가 대표적이다. 국내에서도 크게 인기 있었던 포켓몬 고와 같이 주로 모바일 게임이나 소셜 플랫폼에서 활용된다. 이 외에 코엑스나 공항과 같은 특정 대형 시설물 에서는 비콘^[4]과 IoT 센서와 같은 하드웨어와 실내공간 인 식 및 복원기술(SLAM)^[5]을 통해 AR 서비스를 제공하기도 한다. 이러한 기존의 증강 기법에는 아래 [Table 1]과 같이 몇 가지 기술적 한계와 이로 인한 제약 사항이 존재하며 특 히 차량 실내와 같이 마커를 부착하기 어려운 환경이나 좁 은 실내공간에 적용하기는 현실적으로 어려운 부분이 있다. 본 논문에서는 위에서 언급된 제약 사항으로 인해 증강현실 기술의 적용이 어려운 환경 중 하나인 차량의 실내공간을 타겟으로 하여 보완하는 방안을 제안한다. 목표 공간을 차 량 내부로 설정한 추가적인 배경은 기존 차량용 매뉴얼의 비효율성과 운전자들의 부정적인 인식이 크기 때문이다. 증 강현실 기술을 활용하여 기존 매뉴얼의 한계점과 불편사항 을 함께 개선하고자 한다. 현재 차량을 구매할 때 함께 제 공되는 기능 설명서는 수백 페이지에 달하는 방대한 분량과 책자 형태의 제본 문서로 제공되어 차량 구매자가 원하는 정보를 쉽게 찾기 어렵다. 또한, 차량의 제조사 입장에서는 종이 자원의 낭비와 제작·관리에 필요한 지속적인 운용비용 이 발생한다.

이처럼 원하는 정보탐색의 어려움과 비효율성을 개선하기 위해 대부분 제조사의 공식 홈페이지나 모바일 애플리케이 션을 통한 전자 설명서를 함께 제공하지만, 이 역시 온라인 설명서를 단순히 옮겨 놓은 형태에 불과하여 여전히 차량 구매자들로부터 부정적인 인식이 크다. 이와 같은 내용은 지난 2020년 9월, 한국소비자원에서 진행한 설문조사^[6] 결 과를 통해서도 아래 [Figure 2]와 같이 잘 나타나 있다.

좁은 차량 실내에서도 원하는 위치에 정확한 콘텐츠 표현하 기 위해 증강에 필요한 기준점을 딥러닝 기반의 객체 검출 (Object Detection)로 크기, 위치, 각도 등과 관계없이 사물 을 인식할 수 있도록 학습하고, 여기에 스마트폰 카메라를 통해 얻을 수 있는 깊이 정보(Depth)가 포함된 3차원 좌표 를 활용^[7]한다는 점에서 그 차별점이 있다.

본 연구는 기능적인 측면에서 크게 두 가지로 나누어 각각 의 프로토타입 앱을 제작하고 그 사용성과 성능을 측정하 여, 타 유사 서비스와 성능 우위를 비교하고자 한다. 기존에 종이로 제작되는 페이퍼 매뉴얼을 증강현실을 이용한 디지 털 콘텐츠로 전환하고 이미 시도된 유사한 타 서비스의 한 계점 극복과 성능 향상 정도를 정량적으로 측정하고 비교한 다.

첫 번째는 차량 내부의 핸들 중심부를 기준점으로 인식한 후, 주요 부품에 가상의 매뉴얼 버튼을 증강하고 각 버튼을 탭할 경우 해당 기능에 대한 설명을 표시하는 AR매뉴얼이 다. 실제 차량 내부에서 각 부품의 위치를 계산하고 디지털 매뉴얼을 위한 가상의 버튼을 정확한 위치에 증강하기 위해 [Table 2]와 같이 증강 전 기준 좌표 인식 단계를 수행한다. 인식한 기준 좌표를 중심으로 사전 직접 측정을 통해 각 부 품의 거리 좌표 테이블을 생성하고, 이를 통해 기준점으로 부터 x, y, z의 거리만큼 떨어진 각 부품의 위치를 계산하여 가상버튼을 증강한다.

두 번째는 차량 계기판에 표시되는 차량의 경고등을 인식할 수 있는 딥러닝 모델을 학습시켜 운전자가 취해야 할 조치 방법에 대해 안내한다. 한국의 완성차 업체 중 하나인 기아 자동차에서 제공하는 심볼 스캐너라는 기능과 유사하지만, 차량의 심볼이 아닌 경고등의 인식 정확도와 인식 속도를 높이기 위해 딥러닝 모델을 적용하고자 한다.

본 연구의 주요 개선 목표인 3D 콘텐츠의 증강 위치 정 확도 향상, 이미지 인식률 및 인식 속도 개선을 통해 실제 사용성 향상으로 이어질 수 있는지 확인하기 위하여 실제 운전자를 대상으로 기능 사용 후, 리커트 척도를 통해 체감 한 향상 정도를 측정하고자 한다.

실험에 적용한 차량은 메르세데스-벤츠의 C220d 모델과 현 대자동차의 제네시스 G80 모델을 대상으로 진행하였다. 차 량 실내공간에는 QR코드와 같은 마커를 부착하기에도 어렵 고 특성상 GPS 정보를 활용하기에는 허용되는 오차범위가 상당히 좁으므로 실내공간 인식을 위한 다른 방법이 필요하 다. 본 논문에서는 공간 인식의 출발점을 핸들 중앙의 제조 사 로고로 설정하였다. 설정 이유는 첫 번째, 차량의 제조사 와 모델이 달라도 핸들은 거의 같은 위치에 있다는 점과 두 번째, 핸들 중앙에 각인된 제조사 로고는 객체 검출을 위한 이미지 학습에 용이하다는 장점이 있기 때문이다. 이미지 학습이 완료된 딥러닝 모델은 모바일 Native 애플리케이션 개발 시 삽입(Import)할 수 있는 형태의 파일 형식으로 변 환하여 중앙서버를 거치지 않고 스마트폰 애플리케이션에서 로고인식을 수행하고자 한다. 이에 대한 주요 진행 과정은 다음과 같다.

먼저 데이터 학습을 진행하기 위해 학습에 필요한 이미지를 촬영한다. 본 실험에서는 C220d 모델과 제네시스 모델의 차량 핸들을 각 472장씩, 전체 944장의 이미지를 직접 촬영 하였다. 이 과정에서 실제 운전자의 다양한 공간적·시간적 환경을 고려하여 야외 지상주차장, 건물 지하주차장, 야외 햇빛 아래, 야간의 어두운 내부 공간, 야간에 차량 실내등을 켰을 때, 스마트폰 플래시를 켰을 때의 환경에서 각각 촬영 하였고, 촬영하는 카메라의 위치와 각도를 최대한 달리하여 촬영하였다.

이미지 학습은 딥러닝 기반의 객체 검출 분야에서 많이 알 려진 모델인 Yolo의 최신 5버전(YOLOv5) 알고리즘^[8]을 사 용하였으며 그 이유는 아래와 같은 몇 가지 장점^[9][10] 때문 이다.

학습을 위해 적용한 YOLOv5의 주요 하이퍼-파라미터는 다 음과 같다.

촬영한 이미지의 크기는 가로 크기와 세로 크기를 모두 640 픽셀로 맞추어 batch-size 32 크기로 전체 2,000번의 학습을 진행하였다. 학습의 완료된 모델의 주요 성능지표는 다음과 같다.

학습 과정에서 생성된 모델의 주요 오차율(Loss)과 정확도 (mAP)에 대한 지표별 그래프는 다음과 같다.

학습 이미지의 수가 적고 인식 대상인 제조사의 로고 문양 이 복잡하지 않은 관계로 비교적 어렵지 않게 높은 정확도 의 학습이 가능했던 것으로 보이며, 리눅스 서버에서 파이 썬(Python) 언어로 간단한 프로그램을 작성하여 테스트하였 을 때 뛰어난 로고인식 정확도를 확인할 수 있었다.

기준점 인식 처리를 서버에서 수행한 후 모바일 애플리케이 션에 결과 값을 전송하는 방식으로도 구현할 수 있겠지만, 여기서는 서버와 클라이언트(스마트폰) 간의 이미지 데이터 와 결과 데이터 전송 과정을 생략하고 더 빠른 기준점 인식 을 위해 모바일에서 직접 인식 처리를 수행하기로 하였다. 이를 위해서는 중앙서버를 거치지 않고 모바일 애플리케이 션에서 이미지 인식을 바로 수행할 수 있도록 학습모델의 변환과 안드로이드 코드에서 이를 불러오는 작업이 필요하 다. 인공지능 프로그램 개발을 위한 프레임워크인 텐서플로 우(TensorFlow)에서는 학습이 완료된 모델 파일을 경량화 된 형태인 TF Lite 파일 형식^[11]으로 변환할 수 있도록 지 원하고 있으며, 모바일 프로그램에서 이 TF Lite 파일을 삽 입(Import)할 수 있다. 안드로이드 프로그램 구현 후, 실제 차량에서 테스트하였을 때 중앙서버에서 처리했던 방식과 크게 다르지 않은 인식률을 보였다.

이제 스마트폰에서 기준점 인식이 가능해졌기 때문에, 이를 이용하여 차량의 실내 공간좌표 생성이 필요하다. 핸들 중 앙을 중심으로 한 주요 부품의 위치 거리를 직접 측정하여 좌표 거리 테이블을 생성하였지만 실제로는 카메라를 통해 얻어지는 카메라 좌표와 실공간의 좌표(World Coordinate) 간의 차이가 있다. 카메라 좌표계는 2D 평면에 표현되는 좌 표로 인식되기 때문에 카메라 좌표계를 월드 좌표계로 변환 ^[12]하는 과정이 필요하며 이를 위한 주요 과정은 다음 [Table 4], [Figure 7]과 같다.

변환된 좌표계와 거리 좌표 테이블을 기준으로 다음 단계에 따라 각 부품의 위치를 추정한다.

각 부품 위치에 해당하는 지점에 사용자가 선택할 수 있는 가상의 버튼 객체를 증강하고, 이를 탭하였을 때 기능 설명 을 확인할 수 있도록 구현하면 기본적인 차량용 모바일 AR 매뉴얼이 완성된다.

애플리케이션 실행 시, 사용자가 핸들 중앙의 제조사 로고 를 비추도록 [Figure 8]과 같이 가이드 화면을 표시한다.

이후, 딥러닝 학습모델을 통해 기준점이 인식하면 이를 기 준으로 각 부품의 위치에 가상버튼을 증강한다. 메르세데스 -벤츠 C220d 모델에서는 [Figure 9]와 같이 증강되었고, 제 네시스 G80 모델에서는 [Figure 10]과 같이 증강된 모습을 확인할 수 있다. 월드 좌표계를 활용함에 따라 실제 부품의 기울기를 반영하여 증강된 버튼 역시 부품에 맞춰 자연스럽 게 기울어진 형태로 증강됨을 확인할 수 있다.

사용자가 원하는 가상버튼을 탭 하면 [Figure 11]과 같이 해 당하는 기능의 상세설명을 적절한 이미지, 동영상, 애니메이 션 효과와 함께 안내하여 사용자의 직관적인 이해를 돕는 다.

차량용 AR매뉴얼 애플리케이션의 두 번째 기능은 차량 경 고등 스캐너로 설계하였다. 시중에 출고되는 모든 차량은 이상 상태가 감지될 경우 계기판 위에 경고등 신호를 나타 내어 운전자에게 이상 사실을 알린다. 이상 상태에 따라 곧 바로 조치해야 하거나 차량 정비소를 방문해야 하는 위험한 상황이 발생할 수 있으나, 의외로 많은 운전자가 경고등 종 류에 대해 자세히 알지 못한다. 제조사에 따라 다소 차이는 있지만 [Figure 12]와 같이 대부분 50~80종류의 경고등이 존재하기 때문에 이를 모두 외우고 있는 운전자는 많지 않 다. 이 때문에 낯선 경고등 점등 시, 운전자들은 제조사에서 제공하는 책자 매뉴얼을 확인하거나 인터넷 검색을 통해 확 인하는데 여기에도 몇 가지 어려움이 따른다. 책자 매뉴얼 의 경우 차량 내에 비치되어 있지 않다면 확인이 어렵고, 인터넷 검색은 경고등이 대부분 명칭이 아닌 심볼 형태로 점등된다는 점에서 무슨 경고등인지 의미를 알지 못한다면 적절한 검색어를 생각하기 어려울 수 있다.

이를 위해 앞서 구현한 AR매뉴얼에 경고등을 비추면 이를 인식하여 적절한 대처 방법을 안내하는 기능을 추가하였다. 위 2.1의 실험에서 진행한 딥러닝 학습모델에 추가적인 이 미지 학습을 진행하여 차량에서 발생할 수 있는 주요 경고 등 이미지를 인식할 수 있도록 하였다. 본 논문에서는 인식 의 정확도와 속도 개선, 사용성 향상 정도의 테스트를 주목 적으로 하므로, 즉시 조치해야 하거나 발생 빈도가 높은 3 개의 경고등(엔진 이상 경고등, 타이어 공기압 이상 경고등, 안전벨트 미착용 경고등)만 그 대상으로 진행하였다. 학습 에는 직접 촬영한 889장의 이미지를 활용하였다.

2.1의 실험에서 구현한 모바일 애플리케이션에 별도의 메뉴 를 추가하고, 이를 선택하면 경고등 인식을 위한 카메라 화 면이 표시되도록 구현하였다. 여기에 실제 차량의 경고등을 비추면 딥러닝 학습모델을 활용하여 학습된 경고등을 자동 으로 인식하여 대처 방법을 안내한다.

앞서 사용자에게 핸들 인식을 유도하기 위해 삽입했던 가이 드 레이어는 적용하지 않았고, 카메라를 통해 계기판을 비 추면 입력되는 이미지 전체를 대상으로 경고등 심볼을 찾아 내는 방식으로 구현하였다. 데이터 학습 과정과 이미지 인 식 과정은 위 2.1의 실험 과정과 같으므로 구현 후 테스트 한 결과만 살펴본다.

핸들의 제조사 로고보다는 매개변수로 입력되는 이미지가 더 복잡하고 인식 대상의 특징점 추출이 상대적으로 낮은 관계로 추정률은 다소 낮게 측정되었다. 대략 80~90% 사이 의 추정률이 관찰되나(차량 핸들은 90~95%) 경고등 인식과 식별 자체는 문제가 없으므로 사용성에 영향을 미칠 범주는 아니라고 판단된다.

경고등 인식 정확도와 속도에 대해 정량적 성능측정과 개선 효과를 확인하기 위해 기아자동차에서 제공하는 유사 서비 스와 동일 환경에서 테스트한 후, 이를 비교하였다. 기아자 동차에서는 차량 구매자들이 사용할 수 있는 공식 모바일 애플리케이션^[13]에서 심볼 스캐너라고 하는 기능을 제공하 고 있으며, 이 기능은 경고등이 아닌 차량 내 주요 버튼 위 에 그려진 심볼을 인식하여 안내한다. 경고등이 아니기 때 문에 완전히 동일한 대상으로 비교 실험을 진행할 수 없지 만, 계기판 상의 경고등을 직접 스캔하는 기능을 제공하는 제조사는 찾지 못하여 가장 유사한 기아자동차 심볼 스캐너 를 비교 대상으로 선정하였다.

본 연구 결과물의 애플리케이션과 기아자동차 애플리케이션 의 성능 비교는 같은 횟수의 심볼 인식을 시도했을 때 정확 하게 인식한 건수와 인식하여 최종 화면을 표시하는 데까지 걸리는 시간을 비교하였다.

직접 구현한 애플리케이션은 구글 개발자 사이트(Google Developers)에서 제공하는 실시간 앱 성능 모니터링 도구 인 [Firebase Performance Monitoring] SDK^[14]를 안드로 이드 소스 코드에 적용하여 측정하였고, 기아자동차 애플리 케이션은 타사 앱인 관계로 모니터링 툴을 소스코드에 직접 적용할 수 없어 별도 스마트폰의 타이머를 통해 측정하였 다.

측정은 10회씩 경고등/심볼 인식을 시도하여 총 3세트(총 30회)로 진행하였으며 그 결과는 아래 [Table 5]와 같다.

기아차 심볼 스캐너 역시 이미 상용화하여 소비자들에게 공 급되는 서비스인만큼 뛰어난 정확도를 보였고, 직접 사용하 기에는 불편함을 못느낄 정도의 인식 속도를 보였다. 하지 만 인식 정확도와 속도, 두 가지 측면에서 모두 미묘한 차 이지만 본 연구 결과물 애플리케이션이 더 높게 측정되었으 며 세 차례 시도에서 모두 같게 나타났다.

구현한 애플리케이션의 실제 사용성 평가와 기존 책자/지류 차량 설명서와의 비교를 위해 운전경력이 있는 사용자 20명 을 대상으로 사용성 테스트(Usability Test)를 진행하였다. 주요 진행 절차는 [Table 6]과 같으며, 테스트 문항은 [Table 7]의 정보로 구성하였다.

사용성 테스트 방식은 사전 설문, APP 사용성 만족도, 기존 의 타 매뉴얼과 비교하여 성능·사용성 우위 평가항목으로 구성된 선택형(5지 선다) 문항의 설문조사를 진행하고 그 결과에 대해 통계를 추출하는 리커트 척도(likert-scale) 방식^[15]을 적용했다.

사용성 테스트에 참여한 인원은 운전경력 보유자 (5년 이 하~40년 이상) 20명을 대상으로 진행하였다.

테스트 진행 결과, 도출된 주요 결과는 다음과 같다.

본 연구 결과물 APP의 사용성 측면과 기존 지류 매뉴얼의 대체 가능성 측면에서 긍정적인 결과가 도출되었고, 특히 딥러닝이 적용된 증강현실 객체의 3차원 정합도와 인식 정 확도, 속도 측면에서도 불편함을 느끼지 못할 정도의 성능 을 보여주었다. 비록 실제 상용화를 위해서는 더 많은 고도 화 개발과 추가적인 기능을 지원해야 하겠지만, 본 논문에 서 진행한 실험연구의 목적은 달성한 것으로 판단한다.