PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 0 Article
Metrics (View:3,075)
1. 서론
최근 머신러닝과 인공지능 기술의 발전으로 증강현실, 가상현실 연구에서 혼합현실까지 현실과 가상현실에도 인공지능을 활용하는 연구가 확장되고 있다. 가상현실은 어떤 특정한 환경이나 상황을 컴퓨터로 제작하여 사용자가 가상환경과 상호작용하는 것을 말하며, 증강현실이란 현실의 정보위에 가상의 이미지를 증강시켜 사용자에게 추가적인 정보를 제공하는 것을 말한다. 본 연구에서는 가상공간을 기반으로 현실공간이 증강되는 형태의 스토리북을 구현하고 스토리북을 체험하는 유저의 반응 확인하고자 한다.
스마트 디바이스를 기반으로 하는 증강현실 스토리 북을 체험하기 위해서는 반드시 마커의 역할을 하는 2D 이미지가 필요하다, 이러한 이미지 마커는 증강현실 스토리 북 에서는 인쇄된 책을 기반으로 책자 내에 인쇄된 이미지 마커나 QR코드를 향해 앱을 구동하여야만 증강현실 콘텐츠를 체험할 수 있다. 이미지 마커 방식은 반드시 특정한 마커만을 필요로 하므로, 미리 마커가 준비되지 않으면 증강현실 스토리북을 체험할 수 없다는 제약을 가지고 있다. 증강현실 동화책 역시 책자에 인쇄된 이미지 마커나 QR코드를 기반으로 앱이 구동되고 있는 스마트 디바이스를 향해야만 증강현실을 체험할 수 있다. 이러한 증강현실 책은, 기존의 종이 기반의 책과 증강현실을 결합하여 학생들에게 여러 가지의 경험을 전달해주는 것을 목적으로 한다.
Figure 1의 프로세스는 ‘Quivervision’사에서 개발한 증강현실 컬러링 북이다. 이 책은 미리 스케치된 컬러링 북에 사용자가 직접 원하는 색으로 자유롭게 칠하고, 그것을 스마트폰의 카메라로 촬영하여 적용하면 사용자의 스마트폰 화면에 컬러링북 위로 사용자가 실제로 색칠한 부분이 적용된 증강현실 모델이 도출되는 방식을 가지고 있다. 이 책은 이미지 마커 기반의 증강현실 스토리북에서 확장된 형태로 2D 이미지 판독방식을 가지고 있다. 직접적으로 증강되는 3D모델의 맵핑 소스를 사용자가 제작한다는 느낌으로 흥미를 돋우며, 사용자 개개인 마다 특별한 자신의 증강현실 모델을 가질 수 있도록 매우 특별한 경험을 선사해 주는 것이 특징이다. 이처럼 이 컬러링북은 현실공간에서 색을 칠한 것이 가상의 공간으로 들어감을 느낄 수 있도록 되어 있다.
가상공간 스토리북의 구현에 앞서, 증강현실 콘텐츠와 증강현실 동화책의 사전 연구조사를 진행 하였다. 증강현실 동화책으로 아동들이 증강현실 그림책을 통한 아동의 흥미와 이해력에 긍정적인 영향을 주며, 증강현실 그림책 읽기 활동으로 만 5세의 아동에게 긍정적인 영향을 끼칠 수 있다[2]. 증강현실 시스템은 첫 번째, 현실 공간에서 이루어져야 한다. 두 번째, 실시간 인터랙션이 반영되어야 한다. 세 번째, 3차원의 공간 안 에 놓인 것 이어야 한다[3]. 증강현실 동화책은 대부분 2D 이미지 마커를 기반으로 가상의 이미지가 합성되는 방식을 가진 스마트폰 기반의 증강현실 동화책에 집중되어 연구되고 있다. 스마트폰 기반의 증강현실 동화책은 유저의 호기심을 이끌 수 있으나. 스마트 디바이스를 사용자가 직접 들면서 증강현실 콘텐츠를 체험해야 한다는 불편함이 있다[4]. 이에 따라 사용자가 스마트폰을 양손에 들고 있지 않더라도 실제의 물체를 가상의 공간과 융합한 증강현실 스토리북을 구현할 수 있는 시스템에 대한 연구가 필요하다. 이를 통하여 보다 높은 몰입도를 가지는 현실과 가상이 혼합된 스토리북 콘텐츠 환경을 구축한 동화책은 아이들에게 충분한 교육적인 효과가 있으며, 아이들의 흥미도 이끌어 낼 수 있을 것으로 예상하며, 이를 기반으로 제작한 콘텐츠가 사용자에게 정보전달의 보조 도구로서의 효과도 긍정적인 결과가 나올 것이라 본다.
2D마커가 존재하는 물리적인 AR스토리북을 구현하기 위해서, AR스토리북을 개발하는 개발자는 AR스토리북에 "마커"가 되는 장치를 반드시 넣어야 한다. 기존의 증강현실 스토리북의 마커는 2D이미지로 카메라 인식이 되면 마커와 연결된 그래픽 이미지나 애니메이션이 AR스토리북의 물리적인 페이지를 기반으로 스마트폰의 화면 위에 증강되는 형태로 나타나게 된다. 본 연구에서는 기존의 AR 스토리 북이 가지고 있는 전통적인 마커 인식 방법과는 완전히 반대로, 가상의 공간을 기반으로 실제의 물체를 증강하며, 사용자의 참여를 적극적으로 이끌어 내는 가상공간 스토리 북을 기획하고 구현하였다. 제작한 가상공간 스토리북은 실제 책이 아니라 책상 위에 놓여진 가상의 공간이며 다음과 같은 절차에 따라 진행이 된다. 첫 번째, 가상공간에 실제 물체를 가져오도록 사용자에게 지시한다. 두 번째, 실제 객체를 가상공간에 삽입한다. 세 번째, 실제 물체와 대응되는 이미지가 증강되어 실제물체와 가상물체가 함께 존재한다. 사용자는 증강된 가상이미지와 실제 물체가 함께 공존하는 것을 확인 할 수 있다.
2. 콘텐츠 설계
AV(Advanced Virtuality)이란[1], 가상의 공간을 기반으로 가상의 이미지가 증강되어 사용자에게 제공하는 것을 말한다. 이 연구에서 제시하는 “가상공간”의 의미는 다음과 같이 정의 할 수 있다. 첫 번째, ‘A’는 Augmented Reality(증강현실)의 Augmented(증강된)를 의미한다. 두 번째, “가상공간”의 ‘V’는 Virtuality(가상)dmf 의미한다. 이렇게 구체화한 증강된 가상성인 가상공간개념은 아래의 Figure 2에서 확인할 수 있다.
Figure 2는 가상공간 개념을 명확하게 하기 위해 배경이 되는 공간과 증강이 이루어지는 객체로 구분하여 그린 것이며, 각각 AR(Augmented Reality), 가상공간(Augmented Virtuality) 로 나눌 수 있다. 그림의 X축은 현실과 가상의 공간을 구분하는 기준을 나타내며, 기준점이 오른쪽인 +으로 이동할수록 현실세계와 가깝다고 할 수 있다. 반대로 X축에서 기준점이 왼쪽인 -으로 이동할수록 가상세계와 가깝다고 할 수 있다. 그림의 Y축은 증강을 말하며, 기준점이 위인 +로 위치할수록 증강되는 객체가 존재함을 말한다. 이와 반대로 기준점이 Y축의 – 부분에는 증강되는 객체가 존재하지 않음을 말한다.
제작한 소프트웨어는 가상공간에 실제 물체를 삽입할 수 있도록 설계하였다. 가상공간에 삽입할 물체를 카메라로 입력 받은 후 실제 물체 판단은 사전 훈련 머신러닝 모델의 정보와 비교분석하여 실제물체의 정보를 판단하는 것으로 구성하였다. 구현한 소프트웨어는 사용자에게 몰입감을 느낄 수 있도록 스마트폰 환경으로 제공하는 것이 아니라, 테이블 위에 프로젝션하고, 마치 스마트폰을 터치 하듯이 사용자가 직접 물리적인 터치 인터랙션이 가능하도록 구성 하였다. 이 과정을 통한 가상공간 스토리북의 구현 컨셉은 Figure 3과 같다.
구현하고자 하는 가상공간 스토리북은 인공지능 기반으로 사물을 판독하여 가상의 동화책에 실제 사물을 삽입하여 시나리오를 진행하는 기능을 갖춘 동화책 콘텐츠이다. 실제의 사물을 실시간으로 판단할 수 있도록 사전 훈련 모델(Pre-trained Machine Learning models)인 MobileNets을 사용하여 실제 사물의 판단을 작동시킨다. 모바일넷은 오픈 라이브러리 모델로 인공지능기반 컴퓨터 비전 머신러닝 사전 훈련 모델이다. 구현은 유니티3D(Unity3D)를 사용하여 가상의 환경을 구축하고 이를 시각화 하였다. 인공지능 기반의 가상공간 스토리북의 메인 소프트웨어는 안드로이드 OS 어플리케이션으로 제작하였다. 구현한 어플리케이션은 터치 인터랙션이 가능한 프로젝터에 업로드 하였다. 소프트웨어 구현을 위한 개발 구조는 Figure 4에서 확인할 수 있다.
3. 콘텐츠 구현
가상공간 스토리북에서는 적절한 사물의 활용을 이끌어 낼 수 있도록 북유럽의 구전 동화인 백설공주 이야기를 토대로 하여 콘텐츠를 적용 하였다. Figure 5는 가상공간스토리북의 시나리오 내부 동작 시퀀스를 나타낸다. 콘텐츠의 내부 동작 순서는 다음과 같다. 먼저 스토리북의 시나리오에 따라 카메라가 동작한다. 카메라 입력으로 얻은 이미지와 실제 물체를 사전 훈련 머신러닝 모델과 비교하여 실제의 사물을 판단한다. 판단이 끝난 후 실제 사물과 대응되는 그래픽을 실제 사물과 함께 증강한다. 이후 다음 시나리오가 있는 경우 다음 시나리오로 이동하며 해당 시퀀스를 반복한다.
정의한 시나리오 구현을 바탕으로 가상공간 스토리북의 소프트웨어를 구현하였다. 가상공간 스토리북 소프트웨어에서 구현하고자 하는 기능은 크게 9가지로 나눌 수 있다. 1)시작 2)장면전환, 3)외부 카메라, 4)물체 판단, 5)가상 카메라, 6)터치 인터랙션, 7)화면버튼, 8)색 조절 슬라이더, 9)처음으로 이다. 9개의 기능의 명칭과 구현 의도는 Table 1 에서 확인 할 수 있다. 각 기능들은 사용자가 동화책을 읽는 동안 자연스러운 시나리오진행에 도움을 줄 수 있도록 구현하였다.
가상공간 스토리북의 기능을 적용하여 스케치 작성 후 화면 와이어프레임을 제작하였다. 와이어프레임은 각 기능의 비중을 고려하여 제작하였다. 가상공간 스토리북에서 가장 큰 비중을 차지하는 사용자 참여로 인해 실제 사물을 가상공간으로 넣는 행위가 이루어지는 부분은 화면의 가운데에 오도록 하였다.
실제 물체 판단 시, 보다 극적인 물체 판단 효과를 얻기 위해 실제 물체가 가상공간의 특정 부분에 위치할 때에만 증강될 이미지인 가상의 이미지가 나타나도록 하도록 하였다. 이 조건은 콘텐츠 화면의 스크린 좌표계중 특정한 x,y좌표를 미리 설정하고 그 조건에 모델이 위치하면 도출되는 것으로. Figure 7 의 왼쪽에 위치한 그림은 x,y를 기준으로 배경 이미지에 따라 미리 도출 범위 경계를 지정함을 설명한다. 실제 사물이 좌표 범위 안에 일정시간 이상 위치하면 오른쪽의 사진과 같은 결과를 얻을 수 있다.
실제 사물을 인식하는 과정을 사용자가 시각적으로 확인할 수 있도록 사물 판독 후, 사물의 좌표 값을 실시간으로 얻을 수 있도록 구현 하였다. 아래의 Figure 8과 같이 카메라 영상을 통한 사물 인식 전에는 왼쪽의 그림과 같은 ‘미인식’의 단어가 도출되고, 아무런 이미지가 출력되지 않는다.
가상공간 스토리북을 체험하는 사용자의 흥미을 끌고 인터랙션적으로 흥미를 돋우기 위해, 색 조절 슬라이더 바를 구현하였다. 유저는 색 조절 슬라이더 바를 사용하여 동화책의 이미지를 자신이 원하는 색으로 변화시킬 수 있다. 이는 Figure 9에서 확인 할 수 있다. 가상공간 스토리북의 각 장면에 삽입되어 있는 색깔 제어 슬라이더 바는 3개로 나뉘어 있다. 각각의 슬라이더는 Red ,Green, Blue를 뜻하며, 0-1까지의 숫자를 조절할 수 있도록 구현하였다.
가상공간 스토리북에서는 총 13가지의 장면으로 구성되어 있다. 이 각각의 장면은 RGB 제어 슬라이더가 적용되어 있다. 슬라이더바 조절 구현은 유니티의 GLSL 쉐이더에 2D 텍스쳐를 입힌 메테리얼의 조절로 통해 구현하였다.
가상공간 스토리북에는 사용자의 시나리오 이해를 돕기 위해 음성 나래이션 기능을 넣었다. 스토리북이 가지고 있는 시나리오는 총 13단계로 나뉘어진다. 이에 맞추어 시나리오를 설명하는 나래이션도 13가지로 작업하였다. 유니티에 적용한 나래이션은 백설공주 시나리오를 읽어서 녹음하였다. 녹음을 마친 음성 파일은 각 장면에 맞도록 적용하였으며 각 장면이 시작 될 때 자동으로 출력되게 구현 하였다. 이는 Figure 10에서 확인할 수 있다.
앞서 서술한 프로세스에 따라 구현한 소프트웨어 결과물은 Figure 11과 같다. 구현한 소프트웨어는 제시된 사용자 시나리오에 따라서 물체를 인식하여 미리 학습된 데이터 모델과 비교하여 사물을 식별하는 기능이 탑재되었다. 해당 소프트웨어는 안드로이드OS 환경의 어플리케이션 환경에서 작동할 수 있도록 구현 하였다. 배경 (가상) 을 스마트폰에 디스플레이하여 사용자가 폰을 들고 있는 경우, 가상의 공간으로 사물을 집어 넣는다는 느낌보다는 스마트폰에 업로드 된 콘텐츠를 바라본다는 느낌이 강하게 들기 때문에. 사용자가 가상공간 안으로 들어간다는 느낌이 발생하지 않는다. 때문에 사용자가 가상의 공간으로 들어간다는 느낌을 주기 위해 제작한 앱을 프로젝터에 업로드 하였다.
사용자가 가상으로 구현된 공간에 실제의 사물을 집어 넣는다는 행위를 유도하고 완성시키기 위해, 프로젝션 으로 가상의 공간을 생성하였다. 이 연구에 사용된 프로젝터는 소니에서 개발하여 판매하는 제품을 사용하였다. 이 프로젝터는 안드로이드 기반으로 안드로이드 기반의 응용프로그램을 설치할 수 있는 장점을 가지고 있다. 소니 터치 프로젝터의 공식 명칭은 Sony Xperia Touch 이다. 이 프로젝터는 내장 카메라가 달려있으며, 일종의 적외선 키보드인 적외선 센서로 사용자의 손가락 위치를 읽어, 터치가 가능한 스크린을 생성해 주는 것이 특징이다. 때문에 터치 프로젝터를 활용하여 본 연구에서는 가상의 공간에 실제 물체를 활용하여 가상의 증강된 이미지를 구현하는 특징을 가진 가상공간 스토리북을 구현하도록 구성하였다. 소니 터치 프로젝터와 실제 물체와의 공간 구성은 Figure 12에서 확인할 수 있다.
4. 구현 결과
가상공간 스토리북의 구현 결과는 Figure 13에서 확인할 수 있다. 그림 14는 실제 사물을 가상의 공간으로 삽입 후 증강되는 이미지를 사용자가 자유롭게 이동시키는 장면을 설명한다. 그림과 같이 첫 사물인식 후 미리 지정된 위치에 사물과 대응되는 이미지가 출력된다. 이후 사용자는 출력된 이미지를 임의의 위치로 재배치 할 수 있다.
Figure 14는 터치 프로젝터로 가상공간 스토리북의 콘텐츠가 프로젝션 된 모습으로, 가상공간 스토리북에 삽입된 이미지를 RGB 값으로 조절 하는 구현 결과이다.
가상공간 스토리북의 최종적으로 구현한 결과물은 Figure 15 에서 확인 할 수 있다.
5. 실험
가상공간 스토리북은 5살 어린이를 타겟층으로 선정하여 구현하였다. 때문에 가상공간 스토리북이 실제로 아이들의 흥미를 이끌어내는지, 실제 물체를 가상의 공간으로 집어 넣는 과정이 아이들에게 혼돈을 주지는 않는지를 알아보기 위해 구현한 결과물로 사용자 실험을 하였다. 실험대상은 다섯 살 아이 2명으로 각각 여자 어린이와 남자 어린이로 4차에 걸쳐 실험하였다.
여자 어린이의 경우 실험 시 아이의 의견과 실제 콘텐츠를 사용하는 모습을 관찰하여 점차적으로 발전된 형태를 실험하는 것으로 총 3번 실험하였다.
| number | date | study |
|---|---|---|
| 1 | 2019. 02. 05 | observation of researchers |
| 2 | 2019. 04. 06 | |
| 3 | 2019. 05 .14 | |
| 4 | 2019. 05. 28 |
여자 어린이가 실험에 참여한 날짜는 다음과 같다. 1차) 2019년 2월 5일, 2차) 2019년 4월 6일, 3차) 2019년 5월 14일. 남자 어린이를 대상으로 시행한 실험은 4차 실험으로, 2019년 5월 28일에 진행하였다. 실험은 연구자가 먼저 시범을 보인 후 실험대상이 자유롭게 가상공간 스토리북을 즐기는 방식으로 진행하였다.
총 4회에 걸친 실험으로 아이들은 매우 적극적으로 가상공간 스토리북을 체험하는 것이 관찰되었다. 프로젝션된 가상공간 스토리북에 자신의 얼굴이 나타날 때면 본인이 동화책 안으로 들어가 있다고 말을 하기도 하였다.
아이들은 가상공간 스토리북을 체험 할 시에 가상의 공간으로 들어가 있는 것처럼 느낀다는 것을 알 수 있었다. 또한 연구자의 시범에도 불구하고 실제의 물체를 가상공간에 삽입 후, 출력된 이미지만을 가지고 노는 것을 확인 할 수 있었다. 이는 아이들은 사물 인식 이후, 목적성이 사라진 물체에 더 이상 흥미를 가지지 않는 것을 알 수 있었다. 때문에 아이들은 현실의 사물과 가상의 사물을 구분하는 것으로 관찰 할 수 있었다. 아이들은 가상으로 도출된 이미지를 가지고 백설공주 스토리를 이어가며 즐기는 모습을 확인 할 수 있었다.
6. 결론
이 연구에서는 사전 훈련된 머신러닝 모델을 사용하여 실제 물체를 가상공간에 삽입하여 실제사물과 가상의 이미지를 증강하는 가상공간 스토리북을 제작하였다. 가상공간개념은 가상공간을 기반으로 증강하는 것으로 현실공간을 기반으로 가상의 이미지를 합성하는 증강현실과는 다르다고 할 수 있다. 제시한 가상공간 개념을 구체화 하기위해, 인공지능 가상공간스토리 북을 구현하였다. 연구 결과에 따라, 제작한 인공지능 가상공간 스토리북은 가상공간 공간에서 이루어지는 스토리북의 가능성을 확인 할 수 있었으며, 구한한 결과물이 아동을 위한 몰입형 스토리북 콘텐츠로서도 긍정적인 효과를 얻을 수 있을 것으로 확인 할 수 있었다. 가상공간 콘텐츠는 실제의 사물을 마커로 삼아 Augmented Virtuality를 실현하는데에 가능성이 있다고 것을 확인 할 수 있었으며 결과적으로 몰입감 있는 가상공간과 현실을 융합하는 것을 확인 할 수 있었다. 향후, 다양한 산업군 과, 광고업계 , 예술 업계 등 에서도 이러한 가상공간 스토리북 방식을 사용하여 보다 확장된 공간 을 구현 할 수 있을 것이다.
