인공지능과 증강현실 기술을이용한 모래성 놀이 가이드 애플리케이션설계 및 구현

SandUp 애플리케이션(앱)은 게임과 같이 여러 난이도의 모래성 목표를 아이에게 제시하고, 아이는 원하는 난이도의 모래성을 선 택한다. 아이가 점진적으로 모래성을 완성할 수 있도록 SandUp 은 단계별로 필요한 모래 블록들과 배치를 보여준다. 그 후, 아이 는 미리 준비된 모래틀(Figure 5)을이용해필요한 모래 블록을 만 들고 배치하며 각 단계의 목표를 달성한다. 이 과정에서 SandUp 은 각 단계를 완료하였는지 카메라와 딥러닝으로 인식해 자동으 로 상황에 맞게 시각적, 청각적 피드백을 제공한다. 또한, 모바일 AR 기능을 이용해 제시된 목표 모래성을 현실 세계에 증강하여 살펴볼 수 있다. 아이가 해당 단계의 모래 블록을 완성할 때마다 시각적인 폭죽 효과와 ‘어떤 성이 나올지 기대되는 걸요.’와 같은 음성 피드백을 제공해준다. 앱의 피드백과 가이드에 따라 모든 단계를 완료하면 아이는 목표로 하는 모래성을 완성할 수 있다.

SandUp 앱의 전체적인 시스템 구성 및 동작 흐름은 Figure 1과 같다. Figure 2는 앱의 주요 화면을 스크린 캡쳐한 이미지들이다. 앱은 크게 ‘앱 시작화면’, ‘난이도 선택 화면’, ‘모래성 쌓기 화면’, ‘모래성 완성화면’ 총 네 가지 화면으로 구성되어 있다. 사용자가 앱을 실행하면 ‘앱 시작화면’이 표시된다. ‘START’ 버튼을 누르 면 ‘난이도 선택 화면’으로 전환되어 선택 가능한 최종 모래성 들의 모습이 난이도와 함께 목록 형태로 나타난다. 본 연구에서 는 프로토타입 구현을 위해 총 세 가지 형태의 목표 모래성 형태 를 제작하여 앱에 추가하였다. 목록에서 사용자가 원하는 모래성 선택하면 쌓아야 할 모래성 모형이 3D 모델로 제시되어 모형을 다양한 각도로 돌려보고 크기를 조절하여 미리 살펴볼 수 있다. 또한해당 난이도의 모래성을 완성하는데 필요한 구성 블록들이 우측 상단에 표시된다.‘만들어 볼까요?’ 버튼을 누르면 ‘모래성 쌓기 화면’으로 전환되며 실제 모래성 놀이를 진행하게 된다. 모 래성을 쌓는 과정은 세부 단계(3~5단계)로 나누어 사용자에게 단계별 필요 부분을 제시하고 사용자는 이를 따라 놀이를 진행하 게 된다. 사용자에게 놀이 과정에서 모래성을 완성할 수 있도록 가이드를 하기 위해 모바일 카메라를 활용해 현재 진행 상황을 자동으로 인식하고 UI(User Interface)를 통해 피드백 및 가이드 라인을 제공하게 된다. 딥러닝을 이용한 카메라 인식 방법은 4 절에서 자세히 설명한다. UI 구성 및 가이드라인에 대한 설명은 다음장에서설명한다. 모든 단계를 끝까지 따라가 최종 모래성을 완성하고 이를 카메라로 인식하면 ‘모래성 완성 화면으로 전환되 어 ‘정말 멋진 모래성이네요’의음성 피드백이 주어지고, 귀여운 캐릭터와 함께 멋진 성이 쌓아 올려지는 애니메이션이 나타나며 놀이가 종료된다.

Figure 1. System overview and flow chart of SandUp

Download Original Figure

Figure 2. Screenshots of SandUp application

Download Original Figure

실제로 모래성을 쌓는 놀이를 진행하는 ‘모래성 쌓기 화면’에서 SandUp은 다양한 UI를 통해 진행 과정 및 현재 단계에 대한 가이 드라인을 주게 된다. 딥러닝 기술을 활용해 현재 모래성의 진행 정도를 인식하고 세부 단계를 완수하였는지 사용자에게 알려준 다. 화면의 상단에 있는 Progress Bar는 전체 단계에서 현재 얼마 나 진척되었는지를 보여주며 사용자가 모래성을 완성해가는 과 정을 시각적으로 확인할 수 있게 도와준다. 화면의 왼쪽 하단에는 사용자의 진행 상황에 맞게 아이가 지금까지 쌓은 모래성 모양과 다음에 쌓아야 할 블록들을 추가해서 같이 보여주는 2D 이미지 UI가 제공된다. 다음에 쌓아야 할 블록들은 애니메이션 효과로 강조되어 표시된다. 추가적으로 해당 UI를 탭 하면 앞으로 블록 을 몇 개나 더 쌓아야 하는지 남은 블록 개수를 각 모양별로 알 려준다. 오른쪽 하단에는 AR 보기 기능이 있어 원하는 곳에 AR 모래성을 위치시켜 최종 만들어야 될 모래성 모양을 입체적으 로 확인해볼 수 있다. 처음 ‘모래성 쌓기 화면’이 동작할 때 이런 UI에 대한 튜토리얼이 제시되어 사용자가 앱에 쉽게 적응할 수 있도록 하였다. 각 단계마다 사용자가 쌓은 모래성 모양을 후면 카메라로 인식해서 해당단계의 모양과 일치하면 시각적, 청각적 피드백과 함께 다음 단계로 넘어가게 된다. 단계가 진행됨에 따 라 Progress Bar와 화면 UI들도 업데이트된다. 자세한 UI 구성과 가이드라인, 피드백의 실제 구현 모습은 Figure 2에서 확인할 수 있다.

사용자가 진행 중인 모래성 인식을 위한 심층 신경망 모델은 모 바일에서 실행할 수 있는 TensorFlow Lite 딥러닝 프레임워크를 사용하여 구현하였으며 TensorFlow Lite Model Maker에서 제 공하는 Image Classification 모델을 사용하였다. 본 논문에서는 EfficientNet-Lite0 클래스를 사용하여 모래성 이미지를 학습하 고 실시간으로 정확도를 예측하는 모델을 만들었다. EfficientNet 은 구글에서 2019년에 발표한 신경망 구조로 이미지 분류에서 기존보다 훨씬 적은 파라미터 수로 Convolutional Neural Networks(ConvNets)의 성능을 올려 State-Of-The-Art(SOTA)를 달성 한 모델이다.

기존 연구들은 ConvNet의 성능을 올리기 위해 1) 모델 신경 망의 레이어의 개수를 늘리거나, 2) 채널의 개수를 늘리거나, 3) 입력 이미지의 해상도를 올리는, Scale-up 방법을 사용했는데 이 세 가지를 수동으로 조절하는 것은 시간이 오래 걸리고 최적의 성 능과 효율을 얻지 못할 수도 있다. 반면, EfficientNet은이 세 가지 요인 간 일정한 관계가 있다는 것을 실험적으로 밝혀 AutoML을 통해 세 가지 방법에 대한 최적의 조합을 찾았다[8]. Figure 3은 세 가지를 효율적으로 조절할 수 있는 Compound Scaling을 보여주 는데 이 방법으로 기존보다 훨씬 적은 파라미터 수로 더욱 좋은 성능을 낼 수 있는 것이다.

Figure 3. Compound scaling [8]

Download Original Figure

EfficientNet은 Depthwise Separable Convolution과 Squeeze-and-excitation(SE) 최적화를 적용한 mobile inverted bottleneck convolution(MBConv) 블록을 주된 구성요소로 사용한다 [8, 21, 22]. Figure 4에서는 EfficientNet의 기준 모델이라고 할 수 있는 EfficientNet B0와 해당 모델의 구성 요소인 MBConv1 블록의 구조를 보여준다. Depthwise Separable Convolution은 Depthwise Convolution과 Pointwise Convolution을 결합한 개념이다. Depth-wise Convolution은 모든 채널에 한 번에 컨볼루션 연산을 적용하 는 것 대신 이미지 혹은 피쳐맵을 채널별로 쪼개서 컨볼루션 연 산을 적용하여 입력의 특징(feature)을 일반 Conv보다 적은 양의 파라미터로 캡처한다. Pointwise Conv는 필터의 크기가 1로 고정 되어 있는 1-D Convolution으로 여러 개의 채널을 하나의 새로운 채널로 합쳐 차원을 감소시킨다. MBConv 블록은 먼저 input에 1x1 Pointwise Convolution(Expansion layer)을 적용하여 채널 수 를 확장하고 Depthwise convolution을 수행한 뒤, Linear Convolution(Projection layer)을 통해 다시 원래 입력의 차원으로 channel 개수를 줄이는 inverted residual block 구조로 되어있다[21]. MBConv의 Squeeze-and-excitation 단계에서는 각 채널의 중요한 feature만 추출하고 이렇게 압축된 feature를 다시 증폭시켜 channel 사이의 feature들에 대한 중요도를 재조정한다[22].

Figure 4. Architecture of EfficientNet and MBconv [8, 21, 22]

Download Original Figure

본 논문에서는 난이도별로 EfficientNet-Lite0 기반의인식모델 을 따로 둬서 난이도를 선택하면 해당 모델이 탑재되게 만들었다. 인식모델의 입력으로는 224x224 RGB 이미지가 들어가고 출력 으로는 해당 난이도의 몇 번째 단계인지를 분류해준다. 인식은 블록별로 하는 것이 아니라 단계별 모래성 모양으로 하게 하였 다. 인식모델 학습을 위해서 실험 장소와 유사한 환경을 연구실 에 구성하고, 난이도의 단계별로 목표 모래성을 다양한 각도에서 약 3,000~5,000장의 사진을 촬영하여 학습 데이터를 구성하였 다. 인식의 정확도를 높이기 위해 흰색, 노란색, 초록색의 종이를 사용해 뒷배경색에 변화를 주었고 조명의 강도도 조절하며 학습 데이터를 제작하였다. 실제 앱이 실행될 때는 기기의 카메라 이미 지를 실시간으로 해상도를 224x224 크기로 리사이즈하고 사전에 학습된 모델에 입력하여 단계를 인식하게 된다.

AR 기술은 Cross Platform을 지원하는 Flutter내 AR 플러그인으 로 구현했다. AR Flutter plugin은 안드로이드에서는 ARCore를, iOS에서는 ARKit를 지원하며 두 프레임워크를 Dart로 작성된 추 상 레이어아래 통합시켰다 [23]. ‘모래성 쌓기 화면’에서 오른쪽 하단의 ‘AR로 보기’ 버튼을 누르면 ARSessionManager가 생성되 어 모래성 모델을위치시킬 바닥을인식하기 위해 평면을 추적하 게 된다. 또한, 사용자의 터치와 같은 제스처 이벤트를 감지한다. 사용자가 바닥을 터치하면 그 위치에 ARAnchor가 추가되고 anchor가 생성된 위치에 해당 난이도의 모래성 모델을 ARNode로 추가할 수 있게 된다. ARAnchor와 ARNode는 각각 ARAnchor-Manager와 ARObjectManager에 의해 관리된다. Anchor manager 는 클라우드 서비스와 연동돼 이전에 씬(scene)에 위치시킨 anchor 정보를 불러오거나 현재 설정한 anchor를 업로드할 수 있 다[23]. 그러나 본 앱에서는 ‘AR 지우기’ 버튼을 눌러 AR 기능을 끄고 다시 카메라 인식화면으로 돌아오면 기존에 모래성 모델이 생성되었던 위치를 나타내는 anchor들이 제거된다.

더 어려운 난이도의 모래성 쌓기에 대한 의향을 물어봤을 때 사 진을 선택한한 아이의 답변이인상적이었는데 앱이 아닌 사진을 선택한 이유가 ‘스스로 사진을 보면서 할 수 있어서’였다. 비록 앱 의 목적이 가이드를 제시해주는 것이지만 내재적 동기의 요인 중 하나인 ‘자율성’에 대한 고려도 필요하다는 생각이 들었다. 모래 블록을 쌓는 동시에 모바일 디바이스를 들고 쌓은 블록을 인식 시키는 것은 아이 혼자 수행하기 어려운 작업이어서 보호자의 동 반이 필수적이다. 그런데 이것이 오히려 유아의 자율성을 제한해 재미를 반감시킬 수 있다는 것을 확인하였다. 또한, 후면 카메라 로 아이가 쌓은 모래성을인식하다 보니 아이가 매번 모바일 기기 뒤로 블록을 위치시켜야 하는 불편함이 있었다. 이러한 기기 조 작의 불편함이 아이들에게 어려움과 재미 반감의 요소로 다가갈 수 있음을 확인했다. 향후 SandUp 앱을 전면 카메라를 활용하여 블록을 바로 앞에서 쌓거나, Magic Leap나 Microsoft HoloLens 와 같은 Head-Mounted Device형태의 AR glasses를 활용하여 손 발을 자유롭게 움직일 수 있도록 개선한다면 사용성 측면에 있어 서 아이들의 더 좋은 반응을 얻을 수 있을 것으로 기대한다. AR glasses를 활용해 아이들에게 몰입감 있고 만족스러운 경험을 제 공하기 위해서는 추가로 가상환경과의 상호작용, 이를 지원하는 입력 장비, 손쉬운 인터페이스에 대한 연구도 이루어져야 할 것이 다. 더 나아가 AR glasses의 시각적인 증강뿐만 아니라 상호작용 과정에서 햅틱 피드백도 제공한다면 아이들에게 좀더 재미있고 집중할 수 있는 물리적 놀이 가이드 환경을 제공해줄 수 있을 것 이다 [35].

딥러닝 기반의 모래성 인식에도 한계점이 있었다. 본 연구에 서는 실험실 환경에서 모래성 이미지들을 촬영하고 이를 이용해 모래성 인식 딥러닝 모델을 학습시켰는데, 모래성 놀이를 하는 야 외 환경이 학습 환경과 많이 달라 세부 단계 완료 인식이 바로 안 되는 경우가 종종 있었다. 피드백이 즉각적으로 주어지지 않자 아이들은 바로 흥미를 잃는 모습을 보였다. 성인들을 대상으로 진행한 사용성 평가에서는 블록을 카메라 뒤에 쌓는 것에 대한 불편함이나 인식이 가끔 잘 안 될 수도 있다는 것에 대해 감안 하는 반면 아이들은이런 부분에서 즉각적으로 관심이 떨어지고 어려움을 느끼는 것을 관찰할 수 있었다.

SandUp 앱이 사용될 실제 환경은 놀이터, 해변과같은 다양한 조명, 배경의 환경이다. 따라서 아이들의 놀이에 활용되기 위해 서는 인식률이 우선적으로 해결되어야 할 문제임을 알 수 있었 다. 이는 딥러닝 모델 구조의 개선 또는다양한 환경에서 학습 데 이터를 수집하여 극복이 가능할 것으로 기대되며 향후 연구에서 진행할 예정이다. 또한, 인식 동작 흐름 측면에서 개선할 부분이 있는데, 현재는 앱이 단계별로 학습시킨 모래성 모양 단위로 인 식하여앞으로 남은 블록 개수를 표시할 때에도 단계별로 완성할 때 모래 블록 개수를 한꺼번에 차감해서 보여준다. 여기서 더 정 교하게 아이가 블록을 하나씩 쌓아 올릴 때마다 개별 모래 블록 단위로 인식을 하게 만든다면 인식의 측면에서 더 자연스럽고 좋 은 구현이 될 것이다.

실험을 진행하는 동안 옆에서 지켜보며 피드백을 주신 부모 님들도 있었다. 바로 피드백이 주어지지 않아 재미가 반감되는 것 같다는 의견, 제시된 블록의 난이도가 높지는 않지만 아이들 스스로 하기엔 조작이 어려워 보호자가 있어야 할 것 같다는 의 견, 대상 나이를 높여서 초등학생 아이들의 공간지각능력 향상을 도울 수 있는 숨겨진 쌓기 나무 교육 앱으로 발전되면 좋겠다는 의견 등이있었다. 또한, 따라 해야 할 모래성 모형 이미지가 왼쪽 하단에 나타나는데 너무 작다는 의견도 있었다. 실제로 블록 선 택을 하는데 이것 때문에어려워하고 망설이는 아이들도 있었다. 반면, 모바일이 친숙한 아이들에게 전통적인 오프라인 놀이를 새 롭게 즐길 수 있는 환경을 제공한다는 점에서 앱의 가치를 높게 평가한학부모도 있었다.

유아를 대상으로 진행한 실험에서 현재 구현된 SandUp 앱 프 로토타입의 큰 효과성을 입증해주지는 못 했지만, 앱의 향후 발 전 가능성 및 연구 방향에 대해 확인할 수 있었다. 앱보다 사진을 보고 모래성을 쌓는 것이 더 재밌다는 아이들도 있었지만, 앱의 흥미도에 대해서 질문해본 결과 아이들에게서도 긍정적인 반응 을 확인할 수 있었다. 또한, 모래성을 쌓기 전 사전 질문에 대한 답변에서도 알 수 있듯이 아이들의 모바일 기기의 활용에 대한 선호도가 높다는 사실을 알 수 있다. SandUp 앱의 인식률을 개 선하고 사용성에 있어서 불편한 요소들을 제거한다면 아이들이 이전에 경험했던 어려움을 해소하여 놀이의 재미를 더욱 향상시 킬 수 있을 것으로 기대된다.

마지막으로 본 연구에서는 SandUp 앱이 제공하는 재미와 가 이드의 사용성에 초점을 맞춰서성인 및 유아를 대상으로 실험을 진행했는데, 앱의 교육적 효과도 확인해볼 필요가 있다. 앱이 단 계별로 추가되는 모래 블록들을 그때그때 보여주기 때문에 당장 문제를 해결하는데는 도움이 될 수 있지만 아이들의 생각하는 힘 을 기르는데는 방해가 될 수 있다. 따라서 SandUp 앱의재미 요소 뿐만 아니라 아이가 앱을 보면서 쌓을 때의 교육적 효과도 검증 할 필요가 있다. 향후 연구에서 사진만 보고 모래성을 쌓는 것과 SandUp 앱의 도움을 받아 쌓는 것 중 어떤 방법이 교육적 효과 가 더 높은지 성취도를 측정해보고 이를 분석함으로써 재미뿐만 아니라 교육적 효과를 향상시키는 디자인 및 기능을 도출할 수 있을 것으로 기대된다.