1. 서론
스마트폰이 널리 보급되고 모바일 기기의 그래픽스 처리 성능이 발전함에 따라 교육, 놀이, 쇼핑 등을위한 다양한 모바일 애플리 케이션이 개발되고 있다 [1]. 미취학 어린이들의 경우 학습하고 놀이를 하는 데 있어서 모바일 기기를 활용하는 것이 자연스러 운 모바일 네이티브 세대이다. 따라서 미취학 어린이들의 올바른 모바일 기기의 사용 및 효과적인 학습과 놀이를 위한 모바일 애 플리케이션 디자인에 대한 관심이 증가하고 있으며 다양한 선행 연구들이 진행되고 있다 [2, 3, 4, 5, 6].
모바일 기기의 성능 향상과 함께 최근 인공지능과 증강현실 기 술은 급격한 발전을 하며 모바일 기기에서 활용이 커지고 있다 [7]. 인공지능 분야는 빅데이터를 기반으로 심층 신경망 구조를 활용하여 이미지 인식, 자연어 처리, 그래픽스 등의 분야에서 기 존 알고리즘을 뛰어넘는 성능을 보여주고 있으며, 신경망 경량화 기술을 통해 모바일 기기에서도 학습된 신경망 모델의 동작이 가 능하다[8]. 증강현실 기술은 GPS(Global Positioning System) 또 는 컴퓨터 비전 기술을 기반으로 현실 세계 이미지에 가상 이미 지를 자연스럽게 추가하여 실시간 상호작용 및 콘텐츠 체험을 가 능하게 하는 기술을 의미한다[9]. 컴퓨터 비전과 함께 모바일 기 기에 탑재된 센서(예: 기울기 센서, 가속도 센서, 깊이 카메라 등) 를 동시에 활용하여 모바일 애플리케이션에서 바닥, 기기의 3차 원 자세 정보를 실시간으로 계산하여 증강현실 콘텐츠의 구현이 가능하다. Google의 ARCore과 Apple의 ARKit은 모바일에서 대 표적으로 활용되는 증강현실 소프트웨어 개발 도구이다 [10, 11]. 교육, 뷰티, 카메라 관련 모바일 애플리케이션들이 인공지능과 증강현실 기술을 활용하며 개인 맞춤형, 지능형, 실감형 기능 및 서비스를 제공하고 있다. 또한, 최근엔 유아 놀이용 애플리케이 션에서도 재미와 몰입을 향상시키기 위해 인공지능 및 증강현실 기술을 활용하고 있다[12].
모래는 아이들이 가장 좋아하는 놀이대상 중에 하나이다. 아이 들은 친구들과 모래를만지고 모래의 형태를 바꾸며 역할극을 하 거나 틀을이용해 뭉쳐서 모래성을 쌓으며 논다. 호기심이 왕성한 성장기 아이들에게 모래를 가지고 노는 물리적 활동은 아이들의 감각을자극한다. 디지털 기기가 만연한 요즘 환경에서 자연 친화 적이고 다양한 응용이 가능한 모래놀이는 아이들의 두뇌계발에 도움을 주는 것으로 알려졌다. 최근 연구에서는 모래 놀이가 창의 력 증진뿐만 아니라 유능성, 친사회성, 만족지연능력을 향상시킬 수 있다고 밝혔다 [13]. 또한, 주의력결핍 과잉행동장애를 치료하 기 위한 목적으로도 모래놀이를 활용하기도 한다 [14]. 물리적인 활동으로서 모래 놀이 효과가 검증됨에 따라 실내 모래놀이터와 같은 상업 시설도 인기를 얻고 있다.
본 논문에서는 인공지능과 증강현실 기술을 활용해 아이들의 모래성 쌓기 놀이를 안내하는 모바일 애플리케이션(앱), SandUp 을 소개한다. SandUp 앱은 게임처럼 난이도별로 만들어야 할 모 래성의 모양을 제시하고, 아이는 모래성틀 도구를 활용해 모래 를 뭉쳐서 제시된 모래성을 완성한다. 모래성 놀이를 진행할 때, SandUp 앱은 AI와 AR 기술을 활용해 아이에게 정보와 가이드를 제공하며 상호작용하게 된다. 아이는 앱을 통해 모바일 AR 기술 을 활용해 제시된 목표 모래성을 현실 세계에 증강하여 살펴볼 수 있다. 또한, SandUp은 모래성의 완성을 돕기 위해 단계적으 로 필요한 모래 모양과 Task를 알려주고, 모바일 폰의 카메라를 이용해 아이가 Task를 완료하였는지를 딥러닝 인식모델을 이용 해 실시간으로 판단한다. 아이가 해당단계를 완료하면 시각적인 효과와 음성 메시지를 통해 다음 단계를 이어가도록 동기부여 를 하며 각 단계에 맞는 User Interface(UI)를 제공한다. SandUp 앱의 프로토타입 개발을위해 본 연구에서는 Cross Plaform 모바 일 애플리케이션 개발 프레임워크인 Flutter[15]를 이용하였으며, 딥러닝 인식모델은 TensorFlow Lite를, AR 시각화는 AR Flutter 플러그인을 사용하여 구현하였다. 우리는 제안하는 SandUp 앱의 효과를 검증하기 위해 성인과 4~7세 아이들을 대상으로 사용자 실험을 수행하였으며 그 결과를 분석하여앱의 발전 가능성과 향 후 연구 방향을 도출하였다.
본 논문의 구체적인 기여점은 다음과같다.
2. 관련 연구
본 장에서는 아이들의 교육과 놀이를 위한 애플리케이션 연구들 을 소개한다. Skiada와 그의 동료들[2]은 아이들의 난독증을 극복 하도록 돕기 위한 모바일 애플리케이션 EasyLexia를 게임 형태로 디자인하고 구현하여 사전 실험을 진행했다. Aburukba와 그의 동 료들[5]은자폐증 아이들의 관찰과 치료를 위한 모바일 애플리케 이션을 제안했다. 실제 자폐증 센터에서 실험을 통해 긍정적인 치 료에 기여할 수 있다는 것을 보여주었다. Cieza와 Lujan[3]은 4살 이상 어린이들의 모음과 숫자 사용법의이해를 돕기 위해 모바일 애플리케이션과 증강현실 기술을 활용하였다. 그들은 물리적인 마커 위에 가상의 이미지를 증강 시키고 해당하는 소리를 아이 들이 들을 수 있도록 개발하였는데 이를 통해 아이들의 모음과 숫자 활용이 증가했다는 결과를 보고했다. Hassan과 그의 동료들 은 [16] 어린이들의 교육을 위한 증강현실 기반 게임을 제안했다. 아이들이 장소와 이름을 더 쉽게 기억하기 위해 놀이매트 위에 서 모바일 기기와 상호작용을 하며 게임을 진행하게 된다. 실험 을 통해 AR 게임이 유치원들에게 긍정적인 효과가 있다는 것을 보여주었다. 해부학 교육을 위해 모바일 증강현실을 사용한 연구 도 있었다[17]. 인체 장기 이미지를 모바일 카메라로 촬영하면 3 차원 모델이 디스플레이에 표시된다. 학생들은 3차원 모델을 돌 려보며 더 탐구하는 것이 가능하며 더 긴 시간 동안 학습효과가 유지되었다.
본 연구와 유사하게 모래 놀이와 증강현실을 접목시킨 연구도 있었다. Kundu와 그의 동료들은 [18] 지구과학 교육을 위해 모래 놀이 상자위에 프로젝터를 이용해 이미지를 증강하여 교육적인 정보를 제공하고, 아이들이 모래를 조작하면 변화된 모래 형태로 부터 실시간 시뮬레이션 기술을 통해 물이 범람하는 것과 같은 과학적정보를 습득하게 된다. Do와 Lee[19]는 본 논문에서 제안 하는 SandUp과 유사하게 최종 모양을 제작하는 놀이를 위한 증 강현실 애플리케이션을 제안한다. 본 연구는 물리적인 모래를 이 용해 실제 3차원 물체를 제작하는 것을 돕는 것에 집중하는 반면, AR 마커를 이용해 애플리케이션 화면에서 주어진 3차원 모델을 동일하게 제작하는 툴을 제공한다. 레고와 같은 블록 놀이에서 본 연구와 유사하게 가이드를 해주는 연구도 존재한다[20]. Yan은 현재 제작 중인 레고 모형 위에 증강현실 기술을 이용해 가상의 최종 레고 모델을 시각화함으로써 물리적인 놀이를 가이드한다. 안정적이고 정확한 가상 모델 정합을 위해 마커를 활용하였다. 증강현실을 이용해 물리적인 놀이를 가이드한다는 측면에서 유 사하지만, 본 연구는 인공지능을 활용해 현재 놀이의 상태를 실 시간으로 인식하여 단계적인 가이드라인을 제공한다는 점에서 차별성이있다.
3. SandUp 애플리케이션설계
SandUp 애플리케이션(앱)은 게임과 같이 여러 난이도의 모래성 목표를 아이에게 제시하고, 아이는 원하는 난이도의 모래성을 선 택한다. 아이가 점진적으로 모래성을 완성할 수 있도록 SandUp 은 단계별로 필요한 모래 블록들과 배치를 보여준다. 그 후, 아이 는 미리 준비된 모래틀(Figure 5)을이용해필요한 모래 블록을 만 들고 배치하며 각 단계의 목표를 달성한다. 이 과정에서 SandUp 은 각 단계를 완료하였는지 카메라와 딥러닝으로 인식해 자동으 로 상황에 맞게 시각적, 청각적 피드백을 제공한다. 또한, 모바일 AR 기능을 이용해 제시된 목표 모래성을 현실 세계에 증강하여 살펴볼 수 있다. 아이가 해당 단계의 모래 블록을 완성할 때마다 시각적인 폭죽 효과와 ‘어떤 성이 나올지 기대되는 걸요.’와 같은 음성 피드백을 제공해준다. 앱의 피드백과 가이드에 따라 모든 단계를 완료하면 아이는 목표로 하는 모래성을 완성할 수 있다.
SandUp 앱의 전체적인 시스템 구성 및 동작 흐름은 Figure 1과 같다. Figure 2는 앱의 주요 화면을 스크린 캡쳐한 이미지들이다. 앱은 크게 ‘앱 시작화면’, ‘난이도 선택 화면’, ‘모래성 쌓기 화면’, ‘모래성 완성화면’ 총 네 가지 화면으로 구성되어 있다. 사용자가 앱을 실행하면 ‘앱 시작화면’이 표시된다. ‘START’ 버튼을 누르 면 ‘난이도 선택 화면’으로 전환되어 선택 가능한 최종 모래성 들의 모습이 난이도와 함께 목록 형태로 나타난다. 본 연구에서 는 프로토타입 구현을 위해 총 세 가지 형태의 목표 모래성 형태 를 제작하여 앱에 추가하였다. 목록에서 사용자가 원하는 모래성 선택하면 쌓아야 할 모래성 모형이 3D 모델로 제시되어 모형을 다양한 각도로 돌려보고 크기를 조절하여 미리 살펴볼 수 있다. 또한해당 난이도의 모래성을 완성하는데 필요한 구성 블록들이 우측 상단에 표시된다.‘만들어 볼까요?’ 버튼을 누르면 ‘모래성 쌓기 화면’으로 전환되며 실제 모래성 놀이를 진행하게 된다. 모 래성을 쌓는 과정은 세부 단계(3~5단계)로 나누어 사용자에게 단계별 필요 부분을 제시하고 사용자는 이를 따라 놀이를 진행하 게 된다. 사용자에게 놀이 과정에서 모래성을 완성할 수 있도록 가이드를 하기 위해 모바일 카메라를 활용해 현재 진행 상황을 자동으로 인식하고 UI(User Interface)를 통해 피드백 및 가이드 라인을 제공하게 된다. 딥러닝을 이용한 카메라 인식 방법은 4 절에서 자세히 설명한다. UI 구성 및 가이드라인에 대한 설명은 다음장에서설명한다. 모든 단계를 끝까지 따라가 최종 모래성을 완성하고 이를 카메라로 인식하면 ‘모래성 완성 화면으로 전환되 어 ‘정말 멋진 모래성이네요’의음성 피드백이 주어지고, 귀여운 캐릭터와 함께 멋진 성이 쌓아 올려지는 애니메이션이 나타나며 놀이가 종료된다.
실제로 모래성을 쌓는 놀이를 진행하는 ‘모래성 쌓기 화면’에서 SandUp은 다양한 UI를 통해 진행 과정 및 현재 단계에 대한 가이 드라인을 주게 된다. 딥러닝 기술을 활용해 현재 모래성의 진행 정도를 인식하고 세부 단계를 완수하였는지 사용자에게 알려준 다. 화면의 상단에 있는 Progress Bar는 전체 단계에서 현재 얼마 나 진척되었는지를 보여주며 사용자가 모래성을 완성해가는 과 정을 시각적으로 확인할 수 있게 도와준다. 화면의 왼쪽 하단에는 사용자의 진행 상황에 맞게 아이가 지금까지 쌓은 모래성 모양과 다음에 쌓아야 할 블록들을 추가해서 같이 보여주는 2D 이미지 UI가 제공된다. 다음에 쌓아야 할 블록들은 애니메이션 효과로 강조되어 표시된다. 추가적으로 해당 UI를 탭 하면 앞으로 블록 을 몇 개나 더 쌓아야 하는지 남은 블록 개수를 각 모양별로 알 려준다. 오른쪽 하단에는 AR 보기 기능이 있어 원하는 곳에 AR 모래성을 위치시켜 최종 만들어야 될 모래성 모양을 입체적으 로 확인해볼 수 있다. 처음 ‘모래성 쌓기 화면’이 동작할 때 이런 UI에 대한 튜토리얼이 제시되어 사용자가 앱에 쉽게 적응할 수 있도록 하였다. 각 단계마다 사용자가 쌓은 모래성 모양을 후면 카메라로 인식해서 해당단계의 모양과 일치하면 시각적, 청각적 피드백과 함께 다음 단계로 넘어가게 된다. 단계가 진행됨에 따 라 Progress Bar와 화면 UI들도 업데이트된다. 자세한 UI 구성과 가이드라인, 피드백의 실제 구현 모습은 Figure 2에서 확인할 수 있다.
4. SandUp 애플리케이션 구현
본 연구에서는 안드로이드와 iOS 스마트폰 모두 지원하기 위해 Cross Platform 모바일 애플리케이션 프레임워크인 Flutter를 기 반으로 SandUp 앱 프로토타입을 구현하였다. SandUp의 핵심 기 능은 딥러닝을이용한 모래성 인식, AR을 활용한 모래성 시각화 두 가지로 구성되어 있다. 다음장에서 각 기술 구현 방법에 대해 설명한다.
사용자가 진행 중인 모래성 인식을 위한 심층 신경망 모델은 모 바일에서 실행할 수 있는 TensorFlow Lite 딥러닝 프레임워크를 사용하여 구현하였으며 TensorFlow Lite Model Maker에서 제 공하는 Image Classification 모델을 사용하였다. 본 논문에서는 EfficientNet-Lite0 클래스를 사용하여 모래성 이미지를 학습하 고 실시간으로 정확도를 예측하는 모델을 만들었다. EfficientNet 은 구글에서 2019년에 발표한 신경망 구조로 이미지 분류에서 기존보다 훨씬 적은 파라미터 수로 Convolutional Neural Networks(ConvNets)의 성능을 올려 State-Of-The-Art(SOTA)를 달성 한 모델이다.
기존 연구들은 ConvNet의 성능을 올리기 위해 1) 모델 신경 망의 레이어의 개수를 늘리거나, 2) 채널의 개수를 늘리거나, 3) 입력 이미지의 해상도를 올리는, Scale-up 방법을 사용했는데 이 세 가지를 수동으로 조절하는 것은 시간이 오래 걸리고 최적의 성 능과 효율을 얻지 못할 수도 있다. 반면, EfficientNet은이 세 가지 요인 간 일정한 관계가 있다는 것을 실험적으로 밝혀 AutoML을 통해 세 가지 방법에 대한 최적의 조합을 찾았다[8]. Figure 3은 세 가지를 효율적으로 조절할 수 있는 Compound Scaling을 보여주 는데 이 방법으로 기존보다 훨씬 적은 파라미터 수로 더욱 좋은 성능을 낼 수 있는 것이다.
EfficientNet은 Depthwise Separable Convolution과 Squeeze-and-excitation(SE) 최적화를 적용한 mobile inverted bottleneck convolution(MBConv) 블록을 주된 구성요소로 사용한다 [8, 21, 22]. Figure 4에서는 EfficientNet의 기준 모델이라고 할 수 있는 EfficientNet B0와 해당 모델의 구성 요소인 MBConv1 블록의 구조를 보여준다. Depthwise Separable Convolution은 Depthwise Convolution과 Pointwise Convolution을 결합한 개념이다. Depth-wise Convolution은 모든 채널에 한 번에 컨볼루션 연산을 적용하 는 것 대신 이미지 혹은 피쳐맵을 채널별로 쪼개서 컨볼루션 연 산을 적용하여 입력의 특징(feature)을 일반 Conv보다 적은 양의 파라미터로 캡처한다. Pointwise Conv는 필터의 크기가 1로 고정 되어 있는 1-D Convolution으로 여러 개의 채널을 하나의 새로운 채널로 합쳐 차원을 감소시킨다. MBConv 블록은 먼저 input에 1x1 Pointwise Convolution(Expansion layer)을 적용하여 채널 수 를 확장하고 Depthwise convolution을 수행한 뒤, Linear Convolution(Projection layer)을 통해 다시 원래 입력의 차원으로 channel 개수를 줄이는 inverted residual block 구조로 되어있다[21]. MBConv의 Squeeze-and-excitation 단계에서는 각 채널의 중요한 feature만 추출하고 이렇게 압축된 feature를 다시 증폭시켜 channel 사이의 feature들에 대한 중요도를 재조정한다[22].
본 논문에서는 난이도별로 EfficientNet-Lite0 기반의인식모델 을 따로 둬서 난이도를 선택하면 해당 모델이 탑재되게 만들었다. 인식모델의 입력으로는 224x224 RGB 이미지가 들어가고 출력 으로는 해당 난이도의 몇 번째 단계인지를 분류해준다. 인식은 블록별로 하는 것이 아니라 단계별 모래성 모양으로 하게 하였 다. 인식모델 학습을 위해서 실험 장소와 유사한 환경을 연구실 에 구성하고, 난이도의 단계별로 목표 모래성을 다양한 각도에서 약 3,000~5,000장의 사진을 촬영하여 학습 데이터를 구성하였 다. 인식의 정확도를 높이기 위해 흰색, 노란색, 초록색의 종이를 사용해 뒷배경색에 변화를 주었고 조명의 강도도 조절하며 학습 데이터를 제작하였다. 실제 앱이 실행될 때는 기기의 카메라 이미 지를 실시간으로 해상도를 224x224 크기로 리사이즈하고 사전에 학습된 모델에 입력하여 단계를 인식하게 된다.
AR 기술은 Cross Platform을 지원하는 Flutter내 AR 플러그인으 로 구현했다. AR Flutter plugin은 안드로이드에서는 ARCore를, iOS에서는 ARKit를 지원하며 두 프레임워크를 Dart로 작성된 추 상 레이어아래 통합시켰다 [23]. ‘모래성 쌓기 화면’에서 오른쪽 하단의 ‘AR로 보기’ 버튼을 누르면 ARSessionManager가 생성되 어 모래성 모델을위치시킬 바닥을인식하기 위해 평면을 추적하 게 된다. 또한, 사용자의 터치와 같은 제스처 이벤트를 감지한다. 사용자가 바닥을 터치하면 그 위치에 ARAnchor가 추가되고 anchor가 생성된 위치에 해당 난이도의 모래성 모델을 ARNode로 추가할 수 있게 된다. ARAnchor와 ARNode는 각각 ARAnchor-Manager와 ARObjectManager에 의해 관리된다. Anchor manager 는 클라우드 서비스와 연동돼 이전에 씬(scene)에 위치시킨 anchor 정보를 불러오거나 현재 설정한 anchor를 업로드할 수 있 다[23]. 그러나 본 앱에서는 ‘AR 지우기’ 버튼을 눌러 AR 기능을 끄고 다시 카메라 인식화면으로 돌아오면 기존에 모래성 모델이 생성되었던 위치를 나타내는 anchor들이 제거된다.
5. 사용자 실험
본 논문에서 제안하는 SandUp 앱의 평가를 위해 사용자를 모집 하고, 실제 앱을 사용하게 해본 뒤 설문지 및 인터뷰, 관찰을 통해 평가 및 분석을 진행하였다. 사용자 실험은 크게 성인과 유아 두 개의 그룹으로 나누어 진행되었다. SandUp 앱이 대상으로 하는 유아의 놀이는 일반적으로 어른들의 지도하에 이루어지기 때문 에 성인 그룹을 실험에 포함시켰다. 성인 그룹의 경우 사용성 평 가를 위해 설문을 진행하였고, 유아 그룹의 경우 4~7세 아이들의 특성상 관찰과 간단한 질문을 통해 정성적 실험을 진행하였다. 또한, 유아 그룹 실험에서 동반한 부모님으로부터 추가적인 피드 백을 수집하였다.
SandUp 앱의 사용성 및 사용 경험을 평가하기 위해 Self-Determination Theory(SDT)에 기반해 고안된 Player Experience of Need Satisfaction Questionnaire(PENS) scale [24, 25, 26, 27] 을 활용해 설문지를 만들었다. SDT는 게임에서 내재적 동기 연구를 할 때 많이 사용되는 이론 중 하나로 내재적 동기는 그 자체가 흥미롭거나 재미있어서 하게 되는 것으로 정의된다 [24, 25, 28, 29]. SDT에서 내재적 동기는 유능감(competence), 자율성(autonomy), 관계성(relatedness)의 요소와 관련이 있다 [24, 25, 30, 29, 31]. 유능감(competence)은 스스로 영향력을 행사 하고 있다고 느끼는 정도로 도전과제의 난이도가 자신의 능력 수 준에 맞을 때 더 높은 유능감을 지각하게 된다. 피드백의 형태나 빈도도 이 요소에 영향을 준다. 사용자는 직접적이고 긍정적인 피 드백을 받을 때 더 높은유능감을 경험한다. 자율성(autonomy)은 타인에 의해서가 아니라 스스로 결정하고 행동하고 있다는 느낌 이다. 관계성(relatedness)은 타인과 사회적으로 연결되어 있다는 유대감이다 [24, 32]. 이 연구에서는 SandUp 앱이유능감(competence)에 미치는 영향만을 고려했다. 유아를 가이드해주는 앱의 특성상사용자에게 선택권을 제공하기 위해 만들어진 것이 아니 며 부모의 지도하에아이 혼자 진행하는 구조로 설계되어 자율성 과 관계성의 정도를 측정하는 것은 불필요하기 때문이다. 추가로 Intrinsic Motivation Inventory (IMI) 측정도구도 참고하여 내재적 동기와 직접적인 연관이 있는 흥미도를 평가항목에 추가하였다 [24, 33].
유능감에 대한 설문 문항은 Rigby와 Ryan의 연구[34]를 기반 하여 설계하였다. “미션 난이도가 아이들의 수준에 적합하다고 생각한다.”, “각 상황별 피드백이 명료하다.”, “피드백이 적절한 상황에서 즉각적으로 주어진다.”, “앱을 플레이하는데 진행에 방 해되는 요소가 있다” 총 네 개의 문항으로 구성했다. 흥미도에 대한 설문 문항은 한 가지로 “아이들의 흥미를 유발할 것이라고 생각한다.”로 설정했다. 본 연구에서는 1이 ‘매우 그렇지 않다’를 나타내고 5가 ‘매우 그렇다’를 나타내는 양극성 5점 리커트 척도 (Likert scale)를 사용했다.
총 50명(남성 17명, 여성 33명)의 20~50대(평균 연령 21.4, 표준 편차 4.903) 성인들이 앱의 사용성 평가 설문조사에 참여했다. 약 2분간 앱의 핵심기능 및 사용에 대한 설명이 있었고 참가자들은 원하는 난이도를 선택하여 약 10분 동안 앱을 직접 테스트해보 는 시간을 가졌다. 앱의 가이드에 따라 모래 블록 쌓기를 완료한 뒤 참가자들은 앱에 대한 사용성 평가 설문지를 작성했다. 50명 중 34명이 AR 앱에 대한 사전 경험이 있다고 답했다. 모든 실험 참여자는 Figure 5와 같이 동일한 장소에서 실험을 진행하였다.
실제 앱의 효과성을 알아보기 위해 유아를 대상으로도 실험을 진행했다. 4~7세 유아들을 놀이터 및 공원에서 모집하여 총 20 명의 아이가 연구자의 지도 아래 실험에 참여하였다. 모든 아이 가 자신의의지로 실험에 참여하였으며 부모님의 동의가 있었다. 실험에 참여한 아이에게 모래 블록을 가지고 모래성을 쌓을 것 이라고 얘기해줬다. 그리고 나서 미리 준비한 사진과 SandUp 앱 모두를 아이에게 보여주며 모래 블록 쌓기 놀이를 할 것인데 어 느 것으로 진행하고 싶은지 물어봤다. 모바일로 플레이하는 것에 대한 아이들의 선호도와 호기심 정도를 파악하려고 했다. 그 뒤 실험에 참여한 아이들은 두 번의 모래성 쌓기를 진행했다. 처음에 는 제시된 모래성 사진을 보고 쌓았으며 두 번째는 SandUp 앱의 가이드를 따라 모래성을 쌓았다. 20명 중 10명은 사진으로 난이 도 레벨1 모래성 쌓기를 진행하고 뒤이어앱으로는 난이도 레벨2 모래성을 쌓았다. 나머지 10명은 사진으로 난이도 레벨2 모래성 을, 뒤이어 앱으로는 난이도 레벨1 모래성을 쌓았다. 모래성 쌓 기를 두 번 연속으로 진행한 뒤, 아이에게 앱의 재미와 난이도에 대해 질문을 했다. 각각 3점 척도를 제시했다. 더 나아가 다음에 더 어려운 난이도의 모래성이 준비돼 있는데 사진과 SandUp 앱 중 어느 것으로 모래성을 쌓고 싶은지 질문했다. 선택한 이유에 대해서도 답을 듣는 시간을 가졌다. 아이들이 실험 중에 보이는 행동이나 특이사항을 기록하기도 했다.
6. 결과
Figure 6는 성인들을 대상으로 진행한 설문 조사 결과를 보여준 다. 결과는 전반적으로 모든 설문 문항에 대해서 평균 3점 이상 의 긍정적인 응답을 했다는 것을 보여준다. 즉, 유능감과 흥미도 에 있어 SandUp이 효과가 있다는 것을 보여준다. 본 실험에서는 네 개의 문항을 통해 유능감을 평가하였다. 따라서, 응답자들이 네 개의 문항에 대해 얼마나 일관성 있게 응답하였는지 내적 일 관성(internal consistency)을 측정하여 답변의 신뢰도를 확인하였 다. 유능감을 구성하는 네 개의 문항에 대한 크론바흐 알파계수 (Cronbach’s alpha)는 0.676으로 높진 않지만 수용 가능한 내적 일 관성 신뢰도가 나왔다. 단일 문항으로 측정된 흥미도에 대해서는 내적 일관성을 측정하지 않았으며, 50명 중 ‘매우 그렇다’고 답한 참가자가 39명,‘그렇다’고 답한 참가자가 11명으로 앱이유아들 의 흥미를 유발할 것이라는 긍정적인 반응이 다수였다. 5 개의 문항 중 흥미도가 가장 높은 평균 점수를 기록하였다. 이는 성인 들의 관점에서 SandUp이 아이들에게 흥미를 유발하리라는 것을 크게 동의한다고 해석할 수 있다.
실제로 4~7세 유아를 대상으로 실험을 진행해보니 앱의 효과성 이 성인 대상 설문 조사의 결과만큼 크지 않았다. 모래성을 쌓기 전 사진과 SandUp 앱 중 어느 것으로 진행하고 싶은지를 확인하 는 질문에 20명 중 13명이 앱을 선택했다. 모바일 기기를 사용해 서 플레이하는 것에 대한 아이들의 호기심과 선호도가 높다는 것 을 알 수 있다. 그러나 두 번의 모래성 쌓기가 끝난 뒤 다음 모래성 을 어느 방법으로 쌓을지를 묻는 질문에는 SandUp 앱을 선택한 아이가 20명 중 7명으로 줄었다. 모래성을 SandUp 앱의 가이드를 받아 쌓은 뒤 재미있었는지의 질문에 ‘재미없다.’고 답한 아이는 20명 중 1명, ‘재밌다.’고 답한 아이는 15명, ‘매우 재밌다.’고 답 한 아이는 4명이었다. 어려웠는지의 질문에 대해서는 ‘쉽다.’고 답한 아이가 5명, ‘조금 어렵다.’고 답한 아이가 12명, ‘어렵다.’ 고 답한 아이가 3명이었다. 자세한 정성적 분석 결과는 ’논의 및 제언’절에서 함께 설명한다.
더 어려운 난이도의 모래성 쌓기에 대한 의향을 물어봤을 때 사 진을 선택한한 아이의 답변이인상적이었는데 앱이 아닌 사진을 선택한 이유가 ‘스스로 사진을 보면서 할 수 있어서’였다. 비록 앱 의 목적이 가이드를 제시해주는 것이지만 내재적 동기의 요인 중 하나인 ‘자율성’에 대한 고려도 필요하다는 생각이 들었다. 모래 블록을 쌓는 동시에 모바일 디바이스를 들고 쌓은 블록을 인식 시키는 것은 아이 혼자 수행하기 어려운 작업이어서 보호자의 동 반이 필수적이다. 그런데 이것이 오히려 유아의 자율성을 제한해 재미를 반감시킬 수 있다는 것을 확인하였다. 또한, 후면 카메라 로 아이가 쌓은 모래성을인식하다 보니 아이가 매번 모바일 기기 뒤로 블록을 위치시켜야 하는 불편함이 있었다. 이러한 기기 조 작의 불편함이 아이들에게 어려움과 재미 반감의 요소로 다가갈 수 있음을 확인했다. 향후 SandUp 앱을 전면 카메라를 활용하여 블록을 바로 앞에서 쌓거나, Magic Leap나 Microsoft HoloLens 와 같은 Head-Mounted Device형태의 AR glasses를 활용하여 손 발을 자유롭게 움직일 수 있도록 개선한다면 사용성 측면에 있어 서 아이들의 더 좋은 반응을 얻을 수 있을 것으로 기대한다. AR glasses를 활용해 아이들에게 몰입감 있고 만족스러운 경험을 제 공하기 위해서는 추가로 가상환경과의 상호작용, 이를 지원하는 입력 장비, 손쉬운 인터페이스에 대한 연구도 이루어져야 할 것이 다. 더 나아가 AR glasses의 시각적인 증강뿐만 아니라 상호작용 과정에서 햅틱 피드백도 제공한다면 아이들에게 좀더 재미있고 집중할 수 있는 물리적 놀이 가이드 환경을 제공해줄 수 있을 것 이다 [35].
딥러닝 기반의 모래성 인식에도 한계점이 있었다. 본 연구에 서는 실험실 환경에서 모래성 이미지들을 촬영하고 이를 이용해 모래성 인식 딥러닝 모델을 학습시켰는데, 모래성 놀이를 하는 야 외 환경이 학습 환경과 많이 달라 세부 단계 완료 인식이 바로 안 되는 경우가 종종 있었다. 피드백이 즉각적으로 주어지지 않자 아이들은 바로 흥미를 잃는 모습을 보였다. 성인들을 대상으로 진행한 사용성 평가에서는 블록을 카메라 뒤에 쌓는 것에 대한 불편함이나 인식이 가끔 잘 안 될 수도 있다는 것에 대해 감안 하는 반면 아이들은이런 부분에서 즉각적으로 관심이 떨어지고 어려움을 느끼는 것을 관찰할 수 있었다.
SandUp 앱이 사용될 실제 환경은 놀이터, 해변과같은 다양한 조명, 배경의 환경이다. 따라서 아이들의 놀이에 활용되기 위해 서는 인식률이 우선적으로 해결되어야 할 문제임을 알 수 있었 다. 이는 딥러닝 모델 구조의 개선 또는다양한 환경에서 학습 데 이터를 수집하여 극복이 가능할 것으로 기대되며 향후 연구에서 진행할 예정이다. 또한, 인식 동작 흐름 측면에서 개선할 부분이 있는데, 현재는 앱이 단계별로 학습시킨 모래성 모양 단위로 인 식하여앞으로 남은 블록 개수를 표시할 때에도 단계별로 완성할 때 모래 블록 개수를 한꺼번에 차감해서 보여준다. 여기서 더 정 교하게 아이가 블록을 하나씩 쌓아 올릴 때마다 개별 모래 블록 단위로 인식을 하게 만든다면 인식의 측면에서 더 자연스럽고 좋 은 구현이 될 것이다.
실험을 진행하는 동안 옆에서 지켜보며 피드백을 주신 부모 님들도 있었다. 바로 피드백이 주어지지 않아 재미가 반감되는 것 같다는 의견, 제시된 블록의 난이도가 높지는 않지만 아이들 스스로 하기엔 조작이 어려워 보호자가 있어야 할 것 같다는 의 견, 대상 나이를 높여서 초등학생 아이들의 공간지각능력 향상을 도울 수 있는 숨겨진 쌓기 나무 교육 앱으로 발전되면 좋겠다는 의견 등이있었다. 또한, 따라 해야 할 모래성 모형 이미지가 왼쪽 하단에 나타나는데 너무 작다는 의견도 있었다. 실제로 블록 선 택을 하는데 이것 때문에어려워하고 망설이는 아이들도 있었다. 반면, 모바일이 친숙한 아이들에게 전통적인 오프라인 놀이를 새 롭게 즐길 수 있는 환경을 제공한다는 점에서 앱의 가치를 높게 평가한학부모도 있었다.
유아를 대상으로 진행한 실험에서 현재 구현된 SandUp 앱 프 로토타입의 큰 효과성을 입증해주지는 못 했지만, 앱의 향후 발 전 가능성 및 연구 방향에 대해 확인할 수 있었다. 앱보다 사진을 보고 모래성을 쌓는 것이 더 재밌다는 아이들도 있었지만, 앱의 흥미도에 대해서 질문해본 결과 아이들에게서도 긍정적인 반응 을 확인할 수 있었다. 또한, 모래성을 쌓기 전 사전 질문에 대한 답변에서도 알 수 있듯이 아이들의 모바일 기기의 활용에 대한 선호도가 높다는 사실을 알 수 있다. SandUp 앱의 인식률을 개 선하고 사용성에 있어서 불편한 요소들을 제거한다면 아이들이 이전에 경험했던 어려움을 해소하여 놀이의 재미를 더욱 향상시 킬 수 있을 것으로 기대된다.
마지막으로 본 연구에서는 SandUp 앱이 제공하는 재미와 가 이드의 사용성에 초점을 맞춰서성인 및 유아를 대상으로 실험을 진행했는데, 앱의 교육적 효과도 확인해볼 필요가 있다. 앱이 단 계별로 추가되는 모래 블록들을 그때그때 보여주기 때문에 당장 문제를 해결하는데는 도움이 될 수 있지만 아이들의 생각하는 힘 을 기르는데는 방해가 될 수 있다. 따라서 SandUp 앱의재미 요소 뿐만 아니라 아이가 앱을 보면서 쌓을 때의 교육적 효과도 검증 할 필요가 있다. 향후 연구에서 사진만 보고 모래성을 쌓는 것과 SandUp 앱의 도움을 받아 쌓는 것 중 어떤 방법이 교육적 효과 가 더 높은지 성취도를 측정해보고 이를 분석함으로써 재미뿐만 아니라 교육적 효과를 향상시키는 디자인 및 기능을 도출할 수 있을 것으로 기대된다.
7. 결론
스마트폰이 널리 보급되고 모바일 기기의 그래픽스 처리 성능이 발전함에 따라 교육, 놀이, 쇼핑 등을위한 다양한 모바일 애플리 케이션이 개발되고 있다. 또한, 최근엔 유아 놀이용 애플리케이 션에서도 재미와 몰입을 향상시키기 위해 인공지능 및 증강현실 기술을 활용하고 있다. 본 논문에서는 아이들이 모래성 쌓기 놀 이를 더 효과적으로 할 수 있도록 안내하는 모바일 애플리케이션 SandUp을 소개했다. SandUp 앱은 인공지능과 증강현실 기술을 활용하여아이가 놀이를 하는 과정에서 다양한 정보와 피드백을 통해 성공적으로 모래성을 쌓을 수 있도록 돕는 것을 목표로 한 다. 우리는 제안하는 SandUp 앱의 효과를 검증하기 위해프로토 타입을 구현하였고, 성인을 대상으로 설문 조사를 하였으며 4~7 세 아이들을 대상으로 놀이터, 공원과같은 환경에서 필드 스터디 를 수행하였다. 그 결과, 성인들은 SandUp이 효과적으로 놀이를 가이드하며 아이들의 흥미를 유발할 수 있을 것이라고 응답하였 다. 아이들을 대상으로 한 인터뷰 및 관찰 결과, SandUp 앱에 대해 흥미가 있다는 것을 확인할 수 있었다. 또한, 모바일 애플리케이 션 사용성 이슈와 딥러닝 인식 모델의 성능 이슈가 아이들의 앱 인식에 크게 부정적인 영향을 미칠 수 있다는 것을 확인하였고, 이를 개선하기 위한 연구 방향을 제안하였다. 모래 놀이와 같은 물리적인 활동은 아이들의 발달에 긍정적인 영향을 끼친다. 본 연 구결과를 바탕으로 다양한 물리적인 활동을 더욱 즐겁게 만드는 다양한 후속 연구가 있기를 기대한다.
