1. 서 론
최근 가상현실을 이용하여 현실 세계의 물리적 객체의 현상과 공간과의 관계를 표현하기 위한 연구나 증강현실을 실외에서 실현 가능하게 하는 착용식 컴퓨터(Wearable computer) 에 관한 연구가 많이 진행되고 있다[1][2]. 게임, 모바일 솔루션, 교육 분야 등에서도 모바일 증강현실과 센서를 이용한 다양한 제품이 개발되고 있다. 그리고, 물리적 센서를 사용하는 응용 프로그램의 개발이 매우 빠르게 확산되고 있다[3]. 증강현실의 발전을 바탕으로 하는 센서와의 융합 기술 개발에서는 센서의 표현에 필요한 많은 속성 데이터를 다차원적으로 분석하는 것이 중요하다[4][5]. 센서 정보 처리와 관련하여 물리 센서 중 하나인 카메라 센서를 이용하여 실세계 3차원 공간상의 시각적 정보를 처리, 저장 및 전송에 관한 연구가 있다[6]. 그리고, 실세계의 환경 정보를 수집하고 모니터링하기 위해서 수많은 센서 데이터들을 3D 웹에서 가시화하는 연구도 진행되었다[7]. 이들은 물리 센서 정보를 수집 가공하여 장면에 표현하는 기능을 갖고 있으나 센서 정보 표현을 위한 장면 구성이 실세계 지리 정보를 고려한 3차원 공간을 구성하는게 아니고 센서의 정보만 화면에 나타낸다.
이와는 달리 본 연구에서는 현실 공간에서 물리 센서로의 접근을 3차원 가상 공간에서 표현하고 이 가상 공간에서 센서에 접근을 하면서 기존의 모양 위주의 3D 모델링 표현에서 벗어나 센서의 기능적 및 물리적 속성을 3차원 장면 안에 포함할 수 있도록 하는 센서 표현 시스템 구성에 대해 기술한다. 또한, 이를 이용하여GPS, 카메라, 조명, 사운드, RFID, CCTV, 보안, 온도, 습도 센서 등을 구현한 시뮬레이션 사례를 소개한다. 본 연구와 가장 관련 있는 연구로 센서 장치의 데이터 모델에 관한 표준화 연구로는 국제 민간 표준화 단체인OGC (Open Geospatial Consortium) 에서 많이 진행되고 있다. 이OGC 센서 데이터 모델은 데이터베이스 개념을 기반으로 하며 모든 센서 장치의 각 세부 기능과 속성 데이터를 정의하고 있다[8][9]. 본 연구에서의 3D 센서 모델은 OGC 데이터 모델보다는 상위 개념으로3차원 가상공간에서 시각적으로 표현하는 장면 그래프를 이용하여 센서 물체들의 위치와 센서의 정보를 가상공간에 표현하는 인터페이스를 정의한다.
본 연구의 목적은 3D 가상세계에 여러 가지 센서 장치를 표현하는 방법을 정의하고, 센서 기능을 표현하고 시뮬레이션 할 수 있도록 하여 센서의 데이터 교환과 센서 기능을 제어 관리할 수 있도록 하는 것이다.
2. 물리적 센서 타입 분류 및 이벤트 정의
실세계에는 수많은 물리적 센서들이 존재하며 센서 기술 발전에 따라 그 수는 계속 증가될 것이 예측된다. 센서의 수는 계속 증가하고 센서들의 속성도 제품의 성능에 따라서 계속 변화될 것이 예측되므로 모든 센서들을 가상공간에 표현하기 위해 센서 전체의 데이터 형식을 정의할 필요는 없다. 개별적인 센서 속성 구현이 아니라 대표적인 센서 타입을 정의하는 것이 필요하다. 이를 위해 본 연구에서는 대표적인 센서 타입을 분류하고 속성들을 정의하였다.
본 연구에서 물리적 센서타입은 Table 1에서와 같이 15종류로 분류한다. 사운드 센서(Sound sensor)는 스피커, 마이크, 보청기, 진동 계측 장치 및 음향 센서를 말한다. 이동 센서(Movement sensor) 는 자동차, 로봇 및 팬과 같은 이동식 장치를 말한다. 카메라 센서(Camera sensor)는 모든 카메라와 CCTV와 CCD 센서를 포함한 이미지 감지기를 말한다. 화학 센서(Chemical sensor)는 연기 감지기 등의 모든 화학 탐지 장치를 말한다. 전기 센서(Electric sensor)는 전력 및 전압 검출기 등 모든 전기 장치를 말한다. 환경 센서(Environment sensor)는 온도 및 습도 센서와 같은 모든 환경 감지기를 말한다. 유체 센서(Flow sensor)는 공기 흐름 및 유체 센서와 같은 모든 흐름 감지기를 말한다[8]. 파티클 센서(Particle sensor)는 모든 이온화 방사선 및 양자 입자 검출기를 말한다. GPS 센서는 현재 위치, 방향 및 기타 탐색 정보를 감지하는 모든 내비게이션 센서를 말한다. 위치 센서(Position sensor)는 위치, 각도, 오실로스코프, 변위, 거리, 속도, 가속도 감지기를 말한다. 라이트 센서(Light sensor)는 모든 광학, 빛, 그리고 광자 검출기를 말한다. 압력 센서(Pressure sensor)는 압력 측정을 하는 센서를 말한다. 힘 센서(Force sensor)는 모든 힘 센서와 액체 및 가스 농도 및 레벨 측정 센서를 말한다. 온도 센서(Temperature sensor)는 열 감지기를 말한다. 근접 센서(Proximity sensor)는 접근 탐지 기능이 있는 센서를 말한다.
센서 기능의 표현과 시뮬레이션을 위해서는 센서 이벤트를 정의해야 한다. 센서의 기능에 따른 속성 정의에 따라 센서를 위한 파라미터가 정의되며 센서 이벤트는 이 파라미터들을 통해서 입출력 되도록 구성한다. Table 1에 분류된 각 센서 타입에 대해 속성 파라미터를 정의하고 센서 이벤트는 속성 파라미터 값들의 변화로 화면에 표현되도록 한다. 사운드 센서는 음향 재생 정보를 구현할 경우 공간상에 직접 표현하지 않고 스피커를 통해 표현되도록 한다. 이는 센서에서 음향이 표현될 경우 어떤 음향을 표현할 수 있는지 모호하기 때문이다. GPS 센서의 GPS 정보는 위치 정보 이벤트를 수신하며 3차원 공간상에 한 물체의 위치 정보를 의미한다.
카메라 센서의 카메라 상태 및 기타 이벤트는 카메라의 On/Off 상태 및 지능형 이벤트를 수신하며 영상 정보의 경우 이벤트 외에 영상을 재생하는데 필요한 별도의 속성이 필요하다. 예를 들어 카메라 접속 정보 등이 필요하다. 라이트 센서는 조명의 상태 정보 및 조도 이벤트를 수신하는데, 라이트 센서가 갖는 불빛의 밝기, 방향, 색상 등의 정보가 필요하다. 또한 조명의 형태를 이벤트 정보에 포함시킬 것인지 아니면 센서 노드의 다른 속성으로 지정할 것인지 정의가 필요하다. 조명의 방향이나 색상이 바뀌는 조명 장비의 경우라면 이벤트 정보에 포함시켜야 해당 이벤트를 표출 가능하기 때문이다. 환경 센서에서는 온도, 습도, 풍향 등 기상 정보를 수신할 때 장비 유형에 따른 각종 이벤트 타입의 정의가 필요하다. 기상 정보의 경우 공간상에 표현 방법이 모호한 경우가 많으므로 표현 방법에 대한 구체적인 방안이 필요하다.
3. 3D 가상공간에서의 물리적 센서 표현 모델 정의
물리적 센서를 표현하기 위해서는 실제 공간 정보의 GPS 정보를 필요로 하며 이와 함께 물리적 센서의 이벤트가 가상공간에서 정확하게 실제 데이터 표현이 가능해야 한다. 이를 위해서는 먼저 가상 세계와 센서GPS정보로 동기화시킬 필요가 있다. 3D 가상세계는 모델링, 렌더링, 애니메이션, 시뮬레이션의 기능을 포함하는 한편, 센서 표현 모델을 위해서 가상세계를 GPS 정보로 동기화시키고 그 위에 물리적 센서 정보를 표현해야 한다(Figure 1). Figure 1은 현재 ISO/IEC SC24 WG9 에서 국제표준화를 추진하고 있는 AR 참조 모델을 기반으로 해서 센서 표현 모델을 정의한 것이다[11]. 이 센서 표현 모델을 기반으로 하는 GPS 혼합현실(MR) 세계에서는 실제 센서의 스트림 데이터를 가상공간에 입출력하는 것을 이벤트로 표현함으로써 물리적 센서의 제어를 가능하게 하는 것을 목표로 한다. 물리적 센서의 트래킹 데이터와 이벤트 데이터가 MR 가상공간에 표현되고 시뮬레이션 되며 결과는 혼합현실 콘텐츠로서 화면에 렌더링된다.
4. 센서 장면 그래프의 정의
센서 혼합현실 공간 표현을 위한 데이터구조를 정의하는 센서 혼합현실 장면그래프는 물리적 센서와 3D 가상공간이 공존하는 하나의 계층 구조로 표현된다 (Figure 2). 하나의 혼합현실 장면은 계층구조상의 혼합현실 객체들로 표현되며, 하나의 혼합현실 객체는 3D 객체와 물리적 센서로 구성된다.
혼합현실 객체는 3D 가상공간에서 GPS 정보로 그 위치가 표현되고 일반 3D 객체나 물리적 센서는 모양 정보를 나타내며 일반적인 3D 정보를 갖게 된다. 또한, 3D 물체를 위한 그래픽스 인터페이스와 함께 센서 객체의 물리적 정보를 3D 가상공간 안에 들여오고 내보내기 위한 물리적 인터페이스가 필요하다. 센서 객체는 이러한 물리적 인터페이스 외에서 3차원 가상공간에서의 사용자에 의한 제어를 위해 그래픽스 인터페이스도 갖게 된다.
센서 장면 그래프는 실제 공간과 정확히 일치하는 공간을 하나의 혼합 증강 현실 장면을 구성하며 한 혼합 증강 현실 장면은 여러 혼합 증강 현실 객체, 위치와 방향, 장면의 바운딩 박스로 정의한다. 혼합 증강 현실 객체는 3차원 객체와 물리 센서로 정의한다. 3차원 객체는 일반적인 모양으로 정의되며 기하, 속성, 가상공간 인터페이스를 갖는다. 물리 센서는 모양, 위치와 방향, 센서타입, 물리적 속성, 현실 세계와의 인터페이스를 포함한다.
5. 센서 장면 그래프 구현을 위한 시스템 아키텍처
본 연구에서는 센서 장면 그래프를 이용하여 센서 장면을 구성하고 센서로부터의 신호에 의해 3차원 가상공간 장면을 변화시키도록 하여 현실 공간에서의 설비나 장치에 의한 변화가 가상공간에서 표현되도록 하여 설비나 장치 관리가 가상공간에서 가능하도록 한다.
이러한 기능을 제공하는 시스템 아키텍처의 구성은 Figure 3과 같다. 혼합 증강현실 도큐먼트 파일로부터 읽어들여온 혼합 증강현실 데이터는 시스템 파서를 통해서 혼합 증강현실 오브젝트로 분류된다. 혼합 증강현실 오브젝트는 시각 오브젝트와 센서 오브젝트로 구성되며 혼합 증강 관리자에 의해 제어된다. 혼합 증강 오브젝트 관리자는 시각 오브젝트와 센서 오브젝트의 구조와 속성을 다룬다. 외부 센서 장치로부터 들어오는 센서 이벤트는 물리 센서 인터페이스를 통해서 이벤트 제어기로 전달된다. 이벤트 제어기는 3D 장면에서 센서 오브젝트 관리자에 의해 가상공간에 표현되는 센서 오브젝트에 이벤트들을 전송한다. 혼합 증강현실 장면 접근 인터페이스는 이벤트 제어기로부터 전달된 센서 이벤트들이 가상공간에 표현될 수 있도록 이벤트 데이터를 구성한다. 그림에서 이벤트 제어기로부터의 두 화살표는 두 가지 경우를 나타내며 하나는 이벤트가 시각 오브젝트에 영향을 주는 경우이며 다른 하나는 이벤트가 시각 오브젝트와 관계없이 표현되는 경우를 나타낸다. 혼합 증강현실 장면 그래프 관리자는 기하, 속성, 이벤트로 분류되는 장면 그래프를 작성하여 하나의 3차원 장면이 시각 오브젝트, 센서 오브젝트, 센서 이벤트로 구성될 수 있도록 한다. 3차원 장면이 시뮬레이션 혹은 사용자 인터페이스에 의해 변화되면 외부 센서 장치의 프로그램은 센서 오브젝트가 보낸 정보로 이벤트 제어기에 의해 영향 받을 수 있도록 구성된다.
6. 시스템 구현 및 분석
본 연구의 실험 모델로서 3차원 공간에 일부 센서들을 표현하고 센서들의 기능을 화면에 표현하는 시뮬레이션 모델을 구성하였다. 3D 센서 장면 그래프를 기반으로 한 물리적 센서 표현을 위한 가상공간 모델을 구현하였고 가상공간과 센서 표현은 X3D(Extensible 3D) 를 사용하였다. 물리적 센서의 이벤트 정의를 위해서는 실제 센서 장치에서 발생할 수 있는 이벤트들에 대하여 X3D 문서에서 구현하기 위한 목록의 정리가 필요하다. 이것은 이벤트가 센서의 종류에 따라 가변적으로 변할 수 있기 때문에 X3D 문서의 Node 나 Attribute 등의 고정적인 형태로 정의가 불가하다. 따라서 정의된 이벤트 자체가 센서의 속성값으로 구현되어야 가능하다. 그리고 이벤트를 수신하였을 경우 장비를 식별하기 위해서 실제 장비에서 이벤트가 발생하였을 경우 공간상에 표현된 센서 중 이벤트 발생 장비를 구별하기 위한 식별 코드가 필요하다. 장비의 식별 코드는 이벤트 수신 서버 혹은 에이전트에서 동일하게 관리될 수 있는 코드를 사용한다. 이벤트를 수집할 때 이벤트 서버에 각각의 장비마다 서로 다른 통신 프로토콜이 통합될 수 있도록 해주는 서버가 필요하다. 서버에서는 각각의 장비가 가진 프로토콜을 이용하여 이벤트 정보를 수신하고 X3D 문서에서 정의한 이벤트 유형에 맞는 값을 뷰어로 전달한다. 이벤트 서버가 보내준 정보를 수신할 때 이벤트 서버에서 X3D 문서의 유형에 맞는 이벤트 값을 보내주면 해당 정보를 뷰어에서 수신한다.
시스템 구현 수준은 현 단계에서는 실제 장비와의 통신 및 통합 이벤트 서버가 없어서 해당 내용에 대해서는 임의의 무작위 샘플 데이터 생성 프로그램으로 대체했다. 즉, 샘플 이벤트 정보를 수신 받은 상태에 장비의 상태 값 변경을 뷰어에서 표현하도록 구성하였다.
Figure 4는 물리적 센서를 표현하기 위해 뷰어에서 장치들을 생성하고 표현하는 방법을 보인다. 각 센서별 시뮬레이션 인터페이스에서 센서 제어를 통해 어떻게 동작하는지 보여준다. Figure 5는 실외에서의 RFID 및 조명 센서를 포함하며 센서 이벤트를 제어하는 장면을 보여준다. Figure 6은 실내에서 CCTV 카메라의 작동과 제어를 위한 시뮬레이션 인터페이스를 포함하는 장면이다.
Figure 7은 카메라 센서와 같은 물리 센서를 3차원 가상공간에 표현하기 위한 데이터 모델을 XML 로 정의한 것이다.
7. 결 론
본 논문에서는 3D 가상공간에 물리적 센서와 그 기능을 표현하고 시뮬레이션 할 수 있도록 기존의 3차원 장면 그래프에 센서를 포함시킬 수 있도록 새롭게 정의하고, 이를 구현하기 위해서 3D 데이터 모델과 시스템 아키텍춰를 정의하고 시스템 구현에 대해 기술하였다.
이러한 혼합현실 구현을 위한 3D 데이터 모델은 3차원 가상환경에 물리적 센서 모델을 추가하여 정의할 수 있도록, 기존의 모양과 속성 기반의3D 가상공간 장면 그래프를 확장하여 실세계 센서의 정확한 위치와 방향을 포함하여 실세계 센서의 정보를 실측 기반으로 정확하게 표현할 수 있는3차원 장면 그래프를 구성하였다.
향후 연구로는 각 센서 타입의 응용 개발을 지원할 수 있도록 각 타입별 센서의 대표적인 속성을 정확하게 정의하여 추상화시키는 일이 포함된다. 본 시스템은 향후 다양한 이기종 컴퓨팅 환경에서 혼합 증강현실 응용 프로그램간 상호 연동할 수 있도록 호환성 있는 센서 데이터 형식을 제공하여3D 가상 환경에서 물리적 센서를 관리하고 및 제어할 수 있도록 할 것이다.
