LiDAR 정보를 이용한 가상 달 표면 예측

달 표면 지형 정보의 대부분은 달의 궤도에 상주 중인 미국의 달 탐사 궤도 위성(Lunar Reconnaissance Orbiter)를 통해서 취득하며[2, 3], LRO에 장착된 Lunar Orbiter Laser Altimeter (LOLA) 센서로부터 확보한 고저차 정보와 Lunar Reconnaissance Orbiter Camera (LROC)에서 취득한 이미지 정보를 활 용한 Digital Elevation Model (DEM)의 구축이 이루어지고 있다.

LRO 위성은 공전하는 주기 궤도의 고도에 따라서 100m/pixel에서 최대 0.5m/pixel에 해당하는 고저차 이미지 데이터를 수집하여 제공하며, 최근 타 국가의 위성체나 탐사선 을 이용한 표면 데이터 수집 또한 활발히 진행되고 있다[6, 7, 8].

달 탐사 궤도 위성은 50km 이상의 높이에서 공전하기에, 저 해상도의 이미지 정보만을 습득할 수 있다. 따라서, 더욱 고해 상도의 이미지 정보를 확보하기 위해선 달 표면에 근접하여 측정을 수행해야 한다. 이 경우, 무인 차량의 카메라를 이용한 이미지 수집[9]이나 무인 착륙선의 Laser Altimeter를 이용한 소규모 착륙지에 대한 지형 재구축 결과[10]들이 보고되었지 만, 광범위한 달 지형을 측정한 고해상도의 대규모 데이터셋이 공개된 사례는 없다.

지구 지형을 측정한 데이터셋은 여러 기관과 회사가 다량으로 구축하여 제공하는데, 주로 차량이나[11, 12] 항공기[13]를 이용 하여 데이터를 수집한다. 이러한 지구 지형 데이터셋은 물체를 탐지하는 알고리즘의 개발에 필요한 데이터 확보, 또는 국토 단위의 DEM 데이터베이스를 구축하기 위해 만들어진다.

지구 DEM 데이터셋은 달과는 상이한 지형과 물체 정보만을 제공하기 때문에 달의 표면과 유사도가 낮다. 먼저, 대부분의 차량 기반 데이터셋은 자율 주행을 위한 환경 정보 수집과 물체 탐지 기능을 가진 네트워크의 개발을 목적으로 수집되기에, 인 공물이 거의 존재하지 않는 달 표면 정보에 대응하기 힘들며, 항공 측량 데이터셋 또한 활발한 대류와 풍화 작용으로 인하여, 달 고유의 소규모 크레이터 지형을 포착하는 경우가 드물다.

지형의 하이트맵을 이용하여 지형 메쉬를 생성할 때는 노멀맵 을 통해서 세밀한 시각 정보를 제공할 수 있다. 하이트맵 흑백 이미지를 입력받아 노멀맵을 만드는 [14] 연구 외에도, 일반 흑 백 사진 이미지를 채색하는 여러 연구들[15, 16, 17, 18]이 최근 들어 이루어지고 있다. 이 중에서 transformer구조를 접목한 연 구[19]에서는 이미지의 타일화와 위치 인코딩을 통하여, 이미 지의 특정 위치에 대한 어텐션 메커니즘을 접목하였다. 이를 통해서 결손 픽셀이 많은 타일을, 그 근처의 정보에 기반하여 복원하는 과정을 시연하였다.

이러한 Masked Auto Encoder 구조는, 결손부 주변 정보를 통해서 결손부를 복원한다. 지표 위의 장애물로 인해서 지형 탐지 데이터에 결손부가 자주 생기는 LiDAR 측정 시, 위의 구 조를 활용한다면, 결손된 데이터를 효과적으로 예측할 수 있다.

달 표면에서 우주인이나 탐사 차량을 이용한 작업 시, 지형 센서가 탐지하지 못한 결손부의 지형을 복원하는 기능이 안전 상의 이유로 요구되며, 지형의 굴곡 정보를 더욱 증강할 수 있 는 노멀맵 적용을 통해서 지형 파악 효과를 극대화할 필요성 역시 존재한다.

최근의 이미지 채색 연구들에서 소개된 네트워크 구조들은 이러한 동작 조건에 알맞게 대응할 수 있는 잠재성을 보여준다. 우리는 이러한 선행 연구 결과들에 기반하여, LiDAR 입력 정 보로부터 온전한 하이트맵과 그에 대응하는 노멀맵을 예측할 수 있는 시스템을 제안한다.

달 지표면의 지형과 노멀맵 정보를 함께 제공하는 고해상도, 대규모 데이터셋이 존재하지 않기 때문에, 우리는 달 표면을 흡사하게 묘사한 가상의 3D 지형 정보에서 LiDAR 시뮬레이 션을 구동하여 지형 정보를 추출한다. 사용한 3D 지형은 이전 의 유인, 혹은 무인 탐사 시 수집된 달 표면 지형 환경과 흡사한 3D 에셋[20]을 사용하였다 (Figure 2).

Figure 2. Height map (top row) and normal map (bottom row) for the three virtual lunar surface terrains(128m 128m). Example of a virtual lunar surface (terrain 2) visualized w/ only height map (top right) and w/ height map and additional normal map (bottom right).

Download Original Figure

선정된 3D 지형 에셋은 2048픽셀 2048픽셀 크기의 16비트 하이트맵과 노멀맵으로 이루어지는 3가지의 3D 지형으로 구 성되며, 각 변은 128m 128m의 크기에 대응한다. 지형 지표면 데이터 측정을 위해, 가상 LiDAR를 부착한 1.8m 신장의 우주 인 캐릭터[21]를 지형 내에서 보행시키면서 LiDAR 시뮬레이 션을 수행한다.

가상 LiDAR는 상용 항공 측정용 LiDAR 기기의 성능을 참조 하여 그 성능 값을 조절한 후, Unity 게임엔진에서 구현한다 (Figure 3). 시뮬레이션 상의 가상 LiDAR는 10Hz의 갱신율을 가지며, 해당 기기가 1.8m 신장의 우주인 모델의 앞머리에 부 착됨을 감안하여 좌우 180°의 수평 시야각을 가지도록 세팅하 였다. 수직 시야각은 하방 50°에서 상방 20°의 범위를 가진다. LiDAR의 해상도는 상용 측량 LiDAR에 준하는 수준인 1.5°의 해상도로 설정한다.

Figure 3. Vertical field of view (left), detection range (right), and horizontal field of view (right) of virtual LiDAR.

Download Original Figure

LiDAR 센서와 측정점 간의 거리가 멀어질수록 이웃 측정점 간의 거리도 선형적으로 증가하므로, 측정 거리가 멀어질수록 지형 재구축에 적합한 점군 밀도를 확보하기 힘들다. 이러한 한계와 시뮬레이션 상의 성능 최적화를 감안하여 LiDAR 점 군의 입력 범위는 센서로부터 8m 반경의 거리로 제한하였다. 이러한 센서 반경 안에 들어가는 한 변당 8m 크기의 정사각형 이미지를 점군 데이터 패치로 수집한다. 이를 통해서 촘촘하게 샘플링된 데이터를 선별할 수 있다.

점군 패치 데이터 수집을 위해서, 3가지의 가상 지형에 대해서 가상 센서를 부착한 우주인 캐릭터를 배치한다. 데이터 수집 시, 우주인이 일반적인 보행 속도로 나선형 경로와 래스터 패 턴을 따라 이동하도록 경로 설정을 하였으며, 10Hz의 측정값 갱신율로 전 지형의 점군 정보를 수집한다.

이때, 갱신 프레임마다 신규로 파악되는 LiDAR 정보만을 저장하는 신규 프레임 정보와 이전의 LiDAR 탐지 정보가 계 속 누적되는 누적 프레임 정보를 같이 수집한다.

마지막으로, 각 LiDAR 점군 프레임이 샘플링된 위치에 대 응하는 원본 하이트맵 패치와 노멀맵 패치를 지형 데이터에서 추출한다. 데이터 모집에는 Intel i9-12600k CPU와 RTX 3080 GPU를 장착한 PC를 이용하였다.

LiDAR 시뮬레이션으로 얻은 점군 데이터를 네트워크에 사용 하기 위해 높이 스케일링과 결손부 채움 과정을 진행한다. 높이 스케일링은 LiDAR 누적 프레임 패치를 16비트의 높이 단계를 가지는 흑백 하이트맵으로 변환한다. 흑백 하이트맵은 LiDAR 시뮬레이션 과정에서 발생한 결손 픽셀부를 가지고 있다. 결 손부는 주변의 정상 픽셀들의 평균값을 이용하여 채움 전처리 과정을 거치며, 이 과정에서 대부분의 결손 픽셀을 보충하게 된다. 이때, 과도한 결손부 값의 평준화를 피하고자 1픽셀 반 경의 채움 과정을 진행한 후에, 2픽셀 반경, 그리고 마지막으로 3픽셀 반경의 채움 과정을 진행한다. 그런데 지형의 고저차 변 동이 큰 지역에서는 여전히 많은 수의 결손 픽셀이 확인된다.

여전히 결손부가 존재하는 하이트맵은 Masked Auto Encoder (MAE)[19] 구조에 기반한 하이트맵 예측 네트워크를 통 과하여 결손부를 복원하는 과정을 거친다. 하이트맵 예측 네 트워크는 먼저 지형의 하이트맵 이미지를 여러 구획의 패치로 나눈 뒤, 결손 지형 픽셀 비율이 높은 패치를 제외하고 토큰화 한다. 토큰화된 패치를 transformer 인코더의 입력으로 잠재 표현을 계산한다. 입력 마스킹 패치 위치와 대응하도록 잠재 표현에 토큰 패딩을 추가한다. 이후 해당 잠재표현을 입력으로 마스킹된 패치를 예측하고 하이트맵으로 결합한다 (Figure 5). 하이트맵 예측 네트워크는 마스킹된 패치의 원본 패치와 예측 한 패치간의 L2 Norm을 손실로 사용하여 학습한다.

Figure 5: MLS height map prediction network overview

Download Original Figure

예측한 하이트맵은 노멀맵 예측 네트워크를 통과하면서 노멀 맵으로 변환되는 도메인 적응 과정을 거친다. 기존에 다른 흑 백 이미지 색상화 연구와 달리 달의 영구 음영 지대에서도 작동 하게 하고자, 노멀맵 예측 네트워크는 사전 색상 정보를 받지 않는다. U-Net구조에 기반한 노멀맵 예측 네트워크는 하이트 맵을 입력받아 동일한 크기의 노멀맵을 출력한다. 학습 시에는 예측한 노멀맵과 참값 노멀맵 간의 L1 Norm을 손실로 사용하 여 학습한다.

달 표면 예측부 학습 시 강건함을 위하여 LiDAR 시뮬레이션 데이터셋은 평가에만 사용한다. 이를 위해, 하이트맵 학습에는 3가지의 가상 지형(각 2048픽셀 2048픽셀, 혹은 128m 128m 에 해당)으로 부터 학습용 패치(128픽셀 128픽셀, 8m 8m에 해당) 약 42,000개를 추출하여 사용한다. 가상 지형은 LiDAR 시뮬레이션 데이터셋 획득에 사용하지만, 학습 시 LiDAR 시 뮬레이션 결과가 아닌 하이트맵 패치를 분할하여 추출하므로 특정 LiDAR 시뮬레이션 세팅에 제약되지 않는다. 유사하게, 노멀맵 학습에는 하이트맵에 대응하는 노멀맵 3가지(각 2048 픽셀 2048픽셀, 혹은 128m 128m에 해당)로 부터 학습용 패 치(128픽셀 128픽셀, 혹은 8m 8m에 해당)약 42,000개를 추 출하여 사용한다.

하이트맵 예측 네트워크는 적은 데이터셋에서의 과적합을 방지하고 높은 정확도를 유지하기 위해 파인튜닝으로 학습하 며, 패치의 50% 마스킹한다. 또한, 배치 크기를 최대한 크게하 고자 세부 네트워크 각각에 대해 학습한다. 노멀 예측 네트워 크의 경우, 하이트맵 예측 네트워크에 비해 네트워크의 크기가 작아 처음부터 학습을 진행하며, 노멀 예측 네트워크 학습에 하이트맵 예측 네트워크 출력이 아닌 노멀맵 학습용 패치를 사용한다. 학습에는 Intel Xeon Gold 6448Y CPU와 NVIDIA H100 GPU를 장착한 시스템을 이용하였다.

MLS 달 표면 예측부의 성능 평가를 위해 베이스라인 하이트맵 예측 네트워크와 비교 평가를 진행한다. Table 1과 같이 하이 트맵 예측에 Auto Encoder (AE)를 사용한 베이스라인과 MLS 하이트맵 예측 네트워크를 비교한다. 베이스라인과 MLS 하 이트맵 예측 네트워크의 파라미터 수는 각각 319M와 307M이 다. 하이트맵 예측 네트워크에서 랜덤 마스킹 대신 하이트맵 입력을 패치화하고, 패치의 1/8 이상이 결손되었을시, 해당 패 치를 마스킹한다. 평가용 데이터셋의 총 크기는 1,179개 이며, 그중 464개의 이미지를 이용하여 Figure 6과 같이 패치화를수 행한다.

Figure 6: Process of masking NaN pixels and their and surrounding area (3-ring) for evaluation (red dotted line)

Download Original Figure

여러 종류의 센서 데이터를 이용한 지형 복원을 수행하는 경 우에는, 입력된 합성 데이터와 모델이 예측한 합성 이미지 간의 통계적인 유사성을 추론하면서 평가를 진행하게 된다[14].본 연구에서는 사용한 데이터셋은 하이트맵, 노멀맵, 그리고 알 베도맵에 대한 참값을 직접적으로 제공하기에 MLS시스템의 산출값과 참값 이미지 패치에 대한 직접적 평가를 수행할 수 있다. 이와 더불어, 크레이터나 굴곡같이 주변부 지형과 연속 적인 연관성을 지니는 곳에서 LiDAR 시뮬레이션의 결손부가 발생하는 경우가 대부분이기에, 이러한 공간적 연관성을 파악 하는데 더욱 용이하다고 알려진 Structural Similarity Index Measure (SSIM) 지표를 사용하여서 생성된 하이트맵과 노멀 맵에 대한 평가를 수행하였다[22].

전체 달 표면에 대해 MLS 하이트맵 예측 네트워크와 노멀맵 예측 네트워크가 베이스라인보다 우수하다 (Table 1). 그런데 직선 광선을 발사하여 물체의 위치와 거리를 파악하는 기술인 LiDAR 특성상 결손부의 경우 굴곡 정보의 가능성이 크며, 안 전한 보행을 보장하기 위해 해당 지형 정보가 필요하다. 평가 용 마스킹 결손부 패치에 대해 비교하여 본 논문에서 목표로 한 결손된 하이트맵 및 대응하는 노멀 예측 정확도를 평가한다.

결손부가 마스킹된 부분의 예측 결과 및 그 주변부와의 연속 성을 보기 위하여, 결손부와 그 주변부(3-ring)를 패치화하여 노멀맵 예측 결과를 비교한다 (Figure 6). 3-ring 패치의 가로와 세로는 최소 11픽셀 이상으로 지정한다. 참값 3-ring 패치와 예 측한 3-ring 패치 간의 비교를 위해 SSIM (Structural Similarity Index Measure)을 평가지표로 사용한다. 결손부에서 MLS 하 이트맵 예측 네트워크와 노멀맵 예측 네트워크가 베이스라인 대비 각각 22.3% 와 25.9% 더 우수하다 (Table 2).