1. 서론
최근 로봇 및 자율 주행 기술이 빠르게 발전하고 있으며, 그 활용 범위가 국방 및 산업 분야를 넘어 다양한 분야로 확장되고 있다. 농업 분야는 노동력 집약적인 산업이라는 특성으로 인해, 자율 주행 로봇을 활용한 자동화가 활발하게 진행되고 있는 분야 중 하나다[1-5]. 자율 주행을 위해서는 공간에 대한 지도가 필요하다. 농업용 자율 주행을 위해서도 농장에 대한 지도 제작이 필수적이며, 이와 관련하여 농업 분야에 특화된 지도 제작 방법들이 지속적으로 연구되고 있다[6].
과수원은 나무로 구성되어 있어 다른 농업 분야와 구별되는 특성을 가진다. 따라서 나무 인식은 과수원 자율 주행을 위한 핵심 요소 중 하나다[1, 7, 8, 13]. Shalal 등[7]은 카메라와 레이저 스캐너를 결합하여 나무 줄기를 탐지하는 알고리즘을 제안했다. Kurita 등[1]은 딥러닝 기반 이미지 인식 기술을 이용하여 나무를 식별하고 LiDAR를 통해 나무까지의 거리를 정확히 측정하는 방법을 제안했다. 이러한 기존 연구들은 높은 나무 인식 정확도를 달성했지만, 여러 센서를 동시에 사용해야 한다는 한계가 있다.
Pierzchala 등[8]은 LiDAR를 통해 수집된 점 구름을 2차원 지도상에 투사하고 밀도 기반 클러스터링(Density-Based Spatial Clustering, DBSCAN [9])을 사용하여 나무를 인식하고 굵기를 측정하는 방법을 제안했다. 이 방법으로 높은 정확도의 숲 지도를 생성할 수 있었다. 그러나 DBSCAN은 연산 부하가 크기 때문에, 점 구름의 크기가 증가함에 따라 지도 생성 시간이 길어질 수 있는 한계점을 가진다.
과수원은 일반적인 숲과는 달리, 나무들이 줄에 맞추어 심어져 있다는 특징을 가지고 있다. 또한, 과수 상처 방지 등을 위해 과수원 내 이동은 주로 과수 줄을 따라 이루어지는 것이 일반이다. Barawid 등[10]은 2D 레이저 스캐너로부터 획득한 정보와 허프 변환 샘플링(Hough Transform Sampling)을 이용하여 트랙터가 이동 중 과수 줄 사이에 위치할 수 있도록 인도하는 방법을 제안하였다. 하지만, Barawid 등의 연구에서는 과수원 전체의 과수 줄 인식 및 정보를 지도 형태로 반영하지 않았다.
본 연구는 과수원 내 자율 주행을 위한 2차원 과수원 지도 제작 방법을 제안한다. 특히, 과수 줄을 자동으로 인식하고 이 정보를 지도에 반영하는 것을 목표로 한다. 제안하는 방법은 과수 인식, 과수 줄 검출, 그리고 2차원 지도 생성 과정으로 구성된다 (2.1장). 본 연구에서는 점 구름 데이터에서 나무의 주기둥을 찾아내어 과수를 인식하는 간단하면서도 효과적인 방법을 제안한다 (2.2장). 또한, 인식된 나무들의 위치를 기반으로 과수 줄을 추출하는 방법을 제시한다 (2.3장). 마지막으로, 점 구름 데이터와 추출된 과수 줄 정보를 통합하여 2차원 과수원 지도를 제안한다 (2.4장).
본 연구에서는 제안된 알고리즘을 실제 과수원에서 취득한 점 구름 데이터에 적용하여 그 성능을 검증하였다 (3장). 그 결과, 과수를 90%의 정확도로 검출했으며 (3.1장), 모든 과수 줄을 정확히 추출하는 것을 확인했다 (3.2장). 본 연구는 또한 자율 주행 경로 생성에 있어 과수 줄 반영의 효과를 확인하기 위해, 과수 줄을 반영하기 전과 후의 경로 계획 결과를 비교하였다. 과수 줄이 반영되지 않은 경우 과수 줄 사이를 관통하는 경로가 생성되는 반면, 과수 줄이 반영된 경우에는 과수 줄을 따라 이동하는 경로가 생성되었다. 이러한 결과는 본 연구가 제안하는 과수 줄 인식 및 과수원 지도 생성 방법의 과수원 내 자율주행에 대한 유용성을 입증한다.
2. 과수 인식 기반 과수원 맵 생성
Figure 2는 본 연구에서 제안하는 시스템의 개요를 보여준다. 본 시스템의 입력은 LiDAR와 같은 3차원 정보 수집 센서가 장착된 로봇이 과수원을 주행하며 수집한 3차원 점 구름 데이터이다. 이 데이터는 먼저 과수 인식 모듈에 전달된다.
과수 인식 모듈은 점들의 분포를 분석하여 나무 기둥을 인식하고, 각 과수의 위치를 파악한다 (2.2장). 이어서 과수 줄 인식 모듈은 파악된 과수들의 위치를 바탕으로 과수원 내의 과수 줄들을 검출한다 (2.3장). 마지막으로, 2차원 지도 생성 모듈은 입력된 3차원 점 구름 데이터와 인식된 과수 줄 정보를 기반으로, 과수원 자율주행에 적합한 2차원 지도를 생성한다 (2.4 장).
과수는 그 형태가 불규칙하며 나무마다 다양하다. 본 연구는 이러한 불규칙성을 배제하고 일관성 있는 과수 검출을 위해 나무의 주 기둥(밑동)을 나무 검출에 사용한다. 이를 위해 우선 점 구름에서 특정 높이 구간(예, 0.4~0.7m)의 점들만 남기는 전처리 작업을 수행한다.
과수 인식은 전처리된 점 구름을 기반으로 수행되며, 점들이 나무 기둥 주변에 모여서 분포하고 나무 기둥이 둥근 형태를 가진다는 특성을 활용한다. 나무 기둥에 해당하는 점 군집 추출을 위해 특정 높이(예, 0.55m)의 점들을 질의 점(query point)으로 하여 고정 반경 이웃 검색(fixed-radius neighbor search)를 수행한다. 그리고 점의 수가 특정 임계치(예, 60개)를 넘는 군집들을 나무로 판단한다. 이 과정에서 특정 비율(예, 80%) 이상 서로 점들을 공유하는 군집들은 하나로 통합된다. 그리고 통합된 군집의 중심 점을 나무의 위치로 사용한다.
과수원 내의 과수는 일반적으로 정렬된 줄을 따라 배치된다. 이러한 줄은 과수원 내에서의 이동 경로를 정하는 기준이 된다. 그러나 일반적인 SLAM(Simultaneous Localization and Mapping) 기술을 이용해 지도를 생성하는 경우, 과수 사이의 빈 공간이 자율 주행 로봇에게 과수 사이를 통과하는 경로로 인식될 수 있다. 이는 로봇의 경로 계획에 있어 잠재적인 문제를 일으킬 수 있다.
본 연구는 자율 주행 로봇이 과수원 내에서 과수 줄을 침범하지 않고 안전하게 이동할 수 있도록 가이드하기 위해 과수 줄을 인식하는 방법을 제안한다.
과수 줄 인식은 과수 인식을 통해 검출된 나무의 위치 정보를 기반으로 시작한다. 인접한 나무들을 군집화하는 이 과정은 특정 범위 내의 거리에 있는 과수들을 하나의 군집으로 묶는다. 같은 과수를 공유하는 군집들은 하나로 통합되며, 세 그루 이상의 나무가 포함된 그룹만을 군집으로 설정한다. 군집을 형성하는 임계 거리의 최소값은 같은 줄에 있는 나무들 사이의 평균 거리(예, 1.5m)로 설정되며, 최대값은 줄 사이 거리의 평균값(예, 3.2m)으로 설정된다. 이 임계값 구간은 조율이 필요한 변수이며, 과수원 관리자의 경험을 활용하여 조정될 수 있다.
Input: Set of fruit tree cluster C, Distance threshold θ
Output: List of detected rows L
L ← empty
while C ≠ empty
Ci ← argmaxC∈C|C|
C ← C\Ci
vi ← PCA(Ci)
li ← Line(vi,pi) where pi∈Ci
L.append(li)
for eachCj ∈ C
for eachp ∈ Cj
if (distnace(p,li)>θ)then
Ci ← Ci∪{p}
Cj ← Cj∖{p}
endif
endfor
endfor
endwhile
return L
군집들이 생성되면 다음 과정을 통해 과수 줄을 검출한다 (Algorithm 1). 1) 생성된 과수 군집들 중 가장 많은 과수를 포함하는 군집 Ci를 선택하고, 주성분 분석(Principle Component Analysis, PCA)을 통해 도출된 고유벡터와 군집내 한 점으로 정의된 직선 li이 과수 줄로 선택한다. 2) 선택된 과수 줄(직선)과 다른 군집에 속한 점들 사이의 거리를 측정한다. 3) 거리가 특정 임계값(예, 1.5 m) 이하인 경우, 해당 점을 군집을 Ci에 통합한다. 4) Ci에 통합되지 않은 군집들에 대해 1-3과정을 반복한다.
오인식(false-positive) 과수 제거: 과수 검출 과정에서, 검출된 과수 줄과의 거리가 임계 값(예, 3.3m) 이상인 과수는 오인식으로 판단하고 제거한다. 또한, 검출된 과수 줄들 중에서 다른 줄들과 평행하기 보다 수직에 가까운 (내적 값이 0에 가까운) 줄은 오인식 된 과수 줄로 판단하고 제거한다 (Figure 3). 추가로, 각 과수 줄 내에서 서로 거리가 먼(예, 5.0m) 과수가 존재할 경우, 해당 관계를 기준으로 더 많은 과수들이 분포되어 있는 방향의 과수들만 남기고 나머지 과수는 이상치로 제거한다.
과수원 자율주행을 위한 2차원 지도는 점 구름 데이터를 2차원 격자 지도에 투영하고, 그 위에 과수 줄 영역을 표시하는 방법으로 진행한다. 우선, 자율 주행 로봇의 높이를 고려하여, 점 구름의 일정 높이 구간(예, 로봇의 높이)에서 점들을 2차원 격자 지도에 투영한다. 그리고 과수줄에 일정 굵기(예, 0.5m)를 부여하여 2차원 격자 지도에 반영한다.
과수 줄 검출 과정에서 생성된 과수 줄은 길이가 서로 다를 수 있다. 본 연구는 과수원에서 과수 줄의 길이가 일반적으로 균일하다는 점을 고려하여, 그 길이를 통일하여 지도에 반영한다. 과수 줄의 길이는 모든 과수 줄을 포함하는 경계 상자(bounding box)를 찾고, 과수 줄 방향에서의 상자의 길이로 결정한다.
3. 결과 및 분석
본 연구는 제안된 과수원 지도 생성 방법을 검증하기 위해 실제 과수원(경북대학교 밭농업기계개발 연구센터)에서 점 구름 데이터를 수집했다. 계절에 따른 과수 변화에 대한 강건성을 평가하기 위해, 점 구름은 나뭇잎들이 없는 겨울(Figure 4-(a))과 나뭇잎이 자란 초여름(Figure 4-(b))에 각각 한 번씩 수집을 진행하였다. 데이터 수집에는 Ouster 32-채널 LiDAR를 사용하였으며, 과수원 전체에 대해 겨울에 수집된 점 구름은 약 150만 개의 점을 포함한다. Figure 1-(a)는 수집된 과수원(겨울)의 점 구름을 보여준다. 제안하는 알고리즘은 ROS2 [11] 환경에서 구현되었다.
실험에는 Intel i7-12700 CPU를 사용하였으며, 알고리즘의 수행 시간은 10번 수행 시간의 평균으로 측정하였다. 그 결과 수목 인식 단계는 평균 228.47ms, 과수 줄 인식 단계는 평균 2.39ms, 그리고 2차원 지도 생성은 평균 3.27ms을 각각 소요하였다. 전체 소요 시간은 평균 234.24ms으로 측정되어, 준실시간 성능을 달성함을 확인하였다.
Figure 1-(b)의 각 점은 겨울에 수집된 점 구름 데이터에서 인식된 과수를 표시하며, Table 1은 과수 인식의 결과를 보여준다. 정답(ground truth)는 사람이 판단한 각 줄의 실제 과수의 수다. 검출 개수는 본 연구의 과수 인식 알고리즘이 정확하게 인식한 과수의 수로, GT와의 거리가 0.1 m 이하인 경우 인식이 성공했다고 간주했다. 오 검출(false-positive) 개수는 실제 과수 없는 곳을 과수로 인식한 수를 의미한다.
| Row number | 1 | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|---|
| Ground truth | 31 | 36 | 28 | 46 | 15 | 14 |
| The number of detected trees | 18 | 35 | 28 | 44 | 14 | 14 |
| The number of false positives | - | - | 2 | - | 10 | 5 |
제안된 과수 인식 알고리즘은 전체 실제 과수 중 90%를 성공적으로 검출했다(GT 중 검출된 과수의 비율). 또한, 인식된 과수 중 90%가 정확하게 식별되었다(검출 개수 / (검출 개수 + 오 검출 개수)의 비율).
안쪽 줄(2, 3, 4번)들은 대체로 높은 정확도를 보여준 반면, 외곽 줄(1, 5, 6번)은 상대적으로 낮은 인식 정확도를 보였다. 1번 줄의 경우, 해당 줄의 안쪽 면에서만 점 구름이 수집되었기 때문에, 과수 인식을 위한 충분한 점들이 수집되지 않은 것으로 판단된다. 실제로 1번 줄의 점 수는 10,650개(질의 점 기준)로, 다른 줄들(평균 16,000개)에 비해 적은 수의 점들이 수집되었다.
반면, 5번과 6번 줄의 나무들은 다른 줄들에 비해 가지가 넓게 퍼져 있어, 이 가지들로부터 수집된 점들이 나무로 오인식되는 경우가 발생했다. 그러나 오인식된 과수들이 과수 줄에 인접한 위치(평균 거리 오차 약 0.07m)에 배치되었기 때문에, 과수 줄 인식의 정확도에 큰 영향을 주지 않는 것을 확인할 수 있었다.
Figure 5는 초여름에 수집한 과수원 점 구름 데이터와 과수 인식 결과를 보여준다. 초여름 데이터는 겨울 데이터 대비 적은 주행 시간으로 점 구름을 수집하여, 낮은 점의 밀도를 가지고 있다. 또한, 과수원의 주요 네 개 과수 줄에 대한 점 구름을 수집하였으며, 총 점의 수는 약 45만개다. Figure 5-(a)는 초여름에 수집된 점구름의 모습을 보여준다. 수목의 성장 상태를 보면 겨울에 비해 나뭇잎이 많이 자란 상태지만, 높은 과수 인식 정확도를 유지하는 것을 볼 수 있다 (Figure 5-(b)). 이는 제안하는 알고리즘이 나무의 주 기둥(밑둥) 부분을 이용해서 과수를 인식함으로써, 계절의 변화에 따른 나무 형상에 대한 강건성을 가짐을 보여준다. 또한, 점의 밀도가 낮음에도 과수 줄이 정확히 인식된 모습도 확인할 수 있다.
Figure 6-(a)는 과수원(겨울)의 점 구름 중 정해진 높이(0.4~0.7m)의 점들을 2차원 평면에 투영하여 생성한 과수원 지도를 보여준다. 이 지도에서 과수 위치 주변으로 장애물 영역(검은색)이 생성된 것을 볼 수 있다. Figure 6-(b)는 본 연구의 과수 줄 인식 결과가 반영된 과수원 지도로, 과수 줄 위치에 일정한 폭 및 길이의 과수 줄이 장애물로 표현된 것을 볼 수 있다.
본 연구는 과수 줄 인식 및 과수원 지도 적용이 자율 주행 로봇의 주행 계획 수립에 미치는 영향을 확인하기 위해, 과수 줄 적용 전과 후의 지도에서 경로 계획 결과를 비교하였다. 경로 계획 수립에는 Nav2 네비게이션 프레임워크[12]를 사용했다. Figure 6에서 녹색 점은 로봇의 시작 위치를, 빨간 점은 로봇의 목적지를 나타내며, 두 지도에서 같은 위치로 설정하였다. 주황색 선은 Nav2를 통해 생성된 로봇의 경로 계획을 보여준다.
과수 줄이 적용되기 전에는 과수와 과수 사이 공간을 주행 가능 영역으로 판단하여 줄을 가로질러 가는 경로가 생성되었다 (Figure 6-(a)). 하지만, 실제 과수원에서는 나무 사이에 얇은 지지대 등이 존재하여 로봇의 이동이 어렵고, 과수 사이를 이동할 때 과수에 피해를 줄 수 있다. 반면, 과수 줄이 적용된 지도에서는 과수 줄을 따라 이동하는, 안정적인 경로를 생성한 결과를 볼 수 있다 (Figure 6-(b)).
이러한 결과는 본 연구가 제안하는 과수 줄 인식을 통한 과수원 지도 생성이 과수원 내 자율 주행에 적합한 형태임을 보여준다.
4. 결론 및 향후 연구
본 연구는 과수원 자율 주행을 위한 2차원 과수원 지도 생성 방법을 제안하였다. 본 연구는 우선 점 구름에서 점들의 분포를 기준으로 과수를 인식하는 간단한 알고리즘을 개발하고(2.2장), 검출된 과수의 위치를 기반으로 과수 줄을 검출하는 방법을 제안하였다(2.3장). 그리고 검출된 과수 줄이 반영하여 2차원 과수원 지도 제작하였다(2.4 장).
본 연구는 제안하는 과수원 지도 제작 방법을 검증하기 위해 실제 과수원에서 취득한 점 구름 데이터에 적용하였다. 그 결과, 90%의 과수 인식 정확도를 달성함과 동시에 모든 과수 줄을 정확하게 검출하는 것을 확인하였다. 또한, 과수 줄이 반영된 지도에서 수립한 경로 계획인 과수 줄을 따라 이동하는 자연스러운 경로를 생성해 내는 것을 확인했다. 이러한 결과는 제안하는 알고리즘의 유용성을 증명하는 결과다.
한계점 및 향후 연구: 본 연구에서 제안한 과수 인식 알고리즘은 간결하고 연산 부하가 낮다는 장점을 가지지만, 과수 검출 정확도가 다소 낮다는 한계점을 가진다. 향후 연구에서는 인식된 과수 줄정보를 활용하여 과수 인식의 정확도를 높이는 연구를 수행하고자 한다. 또한, 제안하는 알고리즘은 나무 주 기둥 인식 및 오인식 과수 제거 등을 위해 사용자 매개 변수(parameter) 값이 필요로 한다. 향후 연구에서는 제안 기술의 범용성을 높이기 위해 매개 변수를 자동으로 설정하는 연구를 수행하고자 한다. 나아가, 다양한 실제 과수원 점 구름을 취득하여 제안하는 과수원 지도 제작 방법의 범용성을 검증 및 향상시키고자 한다.
