1 서론
군중 시뮬레이션은 다수의 보행자 또는 캐릭터가 하나의 공간 내에서 이동하며 상호작용하는 과정을 생성하는 컴퓨터 애니메 이션의 핵심 분야 중 하나이다. 게임, 영화, 가상 현실(VR), 도시 환경 분석, 로봇 내비게이션, 안전 시뮬레이션 등 다양한 분야에 활용될 수 있어 중요하다. 특히 군중이 밀집된 환경에서는 보행자 간 거리가 매우 짧고, 개별 보행자의 움직임이 주변 사람 및 공간 구조, 방향성 등 다양한 요인의 영향을 받게 되는데, 이를 고려 하여 수많은 군중을 자연스럽게 생성하기 위해서는 단순히 목표 지점을 향한 이동이나 충돌 회피뿐만 아니라, 장소의 의미론적 구조와 군중의 흐름 간 관계를 함께 고려할 필요가 있다.
군중 속 충돌 회피를 고려하기 위해 다양한 방법이 제안되었 는데, Social Force Model [1], ORCA [2] 등 맥락 기반 힘을 고 려하거나 속도 기반 충돌 회피를 고려하는 방법을 통해 다수의 보행자의 움직임을 효율적으로 생성할 수 있게 되었다. 이러한 방법들은 계산 효율이 높고 안정적이지만, 에이전트들의 행동이 사전에 정의된 규칙에 크게 의존하여 실제 군중 속에서 나타나는 다양한 장소 기반의 흐름 변화를 반영하기 어렵고, 고밀도 군중 시뮬레이션의 경우처럼 수많은 보행자가 등장할 경우 계산량이 크게 늘어난다는 단점이 있다. 최근에는 보다 복잡한 군중 움직 임을 학습하기 위해 GREIL-Crowds [3]과 같이 강화학습 그리고 데이터 기반 접근법이 많이 활용되고 있으며, 3차원 환경에서의 밀집된 군중 시뮬레이션에서 발생하는 캐릭터 간 충돌을 보정하 는 연구 [4] 또한 제안되었다. 이러한 연구 흐름은 고밀도 군중 시뮬레이션이 단순한 보행자의 경로 예측 문제가 아니라, 전체적 인 군중의 행동 및 공간 구조, 충돌 안정성, 그리고 자연스러운 움직임이 함께 고려되어야 한다는 것을 보여준다.
한편, 다중 에이전트 궤적 예측 분야에서는 보행자 간 상호작 용을 학습하기 위한 그래프 기반 모델 [5], [6]과 Transformer 기반 모델 [7]이 활발하게 연구되어 왔다. 특히 VectorNet [8]과 HiVT [9]는 에이전트의 궤적과 장면 정보를 벡터 또는 polyline 단위로 표현하고, 지역적 맥락과 전역적인 상호작용을 계층적으로 모델 링함으로써 복잡한 다중 에이전트 장면을 효율적으로 처리할 수 있음을 보였다. 이러한 벡터화 표현은 고밀도 군중 시뮬레이션의 복잡한 보행자의 이동과 주변 관계를 구조적으로 표현하기 위한 유용한 접근법이 될 수 있다. 그러나 기존의 궤적 예측 연구를 고밀도 군중 시뮬레이션에 그대로 적용하기에는 여전히 한계가 있다. 대부분의 모델은 보행자 또는 차량과 같은 동적 에이전트 를 중심으로 상호작용을 학습하며, 장소 자체가 가진 의미론적 역할을 명시적으로 모델링하지 않는다. 예를 들어 출입구는 군 중의 유입과 유출을 유도하고, 병목 구간은 정체와 압축 현상이 발생하며, 통로에서는 방향성 있는 흐름이 형성된다. 이처럼 장 소는 군중 행동을 결정하는 중요한 요소이지만, 기존 모델에서는 이러한 장소의 기능이 독립적인 학습 단위로 충분히 표현되지 않 았다.
본 연구는 이러한 문제를 해결하기 위해 장소 노드 주석 표기 와 그래프 뉴럴 네트워크(Graph Neural Network)를 결합한 고밀 도 군중 시뮬레이션 프레임워크를 제안한다. 제안 방법은 보행 자만을 그래프의 노드로 보는 것이 아니라, 군중 흐름에 영향을 주는 각각의 장소 요소를 노드로 정의하고, 각 장소 노드에 의미 론적 주석을 기입한다. 출입구, 병목 구간, 통로 등 모든 장소는 각각 다른 기능을 가진 장소 노드로 표현되며, 모델은 이를 통해 보행자-보행자 관계뿐만 아니라, 보행자-장소 관계 및 장소-장소 관계를 함께 학습할 수 있다.
또한 본 연구는 모든 간선을 동일하게 처리하지 않고, 간선의 종류와 의미에 따라 서로 다른 상호작용 가중치를 반영한다. 군 중이 밀집된 상황에서 가까운 보행자와의 관계, 같은 흐름을 공 유하는 보행자와의 관계, 병목 구간으로 접근하는 보행자와 장소 간의 관계, 출구를 향해 이동하는 보행자와 출구 지점의 관계는 서로 다른 의미를 가진다. 따라서 본 연구에서는 그래프 뉴럴 네 트워크를 통해 관계별 가중치를 다르게 학습하고, 이를 통해 장 소 구조가 군중 흐름에 미치는 영향을 보다 명확하게 표현하고자 한다.
본 연구의 주요 기여 항목은 다음과 같다:
-
고밀도 군중 시뮬레이션에서 장소를 단순한 배경이 아니라 군중의 행동에 영향을 주는 의미론적 그래프 노드로 모델링 하는 장소 노드 주석 기입 구조를 제안한다.
-
출입구, 병목 구간, 통로 등 장소의 기능을 주석으로 정의 하고, 보행자 궤적과 결합하여 장소의 의미와 군중의 흐름 사이의 관계를 학습할 수 있도록 하였다. 또한 보행자-보행 자, 보행자-장소, 장소-장소 관계를 그래프 구조로 표현하고, 간선 유형 또는 특징에 따라 서로 다른 상호작용 가중치를 반영하는 그래프 뉴럴 네트워크 구조를 설계하였다.
-
기존 벡터 기반 궤적 표현 연구와 지역적/전역적 상호작용 모델링의 장점을 장소 노드 주석 및 그래프 구조와 결합하 였다. 이를 통해 본 연구는 보행자 간 상호작용뿐만 아니라 보행자-장소, 장소-장소 관계를 함께 고려하는, 장소를 반영 한 고밀도 군중 시뮬레이션 프레임워크를 구성하였다.
-
실제 보행자 궤적 데이터셋을 활용하여, 위치 예측 오차뿐만 아니라 충돌 발생률, 장소별 밀집도 변화, 장소 노드 주변의 흐름 변화 등 시뮬레이션 관점의 평가를 수행할 수 있는 실 험 파이프라인을 구성하였다.
2 관련 연구
군중 시뮬레이션은 다수의 보행자가 공간 내에서 이동하며 상호 작용하는 과정을 생성하는 문제로, 전통적으로는 사람이 정의한 규칙이나 수식 모델을 기반으로 발전해 왔다. Social Force Model [1]은 보행자가 목표 방향으로 이동하려는 힘과 주변 보행자 및 장애물로부터 멀어지려는 반발력을 사용하여 군중의 움직임을 표현하였다. 이러한 접근법은 병목 구간, 집단 흐름과 같은 군중 과 관련된 현상을 직관적으로 설명할 수 있다는 장점이 있다. 한 편 대표적인 속도 기반 모델인 ORCA [2]는 이와 달리, 에이전 트가 선택할 수 있는 속도 공간에서 충돌을 회피할 수 있는 속도 조건을 계산한다. ORCA는 다중 에이전트가 충돌 회피 책임을 나 누어 가진다는 가정 아래, 각 에이전트가 충돌 없는 속도를 선택 하도록 하여 실시간 시뮬레이션 환경에서도 안정적이다. 하지만 앞선 방법들은 에이전트들의 행동이 사전에 정의된 규칙에 크게 의존하거나 군중 시뮬레이션처럼 수많은 에이전트가 등장할 경 우 계산량이 크게 늘어난다는 단점이 있다.
최근에는 실제 군중 데이터나 예시 행동을 활용하여 보행자 행동을 학습하는 데이터 기반 군중 시뮬레이션 연구도 활발히 진 행되고 있다. GREIL-Crowds [3]는 참조 군중 데이터에 기반한 강화학습 프레임워크를 통해 목표 추종, 그룹 형성, 배회 행동 등 다양한 군중 행동을 학습하고자 하였다. 이는 군중 행동을 사전 에 모두 규칙으로 정의하지 않고도 예시 데이터로부터 복잡한행 동 패턴을 학습할 수 있음을 보여준다. 또한 밀집 군중 애니메이 션에서는 궤적 생성 이후의 캐릭터 간 충돌과 3차원 애니메이션 품질도 중요한 문제로 다루어지는데, 고밀도 3차원 군중 환경에 서 캐릭터 간 충돌을 보정하여, 입력 군중 움직임의 전체 흐름을 유지하면서도 시각적으로 자연스러운 3차원 군중 애니메이션을 생성하는 방법 또한 제안되었다 [4]. 이러한 연구는 고밀도 군중 시뮬레이션이 단순한 경로 생성 문제가 아니라, 충돌 안정성, 군 중 흐름, 애니메이션 품질을 함께 고려해야 하는 문제임을 보여 준다. 한편 다수 캐릭터 간의 밀접한 상호작용을 생성하기 위한 상호작용 합성 연구도 제안되었으며, 캐릭터 간 상호작용의 자연 스러움에 초점을 두고 있다 [16].
이러한 기존 군중 시뮬레이션 연구는 주로 보행자 간 충돌 회피 또는 개별 에이전트의 행동 생성에 초점을 두는 반면, 실제 밀집 군중 환경에서는 출입구, 통로, 병목 구간, 정체 가능 구역과같 은 장소 구조가 군중 흐름에 직접적인 영향을 미친다. 본 연구는 이러한 장소 요소를 단순한 배경으로 처리하지 않고, 장소 노드 주석 기입을 통해 그래프 안의 의미론적 노드로 표현한다는 점에 서 기존 연구와 차별화된다.
보행자 궤적 예측 연구는 과거 위치 관측을 바탕으로 미래 이동을 예측하는 문제를 다루며, 군중 시뮬레이션과 밀접하게 연결된다. 초기 딥러닝 기반 연구인 Social LSTM [14]은 각 보행자의 이동 을 LSTM으로 인코딩하고, 주변 보행자의 은닉 상태를 사회적 풀 링(pooling)으로 결합하여 보행자 간 상호작용을 모델링하였다. 이후 Social GAN [15]은 보행자의 미래 이동이 하나로 결정되지 않는다는 점에 주목하여, 생성적 적대 신경망을 통해 사회적으로 타당한 다중 미래 궤적을 생성하고자 하였다.
그래프 기반 접근 방법 또한 널리 사용되었다. Social-STGCNN [6]은 보행자를 시공간 그래프의 노드로 구성하고, 그래프 합성곱 신경망을 통해 보행자 간 상호작용을 학습하였다. Trajectron++ [5]는 에이전트 간 관계를 그래프 구조로 표현하고, 다양한 에이 전트의 동역학적 특성과 장면 정보를 함께 고려하여 미래 궤적을 예측하였다. 이러한 연구들은 보행자 궤적 예측에서 개별 보행자 의 과거 이동뿐만 아니라, 주변 에이전트와의 관계를 함께 학습 하는 것이 중요함을 보여준다.
최근에는 Transformer 기반 구조를 활용하여 시간적 관계와 에이전트 간 관계를 동시에 모델링하려는 연구가 증가하였다. AgentFormer [7]은 시간 축과 에이전트 축의 관계를 함께 고려 하는, 에이전트가 반영된 Transformer 구조를 제안하여 다중 에 이전트 예측에서 attention 기반 모델의 가능성을 보였다. QCNet [10]은 질의 중심 방식으로 궤적 예측 문제를 재구성하여, 반복 적인 좌표 정규화와 중복 계산을 줄이고 효율적인 다중 에이전트 예측을 수행하고자 하였다.
이러한 궤적 예측 연구들은 보행자 또는 차량과 같은 동적 에 이전트 간 상호작용을 효과적으로 모델링한다. 그러나 대부분의 방법은 출입구, 병목 구간, 통로와 같은 장소 요소가 군중 흐름에 미치는 영향을 명시적인 관계로 표현하지 않는다. 고밀도 군중 시뮬레이션에서는 특정 장소가 보행자의 유입, 정체, 분산, 회피 행동을 유도할 수 있으므로, 본 연구에서는 보행자-보행자 관계 뿐만 아니라 보행자-장소 관계를 함께 고려하는 그래프 구조를 설계한다.
최근 다중 에이전트 궤적 예측 연구에서는 장면을 이미지 형태로 변환하는 래스터화(resterized) 표현 방법 대신, 지도 요소와 에이 전트 궤적을 벡터 또는 폴리선(polyline) 단위로 표현하는 vector-ized representation(이하 벡터화 표현)이 주목받고 있다. Vector-Net [8]은 도로 지도와 에이전트 움직임을 폴리선 형태의 벡터로 표현하고, 이를 계층적 그래프 구조로 처리하여 장면의 구조적 정보를 보존하고자 하였다. 이러한 표현은 이미지 기반 입력보 다 불필요한 공간 낭비를 줄이고, 궤적과 장면 요소의 기하학적 관계를 직접적으로 다룰 수 있다는 장점이 있다.
HiVT [9]는 다중 에이전트 모션 예측 문제를 지역적인 맥락 추출과 전역적인 상호작용 모델링으로 분리하여 처리하였다. 각 에이전트의 지역적인 이동 문맥을 먼저 인코딩한 뒤, 에이전트 간 전역적인 상호작용을 모델링함으로써 많은 수의 에이전트가 존 재하는 장면에서도 효율적인 예측이 가능하도록 하였다. 이러한 분리 구조는 각 보행자의 개별 이동 패턴과 주변 보행자와의 상 호작용 모두 중요하기 때문에 밀집된 군중 환경에서도 유용하다.
HiVT는 다중 에이전트 궤적 예측에서 지역적 맥락과 전역적 인 상호작용을 효율적으로 분리하여 모델링한다는 장점이 있다. 그러나 HiVT의 주요 목적은 에이전트의 과거 궤적과 주변 상호 작용을 기반으로 미래 위치를 예측하는 것이며, 출입구, 병목 구 간, 통로와 같은 장소 요소를 독립적인 의미 노드로 정의하거나, 보행자-장소 및 장소-장소 관계를 간선 유형에 따라 구분하여 학 습하는 구조는 포함하지 않는다. 따라서 본 연구는 HiVT의 벡 터화 표현이 갖는 효율성을 참고하되, 장소 의미와 관계 유형을 명시적으로 포함하는 장소를 반영한 그래프 구조를 추가하여 고 밀도 군중 시뮬레이션에 필요한 장소 기반 군중 흐름 분석으로 확장한다.
3 모델
본 연구는 밀집된 군중 환경에서의 보행자 간 상호작용뿐만 아니 라, 장소 구조가 군중 흐름에 미치는 영향을 함께 고려하는 고밀 도 군중 시뮬레이션 프레임워크를 제안한다. 실제 밀집 군중에서 는 출입구, 통로, 병목 구간과 같은 장소의 차이가 보행자의 이동 방향과 속도, 밀집도 변화, 흐름 분산에 직접적인 영향을 미친다. 따라서 본 연구에서는 장소를 단순한 배경 정보가 아니라, 군중 흐름을 형성하는 의미론적 요소로 보고 이를 그래프 구조 안에 포함한다.
제안하는 전체 파이프라인은 크게 네 단계로 구성된다. 첫 번 째 단계에서는 SDD [11], JRDB [12], SiT [13]과 같은 보행자 궤 적 데이터셋으로부터 보행자 위치와 장면 정보를 추출하고, 서로 다른 데이터 형식을 공통 궤적 표현으로 변환한다. 이 과정에서 각 보행자의 시간별 위치, 이동 벡터, 장면 식별자 등을 정리하여 이후 그래프 구성에 사용할 수 있는 형태로 전처리한다. 두 번째 단계에서는 장면 내 주요 장소 요소를 장소 노드로 정의하고, 각 장소 노드에 의미론적 주석을 기입한다. 예를 들어 출입구는 유 입과 유출이 발생하는 지점, 병목 구간은 정체가 발생하기 쉬운 지점, 통로는 방향성 있는 흐름이 형성되는 지점으로 표현할 수 있다. 이러한 장소 노드 주석 기입은 모델이 장소의 기능과 군중 움직임 사이의 관계를 학습할 수 있도록 한다. 세 번째 단계에 서는 보행자 노드와 장소 노드를 함께 포함하는 장소를 반영한 그래프를 구성한다. 이 그래프는 보행자-보행자 관계뿐만 아니 라 보행자-장소, 장소-장소 관계를 함께 포함한다. 본 연구에서는 모든 관계를 동일하게 처리하지 않고, 간선의 유형 또는 특징을 활용하여 관계의 종류에 따라 다른 상호작용 가중치를 반영한다. 이를 통해 가까운 보행자 간 충돌 회피 관계, 보행자와 병목 구간 사이의 정체 관계, 출입구와 통로 사이의 흐름 관계 등을 구분하 여 모델링할 수 있다. 마지막 단계에서는 구성된 그래프를 입력 하여 보행자와 장소 사이의 상호작용을 학습하고, 이를 바탕으로 각 보행자의 미래 궤적을 예측한다. 이때 HiVT와 같은 벡터화 표현 기반 모델의 지역적/전역적 인코더 구조는 보행자 궤적과 주변 상호작용을 효율적으로 표현하기 위한 기반으로 활용될 수 있다 [8], [9]. 본 연구는 이를 장소의 의미를 포함한 장소 반영 그래프로 확장하여, 단순한 미래 위치 예측을 넘어 장소 구조에 따라 달라지는 군중 흐름을 모델링하고자 한다.
예측 결과는 ADE, FDE와 같은 위치 기반 지표뿐만 아니라 충 돌 발생률, 장소 노드 주변의 밀집도 변화, 특정 장소를 통과하는 흐름 계산 등 시뮬레이션 관점의 지표를 통해 분석한다. 이를 통 해 제안 방법이 단순히 정답 궤적에 가까운 예측을 수행하는지 뿐만 아니라, 밀집 군중 환경에서 장소 구조와 군중 흐름 사이의 관계를 얼마나 효과적으로 반영하는지 평가한다.
요약하면, 본 연구의 전체 파이프라인은 데이터 전처리, 장소 노드 주석 기입, 장소가 반영된 그래프 구성, 그래프 뉴럴 네트워 크 기반 궤적 예측 및 군중 흐름 분석으로 구성된다. 본 연구는 기존 벡터 기반 궤적 예측 방법의 장점을 활용하면서도, 장소의 의미론적 구조와 간선별 상호작용 차이를 함께 반영함으로써 고 밀도 군중 시뮬레이션에 적합한 장소 기반 군중 흐름 모델링을 수행한다. 전체적인 모델의 구조는 Figure 1과 같다.
하나의 장면에서 관측되는 보행자 집합을 A = a1, a2, … , aN 이 라 하고, 보행자 ai의 시간 t에서의 위치를 다음과 같이 정의한다:
모델은 관측 구간 Tobs 동안의 보행자 궤적을 입력으로 받아, 이 후 Tpred 동안의 미래 궤적을 예측한다.
여기서 는 보행자들의 과거 궤적, 는 예측된 미 래 궤적, GV 는 장소 노드와 간선 정보를 포함하는 그래프를 의미 한다.
본 연구에서는 보행자의 절대 위치뿐만 아니라 시간에 따른 이 동 벡터를 함께 사용한다.
이동 벡터는 보행자의 이동 방향과 속도 변화 및 보행자 궤적을 벡터로 표현하여 구성하는 데 사용된다. 이러한 표현 방식은 기존 VectorNet [8] 및 HiVT [9]에서 사용된 방식과 유사하게, 복잡한 다중 에이전트 장면을 구조적으로 표현하는 데 유리하다.
본 연구의 핵심은 장소를 단순한 배경 정보가 아니라 군중 흐름에 영향을 주는 의미적 노드로 모델링하는 것이다. 이를 위해 장면 내 주요 장소 요소를 장소 노드로 정의하고, 각 노드에 의미론적 주석을 기입한다. 각 장소 노드 vk는 다음과 같이 표현된다:
여기서 ck는 장소 노드의 공간적 위치 또는 중심 좌표를 의미하 며, lk는 해당 장소의 의미적 레이블을 의미한다. 예를 들어 lk는 입구, 출구, 병목 구간, 대기 구역과 같은 장소 유형으로 정의될 수 있다.
장소 노드 주석 기입 과정은 모델이 특정 장소 주변에서 반복 적으로 나타나는 군중 행동을 학습할 수 있도록 한다. 예를 들어 출입구 주변에서는 유입과 유출 흐름이 강하게 나타날 수 있으 며, 병목 구간 주변에서는 보행자의 속도 감소와 밀집도 증가가 발생할 수 있다. 본 연구는 이러한 장소별 기능을 그래프 노드의 속성으로 포함하여, 보행자 움직임과 장소 의미 사이의 관계를 학습한다.
전처리된 보행자 궤적과 장소 노드 주석 기입을 바탕으로, 본 연 구는 보행자 노드와 장소 노드를 함께 포함하는 장소가 반영된 그래프를 구성한다.
여기서 NA는 보행자 노드 집합, NV 는 장소 노드 집합, E는 노 드 간 간선 집합을 의미한다. 본 연구의 그래프는 보행자-보행자 관계뿐만 아니라 보행자-장소 관계와 장소-장소 관계를 함께 포 함한다.
보행자-보행자 간선은 두 보행자 사이의 상대 위치, 거리, 이동 방향 차이를 나타낸다. 이는 기존 다중 에이전트 궤적 예측 모델 에서 다루어온 객체 간 상호작용과 관련이 있다 [5], [6], [7]. 보행 자-장소 간선은 보행자와 주변 장소 노드 사이의 관계를 나타낸 다. 예를 들어 보행자가 출입구에 가까워지는 경우, 해당 간선은 유입 또는 유출 흐름과 관련된 정보를 가진다. 장소-장소 간선은 장소 노드 사이의 연결 관계를 나타내며, 통로와 출입구, 통로와 병목 구간처럼 장면 내 흐름 구조를 표현하는 데 사용된다.
이러한 그래프 구성은 기존 보행자 중심 그래프와 달리, 장소 구조를 군중 흐름의 일부로 직접 포함한다는 점에서 차별성을 가 진다.
지역 인코더는 각 보행자의 관측 궤적에서 개별적인 이동 패턴을 추출한다. 보행자 ai의 입력 특징은 관측 구간 동안의 위치 변 화와 이동 벡터로 구성되며, 지역 인코더는 이를 통해 보행자의 이동 방향, 속도 변화, 정지 또는 회전 경향과 같은 지역적 움직임 특징들을 생성한다.
여기서 Xi는 보행자 ai의 관측 위치 시퀀스, Vi는 이동 벡터 시퀀 스, 은 보행자별 지역적 특징을 의미한다.
지역 인코더의 역할은 주변 보행자나 장소와의 관계를 고려하 기 전에, 각 보행자의 기본적인 이동 의도를 안정적으로 표현하 는 것이다. 예를 들어 일정한 방향으로 이동하는 보행자, 속도가 감소하는 보행자, 방향을 전환하는 보행자는 서로 다른 지역적 특징을 갖게 된다. 이러한 정보는 이후 전역 인코더와 상호작용 모듈에서 주변 관계와 결합된다.
전역 인코더는 장면 전체의 상호작용 정보를 학습한다. 기존 HiVT [9]는 지역적 맥락과 전역적인 상호작용을 분리하여 다중 에이전트 예측을 효율적으로 수행하였다. 본 연구 역시 이러한 지 역적/전역적 분리 구조를 활용하되, 전역적인 상호작용의 대상을 보행자에 한정하지 않고 장소 노드까지 확장한다.
전역 인코더는 보행자 노드와 장소 노드의 특징을 함께 입력으 로 받아, 장면 단위의 상호작용 표현을 생성한다.
여기서 은 지역 인코더에서 얻은 보행자 특징 집합이고, HV 는 장소 노드 주석 기입 과정으로부터 얻은 장소 특징 집합이 다. 이를 통해 모델은 보행자 간 상호작용뿐만 아니라, 보행자와 장소 사이의 관계를 함께 고려할 수 있다.
예를 들어 병목 구간 근처에 여러 보행자가 접근하는 경우, 전 역 인코더는 단순히 보행자 사이의 거리만 보는 것이 아니라 해당 보행자들이 병목 장소 노드와 어떤 관계를 갖는지 함께 학습한다. 따라서 장면의 장소 구조가 군중 흐름에 미치는 영향을 모델 내부 표현에 반영할 수 있다.
군중이 밀집된 환경에서는 모든 간선이 동일한 의미를 갖지 않는 다. 즉, 보행자-보행자 간선, 보행자-장소 간선, 장소-장소 간선은 서로 다른 의미를 가진다. 또한 같은 보행자-장소 간선이라 하더 라도, 출입구와의 관계인지 병목 구간과의 관계인지에 따라 군중 흐름에 미치는 영향이 달라진다.
이를 반영하기 위해 본 연구는 간선이 반영된 상호작용 모듈을 사용한다. 각 간선 eij는 다음과 같은 특징을 가진다:
여기서 typeij는 간선의 종류, dij는 두 노드 사이의 거리, rij는 상 대 위치 또는 방향 정보를 의미한다. 간선이 반영된 모듈은 간선 특징을 이용하여 메시지 전달 과정에서 관계별 가중치를 다르게 계산한다.
여기서 hi는 노드 i의 특징, N (i)는 이웃 노드 집합, ψ는 이웃 노 드 특징과 간선 특징을 결합하는 함수, αij는 간선별 상호작용 가중치, ϕ는 노드 업데이트 함수이다.
이 구조를 통해 모델은 관계의 종류에 따라 서로 다른 영향력 을 반영할 수 있다. 예를 들어 가까운 보행자와의 간선은 충돌 회피와 관련된 정보를 강하게 전달할 수 있고, 출입구 장소 노드 와의 간선은 이동 방향과 유출 가능성에 영향을 줄 수 있다. 병목 장소 노드와의 간선은 속도 감소나 밀집도 증가와 관련된 정보를 전달할 수 있다.
Edge-aware 상호작용을 통해 업데이트된 보행자 노드 특징은 미 래 궤적 예측에 사용된다. 각 보행자 노드의 최종 특징을 라 할 때, 예측 디코더는 이를 기반으로 미래 이동량을 예측한다.
예측된 이동량은 마지막 관측 위치를 기준으로 누적되어 미래 위 치로 변환된다.
이처럼 미래 위치를 직접 예측하는 대신 이동량을 예측하면, 장 면 좌표계에 대한 의존성을 줄이고 보행자의 이동 변화 자체를 학습하기 쉽다. 또한 장소가 반영된 그래프에서 얻은 장소 기반 상호작용 정보가 디코더에 반영되므로, 특정 장소 구조에 따른 흐름 변화를 예측할 수 있다.
4 실험 및 분석
본 연구에서는 보행자 궤적과 장면 정보를 포함하는 2차원 이미 지 또는 영상 평면 데이터셋을 사용하여 제안 방법을 평가한다. 사용 데이터셋은 SDD [11], JRDB [12], SiT [13]으로 구성된다. 각 데이터셋은 서로 다른 관측 환경과 장면 특성을 가지므로, 제 안하는 데이터 전처리 및 장소가 반영된 그래프 구성이 다양한 환경에서도 적용 가능한지 확인하는 데 적합하다.
SDD [11]는 드론 기반 조감 시점에서 수집된 캠퍼스 환경 데이 터셋으로, 보행자뿐만 아니라 자전거, 차량 등 다양한 이동 객체 를 포함한다. 본 연구에서는 이 중 보행자 클래스를 사용하였으 며, 각 객체의 바운딩 박스 중심점을 보행자 위치로 정의하였다. 장면 내 출입구, 통로, 광장, 교차 지점과 같은 장소 요소를 장소 노드로 정의한다.
JRDB [12]는 이동 로봇 플랫폼에서 수집된 자기중심적 관측 기반 데이터셋으로, 실내외 환경에서 로봇 주변의 사람들을 인 식하고 추적하기 위한 정보를 포함한다. JRDB는 고정 카메라가 아닌 로봇 중심 관측이라는 특징을 가지므로, 제안 방법이 관측 시점 변화가 있는 환경에서도 적용 가능한지 확인하는 데 활용 된다.
SiT [13]는 사회적 내비게이션 로봇을 위한 보행자 궤적 데이 터셋으로, 사람과 로봇이 함께 존재하는 사회적 상호작용 장면을 포함한다. 본 연구에서는 SiT를 통해 로봇 주변에서 발생하는 보 행자 흐름, 회피 행동, 특정 장소 주변의 이동 패턴을 분석한다.
각 데이터셋은 서로 다른 좌표계, 프레임 속도, 주석 형식을 가 지므로, 본 연구에서는 각 데이터셋의 원본 주석을 공통 2차원 궤적 형식으로 변환하였다. 변환된 데이터는 다음과 같은 형식을 따른다:
위의 수식에서 frameid는 프레임 번호, agentid는 보행자 식 별자, (xid, yid)는 2차원 이미지 좌표계 또는 정규화된 평면 좌표 계에서의 보행자 위치, 그리고 sceneid는 장면 식별자를 의미한 다. 원본 데이터셋이 바운딩 박스 형태로 제공되는 경우, 보행자 의 위치는 바운딩 박스의 중심점으로 계산하였다.
이후 각 보행자 궤적은 프레임 번호와 보행자 식별자를 기준 으로 정렬되며, 관측 구간 (Tobs)와 예측 구간 (Tpred)을 만족하는 연속 궤적만을 학습 및 평가에 사용하였다. 이러한 공통 형식 변 환을 통해 서로 다른 데이터셋에 대해 동일한 입력 표현, 그래프 구성 방식, 평가 지표를 적용할 수 있도록 하였다.
제안 방법의 핵심은 장면 내 장소 구조를 장소 노드로 정의하고, 각 장소 노드에 의미 정보를 부여하는 것이다. 보다 높은 재현 가능성을 위해, 본 연구에서는 궤적 분포와 장면 구조를 함께 고 려하는 반자동 주석 프로토콜을 사용하였다.
장소 노드 주석 과정은 다음과 같이 구성된다. 첫째, 각 장면의 2차원 이미지 위에 모든 보행자 궤적이 누적된 궤적 밀도 지도와 평균 이동 방향 지도를 생성한다. 둘째, 보행자 통과 빈도, 평균 속도, 이동 방향 일관성, 장면 경계와의 거리 등을 기준으로 장 소 후보 영역을 추출한다. 셋째, 추출된 후보 영역을 기능에 따라 입구, 출구, 병목 구간, 통로, 대기 또는 정체 구역과 같은 장소 유형으로 분류한다. 넷째, 서로 가까운 후보 영역은 하나의 장소 노드로 병합한 뒤, 각 장소 노드의 중심 좌표와 장소 유형을 저 장한다. 마지막으로 자동으로 추출된 후보 장소 노드가 장면의 의미와 맞지 않는 경우에 한해 수동으로 보정한다.
장소 유형별 기준은 다음과 같이 같다. 입구와 출구는 장면 경 계 근처에서 보행자의 유입 또는 유출이 반복적으로 발생하는 지점으로 정의한다. 병목 구간은 보행자 밀도가 높고 평균 속도 가 감소하며, 다수의 궤적이 좁은 영역으로 수렴하는 지점으로 정의한다. 통로는 특정 방향의 이동이 반복적으로 나타나고 이 동 방향의 일관성이 높은 영역으로 정의한다. 교차 구역은 서로 다른 방향의 흐름이 동일한 영역에서 만나는 지점으로 정의한다. 대기 또는 정체 구역은 보행자 밀도는 높지만 평균 이동 속도가 낮고, 장시간 머무르는 궤적이 반복적으로 관측되는 영역으로 정 의한다. Figure 2은 장소 노드 주석 기입의 한 예시이다.
각 장소 노드는 중심 위치 ck와 장소 레이블 lk, 장소의 영향 반경 Rk를 가진다.
장소 노드 주석 기입은 이후 장소가 반영된 그래프를 구성하는 데 사용된다. 보행자가 특정 장소 노드에 접근하거나, 해당 노드 주변을 통과하거나, 장소 노드 주변에서 속도가 감소하는 경우, 모델은 이를 보행자-장소 관계로 학습할 수 있다.
제안 모델은 보행자 궤적을 벡터화 표현으로 변환한 뒤, 보행자 노드와 장소 노드를 함께 포함하는 장소가 반영된 그래프를 구 성한다. 이후 지역 인코더는 각 보행자의 개별 이동 패턴을 인 코딩하고, 전역 인코더 및 그래프 신경망은 보행자-보행자, 보행 자-장소, 장소-장소 관계를 함께 학습한다. 최종 예측 디코더는 업데이트된 보행자 노드 특징을 기반으로 미래 궤적을 예측한다. 모든 실험에서는 동일한 관측 길이와 예측 길이를 사용하였으 며, 각 데이터셋은 동일한 전처리 파이프라인을 거쳐 학습에 사 용되었다. 기존 연구와의 공정한 비교를 위해 가능한 경우 동일한 양의 학습/테스트 분할 및 동일한 입력 궤적 길이를 사용하였다. 모든 실험은 Nvidia GeForce RTX 3080 Ti 환경에서 수행하였다.
본 연구에서는 예측 정확도와 시뮬레이션 관점의 품질을 함께 평가하였다. 먼저 위치 기반 지표로 ADE와 FDE를 사용하였다. ADE는 전체 예측 구간에서 예측 위치와 정답 위치 사이의 평균 오차를 측정하며, FDE는 마지막 예측 시점에서의 위치 오차를 측정하는 지표이다.
고밀도 군중 시뮬레이션에서는 보행자 간 충돌 가능성을 평가하 기 위해 충돌 발생률을 사용한다. 두 보행자 사이의 거리가 임계 값 δ보다 작을 경우 충돌 또는 비정상적 근접으로 간주하였다.
또한 본 연구에서는 장소 노드 주변의 흐름 변화를 분석하기 위해 장소 수준의 산술 지표를 추가로 사용하였다. 특정 장소 노 드 vk 주변 반경 R 안에 존재하는 보행자 수를 기반으로 장소의 밀도를 계산할 수 있다.
또한 특정 장소 노드 주변을 통과하는 보행자의 수를 흐름 계산 지표로 정의할 수 있다. 이는 출입구, 통로, 병목 구간과 같이 흐름 변화가 중요한 장소에서 모델이 실제 군중 흐름을 얼마나 잘 반영하는지 평가하는 데 사용된다.
Table 1은 SDD 데이터셋을 본 연구에서 제안한 모델에 넣었을 때, 위치 예측 성능 및 충돌 발생률을 비교한 결과이다. 같은 SDD 데이터셋의 bookstore 속 video 0 장면에서 Case 1은 과거 궤적을 8 프레임만큼, Case 2는 16 프레임만큼 참고한 경우이다. 그리고 Case 3은 SDD 데이터셋의 deathCircle 속 video 0 장면에서 과거 궤적을 16 프레임만큼 참고한 결과이다.
| 실험 | ADE↓ | FDE↓ | 충돌 발생률↓ | 속도 MAE↓ | 경로 길이 MAE↓ |
|---|---|---|---|---|---|
| Case 1 | 0.652 | 1.238 | 0.00375 | 0.251 | 0.841 |
| Case 2 | 0.533 | 0.988 | 0.00436 | 0.240 | 0.647 |
| Case 3 | 0.882 | 1.664 | 0.00226 | 0.401 | 1.021 |
같은 장소에서 과거의 궤적을 더 많이 참고할 수록 좋은 성능 을 보였으며, 같은 길이의 과거 궤적을 참고한 경우 보다 복잡한 장면 구조일수록 전반적인 궤적 예측 지표는 좋지 않았지만, 충돌 발생률이 낮아지는 결과를 보여주었다.
Table 2는 SDD 데이터셋의 각 장면을 대상으로 장소 노드 주 석을 기입하지 않았을 때와 기입했을 때, ADE와 FDE의 차이를 비교한 결과이다. 낮을수록 결과 예측의 정확도가 높다고 할 수 있다. 아래 비교에 사용된 장면은 순서대로 각각 bookstore, death-Circle, gates, hyang, nexus의 video 0이다.
Table 3은 SDD 데이터셋의 각 장면을 대상으로 장소 노드 주석 을 기입하지 않았을 때와 기입했을 때, 속도 MAE와 경로 MAE의 차이를 비교한 결과이다. 낮을수록 좋은 모션 일관성을 보인다고 할 수 있다.
장소 노드별 주석 기입은 평균 ADE/FDE 개선으로 이어지지 는 않았으나, 원형 교차나 명확한 이동 구조가 있는 장면에서는 움직임에 대한 일관성과 일부 위치 지표를 개선하였다. 특히, 원 형 도로 장면의 경우 장소 노드 주석을 기입했을 때 전반적으로 모든 지표가 개선되었다.
5 결론 및 향후 연구
본 연구에서는 군중이 밀집된 환경의 시뮬레이션을 위해 장소 의 의미적 구조와 보행자 간 상호작용을 함께 고려하는 장소가 반영된 그래프 기반 프레임워크를 제안하였다. 기존의 군중 시뮬 레이션 및 다중 에이전트 궤적 예측 연구는 주로 보행자 간 충돌 회피나 동적 에이전트 사이의 상호작용을 중심으로 발전해 왔 다. 그러나 실제 밀집 군중 환경에서는 출입구, 통로, 병목 구간, 정체 가능 구역과 같은 장소 요소가 군중의 이동 방향, 밀집도 변 화, 흐름 분산에 직접적인 영향을 미친다. 본 연구는 이러한 장소 요소를 장소 노드로 정의하고, 각 노드에 의미론적 주석을 기입 함으로써 장소 구조와 군중 흐름 사이의 관계를 모델링하고자 하였다.
제안 방법의 주요 기여는 다음과 같다. 첫째, 장소를 단순한 배경 정보가 아니라 군중 행동에 영향을 주는 의미적 그래프 노 드로 표현하는 장소 노드 기입 구조를 제안하였다. 둘째, 보행자-보행자 관계뿐만 아니라 보행자-장소, 장소-장소 관계를 함께 포 함하는 장소를 반영한 그래프를 구성하였다. 셋째, 간선 유형 및 특징에 따라 서로 다른 상호작용 가중치를 반영하는 그래프 신 경망 구조를 통해 장소별 군중 흐름의 차이를 학습할 수 있도록 하였다. 마지막으로, 기존 벡터 기반 궤적 표현의 장점을 활용하 면서도 이를 장소 의미 기반 그래프 구조로 확장하여 고밀도 군 중 시뮬레이션에 적합한 궤적 예측 및 흐름 분석 파이프라인을 구성하였다. 실험 결과, 장소 노드 주석이 모든 장면에서 일관된 ADE/FDE 개선으로 이어지지는 않았으나, 원형 교차 구조와 같 이 장소의 흐름 방향성이 명확한 장면에서는 위치 예측 오차와 모 션 일관성 지표가 함께 개선되는 경향을 확인하였다. 이는 제안한 장소를 반영한 그래프가 단순 위치 예측 정확도를 항상 향상시키 기보다는, 장소 구조가 군중 흐름에 강하게 작용하는 장면에서 더 효과적으로 작동할 가능성을 보여준다.
그러나 본 연구에는 몇 가지 한계가 존재한다. 첫째, 장소 노 드 주석의 품질이 모델 성능에 영향을 줄 수 있다. 장소 노드를 수동으로 정의하는 경우 주석의 기준이 주관적일 수 있으며, 자 동으로 추출하는 경우 장면의 실제 의미 구조를 충분히 반영하지 못할 수 있다. 둘째, 본 연구는 주로 2차원 보행자 궤적을 기반으 로 하므로 보행자의 자세, 시선, 몸 방향, 보행 주기와 같은 세부 행동 정보는 직접적으로 고려하지 않는다. 셋째, 서로 다른 데이 터셋은 관측 시점, 좌표계, 주석 방식, 장면 밀도에서 차이가 있기 때문에, 공통 전처리 과정을 적용하더라도 데이터셋 간 차이가 완전히 제거되지는 않는다.
향후 연구에서는 장소 노드 주석 과정을 보다 자동화하고 정교 화하는 방향으로 확장할 수 있다. 예를 들어 궤적 밀도, 이동 방향 분포, 정체 발생 빈도 등의 통계적 특성을 활용하여 출입구, 병목 구간, 통로와 같은 장소 노드를 자동으로 추출할 수 있다. 또한 2 차원 궤적 정보뿐 아니라 보행자의 이동 방향, 속도 변화, 자세 정 보 등을 함께 활용한다면 보다 풍부한 군중 상호작용을 모델링할 수 있을 것이다. 나아가 예측된 궤적을 3차원 캐릭터 애니메이 션, 모션 매칭(motion matching), 물리 기반 제어와 연계한다면, 실제 게임, 가상현실, 도시 안전 분석 등 다양한 응용 분야에서 활용 가능한 고밀도 군중 시뮬레이션 시스템으로 확장할 수 있을 것이다.






