화재 현장 영상에서 연기 영역을 제외한 이미지 기반 불의 영역 검출 기법

김, 승남; 최, 명진; 김, 선정; 김, 창헌

doi:10.15701/kcgs.2022.28.4.23

J Korea Comput Graph Soc 2022; 28(4):23-30

pISSN: 1975-7883, eISSN: 2383-529X

DOI: https://doi.org/10.15701/kcgs.2022.28.4.23

Article

화재 현장 영상에서 연기 영역을 제외한 이미지 기반 불의 영역 검출 기법

김승남¹

, 최명진²

, 김선정³

, 김창헌¹^,^*

Image-based fire area segmentation method by removing the smoke area from the fire scene videos

SEUNGNAM KIM¹

, MYUNGJIN CHOI²

, SUN-JEONG KIM³

, CHANG-HUN KIM¹^,^*

Author Information & Copyright ▼

¹고려대학교

²DeepXRLab. Inc.

³한림대학교

¹Korea University

²DeepXRLab. Inc.

³Hallym University

^*corresponding author: Changhun Kim/Korea University (chkim@korea.ac.kr)

© Copyright 2022 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 11, 2022; Revised: Jun 06, 2022; Accepted: Aug 23, 2022

Published Online: Sep 01, 2022

요약

본 논문에서는 불이 비슷한 색의 연기로 둘러싸여 있더라도 정확하게검출할 수 있는 알고리즘을 제안한다. 기존 불 영역 검출 알고리즘들은 화재이미지에서 불과 연기를 잘 분리해내지 못하는 문제점이있었다. 본 논문에서는 불 영역 검출 알고리즘을 적용하기 전에 전처리 과정으로써 색상 보정 기법과 안개 제거 기법을 적용함으로써 성공적으로 불을 연기로부터 분리해냈 다. 실제로 연기로 뒤덮인 화재 현장의 이미지들에서 기존 기법들보다 불을 더 효과적으로 검출하는 것을 확인할 수 있었다. 또한 제안한 화재 검출 알고리즘을 공장, 가정 등에서 효율적인 화재 탐지를 위해 사용할 수 있는 방법을 제안한다.

Abstract

In this paper, we propose an algorithm that can accurately segment a fire even when it is surrounded by smoke of a similar color. Existing fire area segmentation algorithms have a problem in that they cannot separate fire and smoke from fire images. In this paper, the fire was successfully separated from the smoke by applying the color compensation method and the fog removal method as a preprocessing process before applying the fire area segmentation algorithm. In fact, it was confirmed that it segments fire more effectively than the existing methods in the image of the fire scene covered with smoke. In addition, we propose a method that can use the proposed fire segmentation algorithm for efficient fire detection in factories and homes.

Keywords: 불 검출; 불; 화재 탐지; 연기 제거

Keywords: Fire Segmentation; Fire; Fire Detection; Smoke Removal

1. 서론

소방청이 2020년에 발매한 화재 통계 연감에 따르면 2011년부 터 2020년까지 10년 동안 화재로 인해 발생한 인명 피해와 재산 피해는 꾸준히 늘어나고 있다. 또한 발생한 화재의 규모가 더 크 더라도 자동 화재 탐지 설비가 작동했을 경우 인명 피해가 훨씬 적게 일어난 점으로 볼 때 정확한 화재 탐지가 화재 피해를 줄이 는데 중요하다는 점도 알 수 있다.

화재를 검출하고 탐지하는 데는 다양한 알고리즘들이 존재한 다. 우선 불의 연소 과정에서 발생하는 CO나 CO2 등의 물질을 센서로 탐지해 화재 발생 여부를 판단하는 방법들 [1–5]이 있다. 하지만 가격이 비싸고 넓은 범위를 감지하기 어려운 문제점이 있다.

반면 이미지 기반 화재 탐지의 경우에는 센서를 사용할 때보다 가격이 더 싸고 넓은 범위에서도 잘 작동하는 장점이 있어 많은 연구가 이루어져 왔다 [6–14]. 이러한 방법들은이미지의 픽셀들 을 분석해 불과 비슷한 색상 및 밝깃값을 가질 경우 불이라고 판 단한다. 그런데 불과 비슷한 색의 연기가 이미지에 존재할 경우 불 영역만을 정확하게검출하지 못하는 문제점이있었다.

본 논문에서는 이러한 문제점을 해결하기 위해 불 영역 검출 알고리즘을 수행하기 전에 색상 보정 알고리즘과 안개 제거 알고 리즘을 결합한 전처리 과정을 적용한다. 그 결과 화재이미지에서 연기를 제거해 성공적으로 불 영역만을 검출할 수 있게 된다. 또 한 제안된 알고리즘을 통해 공장, 혹은 가정 등에서 기존의 화재 탐지 프로세스들보다 더 정확하게 화재를 탐지할 수 있는 프로세 스를 제안한다.

본 논문의 순서는 다음과 같다. 우선 2장에서는 제안한 화재 검출 알고리즘의 관련 연구를 살펴본다. 3장에서는 제안된 알고 리즘의 내용에 관해 설명하고 4장에서는 제안된 화재 검출 알고 리즘에서 사용한 색상 보정, 연기 제거, 그리고 불 영역 검출 실험 과정 및 결과들을 정리하였다.5장에서는 기존 불 영역 검출 알고 리즘들과 제안한 기법을 비교한 결과와 실제 공장, 가정 등에서 제안한 기법을응용해 사용할 수 있는 정확한 화재 탐지 시스템을 제안한다. 마지막으로 6장에서는 제안한 화재 검출 알고리즘에 대한 종합적인 평가와 한계에 대해 다룬다.

2. 관련 연구

2.1 불 영역 검출 알고리즘

불의 색상을 이용해 이미지의 특정 부분이 불인지 아닌지를 판 단하는 기법들은 그동안 많이 개발되었다. 가장 먼저 이미지의 픽셀들의 RGB 값들을 사용해 특정 픽셀이 불인지 아닌지를 판단 하는 방법 [6, 7]들이있다. RGB를 사용한 불 영역 검출 기법들은 간단하지만, 픽셀이 나타내는 색을 강도와 색차로 나눌 수 없다는 문제점이 있다. 따라서 색을 조합해 강도와 색차를 구하는 RGB 색 공간 대신 강도와 색채를 사용해 색을 만들어내는 색 공간상 에서 불 영역을 검출하려는 시도들이이루어졌다. 이러한 연구들 에서는 RGB 색 공간에서 사용되던 불 영역 검출 알고리즘들을 YCbCr, HIS, CIEL*a*b*등의 색 공간상의 방법으로 수정하여 불 영역을 검출했다 [8–11]. 하지만 불이 비슷한 색을 띠는 연기에 둘러싸여 있으면 잘 인식하지 못하는 단점이 있었다. 한편 불을 적색인 바깥 부분과 흰색에 가까운 중앙 부분으로 나눠서 각각 검출한 후 합치는 방법이 제시되었고 [12] 최근에는 한 가지의 색 공간만 사용하지 않고 RGB의 적색 채널과 YCbCr의 밝기 채널 사이의 관계를 통해 불 주위의 반사광 유무까지 고려해 기존 방법들보다 더 정확하게 불 영역을 검출할 수 있는 기법도 제안 되었다 [13]. 이 방법을 통해 불을 주위의 반사광 유무로 분류해 더 정확하게 검출할 수 있게 되었지만, 불과 비슷한 색의 연기가 존재할 경우에 연기까지 불로 인식될 수 있는 문제가 여전히 존 재했다.

딥 러닝 기술의 발전에 따라, 최근까지 많은 딥 러닝 기반 불 영 역 검출 기법들도 개발되었다. [14]에서는 CNN 네트워크를 불의 특성들을 추출하는 데 사용했다. SqueezeNet [15]을 사용해 기존 딥 러닝 기반 불 영역 검출 기법들에 비해 메모리 사용량을 줄이 는 데 성공한 연구도 존재했다 [16]. 이러한 딥 러닝 기반 불 영역 검출 기법들은 기존의 이미지 기반 방법들에 비해 좋은 결과를 낼 수 있지만, 더 많은 메모리를 요구하고 [13], 표준화된 데이터 셋의 부재 때문에 정확한 성능을 측정하거나 네트워크를 학습, 테스트하기 어려운 문제점이있다 [17].

2.2 안개 제거 알고리즘

대부분의 안개 제거 알고리즘들은 [18]에서 제안된 광학 모델을 사용하고 있다. [19]에서는 야외 이미지들을 관찰해 안개가 존재 하지 않는 부분의 픽셀들은 세 가지 색상 채널 중 최소 한 가지는 0에 가까울 정도로 매우 낮다는 사실을 관찰했다. 반면 안개에 해당하는 픽셀들의 경우에는 그러한 픽셀들을 안개가 가려주기 때문에 아주 작은 값의 색상 채널을 가지는 픽셀이 상대적으로 훨씬 적다. [19] 논문에서는 이런 통계적 특성을 사용해 안개를 제 거하는 Dark Channel Prior 기법이 제안되었다. Color Attenuation Prior [20]는 이미지 내의 안개 깊이에 따라 밝기와 채도의 차이가 증가한다는 가정에 기반해 이미지 내의 안개를 제거하였다. 안개 가 있는 원본 이미지로부터 여러 이미지를 추출하고 다시 합쳐서 안개를 제거하는 방법 또한 제안되었다 [21, 22]. 하지만 지금까 지의 안개 제거 알고리즘으로는 특정 색을 강하게 띠는 안개를 제거할 수 없다는 문제점이 존재했다. [23]에서 관찰했던 것처럼 안개가 잘 제거되지 않은 이미지들의 경우 한 가지 색상 채널의 값이 심각하게 감소되어 있다. 실제로 화재 현장 이미지의 경우 도 이미지의 상당 부분이 불의 영향으로 적색이나 주황색을 띠는 경우가 많아 불로 인한 연기는 안개 제거 알고리즘을 적용해도 제거되지 않는 경우가 많다.

수면 아래에서 찍은이미지들은 적색 채널 값이 녹색 채널 값에 비해 작기 때문에 안개 제거가 잘 안되는 대표적인 예이다. 이때 수면 아래 이미지들의 안개를 제거할 수 있도록 색상을 보정해주 는 알고리즘이 제안되었다 [24]. 또한 [23]에서는 [24]의 방법을 일반화한 3C 알고리즘이 제안되었고 안개가 잘 제거되지 않는 이미지들에 전처리로 3C 알고리즘을 적용한 후에 Dark Channel Prior를 적용했을 때 성공적으로 안개를 제거할 수 있었다.

3. 알고리즘

알고리즘의 전체적인 흐름은 Figure 1과 같다. 먼저 불이 정상적 으로 발생하는 범위에 맞게 수동으로 경계 상자를 설정한다. 다 음으로 화재이미지가 일반적인이미지의 색상 분포에 가까워지 도록 색상을 보정해준 후 안개 제거 알고리즘을 적용해 불 주변의 연기를 제거한다. 연기가 제거된 화재이미지에서 밝기 채널 값과 적색 채널 값을 사용해 불의 중심부와 바깥쪽 부분을 각각 검출한 후 합쳐서 이미지에 존재하는 전체 불 영역을 검출한다.

Figure 1: Overall process of proposed fire segmentation algorithm

Download Original Figure

3.1 연기 제거

안개 제거 알고리즘으로는 대부분의 안개 제거 알고리즘들의 기 반이 되는 Dark Channel Prior를 사용했다. 전달량 보존을위해선 [19]에서 사용되었던 Soft Matting이 아니라 Guided Filtering [25] 을 사용하였다. 이때 각 픽셀의 전달량을 보정하는 범위를 크게 할 경우 불과 연기 사이의 경계를 정확하게 구분하기 어려운 문제 점이있었다. 불 영역 검출의 경우에는 자연스러운 연기 제거보다 정확한 불과 연기 사이의 분리가 중요하기 때문에 기존에 사용하 던 전달량 보정 범위 값보다 범위를 더 적게 설정해 불 영역을 더 정확하게검출할 수 있도록 했다.

Figure 2는 같은 화재 이미지에 대해 전달량 보정 과정에서 보 정 범위를 다르게 한 결과이다. 빨간 사각형으로 표시한 부분을 보면 보정 범위를 크게 할 경우 보정 범위를 작게 설정했을 때보 다 불과 연기가 잘 분리가 되지 않는 것을 확인할 수 있다.

Figure 2: Results according to the window size of transmission map refinement

Download Original Figure

3.2 이미지 색상 조정

[23]에서 지적했듯 일반적인 안개 제거 알고리즘이 잘 작동하 지 않는 이미지들의 경우에는 특정 색상 채널의 값이 매우 낮은 경우가 많다. 화재 현장 이미지들의 경우에도 Figure 3에서 확인 할 수 있듯이 적색 채널의 값이 일반적인 이미지들에 비해 매우 높으면서 반대 색상인 녹색 채널의 값이 매우 낮은 경우가 많다.

Figure 3: Red channel distribution of fire images, fire images after color compensation, and normal images

Download Original Figure

따라서 안개 제거 알고리즘이 잘 적용되도록 하기 위해 3C 알 고리즘을 사용하여 이미지의 전체적인 색상을 조정해주었다. 3C 알고리즘을 사용해 색상을 조정하는 공식은 다음과같다.

I a * c = I a * (x) − κ ⋅ M (x) ⋅ G I a * (x) I b * c = I b * (x) − λ ⋅ M (x) ⋅ G I b * (x)

(1)

이때 I_a*와 I_b*는 각각 CIEL*a*b* 색상 공간으로 표현된 이 미지의 적색, 청색 채널의 초깃값이고 GI_a*와 GI_b*는 I_a*와 I_b*에 가우시안 필터를 적용했을 때의 값이다. κ와 λ는 각 채널의 색상을 얼마나 조정해줄지를 결정하는 파라미터이다. 화재 현장 이미지의 경우에는 전체적으로 매우 강한 적색을 띠는 경우가 많 으므로, 적색 채널을 감소시키면서도 불 바깥 부분을 검출하기 위해 약간의 적색을 남기기 위해 κ는 0.9로 설정했다. 황색 채널 의 경우에는 불 영역 검출 과정에서 따로 사용하지 않으므로 λ 를 1.0으로 설정해 황색의 반대 색상인 청색과 완전히 균형이 맞춰 지도록 조정해주었다.

3.3 불 영역 검출

색상 보정과 연기 제거가 완료된 이미지에 대해 불 영역 검출 알 고리즘을 적용한다. 색상 공간으로는 CIEL*a*b*를 사용했으며 [12]에서 제안된 방법처럼 불을 적색을 띠는 바깥 부분과 하얀색 에 가까운 중앙 부분으로 나눠서 각각 검출한 후 합치는 방법을 사용하였다. 불의 바깥쪽 부분은 주위의 연기보다 적색 채널의 값이 크고 동시에 더 밝다는 사실을이용해 밝기 채널의 값, 적색 채널의 값이 둘 다 임곗값을 넘을 경우에 불의 바깥쪽 부분으로 판정한다. 밝기와 적색 채널의 임곗값을 너무 작게 설정하면 주 위의 연기까지 불로 인식될 수 있는 문제점이 있고, 임곗값을 너 무 크게 설정하면 불 영역임에도 불로 인식되지 않는 문제점이 있다. 여러 번의 실험을 거쳐 밝기의 임곗값과 적색 채널의 임곗 값을 각각 10.0으로 설정하였다.

L * ≥ F l a m e_T h r e s h o l d L I G H T a * ≥ F l a m e_T h r e s h o l d R E D

(2)

불의 안쪽 부분의 경우에는단순하게각 픽셀의 밝깃값이임곗 값 이상일 경우에 불의 중심 부분이라고 판단한다. 밝기 임곗값이 너무 작을 경우에는 불의 중심 부분뿐만 아니라 불의 바깥쪽 부분 이나 연기까지 불의 중심 부분으로 오검출이 될 수 있고, 반대로 너무 클 경우에는 불의 중심 부분임에도 검출되지 않을 수 있다. 불의 바깥쪽 부분을 검출할 때와 마찬가지로 다양한 이미지로 실 험을 한 후 가장 결과가 좋은 40.0을 밝기 임곗값으로 설정했다.

L * ≥ C e n t e r_T h r e s h o l d L I G H T

(3)

최종적으로 검출된 불의 내부와 외부를 합쳐 전체 불 영역을 검출한다.

4. 실험

4.1 실험 환경

본 논문에서 제안한 시스템은 파이썬을이용하여 구현하였고, 이 미지 처리에는 OpenCV 라이브러리를 사용하였다. 실험에 사용 된 모든 이미지는 500x500 해상도로 크기를 바꿔 사용하였다. 사 용된 CPU는 Intel i7-7700K이고 16GB 램을 사용하였다. 불 검출 실험에 사용한 이미지들은 FiSmo dataset [26]과 The FAZE에서 제공한 fire image dataset [27]에 포함된 화재이미지들을 사용하 였다.

4.2 화재이미지 연기 제거 결과

관련 연구에서 지적했던 것처럼 기존의 안개 제거 알고리즘들을 사용해 불 주변의 연기를 제거하려고 했을 때는 성공적으로 연 기를 제거할 수 없었다. Figure 4는 화재이미지들에 기존의 안개 제거 알고리즘만을 사용하여 연기 제거를 시도해 본 결과이다. 불 주변의 연기가거의 제거되지 않은 것을 확인할 수 있다.

Figure 4: Fire scene images with poor smoke removal

Download Original Figure

반면 Figure 5는 본 논문에서 제안한 색상 보정과 연기 제거 전처리 과정을 Figure 4에서와 동일한 이미지들에 적용해 연기 를 제거한 결과들이다. 3C 알고리즘을 화재 현장 이미지에 맞게 수정 및 적용해 색상 분포를 일반적인 이미지에 가깝게 수정해 준 후에 안개 제거 알고리즘을 적용함으로써 불 주변의 연기를 제거하고 불 부분만을 성공적으로 추출하는 데 성공했다.

Figure 5: Fire image smoke removal result after adjusting color distribution

Download Original Figure

그 과정에서 가장 중요한 것은 3C 알고리즘을 사용할 때 적색 채널과 청색 채널을 얼마나 보정해줘야연기가가장 성공적으로 제거되는지를 알아내는 것이다. 따라서 색상 보정 과정에서 κ와 λ의 값에 따라 화재 현장의 연기가 얼마나 성공적으로 제거되면 서 동시에 불의 바깥쪽 부분을 검출할 수 있을 정도로 적색 값들 을 남길 수 있는지를 확인하기 위한 실험을 진행하였다. Figure 6 에서 확인할 수 있듯이 κ의 값이 너무 낮을 경우에는 이미지 전 체적으로 적색 채널의 값이 덜 감소하여서 이미지가 전체적으로 너무 붉고 동시에 연기가 짙게 남아있는 것을 볼 수 있다. 하지 만 κ가 반대로 너무 클 경우에는 적색 채널이 과하게 감소하여 이미지가 전체적으로 반대 색상인 녹색을 띠고 동시에 적색인 부 분들이 사라져 불의 바깥쪽 부분을 인식하기가 어려웠다. 실험 결과 κ=0.9에서 가장 좋은 연기 제거 결과를 얻을 수 있었다. 한 편 청색 채널은 불 영역을 검출할 때 사용하지 않으므로 연기가 잘 제거되는지 위주로 실험을 진행했고, λ=1.0에서 가장 좋은 결 과를 얻었다.

Figure 6: Fire scene smoke removal result images according to color compensation parameters

Download Original Figure

4.3 불 영역 검출 결과

가장 불 영역을잘 검출해 낼 수 있는 파라미터를 찾기 위해 3.3에 서 제안한 불 영역 검출 알고리즘의임곗값들을 바꿔가면서 어느 임곗값에서 가장 결과가 좋은지를 알아내기 위한 실험을 진행하 였다. Figure 7은 밝기 임곗값에 따라 불의 중심 부분을 얼마나 정확하게 검출해 낼 수 있는지를 알아내기 위한 실험의 결과이 다. 밝기 임곗값이 너무 작을 경우에는 불의 바깥 부분, 심지어는 연기까지도 불의 중심 부분으로 검출될 위험성이 있는 것을 확 인할 수 있다. 반면 밝기 임곗값이 너무 클 경우에는 불의 중심 부분임에도 밝기가 임곗값보다 작아 검출되지 않을 가능성이있 다. 여러 실험 결과 밝기 임곗값이 40.0일 때 불의 중심 부분을 가장잘 검출해낸다는 것을 확인할 수 있었다.

Figure 7: Comparison of the detection result of the central part of the fire according to the brightness threshold

Download Original Figure

다음으로는 불의 바깥 부분을 가장 잘 검출해 낼 수 있는 적색 임곗값과 밝기 임곗값을 구하기 위한 실험을 실시하였다. 이 실 험의 경우에는 시각적으로 바깥쪽 부분만이 잘 검출되었는지를 쉽게 확인하기 위해 위에서 실행한 불 중심 부분 검출 알고리즘을 합쳐서 실험을 실시하였다. Figure 8은 불의 바깥쪽 부분을 검출 할 때 사용하는 적색 임곗값과 밝기 임곗값의 크기를 조정한 실 험의 결과이다. 적색 임곗값과 밝기 임곗값이 너무 낮을 때에는 주위의 연기까지 불의 바깥쪽으로 검출되는 문제가 있었고, 반대 로 너무 클 때는 불의 바깥쪽 부분 중 상당수를 검출하지 못했다.

Figure 8: Comparison of the detection result of the outer part of the fire according to the brightness threshold and the red threshold

Download Original Figure

Figure 8을 보면 적색 임곗값과 밝기 임곗값이 작을수록 주위 의 연기까지 불로 인식되는 범위가 넓어지는 것과 반대로 적색 임곗값과 밝기 임곗값이 클수록 불 내부에 불로 인식되지 않아 흑백으로 표현된 공간이 많아지는 것을 확인할 수 있다. 여러 이 미지를 가지고 실험을 진행한 결과 적색 임곗값과 밝기 임곗값이 10.0일 때 일반적으로 결과가 가장 좋다는 것을 확인할 수 있었 다.

Figure 9에서는 불 영역 검출 알고리즘의 과정별 결과를 추출 하여 정리하였다. 화재 이미지에 대해 4.2까지의 과정을 통해 먼 저 연기를 제거해 준 후 불의 밝은 중앙 부분과 바깥쪽의 붉은 부분은 픽셀값들을 통해 각각 검출한다. Figure 9의 세 번째 열과 네 번째 열은 불의 중앙 부분과 바깥쪽 부분을 각각 검출한 결과 인데, 중앙 부분은 불의 밝은 노란색 부분이, 그리고 바깥쪽 부분 은 불의 주황색, 붉은색 부분이 잘 검출된 것을 확인할 수 있다. 다섯 번째 열은 검출된 불의 중앙, 그리고 바깥쪽 부분을 합친 결 과이고 마지막 열은 시각적으로 잘 확인할 수 있도록 불 부분만 컬러로, 나머지 부분은 흑백 처리한 결과이다. 대부분의 연기가 성공적으로 제거되어 불 영역만이 성공적으로 검출된 것을 확인 할 수 있다.

Figure 9: Fire segmentation step-by-step image in fire image with smoke removed

Download Original Figure

5. 결과

5.1 기존 기법들과의 비교

Figure 10은 불과 비슷한 색의 연기가 포함된 화재 현장 이미 지들에 기존의 불 영역 검출 알고리즘들을 적용해 본 결과이다. 시각적으로 얼마나 불만을잘 검출했는지를 확인하기 쉽도록 불 영역은 컬러로, 나머지 부분은 흑백으로 처리하였다. 기존의 불 검출 알고리즘들을 사용했을 경우에는 전체 불 영역을 모두 검 출하지 못하거나, 주위의 연기까지 불로 검출되는 문제가 있음을 확인할 수 있다.

Figure 10: Existing fire segmentation techniques that do not detect smoke mixed with fire

Download Original Figure

Figure 11은 본 논문에서 제안한 불 영역 검출 알고리즘과 기 존 기법들의 불 검출 결과를 비교한 것이다. 붉은 연기의 존재 때문에 기존의 불 영역 검출 기법이 불만을 정확하게 검출하지 못하는 것을 확인할 수 있다. 두 번째 열에서 사용된 불 영역 검 출 알고리즘의 경우에는 불의 중심 부분만을 검출할 수 있었고 세 번째와 네 번째 열에서 사용한 불 영역 검출 알고리즘은 불의 중심 부분과 바깥쪽 부분을 모두 검출하는 데 성공했지만 연기와 불의 경계면을 정확하게 구분하지 못해 상당량의 연기가 불로 인 식되는 문제점이 있다. 반면 본 논문에서 제안한 방법을 사용해 불 영역을 검출할 경우 기존 방법들보다 훨씬 정확하게 불만을 검출하는 것을 확인할 수 있었다.

Figure 11: Comparison of fire segmentation results of existing fire segmentation algorithms and the proposed algorithm

Download Original Figure

5.2 응용

본 논문에서 제안한 불 영역 검출 알고리즘은 공장, 가정 등 불과 연기가 많이 발생하는다양한 공간에서 정확한 화재 탐지를 위해 사용할 수 있다. 공장이나 가정에서 발생할 수 있는 화재를 탐지 할 때 기존의 불 영역 검출 알고리즘들을 사용할 경우 연기와 불 을잘 구분해내지 못하기 때문에연기가 발생할 수 있는 부분까지 경계 상자를 넓게 설정해야 한다. 따라서 더 정밀한 범위에서의 화재 탐지가 어려울 수 있다. 하지만 본 논문에서 제안한 불 검출 알고리즘은 불과 연기가같이 존재하더라도 불만을 정확하게검 출할 수 있기 때문에 더 작은 크기의 경계 상자로도 효과적으로 화재 발생 여부를 탐지할 수 있다.

Figure 12: Examples of fire detection results including bounding boxes

Download Original Figure

제안된 화재 탐지 시스템을 구현하기 위해 우선 불이 발생하는 물체를 촬영하고 있는 영상에서 불이 정상적으로 발생할 수 있는 범위에 맞게 수동으로 경계 상자를 설정해주고 3.3에서 검출한 불 영역과 합쳐준다. 3.1에서 3.3의 과정을 거치면서 불 영역 근 처의 연기가 제거되었기 때문에 불 주위의 연기가 설정된 경계 상자 밖으로 벗어나더라도 화재가 발생한 것으로 탐지되지 않고, 불 자체가 경계 상자 밖으로 벗어나야 화재가 발생한 것으로 판 단하게 된다.

Figure 13의 첫 번째 행은 공장에서의 생산 과정에 본 논문에서 제안한 화재 탐지 시스템을 적용한 결과이다. 생산 과정에서 발생 한 불과 연기 중 불만을 정확하게 검출할 수 있어 불이 발생하는 부분만을 경계 상자로 설정할 수 있는 것을 확인할 수 있다.

Figure 13: Examples of applying the fire segmentation algorithm proposed in this paper

Download Original Figure

그다음은 가정에서의 적용이다. Figure 13의 두 번째 행은 가 정의 부엌 이미지에 제안한 시스템을 적용한 결과이다. 요리 과 정에서 발생하는 불과 연기 중 불만을 정확하게 검출하는 것을 확인할 수 있다. 따라서 불이 발생할 수 있는 범위만을 경계 상자 로 설정해 더 작은 범위에서 정확하게 화재를 탐지를 할 수 있다.

마지막으로 최근에는 드론의 자율 주행이 가격 측면과 시각 적으로 확장 가능하다는 이점이 존재하는 카메라 기반 기법으로 많이 연구되고 있는데 [28], 화재 진압 드론 등을 사용한 화재 탐 지에도 제안한 기법이 사용될 수 있을 것이다.

6. 정리 및 한계

본 논문에서는 기존 불 영역 검출 알고리즘들로는 불가능했던 연 기로부터 불만을 분리해 검출해낼 수 있는 알고리즘을 제안하였 다. 색상 보정과 안개 제거 알고리즘을 결합해 화재 이미지에서 연기를 제거한 후 불 영역 검출 알고리즘을 적용함으로써 성공 적으로 연기를 제거하고 불 영역만을 검출하는 데 성공하였다. 실제로 실험 결과 본 논문에서 제안한 기법을 사용했을 때 기존 불 영역 검출 기법들에 비해 불과 연기를 훨씬 더 잘 구분해 내 는 것을 확인할 수 있었다. 또한 제안된 알고리즘을 공장과 가정 등 불이 자주 사용되는 장소 등에 더 정확한 화재 탐지를 위해 적용할 수 있는 방법에 대해서도 제시하였다.

본 논문에서 제안한 시스템의 한계점은 불과 비슷한 색을 띠는 연기는 잘 제거할 수 있지만 불에서 발생하는 반사광 등은 잘 제 거하지 못한다는 것이다. 최근 발표된 불 영역 검출 알고리즘 [13] 에서는 적색 채널과 밝기 채널의 관계를 사용해 이를 해결하였고 이를 추후에 적용해 불 주위에 발생하는 반사광까지 제거해보고 자 한다. 또한 현재 단계에서는 픽셀 단위로만 불을 검출하기 때 문에 불로 인식된 영역 내에 불로 인식되지 않은 픽셀들이 다수 존재한다. 이는 Region Growing [29] 알고리즘 등을 적용하여 해 결할 예정이다. 또한 현재는 여러 화재이미지들에서 일반적으로 가장 좋은 결과를 낼 수 있도록 파라미터값들을 모두 같게 설정 했는데, 화재 현장 이미지들도 색상 분포가 모두 같지는 않기 때 문에 불 영역이 성공적으로 검출되지 않는 이미지들도 존재한다. 따라서 향후에는 이미지 각각의 색상 분포에 따라 통계적 기법 들을 적용해 이미지 별로 최적화된 파라미터가 적용될 수 있도록 개선할 예정이다. 마지막으로 본 논문에서는 데이터셋의 부재로 분류 정확도 및 IoU 등의 정량적인 수치 비교에어려움이있었다. 추후 연구에서는 연기와 불이 분리된 데이터셋을 생성해 수치적 인 비교 결과를 보완할 예정이다.

감사의 글

이 논문은 2022년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원(No.2022-0-00288,실감콘텐츠핵심기술개발(R&D) 사업) 받아 수행된 연구임.

References

[1].

S.-J. Chen, D. C. Hovde, K. A. Peterson, and A. W. Marshall, “Fire detection using smoke and gas sensors,” Fire Safety Journal, vol. 42, no. 8, pp. 507–515, 2007.

[2].

D. Kang, E. Kim, P. Moon, W. Sin, and M.-g. Kang, “Design and analysis of flame signal detection with the combination of uv/ir sensors,” Journal of Internet Computing and Services, vol. 14, no. 2, pp. 45–51, 2013.

[3].

B. C. Ko, K.-H. Cheong, and J.-Y. Nam, “Fire detection based on vision sensor and support vector machines,” Fire Safety Journal, vol. 44, no. 3, pp. 322–329, 2009.

[4].

R. Xu, H. Lin, K. Lu, L. Cao, and Y. Liu, “A forest fire detection system based on ensemble learning,” Forests, vol. 12, no. 2, p. 217, 2021.

[5].

R. Bogue, “Sensors for fire detection,” Sensor Review, 2013.

[6].

T.-H. Chen, P.-H. Wu, and Y.-C. Chiou, “An early fire-detection method based on image processing,” in 2004 International Conference on Image Processing, 2004. ICIP’04., vol. 3. IEEE, 2004, pp. 1707–1710.

[7].

B. U. Töreyin, Y. Dedeoğlu, U. Güdükbay, and A. E. Cetin, “Computer vision based method for real-time fire and flame detection,” Pattern recognition letters, vol. 27, no. 1, pp. 49–58, 2006.

[8].

T. Celik and H. Demirel, “Fire detection in video sequences using a generic color model,” Fire safety journal, vol. 44, no. 2, pp. 147–158, 2009.

[9].

A. Gunawaardena, R. Ruwanthika, and A. Jayasekara, “Computer vision based fire alarming system,” in 2016 Moratuwa Engineering Research Conference (MERCon). IEEE, 2016, pp. 325–330.

[10].

W.-B. Horng, J.-W. Peng, and C.-Y. Chen, “A new image-based real-time flame detection method using color analysis,” in Proceedings. 2005 IEEE Networking, Sensing and Control, 2005. IEEE, 2005, pp. 100–105.

[11].

T. Celik, “Fast and efficient method for fire detection using image processing,” ETRI journal, vol. 32, no. 6, pp. 881–890, 2010.

[12].

C. E. Premal and S. Vinsley, “Image processing based forest fire detection using ycbcr colour model,” in 2014 International Conference on Circuits, Power and Computing Technologies [ICCPCT-2014]. IEEE, 2014, pp. 1229–1237.

[13].

X. Chen, Q. An, K. Yu, and Y. Ban, “A novel fire identification algorithm based on improved color segmentation and enhanced feature data,” IEEE Transactions on Instrumentation and Measurement, vol. 70, pp. 1–15, 2021.

[14].

S. Frizzi, R. Kaabi, M. Bouchouicha, J.-M. Ginoux, E. Moreau, and F. Fnaiech, “Convolutional neural network for video fire and smoke detection,” in IECON 2016-42nd Annual Conference of the IEEE Industrial Electronics Society. IEEE, 2016, pp. 877–882.

[15].

F. N. Iandola, S. Han, M. W. Moskewicz, K. Ashraf, W. J. Dally, and K. Keutzer, “Squeezenet: Alexnet-level accuracy with 50x fewer parameters and¡ 0.5 mb model size,” arXiv preprint arXiv:1602.07360, 2016.

[16].

K. Muhammad, J. Ahmad, Z. Lv, P. Bellavista, P. Yang, and S. W. Baik, “Efficient deep cnn-based fire detection and localization in video surveillance applications,” IEEE Transactions on Systems, Man, and Cybernetics: Systems, vol. 49, no. 7, pp. 1419–1434, 2018.

[17].

S. Geetha, C. Abhishek, and C. Akshayanat, “Machine vision based fire detection techniques: a survey,” Fire Technology, vol. 57, no. 2, pp. 591–623, 2021.

[18].

H. Koschmieder, “Theorie der horizontalen sichtweite,” Beitrage zur Physik der freien Atmosphare, pp. 33–53, 1924.

[19].

K. He, J. Sun, and X. Tang, “Single image haze removal using dark channel prior,” IEEE transactions on pattern analysis and machine intelligence, vol. 33, no. 12, pp. 2341–2353, 2010.

[20].

Q. Zhu, J. Mai, and L. Shao, “A fast single image haze removal algorithm using color attenuation prior,” IEEE transactions on image processing, vol. 24, no. 11, pp. 3522–3533, 2015.

[21].

C. O. Ancuti and C. Ancuti, “Single image dehazing by multi-scale fusion,” IEEE Transactions on Image Processing, vol. 22, no. 8, pp. 3271–3282, 2013.

[22].

C. Ancuti, C. O. Ancuti, C. De Vleeschouwer, and A. C. Bovik, “Night-time dehazing by fusion,” in 2016 IEEE International Conference on Image Processing (ICIP). IEEE, 2016, pp. 2256–2260.

[23].

C. O. Ancuti, C. Ancuti, C. De Vleeschouwer, and M. Sbert, “Color channel compensation (3c): A fundamental preprocessing step for image enhancement,” IEEE Transactions on Image Processing, vol. 29, pp. 2653–2665, 2019.

[24].

C. O. Ancuti, C. Ancuti, C. De Vleeschouwer, and P. Bekaert, “Color balance and fusion for underwater image enhancement,” IEEE Transactions on image processing, vol. 27, no. 1, pp. 379–393, 2017.

[25].

K. He, J. Sun, and X. Tang, “Guided image filtering,” IEEE transactions on pattern analysis and machine intelligence, vol. 35, no. 6, pp. 1397–1409, 2012.

[26].

M. T. Cazzolato, L. Avalhais, D. Chino, J. S. Ramos, J. A. de Souza, J. F. Rodrigues-Jr, and A. Traina, “Fismo: A compilation of datasets from emergency situations for fire and smoke analysis,” in Brazilian Symposium on Databases-SBBD. SBC, 2017, pp. 213–223.

[27].

A. Saied, “Fire dataset.” [Online]. Available: https://www.kaggle.com/datasets/phylake1337/fire-dataset

[28].

조시훈, 김태영, et al.,“카메라 기반 강화학습을 이용한 드 론 장애물 회피 알고리즘,” Journal of the Korea Computer Graphics Society, vol. 27, no. 5, pp. 63–71, 2021.

[29].

R. Adams and L. Bischof, “Seeded region growing,” IEEE Transactions on pattern analysis and machine intelligence, vol. 16, no. 6, pp. 641–647, 1994.