Journal of the Korea Computer Graphics Society
The Korea Computer Graphics Society
Article

이미지 생성 모델을 이용한 패턴 결함 데이터 증강에 대한 연구

김병준1https://orcid.org/0000-0003-0347-2778, 서용덕2,*https://orcid.org/0000-0002-0570-2197
Byungjoon Kim1https://orcid.org/0000-0003-0347-2778, Yongduek Seo2,*https://orcid.org/0000-0002-0570-2197
1서강대학교 아트엔테크놀로지학과 미디어공학
2서강대학교 지식융합미디어 대학
1Media Technology, Sogang University
2Dept. of Media, Arts and Science of Sogang University
*corresponding author: Yongduek Seo / Dept. of Media, Arts and Science of Sogang University (yndk@sogang.ac.kr)

© Copyright 2023 Korea Computer Graphics Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jun 16, 2023; Revised: Jun 30, 2023; Accepted: Jul 05, 2023

Published Online: Jul 25, 2023

요약

이미지 생성 모델은 다양한 분야에 적용되어 데이터 부족 문제와 시간 및 비용 문제를 극복하고 있다. 그러나 규칙적 패턴 이미지에서의 이미지 생성과 해당 데이터의 결함 검출에는 한계를 가진다. 본 논문에서는 이미지 생성 모델의 패턴 이미지 생성의 가능성을 확인하고 OLED 패널의 결함 검출을 위한 데이터 증강에 적용하였다. OLED 결함 검출 모델을 학습하기 위해 필요한 데이터는 OLED 패널의 높은 비용 문제로 실제 데이터 세트를 확보하기 어렵다. 그렇기 때문에 해당 데이터 세트를 확보한다 하더라도 여러가지 결함 유형을 정의하고 분류하는 작업이 필요하다. 이를 위한 가상의 기반 데이터 세트를 획득할 OLED 패널 결함 데이터 획득 시스템을 소개하고, 이미지 생성 모델로 해당 데이터를 증강한다. 또, 확산 모델에서의 패턴 이미지 생성의 어려움을 확인하여 가능성을 제안하고, 이미지 생성 모델 이용한 데이터 증강 및 결함 검출 데이터 증강의 제한 사항을 개선하였다.

Abstract

Image generation models have been applied in various fields to overcome data sparsity, time and cost issues. However, it has limitations in generating images from regular pattern images and detecting defects in such data. In this paper, we verified the feasibility of the image generation model to generate pattern images and applied it to data augmentation for defect detection of OLED panels. The data required to train an OLED defect detection model is difficult to obtain due to the high cost of OLED panels. Therefore, even if the data set is obtained, it is necessary to define and classify various defect types. This paper introduces an OLED panel defect data acquisition system that acquires a hypothetical data set and augments the data with an image generation model. In addition, the difficulty of generating pattern images in the diffusion model is identified and a possibility is proposed, and the limitations of data augmentation and defect detection data augmentation using the image generation model are improved.

Keywords: 데이터 증강; 결함 검출; 생성 모델; 확산 모델; 컴퓨터 비전
Keywords: Data Augmentation; Defect Detection; Generation Model; Diffusion Model; Computer Vision

1. 서론

모바일, TV, 자동차 등 다양한 산업 분야에서 유기 발광 다이오드(OLED)기술에 대한 수요가 확대되고 있다. 그에 따라 신뢰할 수 있는 OLED 패널의 결함 검출 방법에 대한 필요성 또한 커졌다. OLED 패널의 결함을 검출하는 것은 고품질 제품을 보장하기 위한 중요한 작업으로 OLED 패널 디바이스 제조 공정에 반드시 필요한 과정이다. 비전 시스템을 이용한 기존의 결함 검출은 위치 기반으로 결함을 검사를 위한 패널이 특정 위치에 오차 없이 정밀하게 위치해야 하는 위치 기반의 결함 검출이 많이 사용되고 있다[1]. 이런 기존의 시스템은 나노미터 단위의 높은 정밀도로 요구하며 정확한 위치에 검사 장비를 위치시켜야 하며 특정 상황에서 오차가 발생할 때 많은 비용이 추가로 발생한다. 이를 개선하기 위해 다양한 분야에 활용되고 있는 딥러닝을 통한 객체 검출 네트워크를 적용할 필요성이 있다. 객체 검출 네트워크를 학습하기 위해서는 충분한OLED 패널 결함 데이터가 필요하다[2]. 하지만 실제 패널에 결함을 구현할 때 많은 비용이 들고 모든 결함에 대한 실제 데이터를 제작할 수 없기 때문에 OLED 패널을 위한 결함 검출 네트워크 학습을 위한 데이터세트 확보가 어렵다.

본 논문에서OLED 패널 결함 데이터 획득의 제한사항을 개선하는 가상의 패널 결함 데이터 획득 시스템에 대해 소개한다[3]. 해당 획득 시스템은 가상의 결함 시뮬레이션을 패널에 출력하고 출력된 가상 결함의 화소 정보를 획득하기 위해 고해상도 카메라와 프레임 그래버가 사용된다. 시스템 상 가상 결함 데이터를 생성하는 과정에서 사람이 직접 이미지를 제작하기 때문에 주관적인 편견이 개입되거나 지속적인 데이터 생성으로 인한 편향성을 가진 데이터가 생성될 위험이 있다. 이런 평향성을 극복하고 보다 안정적이고 일반적인 데이터를 획득하기 위해 이미지 생성 모델을 통해 데이터를 증강한다. 이미지 생성 모델의 무작위성은 데이터의 편향성을 극복하고 미처 정의하지 못한 데이터의 결함을 생성할 것으로 기대한다. 하지만 특정 무작위성으로 인해 이미지 생성 모델은 패턴 이미지 생성에 어려움이 있는데 이 문제를 해결하기 위한 새로운 확산 모델을 제안하고 패널 결함 검출 시스템을 개선할 수 있는 가능성을 살펴본다.

2. 관련연구

2.1 객체 검출 알고리즘

객체 검출(Object Detection) 알고리즘은 이미지, 비디오에서 특정 객체의 위치 정보와 객체를 분류, 식별하는 기술이다. 다양한 알고리즘이 개발되었지만 주로 사용되는 것은 기반 기술에 따라 크게 두가지로 분류된다. 첫번째로 R-CNN(Region-based Convolutional Neural Networks)은 이미지 내의 후보 영역(Region Proposal)을 생성하고, 각 영역에 대해 신경망을 적용하여 객체 정보를 획득한다[4][5]. YOLO(You Only Look Once)는 실시간 객체 검출에 특화되어 있으며 이미지를 특정 그리드로 분할하여 각 셀에서 객체의 박스(Bounding Box)와 분류 확률을 동시에 추정한다[6]. 이를 통해 높은 연산 속도와 정확도를 동시에 충족한다.

2.2 이미지 생성 모델

이미지 생성 모델은 딥러닝을 활용하여 존재하지 않았던 이미지를 생성한다. 생성 모델들은 다양한 방식으로 특정 데이터를 학습하고 해당 모델의 목적에 맞는 이미지를 생성한다. 대표적으로 GAN(Generative Adversarial Network), 변이형 오토 인코더(VAE), PixelRNN/CNN 등이 많이 사용된다[7][8][9]. 이미지 생성 모델은 예술 관련된 이미지 생성, 디자인, 데이터 증강, 이미지 스타일 변환 등 다양한 응용분야에 적용되고 있다[10].

jkcgs-29-3-79-g1
Figure 1. Overview of the Diffusion Model
Download Original Figure
2.3 확산 모델

이미지 생성 모델 중 하나인 확산 모델(Diffusion model)은 이미지의 픽셀 정보를 점진적으로 조절하는데 기존에는 잡음제거, 선명도 개선 등 한정적인 기술에 적용되었다[11]. 그러나 최근에는 이미지 생성 모델에 적용되어 점진적 픽셀 정보 조정을 통해 이미지의 구조와 상세한 텍스처를 생성하여 높은 품질의 이미지를 생성할 수 있게 되었다. 특히 안정적인 확산 모델(Stable Diffusion)은 주어진 입력과 무작위 시드(seed) 노이즈를 이용하여 새로운 이미지를 정보를 보존하면서 노이즈를 제거하는 효과를 얻는다[12]. Stable Diffusion 모델은 기존의 이미지 생성 모델에 비해 이미지 생성의 품질, 입력 정보 보존, 다양성이 확보된다.

이런 특징들은 객체 결함 검출을 위한 데이터 세트 생성에서 제한 사항이 될 수 있다. 첫째, Stable Diffusion 모델은 이미지 생성에 사용되는 초기 시드 노이즈에 따라 결과물이 영향을 받을 수 있다. 둘째, 노이즈의 점진적 감소를 통한 이미지 생성 기술이기에 이미지 내의 결함 정보에 대한 손실이 일어날 수 있다. 본 논문에서는 위와 같은 이유로 이미지 생성 모델로 구현하기 힘든 패턴 결함 데이터 세트의 데이터 증강에 대한 가능성을 살펴본다.

3. 데이터 획득 시스템

3.1 데이터 획득을 위한 디바이스

이미지 생성 모델을 학습하기 위해 OLED 결함 기반 데이터를 획득한다. 앞서 기술한 것과 같이 OLED 패널에 실제 결함을 만들어 데이터 세트를 얻는데 제한사항이 많기 때문에 준비된 OLED 패널에 가상의 결함 이미지를 직접 제작하여 출력한다.

jkcgs-29-3-79-g2
Figure 2. Virtual defect image and OLED panel
Download Original Figure

가상 결함이 출력되는 패널 모듈을 고해상도 카메라와 프레임 그래버를 연동하여 패널의 화소 정보를 획득한다. 카메라 센서 모델은 IMX411-VC-151MX이며 14192 × 10640 해상도의 패널 이미지를 획득한다. 해당 해상도는 패널 출력 (1080 × 2400)의 약 50배율로 패널 내의 모든 화소 정보를 포함한다.

jkcgs-29-3-79-g3
Figure 3. High-resolution Camera (Left) Raw image of OLED Defect, 14192 × 10640 (Right)
Download Original Figure
3.2 가상 결함 이미지 획득 및 결함 분류

획득한 결함 원본 이미지는 일억 화소 이상으로 OLED 패널의 결함의 화소 단위 정보를 가지고 있지만 학습을 통한 객체 검출 적용에 적합하지 않다. 이미지를 png 파일로 변환 후 정규화를 수행하고 임의의 1024 × 1024의 크기로 잘라내어 정보 손실 없는 원본 이미지의 일부가 학습 모델에 적용된다. 획득한 데이터세트는 검출할 결함의 분류가 필요하다. 제작된 가상의 결함 이미지의 결함 분류는 화소 누락(Open), 화소 연결(Short), 줄 빠짐(Line out), 이물(Foreign body)로 분류하였다.

Table 1. Example of Defect Classification
jkcgs-29-3-79-i3 jkcgs-29-3-79-i4
Open (74 × 81) Short (115 × 71)
jkcgs-29-3-79-i5 jkcgs-29-3-79-i6
Line out (222 × 605) Foreign body (469 × 680
Download Excel Table

가상 결함 이미지를 이용하여 결함 검출을 위한 데이터 세트를 획득했지만 제한사항이 분명했다. 우선 OLED 패널 모듈에 출력되는 가상 결함 이미지를 사람이 직접 편집, 제작하기 때문에 실제 결함이 아닌 주관적 편견이나 견해가 개입될 위험이 있다. 또한, 지속적인 데이터 생성으로 인해 데이터가 편향성을 가질 위험 또한 존재하며 제작 시 예측 못한 결함에 대해서는 학습이 어려워 검출 알고리즘에 포함되지 않게 된다.

4. 생성 모델을 이용한 데이터 증강 연구

4.1 이미지 생성을 통한 증강 실험

획득 시스템을 통해 획득한 데이터는 한정된 데이터 세트를 개선하기 위해 안정적 확산 모델을 활용하여 패턴 결함 이미지를 생성한다.

jkcgs-29-3-79-g4
Figure 4. Biased defect images produced by an acquisition system.
Download Original Figure

획득된 학습 데이터는 375 장으로 각 이미지에는 무작위로 4가지 결함 유형이 포함된다. 그러나 사람이 직접 제작한 결함이 기반되기에 위 그림과 같이 간혹 편향적인 이미지가 생성될 수 있고 4가지 결함 유형 외의 결함은 검출을 학습할 수 없다. 3절의 시스템에서 획득한 기반 이미지를 img2img 변환에 적용하여 데이터 증강을 시도하였다.

jkcgs-29-3-79-g5
Figure 5. Each column is an independent example of image generation. From top, source image, images generated with βof 0.75, 0.5, and 0.05.
Download Original Figure

위 그림은 생성 모델로 획득한 이미지들 가운데 소음 강도(noise strength) 파라미터에 따른 특징이 잘 드러나는 이미지 2개를 첨부하였다. 각 열은 동일한 소스 이미지로부터 생성된 이미지이다. 소음 강도는 파라미터가 낮을수록 강하여 같은 스텝의 프로세스에서 원본의 정보를 확률적으로 더 보유하게 된다. 각 행에서 OLED 패널의 화소 정보들의 손실을 소음 강도 확인할 수 있다. 즉, 확산 모델의 이미지 생성 과정에서 발생하는 노이즈 제거(denoising) 단계에서 OLED 정보가 왜곡되거나 손실된 것을 추정한다. 이러한 결과로부터 패턴을 가지는 데이터와 생성 모델의 데이터 증강 사이의 제한 사항에 대한 인과 관계를 알 수 있다.

jkcgs-29-3-79-g6
Figure 6. 16x magnification of the image used in Figure 4 Source image (Left), Generated image (Right)
Download Original Figure

생성된 이미지를 위 그림과 같이 확대하면 소스 이미지에 비해 OLED화소 정보의 손실을 확인하였다. 하지만 특정 단계의 이미지에서 규격화된 패턴은 노이즈로 인지되어 제거되었지만 결함 부분의 정보는 남아 생성된 이미지에서 해당 결함 정보가 획득된다. 실험에서는 생성 모델을 통한 데이터 증강은 단순한 동일 데이터 증강이 아니라 정상 영역의 정보 손실이 있더라도 패턴 결함 정보 획득을 통해서도 가능한 부분이 있음을 확인할 수 있었다.

4.2 생성 모델의 응용

생성 모델을 사용한 데이터 증강의 목적은 데이터 세트의 크기를 크게 할 뿐 아니라 OLED 결함 획득 시스템의 한계를 개선하는 것이었다. 결함 획득 시스템은 OLED 화소의 출력을 제어하여 원본 이미지를 획득하기에 OLED 화소로 표현할 수 없는 결함의 경우에는 데이터 세트에 포함되지 않는다.

jkcgs-29-3-79-g7
Figure 7. Images of defect types added by the Generate Model Application, Light-refracting Foreign Body (Left), Pixel Smearing (Right)
Download Original Figure

생성 모델의 어플리케이션인 inpainting 기술을 이용하여 표 1에서 정리된 결함 이외에 OLED 패널에 발생할 수 있는 결함 유형에 대한 결함 이미지를 획득할 수 있었다. 이는 획득 시스템으로 얻은 데이터 세트로 검출할 수 없었던 결함 유형을 탐지할 수 있게 되어 알고리즘의 범용성을 향상시킬 수 있다. 이 연구의 실험에서 이미지 생성 모델을 이용하여 패턴 데이터를 획기적으로 증강하는 것은 한계가 있었지만 새로운 결함 유형의 데이터를 생성할 수 있었고 추후 데이터 증강의 가능성을 확인할 수 있었다.

5. 결론 및 향후 연구

이미지 생성 모델의 발전은 많은 분야에 영향을 미치며 데이터 부족 문제와 비용 문제를 극복하는데 기여하고 있다. 그러나 규칙적인 패턴 이미지와 해당 결함을 검출하는 분야에서는 한계가 있었다. 본 연구에서는 패턴 결함 검출을 위한 데이터를 획득하고 해당 데이터를 기반으로 이미지 생성 모델을 적용하고 새로운 모델로 OLED 패널 결함 데이터를 증강하였다. OLED 패널 결함 데이터의 높은 비용 문제를 가상 결함 이미지를 획득하는 시스템으로 극복하고, 그 과정에서 문제가 될 수 있는 데이터의 편향성 문제와 미처 예측하지 못한 결함 분류 및 유형을 생성 모델을 통해 보완할 수 있는 가능성을 확인할 수 있었다. 주어진 연구는 무작위성을 지니는 이미지 생성 모델이 규격화된 패턴의 데이터의 증강을 실험하고 추후 연구 방향을 시사하였으며, 결함 검출 분야에 생성 모델이 응용될 수 있음을 확인하였다. 추후 연구에서는 본 연구에서 획득한 추가의 결함 유형과 데이터를 활용하여 OLED 결함 검출 알고리즘을 보완할 것을 기대한다.

감사의 글

이 논문은 중소기업벤처부의 재원으로 중소기업기술정보 진흥원의 지원을 받아 수행한 연구임 (S3141550).

References

[1].

withsystem, OLED Panel Pattern inspection, http://www.withsystem.co.kr/sub/product03.html [Accessed: Sep, 26, 2022] http://www.visionsystech.com [Acessed: Oct. 06. 2022].

[2].

K. He, G. Gkioxari, P. Dollar, R. Girshick, “Mask R-CNN”, 2017 CVPR, Mar. 2017,

[3].

Byungjoon Kim, Yongduek Seo, “Data Generation System for Flaw Detection of OLED Panel and Application of RCNN-based Defect Detection.", The Journal of Korean Institute of Information Technology, 20(12),57-63.

[4].

R. Girshick, J. Donahue, T. Darrell, J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation", CVPR 2014, Nov. 2013,

[5].

R. Girshick, "Fast R-CNN", 2015 IEEE (ICCV), 2015, pp. 1440-1448. 2015

[6].

J. Redmon, S. Divvala, R. Girshick and A. Farhadi, "You Only Look Once: Unified, RealTime Object Detection", 2016 CVPR, May. 2016,
.

[7].

T. Karras, S. Laine, T. Aila, "A Style-Based Generator Architecture for Generative Adversarial Networks", CVPR 2019, Dec. 2018,

[8].

Kingma, D. P., & Welling, M. (2013). "Auto-Encoding Variational Bayes.", Machine Lerning, Dec. 2013

[9].

an den Oord, A., Kalchbrenner, N., Espeholt, L., Vinyals, O., Graves, A., & Kavukcuoglu, K. "Conditional Image Generation with PixelCNN Decoders.", 2016, In Advances in Neural Information Processing Systems (pp. 4790-4798)

[10].

B. Trabucco, K. Doherty, M. Gurinas, R. Salakhutdinov, "Effective Data Augmentation with Diffusion Models", CVPR, Feb. 2023,

[11].

J. Ho, A. Jain, P. Abbeel, "Denoising Diffusion Probabilistic Models", Machine Learning. Jun. 2020,

[12].

R. Rombach, A. Blattmann, D. Lorenz, P. Esser, B. Ommer, "High-Resolution Image Synthesis with Latent Diffusion Models", CVPR 2022, Dec. 2021,

<저자소개>

김 병 준

jkcgs-29-3-79-i1

  • 2015년 서강대학교 전자공학과 학사

  • 2019년 서강대학교 영상대학원 영상공학과 석사

  • 2019년 - 현재 서강대학교 아트엔테크놀로지 미디어공학 박사과정

  • 관심분야: 데이터 증강, 객체 검출, 컴퓨터 비전, 생성 모델

서 용 덕

jkcgs-29-3-79-i2

  • 1992년 경북대학교 전자공학과 학사

  • 1994년 포항공과대학교 전자공학과 석사

  • 2000년 포항공과대학교 전자공학과 박사

  • 2003년 – 현재 서강대학교 교수

  • 관심분야: 컴퓨터 비전, AR, 딥러닝