1. 서론
모바일, TV, 자동차 등 다양한 산업 분야에서 유기 발광 다이오드(OLED)기술에 대한 수요가 확대되고 있다. 그에 따라 신뢰할 수 있는 OLED 패널의 결함 검출 방법에 대한 필요성 또한 커졌다. OLED 패널의 결함을 검출하는 것은 고품질 제품을 보장하기 위한 중요한 작업으로 OLED 패널 디바이스 제조 공정에 반드시 필요한 과정이다. 비전 시스템을 이용한 기존의 결함 검출은 위치 기반으로 결함을 검사를 위한 패널이 특정 위치에 오차 없이 정밀하게 위치해야 하는 위치 기반의 결함 검출이 많이 사용되고 있다[1]. 이런 기존의 시스템은 나노미터 단위의 높은 정밀도로 요구하며 정확한 위치에 검사 장비를 위치시켜야 하며 특정 상황에서 오차가 발생할 때 많은 비용이 추가로 발생한다. 이를 개선하기 위해 다양한 분야에 활용되고 있는 딥러닝을 통한 객체 검출 네트워크를 적용할 필요성이 있다. 객체 검출 네트워크를 학습하기 위해서는 충분한OLED 패널 결함 데이터가 필요하다[2]. 하지만 실제 패널에 결함을 구현할 때 많은 비용이 들고 모든 결함에 대한 실제 데이터를 제작할 수 없기 때문에 OLED 패널을 위한 결함 검출 네트워크 학습을 위한 데이터세트 확보가 어렵다.
본 논문에서OLED 패널 결함 데이터 획득의 제한사항을 개선하는 가상의 패널 결함 데이터 획득 시스템에 대해 소개한다[3]. 해당 획득 시스템은 가상의 결함 시뮬레이션을 패널에 출력하고 출력된 가상 결함의 화소 정보를 획득하기 위해 고해상도 카메라와 프레임 그래버가 사용된다. 시스템 상 가상 결함 데이터를 생성하는 과정에서 사람이 직접 이미지를 제작하기 때문에 주관적인 편견이 개입되거나 지속적인 데이터 생성으로 인한 편향성을 가진 데이터가 생성될 위험이 있다. 이런 평향성을 극복하고 보다 안정적이고 일반적인 데이터를 획득하기 위해 이미지 생성 모델을 통해 데이터를 증강한다. 이미지 생성 모델의 무작위성은 데이터의 편향성을 극복하고 미처 정의하지 못한 데이터의 결함을 생성할 것으로 기대한다. 하지만 특정 무작위성으로 인해 이미지 생성 모델은 패턴 이미지 생성에 어려움이 있는데 이 문제를 해결하기 위한 새로운 확산 모델을 제안하고 패널 결함 검출 시스템을 개선할 수 있는 가능성을 살펴본다.
2. 관련연구
객체 검출(Object Detection) 알고리즘은 이미지, 비디오에서 특정 객체의 위치 정보와 객체를 분류, 식별하는 기술이다. 다양한 알고리즘이 개발되었지만 주로 사용되는 것은 기반 기술에 따라 크게 두가지로 분류된다. 첫번째로 R-CNN(Region-based Convolutional Neural Networks)은 이미지 내의 후보 영역(Region Proposal)을 생성하고, 각 영역에 대해 신경망을 적용하여 객체 정보를 획득한다[4][5]. YOLO(You Only Look Once)는 실시간 객체 검출에 특화되어 있으며 이미지를 특정 그리드로 분할하여 각 셀에서 객체의 박스(Bounding Box)와 분류 확률을 동시에 추정한다[6]. 이를 통해 높은 연산 속도와 정확도를 동시에 충족한다.
이미지 생성 모델은 딥러닝을 활용하여 존재하지 않았던 이미지를 생성한다. 생성 모델들은 다양한 방식으로 특정 데이터를 학습하고 해당 모델의 목적에 맞는 이미지를 생성한다. 대표적으로 GAN(Generative Adversarial Network), 변이형 오토 인코더(VAE), PixelRNN/CNN 등이 많이 사용된다[7][8][9]. 이미지 생성 모델은 예술 관련된 이미지 생성, 디자인, 데이터 증강, 이미지 스타일 변환 등 다양한 응용분야에 적용되고 있다[10].
이미지 생성 모델 중 하나인 확산 모델(Diffusion model)은 이미지의 픽셀 정보를 점진적으로 조절하는데 기존에는 잡음제거, 선명도 개선 등 한정적인 기술에 적용되었다[11]. 그러나 최근에는 이미지 생성 모델에 적용되어 점진적 픽셀 정보 조정을 통해 이미지의 구조와 상세한 텍스처를 생성하여 높은 품질의 이미지를 생성할 수 있게 되었다. 특히 안정적인 확산 모델(Stable Diffusion)은 주어진 입력과 무작위 시드(seed) 노이즈를 이용하여 새로운 이미지를 정보를 보존하면서 노이즈를 제거하는 효과를 얻는다[12]. Stable Diffusion 모델은 기존의 이미지 생성 모델에 비해 이미지 생성의 품질, 입력 정보 보존, 다양성이 확보된다.
이런 특징들은 객체 결함 검출을 위한 데이터 세트 생성에서 제한 사항이 될 수 있다. 첫째, Stable Diffusion 모델은 이미지 생성에 사용되는 초기 시드 노이즈에 따라 결과물이 영향을 받을 수 있다. 둘째, 노이즈의 점진적 감소를 통한 이미지 생성 기술이기에 이미지 내의 결함 정보에 대한 손실이 일어날 수 있다. 본 논문에서는 위와 같은 이유로 이미지 생성 모델로 구현하기 힘든 패턴 결함 데이터 세트의 데이터 증강에 대한 가능성을 살펴본다.
3. 데이터 획득 시스템
이미지 생성 모델을 학습하기 위해 OLED 결함 기반 데이터를 획득한다. 앞서 기술한 것과 같이 OLED 패널에 실제 결함을 만들어 데이터 세트를 얻는데 제한사항이 많기 때문에 준비된 OLED 패널에 가상의 결함 이미지를 직접 제작하여 출력한다.
가상 결함이 출력되는 패널 모듈을 고해상도 카메라와 프레임 그래버를 연동하여 패널의 화소 정보를 획득한다. 카메라 센서 모델은 IMX411-VC-151MX이며 14192 × 10640 해상도의 패널 이미지를 획득한다. 해당 해상도는 패널 출력 (1080 × 2400)의 약 50배율로 패널 내의 모든 화소 정보를 포함한다.
획득한 결함 원본 이미지는 일억 화소 이상으로 OLED 패널의 결함의 화소 단위 정보를 가지고 있지만 학습을 통한 객체 검출 적용에 적합하지 않다. 이미지를 png 파일로 변환 후 정규화를 수행하고 임의의 1024 × 1024의 크기로 잘라내어 정보 손실 없는 원본 이미지의 일부가 학습 모델에 적용된다. 획득한 데이터세트는 검출할 결함의 분류가 필요하다. 제작된 가상의 결함 이미지의 결함 분류는 화소 누락(Open), 화소 연결(Short), 줄 빠짐(Line out), 이물(Foreign body)로 분류하였다.
|
|
| Open (74 × 81) | Short (115 × 71) |
|
|
| Line out (222 × 605) | Foreign body (469 × 680 |
가상 결함 이미지를 이용하여 결함 검출을 위한 데이터 세트를 획득했지만 제한사항이 분명했다. 우선 OLED 패널 모듈에 출력되는 가상 결함 이미지를 사람이 직접 편집, 제작하기 때문에 실제 결함이 아닌 주관적 편견이나 견해가 개입될 위험이 있다. 또한, 지속적인 데이터 생성으로 인해 데이터가 편향성을 가질 위험 또한 존재하며 제작 시 예측 못한 결함에 대해서는 학습이 어려워 검출 알고리즘에 포함되지 않게 된다.
4. 생성 모델을 이용한 데이터 증강 연구
획득 시스템을 통해 획득한 데이터는 한정된 데이터 세트를 개선하기 위해 안정적 확산 모델을 활용하여 패턴 결함 이미지를 생성한다.
획득된 학습 데이터는 375 장으로 각 이미지에는 무작위로 4가지 결함 유형이 포함된다. 그러나 사람이 직접 제작한 결함이 기반되기에 위 그림과 같이 간혹 편향적인 이미지가 생성될 수 있고 4가지 결함 유형 외의 결함은 검출을 학습할 수 없다. 3절의 시스템에서 획득한 기반 이미지를 img2img 변환에 적용하여 데이터 증강을 시도하였다.
위 그림은 생성 모델로 획득한 이미지들 가운데 소음 강도(noise strength) 파라미터에 따른 특징이 잘 드러나는 이미지 2개를 첨부하였다. 각 열은 동일한 소스 이미지로부터 생성된 이미지이다. 소음 강도는 파라미터가 낮을수록 강하여 같은 스텝의 프로세스에서 원본의 정보를 확률적으로 더 보유하게 된다. 각 행에서 OLED 패널의 화소 정보들의 손실을 소음 강도 확인할 수 있다. 즉, 확산 모델의 이미지 생성 과정에서 발생하는 노이즈 제거(denoising) 단계에서 OLED 정보가 왜곡되거나 손실된 것을 추정한다. 이러한 결과로부터 패턴을 가지는 데이터와 생성 모델의 데이터 증강 사이의 제한 사항에 대한 인과 관계를 알 수 있다.
생성된 이미지를 위 그림과 같이 확대하면 소스 이미지에 비해 OLED화소 정보의 손실을 확인하였다. 하지만 특정 단계의 이미지에서 규격화된 패턴은 노이즈로 인지되어 제거되었지만 결함 부분의 정보는 남아 생성된 이미지에서 해당 결함 정보가 획득된다. 실험에서는 생성 모델을 통한 데이터 증강은 단순한 동일 데이터 증강이 아니라 정상 영역의 정보 손실이 있더라도 패턴 결함 정보 획득을 통해서도 가능한 부분이 있음을 확인할 수 있었다.
생성 모델을 사용한 데이터 증강의 목적은 데이터 세트의 크기를 크게 할 뿐 아니라 OLED 결함 획득 시스템의 한계를 개선하는 것이었다. 결함 획득 시스템은 OLED 화소의 출력을 제어하여 원본 이미지를 획득하기에 OLED 화소로 표현할 수 없는 결함의 경우에는 데이터 세트에 포함되지 않는다.
생성 모델의 어플리케이션인 inpainting 기술을 이용하여 표 1에서 정리된 결함 이외에 OLED 패널에 발생할 수 있는 결함 유형에 대한 결함 이미지를 획득할 수 있었다. 이는 획득 시스템으로 얻은 데이터 세트로 검출할 수 없었던 결함 유형을 탐지할 수 있게 되어 알고리즘의 범용성을 향상시킬 수 있다. 이 연구의 실험에서 이미지 생성 모델을 이용하여 패턴 데이터를 획기적으로 증강하는 것은 한계가 있었지만 새로운 결함 유형의 데이터를 생성할 수 있었고 추후 데이터 증강의 가능성을 확인할 수 있었다.
5. 결론 및 향후 연구
이미지 생성 모델의 발전은 많은 분야에 영향을 미치며 데이터 부족 문제와 비용 문제를 극복하는데 기여하고 있다. 그러나 규칙적인 패턴 이미지와 해당 결함을 검출하는 분야에서는 한계가 있었다. 본 연구에서는 패턴 결함 검출을 위한 데이터를 획득하고 해당 데이터를 기반으로 이미지 생성 모델을 적용하고 새로운 모델로 OLED 패널 결함 데이터를 증강하였다. OLED 패널 결함 데이터의 높은 비용 문제를 가상 결함 이미지를 획득하는 시스템으로 극복하고, 그 과정에서 문제가 될 수 있는 데이터의 편향성 문제와 미처 예측하지 못한 결함 분류 및 유형을 생성 모델을 통해 보완할 수 있는 가능성을 확인할 수 있었다. 주어진 연구는 무작위성을 지니는 이미지 생성 모델이 규격화된 패턴의 데이터의 증강을 실험하고 추후 연구 방향을 시사하였으며, 결함 검출 분야에 생성 모델이 응용될 수 있음을 확인하였다. 추후 연구에서는 본 연구에서 획득한 추가의 결함 유형과 데이터를 활용하여 OLED 결함 검출 알고리즘을 보완할 것을 기대한다.
