Baidu Research2021#038환경인식논문 PDF 기반 카드

폐루프 심층망 기반 영상 제진

Image Dedusting with Deep Learning based Closed-Loop Network

Xibin Song, Liangjun Zhang, Dingfu Zhou, Jin Fang · 38th International Symposium on Automation and Robotics in Construction (ISARC 2021)

한줄 요약 — U-Net 계열의 공유 encoder에서 atmospheric light·clean image·transmission 전용 decoder 세 갈래를 분기하고, 세 출력을 대기 산란식으로 다시 합성해 원 입력과 맞추는 reconstruction loss를 clean loss와 함께 학습한다. 안개 네 영상에서 1-decoder 기준선보다 PSNR·SSIM이 모두 높았고 실제 굴착·상차 먼지를 제거했지만 downstream 인지는 평가하지 않았다.

1.연구 배경 및 동기

분진이 카메라 기반 건설현장 인지를 무너뜨리는 문제

건설·채석·상차 현장의 굴착과 차량 이동은 먼지를 일으키고 안개·연무가 겹치면 대비와 색이 더 약해진다. 이 산란은 굴착기·암석·도로·작업영역을 흐려 객체검출·의미분할·깊이처리의 입력까지 오염시킨다. 저자들은 별도 거리센서나 다중 frame 없이 단일 RGB 영상에서 깨끗한 영상을 복원하되, 산란의 물리 성분도 함께 예측해 영상 형성과 일치시키는 문제를 다룬다.

대기 산란 모델은 관측 I_h를 깨끗한 영상 I_c, 위치별 투과도 T, 전역 대기광 A로 설명한다. 이 논문은 공유 encoder 뒤의 세 decoder가 A, I_c, T를 동시에 복원하고, 이를 산란식으로 재합성한 I_h와 원 입력의 오차까지 학습한다. 따라서 출력 분해와 재합성이 닫힌 고리를 이룬다.

원문 Figure 1, PDF 1쪽
원문 Figure 1 · PDF p.1 — Figure 1. Example images captured in hazy and dust environment. (a) Hazy images and (b) Dust images.
선행 연구의 한계
이 연구의 기여

2.방법론 및 시스템 구성

입력 I_h는 convolution·Residual Group·DFF를 지나는 공유 encoder에서 압축된다. Residual Group은 Conv-ReLU-Conv와 skip addition의 block 세 개로 구성한다. DFF는 비인접 scale을 융합해 U-Net의 인접 skip에서 놓칠 수 있는 공간정보를 보완한다.

공유 특징은 A, I_c, T decoder로 갈라지며 deconvolution, LReLU, SOS boosting과 DFF로 세 성분을 복원한다. I_c는 paired ground truth와, I_hat_h=T I_c+(1-T)A는 원 입력과 비교하고 두 손실에 각각 0.5를 준다.

처리 파이프라인

1

안개·먼지 paired data 준비

안개 모델은 중복 장면을 제거한 RESIDE 실외 hazy/clean 9000쌍을 사용한다. 먼지 모델은 실제 산업 작업에서 동일 장면의 dust/dust-free 1000쌍을 별도 수집한다. 논문은 두 도메인의 성능을 동일한 정량표로 합치지 않고 안개는 정량, 먼지는 정성으로 제시한다.

2

scale·crop·flip 증강

각 영상쌍을 0.5~1.0 범위의 무작위 scale 세 가지로 resize하고 256×256 patch를 random crop한다. 수평·수직 flip을 추가해 제한된 paired data의 장면 다양성을 늘린다.

3

공유 encoder와 Residual Group

첫 convolution은 11×11, 나머지 convolution·deconvolution은 3×3 kernel을 쓴다. encoder의 Residual Group은 Conv-ReLU-Conv residual block 세 개로 구성해 깊은 특징을 강화한다.

4

Dense Feature Fusion

DFF는 비인접 level 특징과 공간정보를 결합한다. encoder의 Residual Group 앞과 decoder의 SOS module 뒤에 배치해 U-Net의 인접 연결만으로 생기는 정보 단절을 보완한다.

5

세 decoder의 물리 성분 복원

동일 encoder 특징을 atmospheric light A, clean image I_c, transmission T 전용 branch로 분리한다. 각 decoder는 stride-2 deconvolution으로 upsample하고 convolution/deconvolution 뒤에 negative slope 0.2의 LReLU를 사용한다.

6

SOS boosting과 폐루프 재구성

SOS boosting은 현재 추정과 입력을 강화해 다시 복원함으로써 신호대잡음비를 높인다. 최종 A, I_c, T를 산란식으로 재구성한 I_hat_h와 원 입력의 오차가 세 branch를 연결한다.

7

학습과 평가

Adam으로 100 epoch, batch 16, β1=0.9, β2=0.999를 사용하고 10 epoch마다 learning-rate decay 0.75를 적용한다. 원문 초기 학습률 표기는 `104`로 모호해 그대로 수치화하지 않는다. 복원은 PSNR과 SSIM으로 평가한다.

원문 수식과 의미

대기 산란 영상 형성 모델

Ih(x)=T(x)Ic(x)+(1−T(x))AI_h(x)=T(x)I_c(x)+(1-T(x))A

관측 먼지·안개 영상은 위치별로 투과된 깨끗한 영상과 대기광 산란 성분의 합이다. network의 세 decoder가 이 식의 A, I_c, T를 각각 추정한다.

clean·reconstruction 결합 손실

L=α∑∥Igt−Ic∥1+β∑∥Ih−I^h∥1,I^h=TIc+(1−T)A,α=β=0.5\mathcal{L}=\alpha\sum\lVert I_{gt}-I_c\rVert_1+\beta\sum\lVert I_h-\hat I_h\rVert_1,\quad \hat I_h=T I_c+(1-T)A,\quad \alpha=\beta=0.5

첫 항은 clean ground truth 복원, 둘째 항은 예측 성분으로 원 입력을 재구성하는 폐루프 감독이다. 수식은 L1로 쓰였지만 구현 절은 MSE라고 기술해 실제 loss 종류에는 원문 내부 불일치가 있다.

SOS boosting

J^b=g(I+J^)−J^\hat J_b=g(I+\hat J)-\hat J

기존 추정 영상과 입력을 강화해 복원기 g에 다시 넣고 이전 추정을 빼는 방식으로 dehazing/dedusting 결과를 정제한다.

원문 Figure 2, PDF 3쪽
원문 Figure 2 · PDF p.3 — Figure 2. The figure demonstrates the network architecture of our approach. Using hazy/dust image as input, a encoder module and three decoders are used to recover atmospheric light (퐴), clean image (퐼푐) and transmission map (푇) of the input image, respectively. 퐹퐸푛푐표푑푒푟is first used to extract features, where Dense Feature Fusion strategy and Residual Group (퐹푅푒푠) are utilized in the encoder process to obtain better features. In the decoder process (퐹퐷푒푐표푑푒푟퐴, 퐹퐷푒푐표푑푒푟퐶and 퐹퐷푒푐표푑푒푟푇), deconvolutional layers are first used to up-sample the features, then SOS Boosted strategy is employed to enhance the obtained features. To obtain better results, the Dense Feature Fusion strategy are also used in the decoder process.

3.핵심 기술

물리 분해와 재합성의 폐루프

세 decoder는 산란의 설명변수 A·I_c·T를 분리한다. clean branch만 정답에 맞추면 A와 T가 임의로 흐를 수 있지만, 재구성 loss는 세 출력이 함께 원 영상 I_h를 설명하도록 묶는다. 즉 supervised clean loss에 물리식 기반 self-consistency를 더한다.

  • A·I_c·T 동시 추정
  • clean loss와 input reconstruction loss를 0.5씩 결합
  • 수식의 L1과 구현 설명의 MSE 불일치를 재현 시 확인해야 함

다중 scale feature 보존

먼지·안개는 넓은 대비 손실과 경계 세부 흐림을 함께 만든다. DFF는 비인접 level을 연결하고 Residual Group은 국소 특징을 강화하며 SOS boosting은 추정을 반복 정제한다. 전역 산란과 객체 윤곽을 함께 복원하려는 설계다.

  • Residual Group당 residual block 3개
  • encoder와 decoder 양쪽의 Dense Feature Fusion
  • deconvolution 기반 upsampling과 SOS boosted module

실제 분진 paired 학습

안개는 RESIDE 실외 9000쌍, 먼지는 산업 operation에서 수집한 dust/dust-free 1000쌍으로 별도 학습한다. 굴착·트럭상차 영상의 excavator와 rock area가 또렷해졌지만, 먼지 농도별 정량 test와 장면 분리·정렬 방식은 충분히 설명되지 않는다.

  • RESIDE outdoor 9000쌍
  • 실제 산업 dust/dust-free 1000쌍
  • 먼지 결과는 Fig.3의 정성 비교만 제공

복원 지표와 산업인지 간 간극

안개 네 사례에서 제안법은 단일 encoder-decoder보다 PSNR·SSIM이 모두 높았다. 그러나 이 지표는 clean 정답과의 픽셀·구조 유사도이며 굴착기 검출이나 rock segmentation을 직접 보장하지 않는다. 현장 적용에는 downstream task와 지연시간 검증이 필요하다.

  • PSNR은 pixel MSE 기반, SSIM은 구조 유사도 기반
  • e-1d 단일 decoder가 직접 비교 기준선
  • mAP·mIoU·FPS·temporal flicker는 보고되지 않음

4.실험 결과

실험 환경·장비·데이터

실험 프로토콜

비교 기준

평가 지표

원문 Figure 3, PDF 5쪽
원문 Figure 3 · PDF p.5 — Figure 3. Visualization of dedusting results of real-world captured dusting images. The first rows are the input dust images and the second rows are the results obtained by our approach. As shown in this figure, the input images are suffered from heavy dust and our approach can remove the dust effectively.
원문 Figure 4, PDF 5쪽
원문 Figure 4 · PDF p.5 — Figure 4. Visualization of dehazing results of hazy images generated in traffic scenarios. GT means ground truth images. The first row shows the input images, the second row shows the results obtained by our approach and the third row shows the ground truth images.

핵심 결과 해석

안개 네 test image에서 제안 3-decoder network는 e-1d보다 PSNR과 SSIM이 모두 높았다. PSNR은 각각 20.035, 21.411, 16.620, 27.501dB였고 e-1d는 19.591, 21.021, 16.254, 27.007dB였다. SSIM도 제안법이 0.9527, 0.9603, 0.8862, 0.9707로 e-1d의 0.9207, 0.9356, 0.8525, 0.9534를 앞섰다. 네 사례뿐이지만 clean·reconstruction supervision과 세 성분 분해가 단일 decoder보다 ground truth 복원을 개선했음을 보여준다.

실제 굴착·트럭상차 먼지 영상에서는 입력에서 흐릿하던 excavator, 작업영역과 rock area가 복원 후 더 쉽게 구분되는 정성 결과를 제시했다. 그러나 dust test에는 PSNR·SSIM 표나 독립 baseline이 없고, 저자들이 동기로 제시한 stone/truck detection과 segmentation에 복원 영상을 넣어 성능을 재평가하지 않았다. 따라서 '먼지를 제거했다'는 시각적 효과와 '자율작업 인지가 강건해졌다'는 시스템 수준 효과를 구분해야 한다.

정량 결과

평가 항목정량 결과조건·맥락원문 근거
제안법 PSNR20.035, 21.411, 16.620, 27.501dBFig.4 안개 영상 Test1~Test4, one encoder-three decodersPDF p.6
e-1d PSNR19.591, 21.021, 16.254, 27.007dB같은 네 안개 영상의 one encoder-one decoder 기준선PDF p.6
제안법 SSIM0.9527, 0.9603, 0.8862, 0.9707Fig.4 안개 영상 Test1~Test4PDF p.6
학습 데이터 규모안개 9000쌍, 먼지 1000쌍RESIDE outdoor hazy/clean과 실제 산업 dust/dust-free pairPDF p.6
실패 사례와 경계조건
원문 Figure 3, PDF 6쪽
원문 Figure 3 · PDF p.6 — Fig. 3 and Fig. 4 illustrate the visualization results of image dedusting/dehazing, respectively. Fig. 3 demonstrates a digging and truck loading process of a excavator, which is captured in a real-world industrial operation scenario. As shown in Fig. 3 (input), the digging and truck loading process is suffered with heavy dust, and the working areas and the excavator are blurry. In such process, the machine, such as excavator, is difficult to detect for human eyes due to the existed dust, and it is even harder to detect for computer vision technologies. Besides, the operation areas, such as the rock areas, are also difficult to localize, even for humans, which heavily impede the automation of such process. As shown in Fig. 3 (results), our approach can remove the influence of dust effectively, and the areas of excavator and rocks are be easily found after the dedusting process. Fig. 4 illustrates the dehazing results using hazy im- ages captured in city scenes. As shown in Fig. 4 (input), hazy conditions are always exist in city and traffic scenes, which also heavily affect the detection and identification of buildings, cars and humans, etc. Besides, as shown in Fig. 4 (results), our approach can effectively remove the influence of hazy, and clean images can be obtained, which can help to detect and identify buildings, cars and humans, etc. As shown in Fig. 3 and Fig. 4, our approach can effec- tively remove the dust and hazy components of dusting and hazing images, which can support the construction process in human working. Table. 1 and Table. 2 demonstrate the quantitative results of PSNR and SSIM of the inputs and results obtained

5.한계 및 향후 연구

현재 한계

  • 먼지 제거에는 PSNR·SSIM의 정량표가 없고 제한된 실제 장면의 시각적 비교만 제공한다.
  • 복원 후 객체검출·의미분할·깊이추정 성능과 안전 모니터링 개선을 측정하지 않았다.
  • loss가 L1인지 MSE인지 원문 내부 설명이 충돌하고 초기 learning rate 표기도 모호해 완전 재현이 어렵다.
  • 추론시간, FPS, model size와 연속영상의 temporal consistency가 보고되지 않아 실시간 현장 적용성을 판단하기 어렵다.

향후 연구

  • 분진 농도·조명·재료가 다양한 독립 test set에서 PSNR·SSIM과 현장 검출 mAP·분할 mIoU를 함께 평가한다.
  • dedusting network와 객체검출·분할 network를 task-aware loss로 공동학습해 픽셀 복원보다 작업 성능을 직접 최적화한다.
  • 광류와 산란 성분의 시간 일관성을 쓰는 video dedusting으로 flicker를 줄이고 FPS와 지연을 검증한다.
  • 불확실도 또는 먼지 농도를 출력해 복원이 불신될 때 LiDAR·radar 가중치를 높이거나 안전정지를 호출한다.

6.한마디로 정리

핵심 방법은?

공유 U-Net encoder와 A·I_c·T 전용 세 decoder, DFF·Residual Group·SOS boosting을 결합하고 clean 및 산란식 재구성 loss로 폐루프 학습한다.

핵심 결과는?

RESIDE 안개 네 사례에서 1-decoder보다 PSNR·SSIM이 모두 높았고 실제 굴착·상차 먼지 영상의 가시성을 정성적으로 개선했다.

한계는?

먼지 정량평가·downstream 인지·실시간성이 없고 loss와 learning-rate 기술이 모호해 산업 현장 효과와 재현성이 충분히 입증되지 않았다.

#환경인식#시스템통합·현장실증#U-Net#공유 encoder·다중 decoder#대기 산란 모델#폐루프 재구성 손실

나의 의견 / 우리 연구와의 연관성

자율굴착기에서는 굴착이 만든 분진이 카메라의 재질분류, 장애물·트럭 검출과 작업영역 분할을 약화시키는 자기교란이 된다. 이 network를 camera 전처리로 두면 영상과 LiDAR 융합 입력을 안정화할 수 있고, A·T 출력은 시야 열화와 camera 신뢰도의 단서가 될 수 있다.

안전 시스템에는 그럴듯한 복원보다 객체 경계 보존과 허위 생성 방지가 중요하다. 검출·분할 loss, 멀티센서 일치성과 복원 불확실도를 함께 써야 하며, 극심한 분진에서는 radar·LiDAR 우선 또는 정지정책으로 전환해야 한다. 제진은 센서 신뢰도 관리의 한 구성요소다.

7.전체 그림·표

섹션별 원문 근거 페이지

원문·기존 요약·관련 자료

추출·교차검증 근거