基于双向转换网络的域自适应单幅图像去雾方法

doi:10.3969/j.issn.1672-6952.2022.06.013

辽宁石油化工大学学报 ›› 2022, Vol. 42 ›› Issue (6): 78-83.DOI: 10.3969/j.issn.1672-6952.2022.06.013

基于双向转换网络的域自适应单幅图像去雾方法

汤永恒(), 潘斌()

辽宁石油化工大学计算机与通信工程学院，辽宁抚顺 113001

收稿日期:2021-03-22 修回日期:2022-08-18 出版日期:2022-12-25 发布日期:2023-01-07
通讯作者: 潘斌
作者简介:汤永恒（1997⁃），男，硕士研究生，从事计算机图像处理、深度学习方面研究；E⁃mail：1539507710@qq.com。
基金资助:
国家自然科学基金项目(61602228);辽宁省教育厅一般项目(L2020018)

Domain Adaptive Single Image Defogging Algorithm Based on Bidirectional Conversion Network

Yongheng Tang(), Bin Pan()

School of Computer and Communication Engineering，Liaoning Petrochemical University，Fushun Liaoning 113001，China

Received:2021-03-22 Revised:2022-08-18 Published:2022-12-25 Online:2023-01-07
Contact: Bin Pan

摘要/Abstract

摘要：

当前图像去雾算法对人工合成图像域去雾效果与真实图像域去雾效果存在较大差异。针对该问题，提出了一种基于双向域转换网络的自适应单幅图像去雾算法。首先，构建双向域转换网络，实现人工合成有雾图像与真实有雾图像之间的自适应域转换；然后，通过卷积神经网络进行图像去雾。在实验中采用RESIDE人工合成的数据集以及真实环境的有雾图像作为训练集。结果表明，在人工合成图像域和真实图像域所提算法都有较好的处理能力和模型泛化能力，峰值信噪比(PSNR)、结构相似度(SSIM)等指标均有提高。

关键词: 双向域转换网络, 图像去雾, 卷积神经网络, 峰值信噪比, 结构相似度

Abstract:

For most defogging algorithms, the effect on synthetic foggy images is different with the effect on real foggy images. Focusing on this problem, we propose a domain?adaptive single?image defogging algorithm which is based on a bidirectional conversion network. The bidirectional conversion network is designed to convert the foggy im?ages between the two domains. Our algorithm can be divided into two steps. Firstly, we reduce the difference be?tween the synthetic domain and the real domain by using the bidirectional conversion network; secondly, we remove fog from the input foggy images by using a convolutional neural network. To improve the effect and generalization ability of our algorithm, we use the synthetic RESIDE dataset and real foggy images as training data. Compared with results of some existing algorithms, the results show that our algorithm has better effects on foggy images of both domains, and our algorithm also improves the peak signal?to?noise ratio (PSNR) and structural similarity (SSIM).

Key words: Bidirectional conversion network, Image defogging, Convolutional neural network, Peak signal?to?noise ratio, Structural similarity

中图分类号:

TP391.41

汤永恒, 潘斌. 基于双向转换网络的域自适应单幅图像去雾方法[J]. 辽宁石油化工大学学报, 2022, 42(6): 78-83.

Yongheng Tang, Bin Pan. Domain Adaptive Single Image Defogging Algorithm Based on Bidirectional Conversion Network[J]. Journal of Liaoning Petrochemical University, 2022, 42(6): 78-83.

图/表 7

图1 Cycle?GAN网络配置

图2 基于本文方法的图像转换结果（a）合成图像（b）域转换图像（c）真实图像

图3 图像去雾模块流程

图4 基于本文算法的真实雾天图像去雾处理结果

图5 基于不同算法的真实雾天图像去雾效果

图6 基于不同算法的合成雾天图像去雾效果

表1 合成雾天图像测试结果

算法	PSNR平均值	SSIM平均值
NLD^[5]	17.27	0.75
DehazeNet^[10]	21.14	0.85
GFN^[15]	22.30	0.88
EPDN^[9]	23.82	0.89
本文算法	28.25	0.93

参考文献 15

1	常戬，任营，贺春泽.改进双边滤波Retinex的多聚焦图像融合［J］.中国图象图形学报，2020，25（3）：432⁃441.
2	Tan R T. Visibility in bad weather from a single image［C］// 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR 2008）.Alaska：IEEE， 2008.
3	Fattal R.Single image dehazing［J］.ACM Transactions on Graphics， 2008，27（3）：1⁃9．
4	He K M， Sun J， Tang X O， et al. Single image haze removal using dark channel prior［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2011， 33（12）：2341⁃2353．
5	Berman D， Treibitz T， Avidan S. Non⁃local image dehazing［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE， 2016.
6	Zhang H， Patel V M. Densely connected pyramid dehazing network［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Salt Lake：IEEE， 2018.
7	Kwon H， Kaist Y， Lin S. Data⁃driven depth map refinement via multi⁃scale sparse representation［C］// Computer Vision & Pattern Recognition. Boston：IEEE， 2015.
8	Hore A， Ziou D. Image quality metrics： PSNR vs. SSIM［C］// 20th International Conference on Pattern Recognition. Istanbul： IEEE， 2010.
9	Qu Y， Chen Y， Huang J， et al. Enhanced pix2pix dehazing network［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Long Beach：IEEE， 2019.
10	Cai B， Xu X， Jia K， et al. DehazeNet： An end⁃to⁃end system for single image haze removal［J］. IEEE Transactions on Image Processing， 2016， 25（11）：5187⁃5198.
11	Ren W Q，Liu S，Zhang H， et al. Single image dehazing via multi⁃scale convolutional neural networks with holistic edges［J］. International Journal of Computer Vision，2020，128（1）： 240⁃259.
12	Zhang H， Patel V M. Densely connected pyramid dehazing network［C］// Computer Vision and Pattern Recognition.Salt Lake： IEEE， 2018.
13	Wang X， Yu K， Dong C， et al. Recovering realistic texture in image super⁃resolution by deep spatial feature transform［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Salt Lake：IEEE， 2018.
14	Li B， Ren W， Fu D， et al. Benchmarking single image dehazing and beyond［J］. IEEE Transactions on Image Processing，2019，28（1）：492⁃505.
15	Ren W， Ma L， Zhang J， et al. Gated fusion network for single image dehazing［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Salt Lake：IEEE， 2018.

[1]	姜楠, 罗林, 王乔, 侯维. 结构优化深度网络的高压断路器机械故障诊断[J]. 辽宁石油化工大学学报, 2023, 43(3): 91-96.
[2]	裴小邓，罗林，陈帅，王乔. 面向电力变压器油中溶解气体的卷积神经网络诊断方法[J]. 辽宁石油化工大学学报, 2020, 40(5): 79-85.

基于双向转换网络的域自适应单幅图像去雾方法

Domain Adaptive Single Image Defogging Algorithm Based on Bidirectional Conversion Network

HTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 15

相关文章 2

编辑推荐

Metrics