基于CA-Res2-Unet的遥感图像土地利用现状信息提取研究

doi:10.12422/j.issn.1672-6952.2024.03.012

摘要/Abstract

摘要：

遥感图像信息提取与人工智能算法结合是国土资源及环境部门进行土地利用现状调查、监测和管理的重要技术手段。针对U-net在遥感图像提取产生的空间信息定位不足和多尺度目标特征分割不准确的问题，提出了一种在Res2Net头部融入注意力模块取代U-net编码部分的CA-Res2-Unet模型，旨在增强U型网络的空间定位和多尺度特征信息分割能力；通过WHDLD公共数据集和沈抚新区自制数据集，在主流网络和改进模型上进行了实验。结果表明，该模型较基础模型U-net在WHDLD公共数据集和沈抚新区自制数据集上实验的整体准确率、平均交并比和m_F₁分数（各类F₁分类的平均值）三个评价指标分别提高了0.92%、2.00%、1.58%和1.18%、2.87%、1.91%，所提出方法的图像分割视觉效果和各项定量指标均优于其他主流语义分割网络，可为区域土地利用现状调查和相关部门决策提供科学依据。

关键词: CA-Res2-Unet, 遥感图像, 土地利用现状, 空间信息定位, 多尺度目标

Abstract:

The combination of remote sensing image information extraction and artificial intelligence algorithms is an important technical tool for land use status survey, monitoring and management in land resources and environmental departments.Aiming at the problems of insufficient spatial information localization and inaccurate multi-scale target feature segmentation generated by U-net in remote sensing image extraction, a CA-Res2-Unet model incorporating an attention module into the head of Res2Net to replace the coding part of U-net is proposed, which aims to enhance the spatial localization and multi-scale feature information segmentation capability of U-net.Experiments were carried out on mainstream networks and improved models through the WHDLD public data set and the self-made data set of Shenfu New District. The results show that compared with the basic model, OA, M_IoU and F1indexes of the experiment on the WHDLD public data set and the self-made data set of Shenfu New District increased by 0.92%, 2.00%, 1.58% and 1.18%, 2.87%, 1.91%, respectively. The visual effect and quantitative indexes of the proposed method are superior to other mainstream semantic segmentation networks, which can provide scientific basis for the investigation of the status quo of regional land use and the decision-making of relevant departments.

Key words: CA-Res2-Unet, Remote sensing images, Status of land use, Spatial information localization, Multi-scale targeting

中图分类号:

TP391

孙才华, 曹杨, 于红绯, 陈雪健. 基于CA-Res2-Unet的遥感图像土地利用现状信息提取研究[J]. 辽宁石油化工大学学报, 2024, 44(3): 89-96.

Caihua SUN, Yang CAO, Hongfei YU, Xuejian CHEN. Research on Extraction of Land Use Status Information from Remote Sensing Images Based on CA-Res2-Unet[J]. Journal of Liaoning Petrochemical University, 2024, 44(3): 89-96.

图/表 8

参考文献 18

1	杨毅，周晓丹，刘向宇.基于地理探测器的公园绿地空间利用格局及其影响机制［J］.沈阳农业大学学报，2022，53（2）：157-165.
	YANG Y，ZHOU X D，LIU X Y.Spatial pattern and influencing mechanism of green space use in parkbased on geographical detector［J］.Journal of Shenyang Agricultural University，2022，53（2）：157-165.
2	曹杨，张利群，张志浩，等.基于GIS的内蒙古水源地环境安全管理信息系统［J］.辽宁石油化工大学学报，2016，36（2）：60-63.
	CAO Y， ZHANG L Q， ZHANG Z H， et al. Environmental safety management system of the water source in inner mongolia based on GIS［J］. Journal of Liaoning Shihua University， 2016， 36（2）： 60-63.
3	何家峰，陈宏伟，骆德汉. 深度学习实时语义分割算法研究综述［J］. 计算机工程与应用， 2023， 59（8）： 13-27.
	HE J F， CHEN H W， LUO D H. Review of real-time semantic segmentation algorithms for deep learning［J］. Computer Engineering and Applications， 2023， 59（8）： 13-27.
4	张鑫，姚庆安，赵健，等. 全卷积神经网络图像语义分割方法综述［J］. 计算机工程与应用， 2022， 58（8）： 45-57.
	ZHANG X， YAO Q A， ZHAO J， et al. Image semantic segmentation based on fully convolutional neural network［J］. Computer Engineering and Applications， 2022， 58（8）： 45-57.
5	OTSU N. A threshold selection method from gray-level histograms［J］. IEEE Transactions on Systems， Man， and Cybernetics， 1979， 9（1）： 62-66.
6	MARDIA K V， HAINSWORTH T J. A spatial thresholding method for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1988， 10（6）： 919-927.
7	ROSENFELD A. The max roberts operator is a hueckel-type edge detector［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1981， 3（1）： 101-103.
8	LANG Y， ZHENG D. An improved sobel edge detection operator［C］//Proceedings of the 2012 Third International Conference on Mechanic Automation and Control Engineering. Los Alamitos：IEEE Computer Society， 2012： 841-843.
9	陈可可. 基于种子区域生长的弱监督语义分割算法研究［D］. 广州：华南理工大学， 2022.
10	ADAMS R， BISCHOF L. Seeded region growing［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1994， 16（6）： 641-647.
11	LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Manhattan： IEEE， 2015： 3431-3440.
12	RONNEBERGER O， FISCHER P， BROX T. U-Net： Convolutional networks for biomedical image segmentation［C］//Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015. Switzerland： Springer，Cham，2015：234-241.
13	BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： A deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.
14	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. Semantic image segmentation with deep convolutional nets and fully connected crfs［EB/OL］. （2016-06-07）［2023-09-08］. https：//arxiv.org/abs/1412.7062.
15	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： Semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（4）： 834-848.
16	CHEN L C， PAPANDREOU G， SCHROFF F， et al. Rethinking atrous convolution for semantic image segmentation［EB/OL］. （2017-12-05）［2023-09-08］. https：//arxiv.org/abs/1706.05587.
17	CHEN L C， ZHU Y K， PAPANDREOU G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation［C］//Computer Vision – ECCV 2018. Switzerland： Springer， Cham， 2018： 833-851.
18	HOU Q B， ZHOU D Q， FENG J S. Coordinate attention for efficient mobile network design［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Manhattan： IEEE， 2021： 13708-13717. （编辑张芳）

模型	评价指标	数值						平均值
模型	评价指标	建筑物	道路	人行道	植被	裸地	水体	平均值
FCN	F₁	71.70	76.16	59.86	88.84	60.79	96.60	75.66
	I_oU	55.89	61.50	42.72	79.92	43.67	93.43	62.86
	O_A	84.10
U-net	F₁	75.48	78.30	65.27	90.14	64.68	97.44	78.55
	I_oU	60.61	64.34	48.44	82.05	47.80	95.01	66.37
	O_A	85.99
DeepLab V3	F₁	72.50	77.59	62.43	89.13	65.30	96.78	77.28
	I_oU	56.86	63.39	45.38	80.38	48.48	93.76	64.70
	O_A	84.70
CA-Res2-Unet	F₁	77.37	80.03	67.31	90.91	67.57	97.62	80.13
	I_oU	63.10	66.71	50.73	83.33	51.03	95.34	68.37
	O_A	86.91

模型	评价指标	数值						平均值
模型	评价指标	建筑物	道路	人行道	植被	裸地	水体	平均值
FCN	F₁	71.70	76.16	59.86	88.84	60.79	96.60	75.66
	I_oU	55.89	61.50	42.72	79.92	43.67	93.43	62.86
	O_A	84.10
U-net	F₁	75.48	78.30	65.27	90.14	64.68	97.44	78.55
	I_oU	60.61	64.34	48.44	82.05	47.80	95.01	66.37
	O_A	85.99
DeepLab V3	F₁	72.50	77.59	62.43	89.13	65.30	96.78	77.28
	I_oU	56.86	63.39	45.38	80.38	48.48	93.76	64.70
	O_A	84.70
CA-Res2-Unet	F₁	77.37	80.03	67.31	90.91	67.57	97.62	80.13
	I_oU	63.10	66.71	50.73	83.33	51.03	95.34	68.37
	O_A	86.91

模型	评价指标	数值								平均值
模型	评价指标	背景	裸地	农村宅基地	工业用地	林地	农田	城镇住宅地	水域	平均值
FCN	F₁	66.41	77.50	69.50	81.87	78.18	92.60	40.44	94.38	75.11
	I_oU	49.71	63.27	53.25	69.31	64.17	86.22	25.34	89.36	62.58
	O_A	84.19
U-Net	F₁	81.07	89.76	83.53	91.16	89.26	96.15	72.64	96.60	87.52
	I_oU	68.17	81.43	71.72	83.75	80.60	92.58	57.03	93.42	78.59
	O_A	91.62
DeepLabv3	F₁	66.38	80.12	71.12	83.61	79.41	93.00	49.11	93.43	77.02
	I_oU	49.67	66.84	55.18	71.84	65.85	86.92	32.55	87.67	64.57
	O_A	84.71
CA-Res2-Unet	F₁	83.90	91.13	86.53	92.30	90.79	96.59	76.72	97.44	89.43
	I_oU	72.27	83.70	76.26	85.70	83.14	93.40	62.23	95.01	81.46
	O_A	92.80

模型	评价指标	数值								平均值
模型	评价指标	背景	裸地	农村宅基地	工业用地	林地	农田	城镇住宅地	水域	平均值
FCN	F₁	66.41	77.50	69.50	81.87	78.18	92.60	40.44	94.38	75.11
	I_oU	49.71	63.27	53.25	69.31	64.17	86.22	25.34	89.36	62.58
	O_A	84.19
U-Net	F₁	81.07	89.76	83.53	91.16	89.26	96.15	72.64	96.60	87.52
	I_oU	68.17	81.43	71.72	83.75	80.60	92.58	57.03	93.42	78.59
	O_A	91.62
DeepLabv3	F₁	66.38	80.12	71.12	83.61	79.41	93.00	49.11	93.43	77.02
	I_oU	49.67	66.84	55.18	71.84	65.85	86.92	32.55	87.67	64.57
	O_A	84.71
CA-Res2-Unet	F₁	83.90	91.13	86.53	92.30	90.79	96.59	76.72	97.44	89.43
	I_oU	72.27	83.70	76.26	85.70	83.14	93.40	62.23	95.01	81.46
	O_A	92.80

模型	WHDLD数据集			辽宁省沈抚新区数据集
模型	m_F₁	O_A	M_IoU	m_F₁	O_A	M_IoU
U-net	78.55	85.99	66.37	87.52	91.62	78.59
CA-Unet	80.06	86.62	68.13	88.61	92.36	79.87
Res2-Unet	79.45	86.70	67.57	89.15	92.62	81.01
CA-Res2-Unet	80.13	86.91	68.37	89.43	92.80	81.46