基于位置自适应的三维点云处理模型

doi:10.12422/j.issn.1672-6952.2023.06.014

摘要/Abstract

摘要：

在点云处理领域中深度学习是一种主流的方法，但是现有方法对三维点云的局部结构信息利用不够充分，对局部形状感知较差。为此，提出了一种基于改进PoinetNet的三维点云处理模型，本模型将位置自适应卷积引入到PointNet中。位置自适应卷积采用动态的方式组合权重库中的权重矩阵来构造核函数，其中权重矩阵的系数是通过位置相对系数网络从点与点相对位置自适应学习得到的。通过此方式构建的核函数，可以更好地解决点云数据的不规则性和无序性问题。位置自适应网络在三维物体分类实验上分类准确率相较于PointNet提升3.60%，在三维物体零件分割实验上平均交并比相较于PointNet提升2.20%，在三维场景语义分割实验上平均交并比相较于PointNet提升9.14%。

关键词: 点云, 深度学习, 局部位置自适应, 分类, 零件分割, 语义分割

Abstract:

In the field of point cloud processing, deep learning is a mainstream method, but the existing methods do not fully utilize the local structure information of 3D point clouds, and have less local shape perception. We proposes a 3D point cloud processing model based on improved PoinetNet. Network model introduces position adaptive convolution into PointNet. The position?adaptive convolution constructs the kernel function by combining the weight matrices in the weight bank in a dynamic way, in which the coefficients of the weight matrix are adaptively learned from the relative positions of the points through the position?relative coefficient network. The kernel function constructed in this way can better solve the problem of irregularity and disorder of point cloud data. The classification accuracy of the position?adaptive network in the 3D object classification experiment is 3.60% higher than that of PointNet, and the average intersection ratio in the 3D object part segmentation experiment is 2.20% higher than that of PointNet. In the 3D scene semantics In the segmentation experiment, the average intersection and union ratio is improved by 9.14% compared with PointNet.

Key words: Point cloud, Deep learning, Local position adaptation, Classification, Part segmentation, Scene segmentation

中图分类号:

TP183

侯健, 刘恒, 刘琳珂, 潘斌, 张玉萍. 基于位置自适应的三维点云处理模型[J]. 辽宁石油化工大学学报, 2023, 43(6): 89-96.

Jian HOU, Heng LIU, Linke LIU, Bin PAN, Yuping ZHANG. 3D Point Cloud Processing Model Based on Local Position Adaptation[J]. Journal of Liaoning Petrochemical University, 2023, 43(6): 89-96.

图/表 14

图1 网络总体结构

图2 点云分割网络的结构

图3 位置自适应网络

图4 邻近点找取

图5 位置相关系数网络模型结构

表1 不同方法的输入类型与平均准确率

方法	输入类型	平均准确率/%
MVCNN	多视图	90.1
PointwiseCNN	1 024	86.1
PointNet++	1 024	90.7
PointCNN	1 024	92.5
PointWeb	1 024，归一化	92.3
PointConv	1 024	92.5
KPConv	1 024	93.6
Point2Node	1 024	93.2
3D⁃GCN	1 024	92.1
FPConv	1 024	92.5
Grid⁃GCN	1 024	93.1
PointNet	1 024	89.2
本文方法	1 024	92.8

表2 每个方法的平均交并比和运算量

方法	类别平均交并比/%	实例平均交并比/%	运算量
PointNet++	81.7	84.8	-
KPConv	84.7	86.3	2 042
PointCNN	84.6	85.7	-
PointConv	82.6	85.6	-
PointNet	80.6	83.6	457
本文方法	82.8	84.6	719

图6 零件分割可视化结果

表3 各个方法的性能对比

实例	实例平均交并比/%
实例	PointNet	PointNet++	本文方法
平均交并比	41.12	50.60	58.10
杂物	33.22	39.61	45.89
天花板	88.80	90.34	91.62
地板	97.33	98.01	98.59
墙	69.80	74.65	81.73
横梁	0.05	0	0
柱子	3.92	15.43	19.37
窗户	46.62	52.34	57.37
门	10.76	15.56	31.88
椅子	52.61	71.82	83.52
桌子	58.93	67.89	74.62
书架	40.28	57.97	67.24
沙发	5.85	30.81	49.31
黑板	26.38	43.42	54.15

图7 语义分割可视化结果

表4 不同的ScoreNet输入对网络效果的影响

输入	平均交并比/%
$(x j - x i, x i, x j, e i j)$	62.11
$(y j - y i, y i, y j, e i j)$	63.21
$(z j - z i, z i, z j, e i j)$	63.44
$(x j - x i, y j - y i, z j - z i, e i j)$	65.51

表4 不同的ScoreNet输入对网络效果的影响

输入	平均交并比/%
$(x j - x i, x i, x j, e i j)$	62.11
$(y j - y i, y i, y j, e i j)$	63.21
$(z j - z i, z i, z j, e i j)$	63.44
$(x j - x i, y j - y i, z j - z i, e i j)$	65.51

表5 不同归一化函数对网络效果的影响

归一化函数	平均交并比/%
Sigmoid	64.27
max(0,Tanh)	62.43
SoftMax	65.36

表6 权重矩阵个数对网络效果的影响

权重矩阵个数	平均交并比/%
2	65.01
4	62.23
8	63.87
16	65.60

表7 权重矩阵正则化影响

正则化	平均交并比/%
否	62.41
是	63.23

参考文献 22

1	裴小邓，罗林，陈帅，等. 面向电力变压器油中溶解气体的卷积神经网络诊断方法［J］. 辽宁石油化工大学学报， 2020， 40（5）： 79⁃85.
2	钱婷，王蕾，李宝山. 三维激光扫描点云分类方法研究进展综述［J］. 电脑与信息技术， 2019， 27（1）： 22⁃25.
3	MATURANA D， SCHERER S. VoxNet： A 3D convolutional neural network for real⁃time object recognition［C］//2015 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Hamburg： IEEE， 2015： 922⁃928.
4	SU H， JAMPANI V， SUN D Q， et al. SPLATNet： Sparse lattice networks for point cloud processing［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE， 2018： 2530⁃2539.
5	RIEGLER G， ULUSOY A O， GEIGER A. OctNet： Learning deep 3D representations at high resolutions［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu： IEEE， 2017： 6620⁃6629.
6	QI C R， SU H， KAICHUN M， et al. PointNet： Deep learning on point sets for 3D classification and segmentation［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu： IEEE， 2017： 77⁃85.
7	QI C R， YI L， SU H， et al. PointNet++： Deep hierarchical feature learning on point sets in a metric space［C］//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach： Curran Associates Inc， 2017： 5105⁃5114.
8	HORNIK K. Approximation capabilities of multilayer feedforward networks［J］. Neural Networks， 1991， 4（2）： 251⁃257.
9	LI Y Y， BU R， SUN M C， et al. PointCNN： Convolution on X⁃transformed points［EB/OL］. （2018⁃11⁃05）［2022⁃02⁃01］. https：//arxiv.org/abs/1801.07791.
10	THOMAS H， QI C R， DESCHAUD J E， et al. KPConv： Flexible and deformable convolution for point clouds［C］//KPConv： Flexible and Deformable Convolution for Point Clouds. Seoul： IEEE， 2019： 6410⁃6419.
11	YAN X， ZHENG C D， LI Z， et al. PointASNL： Robust point clouds processing using nonlocal neural networks with adaptive sampling［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle： IEEE， 2020： 5588⁃5597.
12	XU Q G， SUN X D， WU C Y， et al. Grid⁃GCN for fast and scalable point cloud learning［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle： IEEE， 2020： 5660⁃5669.
13	魏天琪，郑雄胜. 基于深度学习的三维点云分类方法研究［J］. 计算机应用研究， 2022， 39（5）： 1289⁃1296.
14	XU M T， DING R Y， ZHAO H S， et al. PAConv： Position adaptive convolution with dynamic kernel assembling on point clouds［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville： IEEE， 2021： 3172⁃3181.
15	XU Y F， FAN T Q， XU M Y， et al. SpiderCNN： Deep learning on point sets with parameterized convolutional filters［C］//Computer Vision⁃ECCV 2018. Munich： Springer， 2018： 90⁃105.
16	WANG S L， SUO S， MA W C， et al. Deep parametric continuous convolutional neural networks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE， 2018： 2589⁃2597.
17	LIU Y C， FAN B， XIANG S M， et al. Relation⁃shape convolutional neural network for point cloud analysis［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach： IEEE， 2019： 8887⁃8896.
18	WU W X， QI Z A， LI F X. PointConv： Deep convolutional networks on 3D point clouds［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach： IEEE， 2019： 9613⁃9622.
19	王涛，王文举，蔡宇. 基于深度学习的三维点云语义分割方法研究［J］. 计算机工程与应用， 2021， 57（23）： 18⁃26.
20	WU Z R， SONG S R， KHOSLA A， et al. 3D ShapeNets： A deep representation for volumetric shapes［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston： IEEE， 2015： 1912⁃1920.
21	CHANG A X， FUNKHOUSER T， GUIBAS L， et al. ShapeNet： An information⁃rich 3D model repository［EB/OL］. （2015⁃12⁃09）［2022⁃02⁃01］. https：//arxiv.org/abs/1512.03012.
22	ARMENI I， SENER O， ZAMIR A R， et al. 3D semantic parsing of large⁃scale indoor spaces［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas： IEEE， 2016： 1534⁃1543.

[1]	韩江雪, 郭小明, 汤永恒, 王丽鑫, 潘斌. 基于孪生网络的协作机器人目标追踪[J]. 辽宁石油化工大学学报, 2022, 42(6): 90-96.
[2]	田文才, 乔伟彪, 周国峰, 刘伟. 基于小波变换和深度学习的短期天然气负荷预测研究[J]. 辽宁石油化工大学学报, 2021, 41(5): 91-96.
[3]	赵士龙,李维军,石成江. 基于红外成像技术的铝箔封口密封完整性检测研究[J]. 辽宁石油化工大学学报, 2018, 38(02): 80-84.
[4]	贾强，冯锡炜，王志峰，朱睿，秦航. 基于改进的TF-IDF文本特征词提取算法研究[J]. 辽宁石油化工大学学报, 2017, 37(4): 61-64.
[5]	常珈铭,李维军,石成江. 基于Gabor变换和极限学习机的铝箔密封性检测[J]. 辽宁石油化工大学学报, 2017, 37(3): 64-69.
[6]	曹杨,魏海平,杨景荣. 基于G I S和R S的毛乌素沙地景观提取及变化研究[J]. 辽宁石油化工大学学报, 2015, 35(5): 58-61,72.
[7]	武荣华,王天施,侯宝明. 基于EMD的电能质量扰动检测与分类方法[J]. 辽宁石油化工大学学报, 2013, 33(2): 63-66.
[8]	丁胜锋. 一种改进的双支持向量机[J]. 辽宁石油化工大学学报, 2012, 32(4): 76-79.
[9]	李文娜. 基于Haar特征级联强分类器和肤色模型的人脸检测[J]. 辽宁石油化工大学学报, 2010, 30(3): 61-64.
[10]	孙丹凤，杨翔华，朴玉华. 土壤拮抗放线菌的筛选及YYHS-2菌株的分类[J]. 辽宁石油化工大学学报, 2008, 28(3): 1-3.