基于孪生网络的协作机器人目标追踪

doi:10.3969/j.issn.1672-6952.2022.06.015

辽宁石油化工大学学报 ›› 2022, Vol. 42 ›› Issue (6): 90-96.DOI: 10.3969/j.issn.1672-6952.2022.06.015

• 信息与控制工程 • 上一篇

基于孪生网络的协作机器人目标追踪

韩江雪¹(), 郭小明²(), 汤永恒¹, 王丽鑫², 潘斌²

^1.辽宁石油化工大学计算机与通信工程学院，辽宁抚顺 113001
^2.辽宁石油化工大学理学院, 辽宁抚顺 113001

收稿日期:2021-04-12 修回日期:2022-12-04 出版日期:2022-12-25 发布日期:2023-01-07
通讯作者: 郭小明
作者简介:韩江雪（1996⁃），男，硕士研究生，从事计算机视觉、图像处理方面的研究;E⁃mail：18641365626@163.com。
基金资助:
国家自然科学基金项目(61602228);辽宁省“兴辽英才计划”青年拔尖人才项目(XLYC1807266);辽宁省自然科学基金项目(2015020041)

Cooperative Robot Object Tracking Based on Siamese Network

Jiangxue Han¹(), Xiaoming Guo²(), Yongheng Tang¹, Lixin Wang², Bin Pan²

^1.School of Computer and Communication Engineering，Liaoning Petrochemical University，Fushun Liaoning 113001，China
^2.College of Sciences，Liaoning Petrochemical University，Fushun Liaoning 113001，China

Received:2021-04-12 Revised:2022-12-04 Published:2022-12-25 Online:2023-01-07
Contact: Xiaoming Guo

摘要/Abstract

摘要：

利用自身高速高精度的特点，协作机器人通过模仿人的创造性复杂动作来提高生产效率。当前协作机器人对人动作的模仿主要来自部署人员的长期调试，缺少通用的解决方案，无法快速部署。基于此，提出了一种无锚的基于RepVGG网络的孪生网络协作机器人目标跟踪算法。该算法由孪生网络模块、分类回归模块和机器人执行模块组成。孪生网络模块使用改进的RepVGG网络代替主流的ResNet作为骨干网络用于图片特征的提取，在不损失精度的前提下提高整个网络的运行速度，降低算法对硬件的要求，对专用深度学习芯片更加友好；分类回归模块通过引入中心度分支来提高跟踪框的中心点预测精度；机器人执行模块采用尺度惩罚和宽高比惩罚以平滑跟踪框，保证协作机器人的动作流畅。实验结果表明,平均速率相比替代ResNet骨干网络前提高了14 FPS，实现了实时跟踪的效果。

关键词: 目标跟踪, 孪生网络, RepVGG网络, 深度学习, 协作机器人

Abstract:

Taking advantage of its high?speed and high?precision characteristics, cooperative robots can improve production efficiency by imitating human creative and complex actions. At present, the simulation of human action mainly comes from the long?term debugging of the deployment personnel, which is lack of general solutions and can′t be deployed quickly. Based on this, an anchor?free RepVGG network?based Siamese network collaborative robot target tracking algorithm was proposed. The algorithm consists of a siamese network module, a classification regression module and a robot execution module. The siamese network module used the improved RepVGG network instead of ResNet as the backbone network to extract image features, which can improve the running speed of the whole network without losing accuracy，reduce the hardware requirements and is more friendly to special deep learning chips; the classification and regression module introduced the centrality branch to improve the prediction accuracy of the center point of the tracking frame; the robot execution module uses scale penalty and aspect ratio penalty to smooth the tracking boxes and ensure the smooth operation of the collaborative robots. Experimental results show that the average rate is 14 FPS higher than that before replacing the backbone network, which realizes real?time object tracking.

Key words: Object tracking, Siamese network, RepVGG network, Deep learning, Cooperative robot

中图分类号:

TP391

韩江雪, 郭小明, 汤永恒, 王丽鑫, 潘斌. 基于孪生网络的协作机器人目标追踪[J]. 辽宁石油化工大学学报, 2022, 42(6): 90-96.

Jiangxue Han, Xiaoming Guo, Yongheng Tang, Lixin Wang, Bin Pan. Cooperative Robot Object Tracking Based on Siamese Network[J]. Journal of Liaoning Petrochemical University, 2022, 42(6): 90-96.

图/表 9

图1 网络整体框架

图2 ResNet和RepVGG网络结构

表1 修改后的RepVGG?A2训练模型的网络参数

阶段	层数	输出尺寸	通道数	步长
1	1	125×125	64	2
2	2	63×63	96	2
3	4	31×31	192	2
4	14	31×31	384	1
5	1	31×31	1 408	1

图3 每阶段RepVGG训练模型的网络结构

图4 批归一化处理示意图

图5 分类子网络和回归子网络的网络结构

图6 跟踪器测试结果

图7 协助机器人目标追踪成功率及精确度

表2 LaSOT数据集对比实验结果

模型

参数量

参考文献 16

1	Ding X， Zhang X， Ma N， et al. RepVGG： Making VGG⁃style convNets great again［C］ // 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville： IEEE， 2021：13733⁃13742.
2	Henriques J F， Caseiro R， Martins P， et al. High⁃speed tracking with kernelized correlation filters［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2014， 37（3）： 583⁃596.
3	Bertinetto L， Valmadre J， Henriques J F， et al. Fully⁃convolutional Siamese networks for object tracking［C］ // European Conference on Computer Vision. Amsterdam： Springer， 2016：850⁃865.
4	Krizhevsky A， Sutskever I， Hinton G E. Imagenet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84⁃90.
5	Danelljan M， Bhat G， Khan F S， et al. Atom： Accurate tracking by overlap maxi⁃mization［C］ // IEEE Conference on Computer Vision and Pattern Recognition. Long Beach： IEEE， 2019：4660⁃4669.
6	Bo L， Yan J， Wei W， et al. High performance visual tracking with siamese region proposal network［C］ // 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake： IEEE， 2018：8971⁃8980.
7	Li B， Wu W， Wang Q， et al. Siamrpn++： Evolution of siamese visual tracking with very deep networks［C］// IEEE Conference on Computer Vision and Pattern Recognition. Long Beach： IEEE，2019：4282⁃4291.
8	Zhu Z，Wang Q，Li B，et al. Distractor⁃aware siamese networks for visual object tracking［C］ // European Conference on computer vision. Amsterdam： Springer，2018：101⁃117.
9	He K， Zhang X， Ren S， et al. Deep residual learning for image recognition［C］ // IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2016：770⁃778.
10	Wang Q， Zhang L， Bertinetto L， et al. Fast online object tracking and segmentation： A unifying approach［C］ // IEEE Conference on Computer Vision and Pattern Recognition. Long Beach： IEEE， 2019： 1328⁃1338.
11	Tian Z， Shen C， Chen H， et al. Fcos： Fully convolutional one⁃stage object detection［C］ // IEEE International Conference on Computer Vision. Seoul： IEEE， 2019： 9627⁃9636.
12	Lin T Y，Maire M，Belongie S，et al. Microsoft coco： Common objects in context［C］ // European Conference on Computer Vision， Zurich. Switzerland： Springer，2014：740⁃755.
13	Real E， Shlens J， Mazzocchi S， et al. Youtube⁃boundingboxes： A large high⁃precision human⁃annotated data set for object detection in video［C］//IEEE Conference on Computer Vision and Pattern Recognition.Honolulu：IEEE，2017：5296⁃5305.
14	Fan H， Ling H， Lin L， et al. Lasot： A high⁃quality benchmark for large⁃scale single object tracking［C］ // IEEE Conference on Computer Vision and Pattern Recognition. Long Beach： IEEE， 2019：5374⁃5383.
15	Russakovsky O， Deng J， Su H， et al. Imagenet large scale visual recognition challenge［J］. International Journal of Computer Vision， 2015， 115（3）： 211⁃252.
16	Huang L， Zhao X， Huang K. Got⁃10k： A large high⁃diversity benchmark for generic object tracking in the wild［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019， 43（5）： 1562⁃1577.

[1]	田文才, 乔伟彪, 周国峰, 刘伟. 基于小波变换和深度学习的短期天然气负荷预测研究[J]. 辽宁石油化工大学学报, 2021, 41(5): 91-96.
[2]	王帅，高鹏. 协作机器人机构运动可靠性研究[J]. 辽宁石油化工大学学报, 2019, 39(6): 78-83.

基于孪生网络的协作机器人目标追踪

Cooperative Robot Object Tracking Based on Siamese Network

HTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 16

相关文章 2

编辑推荐

Metrics