计算机视觉布料瑕疵检测方法综述

doi:10.3969/j.issn.1672-6952.2022.01.013

摘要/Abstract

摘要：

长久以来，布料的瑕疵检测工作一直由质检员完成，瑕疵判别过程受主观因素影响大,存在检测效率低、成本高等问题。随着计算机视觉技术的发展，基于视觉技术的布料瑕疵检测系统逐渐成为取代人工质检的重要解决方案。针对基于视觉技术的布料瑕疵检测，从行业发展情况、通用检测标准、系统整体结构、检测算法的关键技术等方面进行了综述，介绍了目前市面上已经存在的基于视觉技术的布料瑕疵检测产品，分析了目前常用的瑕疵检测标准与检测系统的基本结构，梳理并对比了近年来图像处理与深度学习技术在布料瑕疵检测领域的研究现状。最后，总结了各方面尚待解决的关键问题，并探讨了未来可能的发展方向。

关键词: 瑕疵检测, 布料检测, 目标识别, 计算机视觉, 图像处理

Abstract:

For a long time, fabric defect detection has been completed by quality inspectors. Meanwhile, the process of defect discrimination is greatly affected by subjective factors and has the problems of low detection efficiency and high cost. With the close combination of computer vision technology and various fields, fabric defect detection system based on vision has gradually become an important solution to replace manual quality inspection. For the fabric defect detection based on vision, this paper reviews the aspects including industry development, general detection standards, overall structure of the system and key technologies in detection algorithms, introduces the existing fabric defect detection products based on vision in the market, analyzes the common defect detection standards and the basic structure of the detection system, and summarizes and compares the research status of image processing and deep learning technology in the field of fabric defect detection in recent years. Finally, the paper summarizes the key problems to be solved, and discusses the possible development direction in the future.

Key words: Defect detection, Fabric detection, Objection recognition, Computer vision, Image processing

中图分类号:

TP391

韩济阳, 曹江涛, 王贺楠, 姬晓飞. 计算机视觉布料瑕疵检测方法综述[J]. 辽宁石油化工大学学报, 2022, 42(1): 70-77.

Jiyang Han, Jiangtao Cao, Henan Wang, Xiaofei Ji. A Review of Fabric Defect Detection Methods Based on Computer Vision[J]. Journal of Liaoning Petrochemical University, 2022, 42(1): 70-77.

图/表 6

参考文献 62

1	Yapi D， Allili M S， Baaziz N. Automatic fabric defect detection using learning⁃based local textural distributions in the contourlet domain［J］. IEEE Transactions on Automation Science & Engineering， 2017，15（3）1014⁃1026.
2	全国纺织品标准化技术委员会.印染布布面疵点检验方法：GB/T 17760-2019 ［S］. 国家市场监督管理总局中国国家标准化管理委员会.
3	全国纺织品标准化技术委员会.本色布布面疵点检验方法：GB/T 17759-2018 ［S］. 国家市场监督管理总局中国国家标准化管理委员会.
4	Ngan H Y T， Pang G K H， Yung N H C. Automated fabric defect detection：A review［J］. Image and Vision Computing， 2011， 29（7）：442⁃458.
5	Hanbay K， Talu M F， Özgüven Ö F. Fabric defect detection systems and methods：A systematic literature review［J］. Optik⁃International Journal for Light and Electron Optics， 2016， 127（24）： 11960⁃11973.
6	赵志勇.基于深度学习的布匹缺陷识别与检测研究［D］. 武汉：华中科技大学，2019.
7	李小宁，杨学志.结合自适应中值滤波和GGCM的织物质量检测［J］.合肥工业大学学报（自然科学版），2016，39（7）：906⁃910.
8	闵信军.基于灰度共生矩阵和视觉信息的布匹瑕疵检测方法研究［D］.镇江：江苏大学，2018.
9	吴哲，刘孝星，郑力新，等.基于灰度共生矩阵特征图像的织物疵点检测方法［J］.微型机与应用，2015，34（21）：47⁃50.
10	孙国栋，林松，艾成汉，等.基于灰度共生矩阵与反向投影的织物疵点检测［J］.计算机测量与控制，2016，24（7）：65⁃67.
11	陆聪.基于灰度LBP共生矩阵和空间加权k⁃means的织物图像瑕疵点分割［D］.杭州：浙江大学，2019.
12	刘海军，单维锋，袁静，等.基于梯度方向直方图的本色布疵点检测算法［J］.毛纺科技，2018，46（1）：69⁃72.
13	刘海军，单维锋，韩莹，等.基于梯度方向直方图词袋的纺织品疵点检测算法［J］.毛纺科技，2019，47（3）：71⁃76.
14	李春雷，高广帅，刘洲峰，等.应用方向梯度直方图和低秩分解的织物疵点检测算法［J］.纺织学报，2017，38（3）：149⁃154.
15	韩晓军，黄雷. 织物疵点的图像信息检测方法［J］.天津工业大学学报，2015，34（5）：48⁃51.
16	郝阳.基于机器视觉的纺织品瑕疵检测与分类［D］. 上海：东华大学，2018.
17	何峰，周亚同，赵翔宇，等.纹理织物疵点窗口跳步形态学法检测［J］.纺织学报，2017，38（10）：124⁃131.
18	孙国栋，林松，艾成汉，等.基于灰度直方图反向投影的织物疵点图像分割［J］.制造业自动化，2016，38（4）：20⁃21.
19	Sakhare K， Kulkarni A， Kumbhakarn M， et al. Spectral and spatial domain approach for fabric defect detection and classification［C］// 2015 International Conference on Industrial Instrumentation and Control. Pune： IEEE， 2015： 640⁃644.
20	刘伟斌，郑力新，周凯汀.采用频域滤波的织物疵点检测方法［J］.华侨大学学报（自然科学版），2017，38（4）：562⁃566.
21	Hu G H， Wang Q H， Zhang G H. Unsupervised defect detection in textiles based on fourier analysis and wavelet shrinkage［J］. Applied Optics， 2015， 54（10）： 2963⁃2980.
22	任欢欢，景军锋，张缓缓，等.应用GIS和FTDT的织物错花缺陷检测研究［J］.激光与光电子学进展，2019，56（13）：94⁃99.
23	景军锋，赵娟.基于Mean Shift滤波的织物疵点检测方法［J］.电子测量与仪器学报，2016，30（5）：739⁃747.
24	Guan M， Zhong Z， Rui Y. Automatic defect segmentation for plain woven fabric images［C］// 2019 International Conference on Communications， Information System and Computer Engineering. Haikou： IEEE， 2019： 465⁃468.
25	尉苗苗，李岳阳，蒋高明，等.应用最优Gabor滤波变换的经编织物瑕疵检测［J］.纺织学报，2016，37（11）：48⁃54.
26	汤晓庆，黄开兴，秦元庆，等.基于Gabor滤波变换和HOG特征的织物瑕疵检测［J］.计算机测量与控制，2018，26（9）：39⁃42.
27	杨亚，薛云灿，沙伟，等.基于正交小波分解的织物瑕疵检测［J］.微处理机，2015，36（3）：46⁃49.
28	顾菁，薛云灿，张龙，等.基于小波变换与局部熵的织物疵点检测方法［J］.微处理机，2015，36（5）：69⁃71.
29	Li P G， Zhang H H， Jing J F， et al. Fabric defect detection based on multi⁃scale wavelet transform and gaussian mixture model method［J］. Journal of the Textile Institute， 2015， 106（6）： 587⁃592.
30	Sadaghiyanfam S. Using gray⁃level⁃co⁃occurrence matrix and wavelet transform for textural fabric defect detection： A comparison study［C］//2018 Electric Electronics，Computer Science，Biomedical Engineerings' Meeting. Istanbul：IEEE，2018.
31	Hu G H， Wang Q H. Fabric defect detection via un⁃decimated wavelet decomposition and gumbel distribution model［J］. Journal of Engineered Fibers and Fabrics， 2018， 13（1）： 15⁃32.
32	Lib C， Gao G S， Liu Z F， et al. Defect detection for patterned fabric images based on GHOG and low⁃rank decomposition［J］. IEEE Access， 2019， 7（99）： 83962⁃83973.
33	Li C L， Gao G S， Liu Z F， et al. Fabric defect detection based on biological vision modeling［J］. IEEE Access， 2018， 6： 27659⁃27670.
34	闫磊.基于稀疏表示的织物瑕疵检测算法研究［D］.郑州：中原工学院，2016.
35	范晓婷.织物瑕疵检测算法研究［D］.西安：西安工程大学，2017.
36	占竹，汪军.基于字典学习的机织物疵点图像等级评定研究［J］.毛纺科技，2019，47（1）：80⁃85.
37	王鹤翔.基于小波变换和SVM的织物瑕疵检测与分类［D］.上海：东华大学，2015.
38	Li M， Wan S， Deng Z， et al. Fabric defect detection based on saliency histogram features［J］ Computational Intelligence， 2019， 35（3）： 517⁃534.
39	Daniel Y， Mohand S A， Nadia B，et al. Automatic fabric defect detection using learning⁃based local textural distributions in the contourlet domain［J］. IEEE Transactions on Automation Science & Engineering， 2017，15（3） 1014⁃1026.
40	Hamdi A A， Sayed M S， Fouad M M， et al. Unsupervised patterned fabric defect detection using texture filtering and K⁃means clustering［C］// 2018 International Conference on Innovative Trends in Computer Engineering. Aswan： IEEE， 2018： 130⁃144.
41	Li Y D， Zhao W G， Pan J H. Deformable patterned fabric defect detection with fisher criterion⁃based deep learning［J］. IEEE Transactions on Automation Science and Engineering， 2017，14（2）：1256⁃1264.
42	Tian H， Li F. Autoencoder⁃Based fabric defect detection with cross⁃patch similarity［C］// 2019 16th International Conference on Machine Vision Applications. Tokyo： IEEE Xplore， 2019.
43	景军锋，党永强，苏泽斌，等.基于改进SAE网络的织物疵点检测算法［J］.电子测量与仪器学报，2017，31（8）：1321⁃1329.
44	Li Y D， Zhang J Y， Lin Y B. Combining fisher criterion and deep learning for patterned fabric defect inspection［J］. The Institute of Electronics， Information and Communication Engineers， 2016， 99 （11）： 2840⁃2842.
45	刘海军，张莉丽，耿贵珍，等.基于自动编码器的本色布疵点检测算法［J］.毛纺科技，2019，47（9）：79⁃83.
46	吴志洋，卓勇，李军，等.基于卷积神经网络的单色布匹瑕疵快速检测算法［J］.计算机辅助设计与图形学学报，2018，30（12）：2262⁃2270.
47	赵志勇，叶林，桑红石，等.深度学习在布匹缺陷检测中的应用［J］.国外电子测量技术，2019，38（8）：110⁃116.
48	万东.基于深度学习的布匹疵点检测算法及系统研究［D］.武汉：华中科技大学，2017.
49	刘闪亮.基于卷积神经网络的织物图像缺陷检测定位算法研究［D］.郑州：中原工学院，2019.
50	史甜甜.基于深度学习的织物瑕疵检测研究［D］.杭州：浙江理工大学，2019.
51	Wei B. A new method using the convolutional neural network with compressive sensing for fabric defect classification based on small sample sizes［J］. Textile Research Journal， 2019， 89（17）： 3539⁃3555.
52	杨伟嘉. 基于自编码器网络的布料瑕疵检测系统［D］.广州：华南理工大学，2020.
53	刘洋洋. 基于深度学习的布匹缺陷检测方法研究［D］.哈尔滨：哈尔滨工业大学，2020.
54	许玉格，钟铭，吴宗泽，等.基于深度学习的纹理布匹瑕疵检测方法［EB/OL］. （2020⁃06⁃19）［2021⁃01⁃04］.https：//doi.org/10.16383/j.aas.c200148.
55	Jing J， Wang Z， Rtsch M， et al. Mobile⁃Unet： An efficient convolutional neural network for fabric defect detection［EB/OL］. （2020⁃03⁃29）［2021⁃01⁃05］. https：//journals.sagepub.com/doi/10.1177/0040517520928604.
56	孙羽，何志勇，张浩，等.基于DCNN的布匹疵点检测方法［J］.中国科技信息，2021（2）：92⁃95.
57	Li Y， Zhang D， Lee D J. Automatic fabric defect detection with a wide⁃and⁃compact network［J］. Neurocomputing， 2019， 329：329⁃338.
58	Wang T， Chen Y， Qiao M N， et al. A fast and robust convolutional neural network⁃based defect detection model in product quality control［J］. International Journal of Advanced Manufacturing Technology， 2018， 94： 3465⁃3471.
59	张丽瑶，王志鹏，徐功平.基于SSD的织物瑕疵检测的研究［J］.电子设计工程，2020，28（6）：40⁃44.
60	Zhang H W， Zhang L J， Li P F， et al. Yarn⁃dyed fabric defect detection with yolov2 based on deep convolution neural networks［C］// 2018 IEEE 7th Data Driven Control and Learning Systems Conference. Enshi： IEEE， 2018： 170⁃174.
61	Ouyang W B， Xu B G， Hou J， et al. Fabric defect detection using activation layer embedded convolutional neural network［J］. IEEE Access， 2019， 7： 70130⁃70140.
62	马原东，倪照风，徐斌，等.基于卷积神经网络的布料疵点检测方法［J］.科学技术与工程，2020，20（25）：10327⁃10333.

指标	定义
TP	样本存在瑕疵，检测结果显示存在瑕疵
FP	样本无瑕疵，检测结果显示存在瑕疵
TN	样本无瑕疵，检测结果显示无瑕疵
FN	样本存在瑕疵，检测结果显示无瑕疵

指标	定义
TP	样本存在瑕疵，检测结果显示存在瑕疵
FP	样本无瑕疵，检测结果显示存在瑕疵
TN	样本无瑕疵，检测结果显示无瑕疵
FN	样本存在瑕疵，检测结果显示无瑕疵

算法	算法特点
基于结构	易受到纹理完整度限制，适应性较差
基于统计学	灰度共生矩阵法分类效果好，但计算量大，速度较慢；
	直方图法计算速度快，分类效果差；
	分形维数法易受背景纹理的干扰；
	形态学方法速度快，实时性佳，可以定位瑕疵位置，适合边界清晰的瑕疵
基于频域	傅里叶变换法适用于频域特征明显的图像，时、域信息完全分离；
	Roberts对低噪声图像效果较好，但边缘定位相对粗糙；
	Gabor可以同时在时域和频域获得最佳的局部化，但是计算量大；
	小波变换法分类效果好，但适应性差
基于模型	对背景纹理不明显的布料效果更好
基于字典学习	算法相对复杂，但分类的准确率较高

算法	算法特点
基于结构	易受到纹理完整度限制，适应性较差
基于统计学	灰度共生矩阵法分类效果好，但计算量大，速度较慢；
	直方图法计算速度快，分类效果差；
	分形维数法易受背景纹理的干扰；
	形态学方法速度快，实时性佳，可以定位瑕疵位置，适合边界清晰的瑕疵
基于频域	傅里叶变换法适用于频域特征明显的图像，时、域信息完全分离；
	Roberts对低噪声图像效果较好，但边缘定位相对粗糙；
	Gabor可以同时在时域和频域获得最佳的局部化，但是计算量大；
	小波变换法分类效果好，但适应性差
基于模型	对背景纹理不明显的布料效果更好
基于字典学习	算法相对复杂，但分类的准确率较高

算法	算法特点
支持向量机	适用于小样本下二分类过程，大样本时训练时间较长
贝叶斯分类	算法不受分类数限制
K⁃means聚类	收敛速度快，需提前确定瑕疵类别数量，效果受K取值影响