基于深度学习的香梨目标识别与定位研究
作者: 周鹏 曹冰玉 周文静 张洚宇 马晓晓 刘生智
摘要:在人工智能技术快速发展的今天,世界各国学者基于各个阶段的研究成果,将相关技术理论应用到各个领域,不仅全面提升了社会经济发展水平,而且营造了数字化、智能化的社会环境。特别是对于农业领域,传统的人工采摘方式已经无法满足人们的需求,在工作过程中容易危害人身和财产的安全,采摘工作的时间成本过高,因此在人工智能的发展趋势下,有必要重点研究采摘机。文章在了解现代农业采摘工作发展现状的基础上,根据深度学习的基本概念,主要探讨了以深度学习为中心的目标识别与定位研究,进而结合实验案例探索香梨目标识别与定位的应用价值。
关键词:深度学习;目标识别;目标定位;卷积神经网络
中图分类号:TP18 文献标识码:A
文章编号:1009-3044(2023)25-0038-04
开放科学(资源服务)标识码(OSID) :
0 引言
中国虽然地理资源广阔,但由于农业生产基础设施薄弱、农业产业结构单一等原因,越来越多的农民工选择了其他行业就业。面对这种发展形势,我国学者在研究中提出了人工智能技术的全面融入应用,打造符合新时代发展的智慧农业,不仅可以为农业带来更多的发展机遇,还可以吸引更多的企业、社会机构和优秀人才参与农业经济建设[1-3]。如今,农业建设与发展可分为以下几种类型:1) 绿色农业,是指农业与生态环境的融合,在实现协调发展的同时实现可持续发展目标。2) 设施农业,是指技术、设备、动植物高度相关的农业。生物物理因素被视为要操作的对象。在提高产量的同时,严格禁止使用对人类有害的农药等化学物质。3) 工厂工业,是指综合运用现代高新技术、新型设备、管理方法而发展的一种综合机械化、自动化技术的高度集约化生产,能够在人工农业环境中创造,真正实现全过程连续作业,以摆脱自然环境的限制。
目前,最常见的以深度学习为核心的目标检测算法分为两种理论技术。一种是以候选区域为核心的目标检测算法,另一种是端到端的目标检测算法[4]。本文在深度学习和卷积神经网络算法的基础上,主要探讨以卷积神经网络为核心的物体识别,进而对香梨物体识别与定位实验进行验证与分析,以期为新时代农业科技的发展提供有效依据[5-7]。
1 目标检测方法
1.1 卷积神经网络
在深度学习中,卷积神经网络(Convolutional Neural Network, CNN)是一种深度神经网络,最常用于分析视觉图像。它采用多层感知机的变型设计,需要的预处理最少,因此也被称为移位不变或空间不变的人工神经网络,该网络是基于它们的共享权重架构和移位不变特性而提出的。结合图1所示的CNN结构图可以看出,整体模块主要包括输入层、输出层和多个隐层,其中隐层又分为卷积层、池化层、 RELU 层和全连接层。与其他图像分类算法相比,CNN很少被应用于处理领域,这证明了传统算法中手工设计滤波器的网络学习,独立于之前的知识和人类在特征设计上的努力,是最独特的技术优势,可以应用于目标识别、图像分类、自然语言处理等[8]。
1.2 RCNN构建
区域中心卷积神经网络(Region-Centered Convolutional Neural Network, RCNN)是将卷积神经网络应用于目标检测的最初结果。由于CNN具有良好的特征提取和分类性能,因此应该采用候选区域方法来解决目标检测问题,从候选区域选择、特征提取、分类和边界回归三个步骤入手。从整体上看,RCNN的操作更加直观。它的目的是准确定位并合并完成分类,避免多次检测,其中分类器和边界回归的选择很多。
通过对RCNN 和Fast RCNN的积累,国外学者在研究中再次提出Faster RCNN。从结构上看,Faster RCNN将特征提取、建议区域提取、边界盒回归和分类处理集成到一个网络中,有利于提高实际应用的综合性能,加快整体检测速度。为了有效解决RCNN和Fast RCNN的问题,较快的RCNN引入了候选区域网络(Region Proposal Network,RPN),与检测网络共享图像的全卷积特征,从而获得近似无代价的候选区域。结合图2所示的RCN算法的流程分析可以看出,RPN可以同时预测每个位置的目标边界和目标得分,并且对RPN进行端到端的训练,形成一个质量较高的候选区域,便于技术检测和分析。经过简单的交替优化后,可以有效训练RPN和Fast RCNN共享卷积特征[9- 11]。
1.3 共享卷积层
为了设计具有不同共享卷积层的Fast RCNN并提取感兴趣的特征,需要将Fast RCNN模型、ZF网络、VGG16网络和RESNET网络的不同层次融合在一起,真实现迭代训练研究。其中,ZF网络框架如图3所示。在Fast RCNN的共享卷积层中,只需要其中的卷积部分。
VGG16网络结构如图4所示。在综合分析时,要严格遵守公平正义的基本原则,搜索网络深度对模型精度的影响,所有卷积层的配置都是相同的。其中,卷积核的大小为3×3,步长为1,填充值为1,共5个最大池化层。核大小为2×2,步长为2,总共有3个全连接层。前两层有4 096个通道,第三层总共有1 000个输出神经元,代表1 000个标签类别。为防止梯度弥散增加了RELU非线性激活函数[12- 13]。
2 实验结果分析
2.1 实验设计
本文在理解深度学习和卷积神经网络算法的基础上,采用以DenseNET为核心的Mask R-CNN香梨检测模型。DenseNET网络结构是一种全新的深度网络结构。计算公式如下:
xl= Hl([x0 , x1,……xl- 1 ])
上式中,x1表示第1层的输出,H1表示非线性变换。在这个网络结构中,每一层的输入都是其前一层生成的特征图,因此对于整个网络来说,总共有L (L+1) /2个连接,其中L表示网络层数。
采用DenseNET 121 (k=32,增长率)作为基础网络提取部分。该特征块包括卷积层、正则化层、ReLU层和池化层。在卷积层中,使用7×7卷积核,步长为2。此外,选择同样的填充方法实现图像卷积操作,然后将卷积结果输入到BN层和ReLU激活函数层,以3×3的方式实现特征图的池化操作。DEnseNet的网络结构如图5所示[14- 15]:
在Mark R-CNN模型中,Resnet152用于特征提取网络区域。在模型运行过程中,练习速度相对较慢。因此,在实验过程中应使用Resnet网络代替DEnseNet网络,以提高网络模型的运行速度。其中,DEnseNet网络与FPN的结合是整个网络的特征提取部分。具体结构如图6所示:
2.2 实验结果
在本次实验分析中,实验环境主要采用tensorflow的深度学习框架,硬件设施选择Intel (R) Core (TM) i7- 8750H [email protected]六核CPU和16GB内存。为了进一步提高模型检测效果,结合400×300大小的9 600份香梨数据进行预训练,然后利用自然环境下香梨的图片进行再训练。最后,经过数据增强,得到4 500条数据集。其中3 500为训练集,500为验证集, 500为测试集。其中初始学习率为0.001,量化设置为0.9,正则化衰减系数为0.000 1,压缩率为0.5。共完成了105次迭代分析。结合改进模型的分析可以看出,与Resnet模型相比,每幅图像的识别速度提高了5fps,证明了改进后的目标检测模型能够进一步提高检测效果,其实验结果如图7、图8所示,模型运行结果如图9所示。
3 结论
综上所述,随着现代人工智能技术的理论越来越完善,智能农业社会的建设和发展成为关注的焦点。对于水果采摘,目前市场上已经出现了各种各样的智能采摘机,主要用于识别和定位水果的颜色、形状等基本特征。本文基于深度学习的香梨目标识别与定位研究,主要采用卷积神经网络算法进行操作,既能提高香梨的识别与定位效率,又能保证香梨的果实品质。
参考文献:
[1] Chenghai Yue, Xu Wang, Junling Gong, et al. Research on underwater target acoustic recognition and location technology based on Deep learning [J]. Digital Ocean & Underwater Offense and Defense, 2021, 4(6):6.
[2] Zhejun Xu, Shanxiong Chen. Computer Measurement and Control, 2022, 30(2):7.
[3] Dan Luo. Detection and Fine Localization of Technical Feature Objects in Basketball Based on Deep Learning Algorithm [J]. Journal of Gansu Union University (Natural Science Edition), 2021, 35(6):108-112.
[4] Xiaoning Chen, Jian Zhao. Research on small object Recognition in complex scene based on Deep Learning [J]. Electronic Technology and Software Engineering, 2021(10):110-112.
[5] Fang Wang, Dandan Cui, Lin Li. Target Recognition and Localization Algorithm of Picking Robot Based on Deep Learning [J]. Electronic Measurement Technology, 2021(20):44.
[6] Miaomiao Fu, Miaolei Deng, Dexian Zhang. Object Detection Algorithm based on Deep Learning and Transformer [J]. Computer Engineering and Applications, 2023, 59(1):37-48.
[7] Manfei Wang, Zhiming Li. Research on Port Moving Target Recognition Technology based on Deep Learning [J]. China Water Transport, 2022(10):2.
[8] Hui Ren, Hongqian Zhu. Research on Object Orange Recognition Method Based on Deep Learning [J]. Computer Age, 2021(1):5.
[9] Bingyu Cao, Wenxuan Xing, Peng Zhou, et al. Identification and Detection of Fragrant Pear Based on Transfer Learning Faster R-CNN in natural environment [J]. Southern Agricultural Machinery, 2022, 53(21):4.
[10] Weiyang Niu. Research on Multi-objective Vehicle Following Recognition Algorithm Based on Deep Learning [J]. Information Technology and Informatization, 2022(9):4.
[11] Wei Yang, Tong Yao, Xiutang Geng, et al. Application Research of infrared Target Recognition Technology for Air Defense Weapons Based on Deep Learning [J]. Journal of Military Equipment Engineering, 2022(1):43.
[12] Qiong Hu. Research on key target recognition of smart City based on Deep learning [J]. Journal of Guiyang University: Natural Science Edition, 2021,16(2):5.
[13] Yuting Zhang, Zongyan Wang, Haodong Fan, et al. Research on Positioning Detection Technology of Parallel Robot Based on Deep Learning [J]. Electronic Measurement Technology, 2022(11):45.
[14] Wei Yang, Tong Yao, Xiutang Geng, et al. Application Research of infrared Target recognition Technology for Air defense Weapons based on Deep Learning [J]. Sichuan Armaments, 2022(1):043.
[15] Xinyu Liu. Research on Image Object Detection Algorithm Based on YOLO Deep Learning Model [J]. Computer Programming Skills & Maintenance, 2022(7):4.
【通联编辑:唐一东】