0 引言

玉米是我国第一大粮食作物[1],玉米籽粒直收能够转变玉米生产方式,实现节本增效,是我国玉米机械化生产的必然趋势[2]。玉米作业质量严重影响其产量及经济价值,破碎率和含杂率是评价籽粒直收机作业质量的关键指标,人工检测方式存在劳动强度大、检测效率低的问题,无法实时准确地将破碎率、含杂率反馈给收获机的自动控制系统,并及时调整作业参数以避免造成严重的收获损失,制约了国产玉米籽粒直收机智能收获技术的发展[3-5]。

为了解决以上问题,国内外学者基于图像处理和深度学习技术对谷物质量实时检测装置开展了研究[6-19]。但这些检测方法没有充分考虑玉米物料(籽粒、苞叶、芯轴)的形状及细节特征,当画面中检测的籽粒较多时易出现漏识别和误识别现象,严重影响了玉米籽粒破碎率的检测精度。虽然上述研究初步实现了谷物品质的检测,但在以往的研究中,为了尽可能提高检测精度,所使用的谷物检测模型往往具有较大的参数量和计算复杂度,对硬件的计算资源需求较高。然而,为了保证在复杂的农田环境中的可靠性,联合收获机上的边缘计算终端内存、算力较低,导致复杂模型的推理速度受到限制,无法满足谷物实时检测的要求[12]。此外,目前针对玉米破碎率和含杂率同时在线检测装置及算法的研究较少。因此,开发适合搭载在移动嵌入式设备的轻量级网络,在收获过程中实现玉米籽粒的破碎率和含杂率实时在线检测非常必要。

YOLO v8是单阶段目标检测算法中,同时兼顾速度与精度的模型。YOLO v8是对YOLO v5的改进,其与YOLO v5相比,在骨干网络部分采用了梯度流更丰富的C2f模块替换C3模块,同时还实现了轻量化[13]。YOLO v8将分类和定位分支分开,执行分类和回归2个任务的检测头改为解耦头结构,不再共享参数。这样做可以缓解2个任务之间的内在冲突,提高模型性能。在标签分配和损失函数方面,YOLO v8摒弃了基于锚框的思想,转而采用无锚框的思想。它采用了Task alignment learning(TAL)动态分配策略,使得分类和回归任务之间具有较高的一致性[14]。此外,YOLO v8使用DFL Loss结合CIoU Loss作为回归损失函数,进一步提升了模型性能[15]。

因此本研究以YOLO v8n为基线模型,充分结合玉米物料体积差别小、检测背景简单、检测对象多而密且流动速度快等特点,提出一种专用于玉米籽粒破碎、含杂检测的神经网络模型。

1 图像采集与数据集制作

1.1 图像采集

为获取玉米籽粒及其杂质实际收获中的图像,设计了玉米籽粒收获品质在线检测装置,如图1所示。玉米籽粒收获品质在线检测装置主要由籽粒采集装置和图像处理系统构成。其中籽粒采集装置包括箱体、底座、入料挡板、入料斜板、推拉顶盖、挡料斜板、滑落斜板。通过推拉顶盖调节入料口大小和调节3个斜板倾角来实现玉米籽粒喂入量调节,使玉米籽粒单层化平铺至传送带。箱体为5 mm厚的有机玻璃,连接座材料为铝合金,装置总质量约为5.5 kg,装置尺寸为327 mm×260 mm×200 mm。

图像处理系统包括工业相机(华腾威视公司HTSUA133GC-T型CCD,快门速度245 f/s,130万像素)、工业相机专用光源、相机光源固定板、相机保护座、Jetson TX2板卡、数据线、电源、检测算法等。检测算法部署在Jetson TX2板块上,工业相机拍摄的图像通过数据线传输至TX2板卡。

检测装置配合装配架安装在螺旋输送器下方,如图2所示。在实际作业中,完成清选后的玉米籽粒经由输粮装置的螺旋输送器下落后,小部分籽粒经过入料口进入检测装置内,并掉落至入料斜板上。利用入料斜板、挡料斜板和滑落斜板作用,减小玉米籽粒运动速度,改变玉米籽粒运动方向,使玉米籽粒平铺下落于传送带上,至工业相机拍摄区域进行连续采样,工业相机拍照采集的籽粒样本图像输送到软件部分。图像处理算法对采集的籽粒样本图像进行处理,获取籽粒样本图像的对应特征数据,分析所得特征数据并分类和识别玉米籽粒中杂质和破碎籽粒,最终计算得到玉米籽粒的破碎率和含杂率。采样后的玉米籽粒从滑落斜板滑落至出料口,进入粮仓。

图像采集工作于2022年9月在山东省高密市完成。工业相机拍摄图像格式为JPEG,分辨率为1 280像素×960像素。获取实际收获图像如图3所示,可以看出检测装置采集玉米籽粒数量丰富、单层化效果好。

1.2 数据集制作

对玉米图像上的不同种类进行定义,然后用LabelImg进行标注。有4种标签,完整籽粒标签为whole,破碎籽粒标签为break,玉米芯标签为core,玉米叶标签为bract,制作格式为PascalVOC数据集格式。

为平衡各检测种类数量,提高数据集准确度,对含有破碎玉米籽粒、玉米芯、玉米叶的图像进行Mosaic数据加强扩充数据集,Mosaic数据增强对图像进行随机缩放、随机裁减、旋转拼凑、不同色域变化,如图4所示,最终数据集增至1 124幅。

2 玉米籽粒收获品质计算方法

GB/T 21961—2008《玉米收获机械试验方法》中给出了适用于直接脱粒的玉米籽粒破碎率、含杂率计算公式

(1)

(2)

式中 Zs——籽粒破碎率,%

Ws——破碎籽粒质量,g

Wi——样品籽粒总质量,g

Zz ——籽粒含杂率,%

Wza——杂质质量,g

Wh——混合籽粒质量,g

可以看出,国标采用基于质量比值的评估方法。但是,在基于图像检测的方法中,只能通过图像中破碎籽粒、杂质与玉米籽粒总数之间数量的比值得到评估结果。因此,为了得到与国标更接近的检测结果,需要通过标定将玉米籽粒和杂质之间的数量关系转换为实际质量关系。因此,随机取样玉米籽粒、玉米叶、玉米芯,并统计其质量,建立数量-质量回归模型。

根据文献[16-17],玉米直收时玉米籽粒含水率在18%～25%之间。

在收获试验之前,针对试验地块进行玉米籽粒含水率检测。试验时间是2023年10月,试验地点为山东省高密市,试验收获的玉米品种为荃科798。首先针对收获地,采取五点取样法,获取5个样方的玉米籽粒及其杂质混合物,使用LDS-1G型谷物水分测量仪测量含水率,结果为20%。

随机选取完整玉米籽粒、破碎玉米籽粒、玉米芯、玉米叶32组测量其质量与数量的关系。玉米籽粒、玉米芯、玉米叶质量和数量拟合关系如图5所示。

拟合结果表明,完整玉米籽粒、破碎玉米籽粒、玉米芯、玉米叶质量与数量的决定系数R2分别为0.982 13、0.992 6、0.995 46和0.989 97,说明相关性较高。因此基于不同种类边界框的个数预测材料质量的方法是可行的。针对本玉米品种和含水率20%的情况下,研究对象数量与质量之间的预测模型描述为

(3)

式中 Ma——完整玉米籽粒质量

Na ——完整玉米籽粒边界框数量

Mb ——破碎玉米籽粒质量

Nb ——破碎玉米籽粒边界框数量

Mc ——玉米芯质量

Nc ——玉米芯边界框数量

Md ——玉米叶质量

Nd——玉米叶边界框数量

根据公式(3)建立玉米籽粒破碎率、含杂率计算模型为

(4)

(5)

式中 P1——玉米籽粒实际破碎率,%

P2——玉米籽粒实际含杂率,%

3 FSLYOLO v8n轻量化玉米籽粒与杂质识别算法

3.1 YOLO v8n网络

YOLO v8通过设置深度因子d、宽度因子w和比例因子r 3个参数调节主干网络参数量并划分出5个量级的模型,分别为YOLO v8n、YOLO v8s、YOLO v8m、YOLO v8l和YOLO v8x,其尺寸和参数依次增加[18]。选择参数量少的YOLO v8n进行优化,使其具有参数最少、检测精度高、检测速度快的特点。YOLO v8n网络结构如图6所示。

3.2 改进YOLO v8n网络(FSLYOLO v8n)

装置所采集的检测图像中,玉米籽粒及杂质之间体积差别不大,检测目标还具有总体数量较多、分布密集的特点。当YOLO v8n网络被直接运用于本装置的玉米籽粒与杂质检测时,有许多漏检的情况。此外,对于玉米籽粒及杂质的检测中YOLO v8n模型结构和通道数量具有冗余性,不适合联合收获机上的边缘计算。为了解决YOLO v8n网络的以上问题,提出了一种FSLYOLO v8n网络,其描述如下:①提出FasterBlock-SimAM模块,对主干网络的部分C2f模块进行了改进。②提出轻量化检测头L-Detect,对原有的YOLO v8检测头进行了改进。③使用SlidLoss函数作为YOLO v8n的类别分类损失函数。

改进的网络模型结构如图7所示。通过FasterBlock模块和SimAM注意力机制改进主干网络中的部分C2f模块。从Neck输出的特征图,输入到1×1的Conv_GN卷积模块,随后用2个3×3的共享卷积模块,结合Scale模块对特征进行缩放,输出分类和回归函数。结构参数如表1所示。

3.2.1 FasterBlock-SimAM模块

FasterNet是2023年CVPR提出的新神经网络,该网络在各类设备上运行速度快,在分类、检测和分割任务中,表现出卓越的性能,同时具备低延迟和高吞吐量[19]。FasterNet包含FasterBlock模块,其中PConv层和2个1×1卷积层组成倒置残差块,中间层扩展通道数,并包含shortcut以重用输入特征,FasterBlock中的PConv层只在部分输入通道上应用常规卷积来进行空间特征提取,同时保持其他通道不变,这种方法既能更好地利用设备计算能力,又能在空间特征提取中发挥关键作用,其结构如图8所示。

SimAM是一种轻量级的注意力机制,与现有的通道关注模块和空间关注模块相比,SimAM模块无需向原始网络添加参数,而是推断特征图中的三维权重。SimAM注意力模块原理图如图9所示。由于每个通道上所有神经元都遵循相同的分布规律,可以先在H和W两个维度上对输入特征计算均值和方差。在计算注意力权重时使用的是线性层而不是点积,SimAM模块在不增加参数的情况下,为目标空域特征和通道特征自动分配不同的关注度,有效抑制背景特征,提高模型抗干扰能力,提升模型检测精度[20]。

SimAM注意力模块中用于评估不同神经元重要性的能量函数为

(6)

式中 t——目标神经元

μ——除t之外所有神经元平均值

σ——除t之外所有神经元方差

λ——超参数

σt——目标神经元能量

et的能量越低,神经元与其他神经元的区别越大,重要程度越高。SimAM模块对神经元重要性加权方法的公式为

(7)

式中 E——所有通道和空间维度中的能量函数e的汇总

X——增强后特征

x——输入特征图

采用sigmoid激活函数约束E中过大的值,增强神经元之间的相对重要性。

针对玉米籽粒检测小目标信息缺乏、结构相似的问题,将3D的无参注意力模块SimAM引入FasterBlock 中,分别代替主干网络中前3个C2f模块,在降低网络参数的同时,加强对小目标的特征聚焦能力。FasterBlock-SimAM网络结构图如图10所示。

3.2.2 YOLO v8轻量化检测头L-Detect

原YOLO v8检测头结构如图11所示。

YOLO v8的检测头采用解耦头结构,将回归分支和预测分支进行分离,每一个分支都会进行2个3×3卷积核的Conv模块和1个1×1卷积核的Conv2d模块,这样会产生许多的计算量和参数量。在实际收获过程中,玉米籽粒检测对于实时性要求较高,因此在保证精度的情况下,对YOLO v8的检测头进行改进。

轻量化检测头L-Detect使用共享卷积Conv_GN来保证网络精度的同时减少参数数量。Conv_GN采用的归一化方式是GroupNorm。GroupNorm把通道分为组,并计算每一组之内的均值和方差,以进行归一化。GroupNorm的计算与批量大小无关,其精度可在各种批量大小下保持稳定,并提升检测头定位和分类的性能[21]。

改进后的检测头可以大幅减少参数数量,这使得模型更轻便,特别是在资源受限的设备上。在使用共享卷积的同时,为了应对每个检测头所检测的目标尺度不一致的问题,使用Scale层对特征进行缩放,使检测头在参数量更少、计算量更少的情况下,尽可能减少精度损失,其结构如图12所示。

3.2.3 优化损失边界模块

YOLO v8的类别分类损失函数采用的是交叉熵损失,但是交叉熵损失对模型稳定性的要求高,在模型训练时,模型的学习率必须很小,否则会导致模型不稳定、振荡、梯度爆炸等问题。同时交叉熵损失对样本失衡很敏感,若训练集中存在某些类别样本数量非常少,这些类别可能会被忽略[22]。

本文训练所用数据集情况如图13所示,可看出各标签之间的数量差距较大,且检测目标较小较密。在实际检测过程中,完整玉米籽粒数量远大于破碎玉米籽粒、玉米芯和玉米叶数量。

SlideLoss优化函数的主要作用是让模型更加关注少量样本,并改善模型对少量样本的检测效果。改善总样本的数量很大,而其中单个类别样本相对稀疏的问题。SlideLoss的加权函数可以表示为

(8)

式中 μ——所有边界框的IoU值的平均值

把小于μ的取负样本,大于μ的取正样本。

3.3 目标检测评价指标

采用平均精度均值(mAP)、模型内存占用量、检测速度、参数量、浮点运算量作为模型的评判标准。

通过计算多个类别的平均均值可以得到mAP,在本文中mAP即为4类目标检测的平均精度(AP)的值。mAP@50是指当交并比(IoU)阈值为0.5时的平均精度平均值;mAP@50-95是指当交并比(IoU)阈值从0.5到0.95范围内,每隔0.05一个阈值时平均精度平均值。模型内存占用量是指模型存储所需的空间,包括模型参数和优化器。帧速率是模型在1 s内可检测到的图像数量。参数量是指模型需要学习的权重,即网络中包含的参数个数。 浮点运算量用来表示模型的计算量,是衡量模型复杂度的重要指标。

3.4 改进模型试验结果与分析

3.4.1 改进模型训练

训练的模型平台为Windows 10系统,在Anaconda环境中,创建基于Python 3.8.18的Pytorch虚拟环境, 使用GPU训练,具体参数如表2所示。

算法的训练超参数设置具体包括:训练集、测试集、验证集比例为0.81∶0.1∶0.09。输入到模型网络中的图像尺寸为640像素×640像素,目标类别数目为4,优化器选SGD,动量设置为0.937,初始学习率为0.01,平滑标签设置为0,采用余弦退火策略降低学习率,学习率预热周期数量为3,预热学习率为0.1,预热初始学习动量为0.8,最终学习率为0.01,为了防止在模型训练过程中发生过拟合,设置权值衰减为5×10-4,使用预训练权重,总共设置100次迭代,批量大小为16。

损失曲线如图14a、14b所示。可以看出模型收敛速度快,在前15个周期,损失值迅速下降,在90个周期左右趋于稳定。总体来说,FSLYOLO v8n表现出较好的稳定性和较强的鲁棒性,表明FSLYOLO v8n网络模型各项超参数设置合理,模型训练成功。

训练的准确率、召回率、平均精度均值如图14c所示,可以看出在训练中模型的准确率、召回率在不断上升,并在90个周期左右达到稳定点。

模型验证集的准确率-召回率曲线如图15所示。从图中可以看出,每个类别的mAP@50值都达到较高水准,其中完整籽粒识别准确率达到99.1%,小样本类别的破碎籽粒、玉米芯、玉米叶检测精度也达到95%以上。

3.4.2 消融试验结果

为了验证FLSYOLO v8n模型对玉米籽粒及杂质识别的有效性,通过消融试验分析所提改进模块对玉米籽粒及杂质识别性能,如表3所示。

梯度加权类激活映射(GradCAM)能够展示影响网络层进行预测的激活区域。因此使用GradCAM热力图对每步之间的情况进行对比,如图16所示。

模型优化前,玉米籽粒及其附近出现了暗红色,这证明原始的YOLO v8n模型具有初步识别玉米籽粒及杂质的能力。如图16所示,随着模型的优化,红色逐渐加深,对玉米籽粒及其杂质的识别能力增强。

3.4.3 不同模型检测效果对比

为了评价所提出的FSLYOLO v8n网络模型性能,将FSLYOLO v8n模型与YOLO v8n原型,及目前常用的一些轻量化模型:YOLO v4-tiny模型、YOLO v5n模型、YOLO v7-tiny模型进行比较。试验是单变量的,模型数据集、超参数和运行环境是一致的。

使用数据集中的验证集对YOLO v4-tiny模型、YOLO v5n模型、YOLO v7-tiny模型、YOLO v8n模型、FSLYOLO v8n模型进行测试,试验结果如表4所示。

与其他轻量化模型相比,本文算法在精度方面有大幅度提升。此外,体积和速度的优势明显,与YOLO v8n相比,在mAP@50提高6.54%的基础上,速度提高31.82%。此外模型内存占用量只有4 MB,更适合在低能耗计算设备上部署。总体性能优异,证明了算法的优越性。

从验证集中随机选取3幅图像,使用不同模型进行检测,结果如图17所示。可以看出,在一次性检测中目标物较密集的情况下,原始的YOLO v4-tiny、YOLO v5n、YOLO v7-tiny等轻量化模型,召回率和精确率都较低,尤其是较小的检测物时容易错误识别和漏识别。而YOLO v8n,当画面中出现被遮挡的玉米籽粒时,也易出现漏检和误检问题。FSLYOLO v8n网络模型在所有算法中取得了最优性能。

4 试验与结果分析

试验主要包括把装置放在收获机上进行实车试验,在收获过程中来验证其稳定性和准确性;通过台架测试检测系统计算含杂率、破碎率的准确性,并分析比较两部分试验结果。

4.1 田间试验

选用Jetson TX2 作为4YZL-6S(G4)型自走式玉米籽粒联合收获机的边缘图像处理平台,并部署FSLYOLO v8n所需环境配置,将设计的玉米籽粒收获品质在线检测装置搭载至玉米联合收获机上,如图18a所示,开展试验。试验时间为2023年10月,试验地点为山东省高密市万亩良田生态农场,玉米品种为荃科789。图18b为收获质量检测传感器现场工作图。

为验证检测装置工作稳定性,随机选取玉米机收过程中常见的车速、滚筒转速、凹板间隙进行10次组合试验。对玉米籽粒收获品质在线检测装置检测结果进行记录。每次试验单行程长度为100 m。在试验过程中,在线检测装置每5 s输出一次检测结果,连续记录检测结果,求其平均值,作为每次试验的籽粒破碎率和含杂率,玉米籽粒破碎率和含杂率的在线检测效果如图19所示。

在此期间,使用工具从螺旋输送器抛撒出的籽粒中随机接取玉米籽粒作为样本装袋。参照GB/T 21961—2008《玉米收获机械实验方法》人工区分为完整玉米籽粒、破碎玉米籽粒、杂质,并称量计算出破碎率和含杂率,验证玉米籽粒收获质量在线检测装置的性能。用装置检测结果与人工检测结果的相对误差来评估玉米籽粒收获质量在线检测装置的检测效果,表5为检测条件和计算结果。

在10次实车试验中,检测装置所测玉米籽粒破碎率与人工检测玉米籽粒破碎率最大相对误差为6.67%,平均相对误差为4.41%;检测装置所测玉米籽粒含杂率与人工检测玉米籽粒含杂率最大相对误差为7.02%,平均相对误差为3.97%。实车试验中,装置检测输出的数据合理,并在不同作业参数下能运行稳定,满足田间作业需求。

4.2 台架试验

从田间试验收获的玉米内获取用于试验的玉米样本,人工将其分为完整玉米籽粒、破碎玉米籽粒、玉米杂质3部分。然后从中取出一定质量的玉米完整籽粒、玉米破碎籽粒和杂质混合样本,组成5个混合样本,样本构成如表6所示,试验过程如图20所示。

为了防止试验的偶然性,使用本检测装置对每个样本做3次破碎率和含杂率检测试验,在每次试验过程中,在线检测装置每5 s输出一次检测结果,每次试验时连续记录检测结果,求其平均值作为最终的检测结果。

用装置检测结果与实际结果相对误差来评估玉米籽粒收获质量在线检测装置的检测效果,试验结果如表7所示。

由表7可知,实际破碎率为2.00%时,检测的破碎率与实际破碎率的相对误差最小,在4%以内;实际含杂率为0.25%时,检测含杂率与实际含杂率的相对误差最小,在3%以内;当实际破碎率和含杂率增加时,检测的破碎率、含杂率与实际破碎率、含杂率相对误差有增大趋势,但都分别稳定在4.67%和3.85%,因此本检测装置在对玉米籽粒破碎率和含杂率检测可靠性分别达到95.33%和96.15%以上,具有应用价值。

在两次试验中,实车试验平均相对误差与台架试验平均相对误差基本一致,验证了本装置在实际运用中的可行性。实车试验最大相对误差大于台架试验,原因为:户外作业环境为开放环境,有更多的不确定性;受安装位置的影响,某些时刻进入检测装置的籽粒较少,导致出现检测误差,因此在线检测的最大相对误差更大。在实车试验过程中,随着车速、滚筒转速、凹板间隙的改变玉米籽粒的含杂率和破碎率也出现了较显著变化。通过玉米籽粒收获质量在线检测装置的应用,可进一步探究机械收获作业参数与玉米籽粒收获品质的关系,从而选择出最合适的收获作业参数,进一步降低玉米籽粒破碎率和含杂率,提高收获质量。

5 结论

(1)为了实现玉米籽粒破碎率、含杂率的轻量化、高精度、快速检测,提出了一种基于深度学习的玉米籽粒破碎率、含杂率检测方法。

(2)设计了与本算法配套图像采集装置,并搭载于实际作业收获,得到配套数据集。拟合得到了玉米籽粒、玉米叶、玉米芯质量与数量的关系,基于此构建了玉米籽粒破碎率和含杂率计算模型。

(3)针对传统玉米籽粒品质检测装置算法多采用高功能性算法,而减少了应用场景的问题,选择搭载轻量化网络。并根据玉米籽粒及杂质检测的特点,改进YOLO v8n算法,提出了FSLYOLO v8n算法,有效解决了玉米籽粒及杂质的检测问题。将提出的FSLYOLO v8n算法与常用的目标检测算法进行了对比试验。试验结果表明,FSLYOLO v8n算法的mAP@50为97.46%,与YOLO v4-tiny相比提高49.14%,与YOLO v8n相比提高6.35%,且网络参数量、浮点运算量分别压缩到YOLO v8n的66.50%、64.63%。

(3)通过田间试验得到装置检测破碎率、含杂率与人工检测破碎率、含杂率平均相对误差分别为4.41%和3.97%,此结果与台架试验结果相符,验证了本检测方法的可行性和准确性。

参考文献

[1] 崔涛,樊晨龙,张东兴,等. 玉米机械化收获技术研究进展分析[J]. 农业机械学报, 2019,50(12):1-13.
CUI Tao,FAN Chenlong,ZHANG Dongxing,et al. Research progress of maize mechanized harvesting technology[J]. Transactions of the Chinese Society for Agricultural Machinery,2019,50(12):1-13. (in Chinese)

[2] 朱晓龙,迟瑞娟,杜岳峰,等. 高含水率玉米低损脱粒智能控制系统设计与试验[J]. 农业机械学报, 2021,52(增刊):9-18.
ZHU Xiaolong,CHI Ruijuan,DU Yuefeng,et al. Design and experiment of intelligent control system for low loss threshing of high moisture content corn[J]. Transactions of the Chinese Society for Agricultural Machinery,2021,52(Supp.):9-18. (in Chinese)

[3] 刘阳春,李明辉,王吉中,等. 玉米籽粒直收机夹带损失检测系统设计与试验[J]. 农业机械学报, 2023,54(5):140-149.
LIU Yangchun,LI Minghui,WANG Jizhong,et al. Design and test of entrainment loss detection system for corn kernel direct harvester[J]. Transactions of the Chinese Society for Agricultural Machinery,2023,54(5):140-149. (in Chinese)

[4] MA Z, TRAORE S N, ZHU Y, et al. DEM simulations and experiments investigating grain tank discharge of a rice combine harvester[J]. Computers and Electronics in Agriculture, 2022, 198: 107060.

[5] 王成雨,舒忠泽,程备久,等. 中国玉米机械化收获发展现状及展望[J]. 安徽农业大学学报, 2018,45(3):551-555.
WANG Chengyu,SHU Zhongze,CHENG Beijiu,et al. Advances and perspectives in maize mechanized harvesting in China[J]. Journal of Anhui Agricultural University,2018,45(3):551-555. (in Chinese)

[6] PEEZEMENTI Z, WELLINGTON C, TABOR T, et al. Going against the grain: real-time classification of grain quality[C]∥Proceedings of the ICRA 2018 Workshop on Robotic Vision and Action in Agriculture, Brisbane, QLD, Australia, 2018.

[7] LIU L, DU Y, CHEN D, et al. Impurity monitoring study for corn kernel harvesting based on machine vision and CPU-Net[J]. Computers and Electronics in Agriculture, 2022, 202: 107436.

[8] 陈进,顾琰,练毅,等. 基于机器视觉的水稻杂质及破碎籽粒在线识别方法[J]. 农业工程学报, 2018,34(13):187-194.
CHEN Jin,GU Yan,LIAN Yi,et al. Online recognition method of impurities and broken paddy grains based on machine vision[J]. Transactions of the CSAE,2018,34(13):187-194. (in Chinese)

[9] 陈璇. 联合收获机谷物破碎率、含杂率监测方法及系统研究[D]. 镇江: 江苏大学, 2018.
CHEN Xuan. Research on the methods and systems for monitoring grain’s crushing rate and impurity rate for combine harvester[D]. Zhenjiang: Jiangsu University, 2018. (in Chinese)

[10] WANG Q, YANG H, HE Q, et al. Real-time detection system of broken corn kernels based on BCK-YOLO v7[J]. Agronomy, 2023, 13(7): 1750.

[11] LI X, DU Y, YAO L, et al. Design and experiment of a broken corn kernel detection device based on the YOLO v4-tiny algorithm[J]. Agriculture, 2021, 11(12):1238.

[12] FU L, FENG Y, WU J, et al. Fast and accurate detection of kiwifruit in orchard using improved YOLO v3-tiny model[J]. Precision Agriculture, 2021, 22(3): 754-776.

[13] 马超伟,张浩,马新明,等. 基于改进YOLO v8的轻量化小麦病害检测方法[J]. 农业工程学报, 2024,40(5):187-195.
MA Chaowei,ZHANG Hao,MA Xinming,et al. Method for the lightweight detection of wheat disease using improved YOLO v8[J].Transactions of the CSAE,2024,40(5):187-195. (in Chinese)

[14] FENG C, ZHONG Y, GAO Y, et al. Tood: task-aligned one-stage object detection[C]∥2021 IEEE/CVF International Conference on Computer Vision (ICCV), 2021: 3490-3499.

[15] 陈伟,江志成,田子建,等. 基于YOLO v8的煤矿井下人员不安全动作检测算法[J/OL]. 煤炭科学技术, http:∥kns.cnki.net/kcms/detail/11.2402.td.20240322.1343.003.html.

[16] 玉米机械化收获减损技术指导意见[J]. 农机科技推广, 2023(10):4-7.

[17] 杨柯,姜春霞,张伟,等. 不同收获期对玉米子粒机械收获质量及产量的影响[J]. 玉米科学, 2023,31(3):88-94.
YANG Ke,JIANG Chunxia,ZHANG Wei,et al. Effects of different harvesting time on the mechanical harvest quality and yield of maize grains[J]. Journal of Maize Sciences,2023,31(3):88-94. (in Chinese)

[18] 王金鹏,何萌,甄乾广,等. 基于改进COF-YOLO v8n的油茶果静态与动态检测计数方法[J]. 农业机械学报, 2024,55(4):193-203.
WANG Jinpeng,HE Meng,ZHEN Qianguang,et al. Camellia oleifera fruit static and dynamic detection counting based on improved COF-YOLO v8n[J]. Transactions of the Chinese Society for Agricultural Machinery,2024,55(4):193-203. (in Chinese)

[19] 谢竞,邓月明,王润民. 改进YOLO v8s的交通标识检测算法[J/OL]. 计算机工程, https:∥doi.org/10.19678/j.issn.1000-3428.0068742.

[20] YANG L, ZHANG R Y, LI L, et al. Simam: a simple, parameter-free attention module for convolutional neural networks[C]∥International Conference on Machine Learning. PMLR, 2021: 11863-11874.

[21] Detector, Anchor-Free Object. FCOS: a simple and strong anchor-free object detector[C]∥IEEE Transactions on Pattern Analysis and Machine Intelligence,2022.

[22] 刘伟宏,李敏,朱萍,等. 基于YOLO v8n改进的织物疵点检测算法[J/OL]. 棉纺织技术, https:∥link.cnki.net/urlid/61.1132.TS.20240307.1107.004.

Online Detection Method of Corn Kernel Quality Based on FSLYOLO v8n

ZHANG Weiran1,2 DU Yuefeng1,2 LI Xiaoyu1,2 LIU Lei1,2 WANG Linze1,2 WU Zhikang1,2
(1.College of Engineering, China Agricultural University, Beijing 100083, China 2.Beijing Key Laboratory of Optimized Design for Modern Agricultural Equipment, China Agricultural University, Beijing 100083, China)

Abstract：The broken rate and impurity rate of corn kernels are key indicators for evaluating the quality of corn harvest. Aiming at the demand for online detection of corn harvest quality in complex agricultural environments, a lightweight detection method for corn kernel broken rate and impurity rate suitable for small and large detection targets was proposed. Firstly, a quantity and quality regression model was established for complete kernels, broken kernels, corn cobs, and corn bracts, and an evaluation method for kernel broken rate and impurity rate was proposed. Secondly, an improved FSLYOLO v8n algorithm was proposed to address the characteristics of similar grain and impurity sizes, large number of detection objects, and small detection area. The algorithm improved the backbone network structure through FasterBlock module and small detection area and parameter free attention mechanism SimAM, and improved detection head by using shared convolution combined with scale module. In addition, the SlidLoss function was used to replace the original category classification loss function of YOLO v8n. The average accuracy of the improved FSLYOLO v8n model mAP@50 was 97.46%, FPS was 186.4 f/s, which was 6.35% and 45 f/s higher than that of YOLO v8n. The network parameters and floating-point operations were compressed to 66.50% and 64.63% of YOLO v8n, respectively. The model size was only 4.0 MB, and its performance was better than the commonly used lightweight models. The bench experiment showed that the proposed model can accurately detect the broken and impurity rate of corn kernels. The accuracy of the detection results was as high as 95.33% and 96.15%. The improved model was deployed on the Jetson TX2 development board and the device was installed on a corn combine harvester for field experiments.

Key words：corn; direct kernel harvesting; broken rate; impurity rate; online detection; FSLYOLO v8n

doi：10.6041/j.issn.1000-1298.2024.08.023

中图分类号：S24

文献标识码：A

文章编号：1000-1298(2024)08-0253-13

OSID：

收稿日期：2024-04-03

修回日期： 2024-05-17

基金项目：国家自然科学基金项目(52175258)和中国博士后科学基金项目(2023M743790)

作者简介：张蔚然(1999—),女,硕士生,主要从事农业装备智能感知与控制研究,E-mail: zhangweiran@cau.edu.cn

通信作者：栗晓宇(1994—),女,讲师,博士,主要从事农业装备及其自动化研究,E-mail: lxy940724@163.com