融合多源评价数据的荔枝果期表型特征评估

陆健强1,2 袁家俊1 余超然3 王卫星4 牛宏宇1 兰玉彬1,2 谭扬奕1

(1.华南农业大学电子工程学院(人工智能学院),广州 510642;2.国家精准农业航空施药技术国际联合研究中心,广州 510642;3.广东省农业科学院蔬菜研究所,广州 510640; 4.华南农业大学珠江学院,广州 510900)

摘要：人工智能技术在荔枝表型获取方面的研究目前主要集中于对象识别、产量预估和采摘定位等,对荔枝完整果期生长质量的评价技术较为缺乏。本研究通过融合多源数据指标,对荔枝果期生长质量进行综合评估,生成荔枝果期评价画像。基于YOLO v7网络框架提出果实识别算法LFS-YOLO,通过减少由动态环境背景引起的误差和影响,集成全局注意力能力,提升全景图像识别的准确性。其次,通过优化CIoU损失函数,添加考虑预期回归向量之间的角度,重新定义并改进角度惩罚测度以减少整体自由度,将预测框更有效地对齐到最近的轴上。通过融合多源数据,建立质量评估函数,为综合评价提供依据。试验结果表明,LFS-YOLO对果实识别精度达到89.1%,精确率为92.3%,召回率为93.0%,且生成的荔枝果期表型特征评估方法可显示荔枝果期影响生长质量各项指标,为荔枝果期综合评价发展提供启示作用。

关键词：荔枝; 表型特征评估; YOLO v7; 全局注意力机制; 综合评价; 气象数据

基金项目：广东省重点区域研发计划项目(2023B0202090001)、高等学校学科创新引智计划项目(D18019)、广州市重点研发计划项目(2023B03J139)、广东省农业人工智能重点实验室开放课题(GDKL-AAL-2023007)和华南农业大学农业装备技术全国重点实验室开放基金项目(SKLAET-202412)

作者简介：陆健强(1980—),男,教授,主要从事农业物联网与无人机遥感图像技术研究,E-mail:ljq@scau.edu.cn

通信作者：兰玉彬(1961—),男,教授,主要从事精准农业航空技术应用研究,E-mail:ylan@scau.edu.cn

Evaluation of Phenotypic Characteristics in Litchi Fruiting Stage Using Multi-source Evaluation Data

LU Jianqiang1,2 YUAN Jiajun1 YU Chaoyan3 WANG Weixing4 NIU Hongyu1 LAN Yubin1,2 TAN Yangyi1

(1.College of Electronic Engineering(College of Artificial Intelligence),South China Agricultural University,Guangzhou 510640,China 2.National Center for International Collaboration Research on Precision Agricultural Aviation Pesticides Spraying Technology (NPAAC),Guangzhou 510642,China 3.Vegetable Research Institute,Guangdong Academy of Agricultural Sciences,Guangzhou 510640,China 4.Zhujiang College of South China Agricultural University,Guangzhou 510900,China)

Abstract：The application of artificial intelligence technology in litchi phenotype acquisition mainly focuses on object recognition,yield estimation,and picking localization.However,there is a notable lack of evaluation technology for assessing litchi growth quality throughout its entire fruiting stage.Aiming to integrate multi-source data indicators to perform a comprehensive assessment of litchi growth quality during the fruiting stage,thereby generating the evaluation profiles for litchi fruiting stages,based on the YOLO v7 network framework,an object recognition algorithm named LFS-YOLO was proposed.This algorithm enhanced recognition accuracy by mitigating errors and influences stemming from dynamic environmental backgrounds and by incorporating global attention mechanisms.Furthermore,the CIoU loss function was optimized through the inclusion of the angle between predicted regression vectors,which redefined and improved the angle penalty measure.This optimization reduced the overall degrees of freedom,thereby facilitating a more effective alignment of predicted bounding boxes with the nearest axis.By integrating multi-dimensional data,a quality evaluation function was established as the foundation for comprehensive evaluation.Experimental results indicated that the LFS-YOLO algorithm achieved a recognition accuracy of 89.1%,a precision of 92.3%,and a recall of 93.0%.The evaluation profiles generated for the litchi fruiting stage illustrated various indicators that influence growth quality throughout this stage,providing valuable insights for the advancement of comprehensive evaluation technologies pertaining to litchi fruiting stage.

Key words：litchi; evaluation of phenotypic characteristics; YOLO v7; global attention mechanism; comprehensive evaluation; meteorological data

0 引言

随着人工智能及物联网技术持续进步,借助多元化新兴技术对农业进行赋能,智慧农业正日益成为农业进步的主导趋势[1]。人工智能技术对于荔枝表型获取的研究目前主要集中在对象识别、产量预估和采摘定位等方面,对于荔枝完整果期生长质量评价技术的研究较少,这导致难以对外观相近的荔枝果实品质进行有效区分与评价。

自然环境下,单棵荔枝树果实检测面临果实密集遮挡、环境光照强度波动、目标果实尺寸微小等多重难点[2]。国内外研究者已在精准农业领域使用卷积神经网络,对荔枝[3-5]、青梅[6]及柑橘[7]等果实进行研究并取得较多成果。如今大部分荔枝研究集中在果实或采摘点的识别等方面[8-11],对荔枝品质评估方法仍相对不足。熊俊涛等[12]通过分析荔枝果实在不同生长阶段的颜色与形态特征,深入研究荔枝图像数据,建立能有效区分不同品质荔枝果实的智能系统,为荔枝品质评估提供新视角。以上研究表明,基于深度学习方法对荔枝进行品质判别和评价已具有充分潜力。

本研究提出一种融合多源评价数据的荔枝果期表型特征评估技术,旨在全面评估荔枝果期生长品质。该技术基于YOLO v7网络框架,设计一种果实识别算法LFS-YOLO。该算法融合全局注意力机制,能够有效地捕获全局上下文信息,减少由动态环境背景引起的误差和影响,在全景图像识别精准度方面具有优势。通过采用优化后的模型算法实现对荔枝果实精确识别,并结合对荔枝果实采样及称量作业,计算得出其平均质量,从而对荔枝成熟果实总产量进行预测[13]。通过采集并分析影响荔枝果期生长的多源数据,以荔枝最佳生长环境因子作为评价标准,构建荔枝果期生长评价画像,对荔枝果期生长质量进行全面评估[14]。

1 材料与方法

本研究经过数据采集、模型构建和数据分析等进行荔枝果期表型特征评估,如图1所示。

1.1 研究区域

荔枝是广东省最重要的经济作物之一,占全国总面积的46%和总产量的60%,居全国首位[15]。本研究区域位于广东省广州市从化区荔枝文化博览园(荔博园)(23°58′N,113°62′E),地理位置如图2所示。该区域属于亚热带季风气候带,气候温和,降水充沛。年平均气温22.0℃,年降水量达2 305.1 mm,年平均日照时数为1 638.0 h。该区域的气候条件与肥沃土壤共同营造了荔枝生长的理想环境。

1.2 图像数据采集及处理

1.2.1 荔枝图像采集

荔枝果实产量被认为是评估其生长质量的关键指标之一[16]。本研究选择具有代表性的荔枝品种“糯米糍”[17]作为主要研究对象,在2023年4—7月期间,在广州市从化区荔枝文化博览园收集数据。数据采集过程中,以数棵生长状况良好且结构完整的荔枝树作为研究样本,并使用iPhone 14摄像头进行拍摄。数据集包含多元化图像资源,通过覆盖各种拍摄角度、拍摄距离、果实密集度以及拍摄时间点,确保识别流程在鲁棒性和精确性方面的高标准要求得以满足。最终共采集1 641幅高分辨率的成熟荔枝图像,并以JPG格式存储。本数据集特点在于,图像中普遍存在果实与叶片相互遮挡的现象,如图3所示。考虑到实际果园环境普遍存在果实遮挡情况,本数据集在设计和测试图像识别算法时,能够模拟实际农业生产环境中遇到的各种特殊场景。

1.2.2 荔枝图像数据处理

本研究主要目标是提升在自然环境下识别成熟荔枝果实的精度。在数据处理过程中,剔除因操作失误造成的拍摄图像中因过度曝光、过度失焦等最终导致目标缺失的图像,同时保留被树枝或叶片自然遮挡、果实相互遮挡以及轻微模糊图像。该数据集拍摄角度丰富多样,光照条件各异,且拍摄距离不一,使目标检测算法能全面学习荔枝果实特征,覆盖多个角度,从而提升整体模型识别精度。

如图4所示,采用LabelImg软件对所述图像进行标注,确定成熟荔枝果实具体位置,并据此生成记录果实中心坐标(Xc,Yc)、宽度及高度信息的.txt文档。经筛选后得到1 354幅质量优良图像,并按比例7∶2∶1分别将图像划分为训练集、验证集和测试集,其中训练集948幅,验证集271幅,测试集135幅。

2 LFS-YOLO模型

LFS-YOLO模型是本文基于YOLO v7进行改进的模型,利用该模型实现对荔枝果实精准识别是本研究生成荔枝果期评价画像的关键技术之一。

2.1 基准模型选取

现有基于深度学习技术的卷积神经网络(CNN)模型,虽然在检测任务中展现出较高的精确度,但存在模型计算复杂度高、检测速度缓慢等不足。YOLO v7在果实检测领域的应用较为广泛[18-19],由此证明YOLO v7是进行高效且精确的荔枝果实识别理想算法。鉴于此,本研究通过对YOLO v7模型改进,实现检测速度、检测精度与模型计算复杂度之间的优化平衡,同时有效克服相邻成熟果实相互影响及被遮挡果实检测难题。

2.2 改进模型

2.2.1 注意力模块

在全景图像分析领域,识别成熟荔枝果实存在果实密集重叠及叶片遮挡等难题。为此,本研究引入全局注意力机制,旨在捕捉全局上下文信息,进而提升成熟荔枝果实的识别准确率。卷积块注意力模块(Convolutional block attention module,CBAM)是一种融合空间注意力与通道注意力的先进卷积注意力机制。该模块能自动识别特征空间和通道的重要性,并赋予不同权重以增强重要特征提取并抑制无关信息。但由于信息减少和维度分离所引发的感知领域受限,该机制在处理空间和通道间交互作用方面存在不足。全局注意力模块(Global attention module,GAM)是一种旨在降低信息压缩并强化全局维度交互特征的注意力机制,在不同架构和深度的卷积神经网络中都展现了出色的数据扩展性和鲁棒性。因此,通过在特征融合层中引入全局注意力机制,可以有效捕获上下文信息,从而显著提高识别精度。GAM借鉴CBAM的通道-空间注意力机制,对其子模块结构进行了重新设计,如图5所示。

GAM由通道注意力子模块和空间注意力子模块串联构成,输入特征经过注意力映射特征变换生成输出特征,公式为

其中,F1∈RC×W×H为输入特征图,其中C、H和W分别为特征图的通道数、高度和宽度,Mc和Ms分别为通道和空间注意特征图,⊗为矩阵点乘。

通道注意力子模块采用三维组合策略保留三维信息,并应用多层感知机(MLP)实现特征向量在各个维度间交互从而捕捉更多非线性和复合特征信息。MLP由一系列全连接层组成,并在最后使用Sigmoid激活函数,其结构如图6所示。

空间注意力子模块不仅以双层卷积结构融合强调空间信息,还省略了池化过程,其呈现出与神经网络领域内一些常规做法的差异性。由于池化操作(尤其是最大池化)可能导致信息丢失,易对模型性能造成不利影响,该子模块通过规避池化步骤,有效维持特征图中信息完整性。该方法及其架构如图7所示。

该注意力子模块是构成较大网络架构中的一个关键部件,主要负责处理及分析输入图像所含特征。其中,通道注意力子模块专注于“哪些特征应被关注”,而空间注意力子模块则着重于“哪些位置应被关注”。通过这两种机制有效结合,能够增强模型在处理复杂图像数据集时的特征识别与分析能力,进而更高效提取利用相关信息。

2.2.2 改进模型网络结构

YOLO v7网络模型架构主要包括3个关键组成部分:输入层(Input)、骨干网络(Backbone)以及头部网络(Head)。在模型改进中,通过在骨干网络部分融入一个由两个分支构成的高效层聚合网络(Efficient layer aggregation networks,ELAN)模块,实现对最短与最长梯度路径有效控制,从而提升网络特征学习能力及其鲁棒性。最大池化(MP)模块将最大池化与卷积块下采样结果进行融合,旨在扩展感受野并降低计算负担,从而能够有效传递全局信息。头部网络部分主要由SPPCSPC模块、MP模块、ELAN-W模块和重参数化(Re-parameterized,REP)模块组成。SPPCSPC模块包括1×1、5×5、9×9 和13×13共4种尺度的空间金字塔池化层,该设计能够适应不同分辨率图像,区分不同尺度目标。改进后模型网络结构如图8所示,其中红色框标注为引入的全局注意力模块,该模块有利于提高模型识别性能。

2.2.3 损失函数改进

在YOLO v7算法实现中,边界框回归损失采用CIoU损失函数进行优化。CIoU损失函数并未考虑预测框与真实框之间方向不一致性情况,该偏差可能会导致模型收敛速度减慢及效能下降,使得预测框在训练过程中出现偏移,进一步影响模型性能表现[20]。为了解决该问题,本研究通过深入分析实际边界框与预测边界框之间向量角度差异,对损失函数进行了重新定义,旨在提升模型训练效率及推理精度。SIoU综合考虑4个关键损失:角度损失(Angle cost)、距离损失(Distance cost)、形状损失(Shape cost)以及交并比损失(IoU)。传统IoU损失函数(如GIoU、DIoU、CIoU)未对实际边界框与预测边界框之间的方向性质进行考虑,从而导致模型收敛速度受限。本研究通过考虑实际边界框与预测边界框之间矢量角,对原有损失函数进行重新定义。SIoU损失函数由4个关键部分构成,其中角度损失λ的计算公式为

式中 σ——预测框与真实框中心点之间欧氏距离

Ch——预测框与真实框之间的高度差

距离损失Δ的计算公式为

式中 Px——预测框与真实框中心点水平坐标差归一化值

Py——预测值与真实框中心点垂直坐标差归一化值

bgt、b——真实框和预测框的中心点坐标

γ——调节距离影响的敏感度参数

式(6)中θ调节对形状损失的关注强度,为了避免过度关注形状损失而影响预测框移动,θ参数取值范围为2～6,w和h分别为真实框的宽和高,wgt和hgt分别为预测框的宽和高。最终,SIoU损失函数定义为

2.3 识别结果与分析

模型试验过程中采用同一训练集进行模型训练和模型性能对比试验,并利用测试集进行荔枝计数性能对比试验,其中测试集共135幅图像,每幅图像平均含有荔枝48个,最少含有4个,最多含有363个。

2.3.1 图像检测结果

图9a、10a为成熟荔枝果实的原始影像,图9b、10b为YOLO v7模型的识别结果,图9c、10c为LFS-YOLO模型的识别结果,其中漏检情况和错检情况分别用红色和绿色框标注。图9上行图为近景图像,下行为远景图像。对比相同图像的识别结果得出,在密集遮挡和复杂背景,以及荔枝全景多果场景下,YOLO v7识别结果中出现错检0次和漏检11次,改良后 LFS-YOLO模型出现错检0次和漏检9次,为进一步评价模型错检和漏检情况,以精确率(Precision)和召回率(Recall)作为评价指标。

2.3.2 不同损失函数应用性能比较

试验通过引入AlphaIoU、DIoU、GIoU和SIoU等损失函数替换YOLO v7的CIoU损失函数,比较不同损失函数对模型性能影响,结果如表1所示。结果表明,使用AlphaIoU、DIoU、CIoU和SIoU的模型能快速收敛并保持较低损失值,而GIoU则显示出较大损失值波动和较弱收敛性能。

经过分析,相较于其他损失函数,采用SIoU损失函数的模型平均精度均值分别提升0.6、1.2、1.4、1.7个百分点;精确率分别提升6.1、6.0、5.7、10.2个百分点;召回率分别提升2.8、2.4、3.5、2.7个百分点;平均绝对误差分别降低0.04、0.03、0.06和0.24;决定系数分别提升0.030、0.032、0.031和0.068;平均绝对百分比误差分别下降1.27、0.28、2.34、1.61个百分点。结果表明,引入角度损失和其他SIoU损失函数组成部分,有利于提升模型在荔枝果实检测任务中的性能。

2.3.3 不同注意力机制应用性能比较

为了探究不同注意力机制在优化YOLO v7网络模型方面的作用,分别集成CA、ECA、CBAM和GAM 4种注意力模块,旨在评估其对荔枝果实检测性能影响。如表2所示,与原始模型相较,YOLO v7-GAM网络模型平均精度均值、精确率、召回率分别提升2.4、2.0、4.3个百分点,平均绝对误差降低0.08,决定系数提升0.015,平均绝对百分比误差下降0.55个百分点。表现出最优性能,降低了网络模型的误检率和漏检率。试验结果证明,GAM机制在提升网络模型检测性能方面具备有效性。

为了验证所提出模型改进措施有效性,本研究进行消融试验,其结果如表3所示。试验数据显示,在对YOLO v7损失函数进行优化后,模型平均精度均值与精确率分别提升0.6、0.2个百分点,平均绝对误差增加0.05,决定系数提升0.005,平均绝对百分比误差增加0.46个百分点。通过融入GAM模块,模型性能得到进一步的增强,其中平均精度均值、精确率、召回率分别提升0.9、0.6、3.2个百分点,平均绝对误差降低0.06,决定系数提升0.004,平均绝对百分比误差下降0.58个百分点。通过对网络结构改进,模型平均精度均值、精确率、召回率分别提升0.9、1.2、3.5个百分点,平均绝对误差降低0.04,决定系数提升0.006,平均绝对百分比误差下降0.43个百分点。故本研究所采取的模型改进措施,在提高模型的目标检测性能方面和果实计数方面均具有有效性。

2.3.5 不同模型性能比较

为了评估LFS-YOLO模型在荔枝成熟果实检测中的有效性,采用多种网络模型进行试验,包括Faster R-CNN、EfficientDet-D5、YOLO v5、YOLO v6、YOLO v7、improved YOLO v5[21]、YOLO v5-litchi[22]、LFS-YOLO,并在同一荔枝果实数据集上进行对比试验。如表4所示,从网络模型检测精度角度分析,LFS-YOLO模型的平均精度均值相较于Faster R-CNN、EfficientDet-D5、YOLO v5、YOLO v6、YOLO v7、improved YOLO v5和YOLO v5-litchi模型分别提升22.2、9.3、6.8、4.2、2.4、4.5、5.8个百分点;精确率分别提升29.7、11.9、7.7、9.1、2.0、2.5、4.7个百分点;召回率分别提升32.3、15.5、16.1、18、4.3、12.8、19个百分点;平均绝对误差分别降低2.11、0.27、0.28、0.31、0.05、0.22、0.34;决定系数分别提升0.200、0.080、0.051、0.045、0.015、0.018、0.029;平均绝对百分比误差别降低10.43、4.35、1.95、2.01、0.55、1.24、1.86个百分点。结果表明,LFS-YOLO模型具备更低漏检率和误检率,满足荔枝果实精确检测需求。

3 多源数据分析与评价画像生成

研究表明,气象数据对荔枝生长有重要影响[23],且5—6月是气象条件影响荔枝果实发育的关键时期[24]。故全面分析荔枝果期的多源气象数据并构建质量评估函数,成为生成荔枝果期评价画像的关键步骤。

3.1 多源数据采集及处理

3.1.1 气象数据采集及处理

自荔枝园气象站采集2023年1—6月的气象数据,该时间跨度完全覆盖了荔枝果期,且数据采集的时间间隔设定为每10 min一次。所采集的数据主要涉及空气温度、相对湿度、光照强度以及每日累积降水量等关键参数。将收集到的气象数据与现有文献中关于气象条件对荔枝生长影响的研究成果进行对比分析,旨在对荔枝果期进行全面评价。

3.1.2 荔枝果实质量抽样采集

通过结合称量荔枝平均采样质量与借助模型统计树上果实数量的方法来计算荔枝产量[25]。故采样称量荔枝果实成为数据采集关键步骤。收集图像数据后,在每棵荔枝树对应区域各取25个荔枝果实作为一组样本,并利用电子秤测量荔枝果实质量,取其平均质量作为该树的一项重要评价指标。

3.2 评估体系设计

3.2.1 评价标准确立

为了以无损方式进行荔枝质量评价,本研究对影响荔枝生长质量的外部多源因素和特征进行分析,并以此作为荔枝生长质量评估重要依据。根据相关文献记载,影响荔枝生长质量主要因素如下:荔枝生长发育期间要求高温多雨,适宜生长温度为23～29℃,温度在10～12℃时生长缓慢,其中开花期(4—5月)18～24℃,结果期(6—7月)26～32℃最佳;荔枝对光照的要求较高,种植地区需保持年日照时数1 700 h以上,即日均光照强度为2 000～3 000 lx;荔枝生长需要充足的水分,要求年降水量在1 500～1 800 mm,其中开花期(4—5月)200 mm,结果期(6—7月)200 mm[26]。荔枝生长需要较高空气相对湿度,一般要求空气相对湿度在70%～90%之间,荔枝蒂蛀虫在空气相对湿度为75%～85%时活性有明显降低[27],故此时空气相对湿度环境更有利于保证荔枝生长质量。此外,荔枝果实产量是评估其生长质量的关键指标[28]。

根据上述结论,分析得到荔枝果期生长最适气象环境如下:空气温度21～30℃、空气相对湿度75%～80%、月均累计降雨量100 mm、日均光照强度2 000～3 000 lx。针对糯米糍品种,构建荔枝果期生长质量评价标准如下:平均空气温度T为25℃、平均空气相对湿度H为80%、月均累计降雨量R为100 mm、日均光照强度L为2 500 lx、平均单颗荔枝质量W为23 g[29]、单颗荔枝树产量P为过往3年平均值。

3.2.2 评价函数构建

基于建立的评价标准,本研究构建了一个评价函数用于评估目标荔枝果期生长过程中气象因子的适宜程度以及荔枝果实品质,并最终得到荔枝果期生长评价得分,其中总分满分为30分,均分满分为5分,公式为

式中 t——荔枝果期平均空气温度

h——荔枝果期平均空气相对湿度

r——荔枝果期月均累计降雨量

l——日均光照强度

w——平均单颗荔枝质量

p——单颗荔枝树产量

SAvg——平均得分

其中若w>W,则

(即荔枝果实质量大于标准质量,得满分),若p>P,则

(即荔枝产量大于过往3年均值,得满分)。

3.3 评价画像生成

以本研究中某一荔枝树样本为例,通过气象站采集5—6月空气温度、空气相对湿度、光照强度以及降雨量数据,其中6月每天中午采集的气象数据如表5所示。

通过统计和计算多源数据指标平均值,得到荔枝果期关键数据如表6所示。

通过公式(10),该荔枝树果期空气温度得分为4.504分,空气相对湿度得分为4.469分,昼夜光照强度得分为4.945分,月累计降雨量得分为2.33分,单颗荔枝质量得分为5.000分,单棵荔枝树产量得分为4.400分(基于专业人士的访谈和调查数据,近3年内平均产量为60 kg ),总得分为25.648分,均分为4.275分。

根据各项得分以及最终得分生成该荔枝果期综合评价雷达图如图11所示,通过该综合评价雷达图可直观了解到该荔枝树果期生长状况以及对其影响最大的气象条件,为荔枝生产管理提供有效指导。

4 讨论

本研究提出一种融合多源评价数据的荔枝果期评价画像生成技术,包括一个改进的目标检测模型LFS-YOLO和一种基于多源数据的荔枝果期生长质量评估方法,该方法利用模型识别与多源数据分析结果,建立评价函数,生成用于评价荔枝果期生长质量的评价画像。本研究利用深度学习技术在实现精准识别荔枝果实的基础上,通过分析国内外相关文献并综合专家意见,分析影响荔枝生长质量及果实品质的多源数据,基于空气温湿度、光照强度、降雨量等关键影响因素,构建荔枝完整果期生长质量评估体系,以分数和视觉画像的形式直观地显示荔枝完整果期的生长状况,旨在为荔枝品质的判定与评价提供技术与方法启示。尽管本研究提出的方法在荔枝树果期的综合评估方面提供科学有效的手段,但其中也存在一定局限性:首先,数据类型较为单一,主要集中在“糯米糍”品种,未涵盖其他荔枝品种;其次,除本研究所讨论的关键因子外,可能还存在其他影响荔枝生长的因素;最后,对于缺乏历史产量数据的荔枝树,仍需探索更多优化方法。未来,计划将研究范围拓展至其他具有代表性的荔枝品种,通过进一步优化荔枝检测模型,完善荔枝果期生长质量评估体系,并尝试将本研究方法推广应用至其他作物,以提升其在无人农场、智慧果园中的精确度和适用性。

5 结论

(1)在模型特征融合网络中引入全局注意力机制,有利于捕获全局上下文信息并提高全景图像识别的准确性,进一步学习每个特征空间和通道的重要性,并分配不同的权重,增强重要特征的提取并抑制无关信息,从而提高成熟荔枝果实的检测精度。试验表明,引入GAM模块后模型平均精度均值为89.1%,且模型尺寸较小,内存占用量仅为71 MB。通过在模型训练中引入方向尺度的损失对损失函数进行改进,提高了边界框回归的精度,进一步提升成熟果实的识别率。对不同损失函数进行分析,结果表明,SIoU 损失函数具有最高的检测精度,其平均精度均值达到87.3%。

(2)LFS-YOLO果实检测模型具有89.1%的平均精度均值、92.3% 的精度和 93.0% 的召回率,性能优于改进前模型。LFS-YOLO模型在保持高精度的同时具备较快的检测速度和较低的内存消耗,为网络模型的进一步迁移和部署提供了可能性。

(3)融合多源评价数据的荔枝果期评价画像生成技术,结合深度学习技术设计检测模型,实现对荔枝果实精准识别,同时通过分析荔枝果期的多源评价数据,构建综合评价函数,对荔枝果期进行全面评估,为智慧农业中荔枝果期生长质量进行全面评价提供一种科学有效的方法。

[1] 王丹蕾,王传钊.基于区块链技术的溯源系统助力农产品实现“真”绿色[J].产业创新研究,2023(18):79-81.

[2] ZHANG Q,LIU Y,GONG C,et al.Applications of deep learning for dense scenes analysis in agriculture:a review[J].Sensors,2020,20(5):1520.

[3] LU J,WU Z,LAN Y,et al.Study on the prediction model of litchi downy blight damage based on IoT and hyperspectral data fusion[J].IEEE Internet of Things Journal,2015,11(16):27184-27200.

[4] 郭子豪.基于计算机视觉的荔枝果实检测算法研究[D].广州:广东海洋大学,2022.GUO Zihao.Research on litchi fruit detection algorithm based on computer vision[D].Guangzhou:Guangdong Ocean University,2022.(in Chinese)

[5] WANG L,ZHENG Y,XIONG Z,et al.Fast and precise detection of litchi fruits for yield estimation based on the improved YOLOv5 model[J].Frontiers in Plant Science,2022,13:965425.

[6] YU C,TONG H,HUANG D,et al.Model for inverting the leaf area index of green plums by integrating IoT environmental monitoring data and leaf relative content of chlorophyll values[J].Agriculture,2024,14(11):2076.

[7] LU J,CHEN W,LAN Y,et al.Design of citrus peel defect and fruit morphology detection method based on machine vision[J].Computers and Electronics in Agriculture,2024,219:108721.

[8] LIANG C,XIONG J,ZHENG Z,et al.A visual detection method for nighttime litchi fruits and fruiting stems[J].Computers and Electronics in Agriculture,2020,169:105192.

[9] WANG H,DONG L,ZHOU H,et al.YOLOv3—litchi detection method of densely distributed litchi in large vision scenes[J].Mathematical Problems in Engineering,2021,2021:1-11.

[10] 熊俊涛,陈浩然,姚兆燊,等.基于PIB-RRTstar的荔枝采摘机械臂运动规划方法[J].农业机械学报,2024,55(10):82-92.XIONG Juntao,CHEN Haoran,YAO Zhaoshen,et al.Motion planning for lychee picking manipulator based on PIB-RRTstar algorithm[J].Transactions of the Chinese Society for Agricultural Machinery,2024,55(10):82-92.(in Chinese)

[11] ZHUANG J,HOU C,TANG Y,et al.Computer vision-based localisation of picking points for automatic litchi harvesting applications towards natural scenarios[J].Biosystems Engineering,2019,187:1-20.

[12] 熊俊涛,林睿,刘振,等.夜间自然环境下荔枝采摘机器人识别技术[J].农业机械学报,2017,48(11):28-34.XIONG Juntao,LIN Rui,LIU Zhen,et al.Visual technology of picking robot to detect litchi at nighttime under natural environment[J].Transactions of the Chinese Society for Agricultural Machinery,2017,48(11):28-34.(in Chinese)

[13] 周伟亮,王红军,邹湘军.基于机器视觉的荔枝品质快速自动检测[J].中国农机化学报,2020,41(1):144-147,204.ZHOU Weiliang,WANG Hongjun,ZOU Xiangjun.Rapid and automatic quality detection of litchi based on machine vision[J].Journal of Chinese Agricultural Mechanization,2020,41(1):144-147,204.(in Chinese)

[14] XIONG J,LIN R,LIU Z,et al.The recognition of litchi clusters and the calculation of picking point in a nocturnal natural environment[J].Biosystems Engineering,2018,166:44-57.

[15] 余华荣,周灿芳,万忠,等.2015年广东荔枝产业发展形势与对策建议[J].广东农业科学,2016,43(4):21-24.YU Huarong,ZHOU Canfang,WANG Zhong,et al.Development situation and countermeasures of Guangdong litchi industry in 2015[J].Guangdong Agricultural Sciences,2016,43(4):21-24.(in Chinese)

[16] 齐文娥,陈厚彬,李伟文,等.中国荔枝产业发展现状、趋势与建议[J].广东农业科学,2016,43(6):173-179.QI Wene,CHEN Houbin,LI Weiwen,et al.Current status,trends,and recommendations for the development of the litchi industry in China[J].Guangdong Agricultural Sciences,2016,43(6):173-179.(in Chinese)

[17] 严婷,张树飞,陈庆欣,等.“糯米糍”荔枝栽培生理与技术研究进展[J].中国南方果树,2022,51(5):200-206.YAN Ting,ZHANG Shufei,CHEN Qingxin,et al.The progress in physiological traits and cultivation practices of Nuomici litchi[J].South China Fruits,2022,51(5):200-206.(in Chinese)

[18] 苗荣慧,李志伟,武锦龙.基于改进YOLO v7的轻量化樱桃番茄成熟度检测[J].农业机械学报,2023,54(10):225-237.MIAO Ronghui,LI Zhiwei,WU Jinlong.Lightweight cherry tomato ripeness detection based on improved YOLO v7[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(10):225-237.(in Chinese)

[19] 汤泽政,伍奕桦,徐新明,等.基于改进YOLOv7-Tiny的成熟草莓识别模型研究[J].江西农业大学学报,2023,45(6):1528-1542.TANG Zezheng,WU Yihua,XU Xinming,et al.Research on a mature strawberry recognition model based on improved YOLOv7-Tiny[J].Acta Agriculturae Universitatis Jiangxiensis,2023,45(6):1528-1542.(in Chinese)

[20] WANG J,CHEN K,YANG S,et al.Region proposal by guided anchoring[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2019:2965-2974.

[21] WANG L,ZHENG Y,XIONG Z,et al.Fast and precise detection of litchi fruits for yield estimation based on the improved YOLOv5 model[J].Frontiers in Plant Science,2022(13):965425-965425.

[22] XIE J,PENG J,WANG J,et al.Litchi detection in a complex natural environment using the YOLOv5-Litchimodel[J].Agronomy,2022,12(12):3054.

[23] 齐文娥,欧阳曦.气象条件对荔枝单产的影响[J].中国南方果树,2019,48(3):47-49,52.

[24] 罗森波.荔枝大小年的气象条件分析[J].农业气象,1987(3):25-28.

[25] 李志军,杨圣慧,史德帅,等.基于轻量化改进 YOLOv5 的苹果树产量测定方法[J].智慧农业(中英文),2021,3(2):100-114.LI Zhijun,YANG Shenghui,SHI Deshuai,et al.Research on light-weighted improved YOLOv5 method for apple tree yield measurement[J].Smart Agriculture,2021,3(2):100-114.(in Chinese)

[26] 李丽芳,乔红.荔枝工业化种植的环境因素分析[J].南方农业,2021,15(27):46-47.

[27] 李志强,邱燕萍,向旭,等.湿度对荔枝蒂蛀虫生长发育的影响初探[J].广东农业科学,2009(1):63-64.

[28] 陈厚彬,杨胜男,苏钻贤,等.2024年全国荔枝生产形势分析与管理建议[J].中国热带农业,2024(3):8-20.CHEN Houbin,YANG Shengnan,SU Zuanxian,et al.Analysis of the national litchi production situation and management recommendations for 2024[J].China Tropical Agriculture,2024(3):8-20.(in Chinese)

[29] 甘冰,莫振勇,马志航,等.玉林引种国内荔枝优良新品种果实品质性状综合评价筛选[J].中国热带农业,2024(4):25-31.GAN Bing,MO Zhenyong,MA Zhihang,et al.Comprehensive evaluation and screening of fruit quality traits of new domestic litchi varieties introduced in Yulin[J].China Tropical Agriculture,2024(4):25-31.(in Chinese)