OSID：
甜椒是全球重要经济作物,在我国广泛种植[1]。果实表型是甜椒商品性评价和生产管理的重要指标[2],为获取和记录甜椒的表型信息(果高、果宽等[3-6]),需要人工手动重复测量,或通过夹持传感器检测,不仅效率低、检测果实数量少,且易损伤果实。基于农业机器人[7-8]的原位甜椒果实表型获取技术,为甜椒数字化育种和生产管理提供无损、精准和时间关联的重要数据,是推动甜椒智慧生产的重要手段[9-10]。
三维表型对水稻、小麦和玉米等大田作物产生了重要价值,得到广泛的应用与关注,现有作物三维重建[12]方法,主要通过三维传感器获取群体或单株的三维数据。常见的传感器有:激光扫描[12-14]、激光雷达[15-17]、RGB-D视觉[18-20]方法。激光扫描传感器具有高精度的优点,应用于植物的形态分析、生长监测等研究,PAULUS等[13]利用高精度激光扫描系统重建三维植物结构并分析谷物植物生长规律。激光雷达通过激光光束飞行时间测量距离,具有扫描距离远、扫描角度大的特点,可快速获取大面积的三维点云数据,GARRIDO等[15]通过激光雷达点云实现玉米植株群体重建与单株玉米分割,为玉米表型研究提供了有效手段。RGB-D可同时获取RGB图像数据与深度点云数据,具有灵活性强、成本低和易搭载等优点,被广泛用于植物的三维重建,NGUYEN等[21]提出一种基于结构光的植物三维重建系统,利用多个结构光相机对植物进行完整的三维重建。郑立华等[22]基于Kinect相机提出一种三维点云重建配准算法,成功重建油麦菜三维点云。李鹏等[23]基于移动机器人开发了一种玉米植株三维采集系统,通过移动机器人实现无损获取玉米表型。上述工作针对大田作物整株尺度做出了重要贡献,然而温室果实尺度的表型自动获取检测方法研究较少。主要是因为在温室中空间受限,整株重建难度大,同时,叶片对果实的遮挡问题难以解决,成为果实表型自动提取的主要难点之一。
本文基于表型采集机器人,结合深度学习技术,针对遮挡条件下原位果实表型获取,提出一种多视角甜椒果实点云的三维重构方法:通过Azure Kinect DK型深度相机和甜椒果实识别模型,对甜椒果实的遮挡率等级进行自动识别和定位;并提出考虑果实位置与遮挡程度的采集算法,获取采集视角位姿与顺序,利用机械臂实现果实多视角三维数据采集,以实现果实三维重建与表型信息的自动化精准获取。
果实表型采集机器人结构如图1所示,主要包含松灵HUNTER2.0型移动底盘、Azure Kinect DK型深度相机、如本RVC-Xmini型结构光相机、越疆CR5型机械臂、工业控制计算机、移动电源6部分。HUNTER2.0型移动底盘采用后轮驱动模式,转弯方式为差速转向。Azure Kinect DK型深度相机能够识别并且获取物体的深度信息。如本RVC-Xmini型结构光相机搭配左右2个相机,最佳点云获取距离在350～700 mm之间。越疆科技公司生产的CR5型机械臂,具有6个关节、6个自由度,能够满足采集所需的多视角拍摄需求。深圳蓝宇公司生产的工业控制计算机为总控制器,负责收集传感器传递过来的信息,并发送指令控制机器人运动。天中行48 V锂电池作为移动电源给工控机以及机械臂供电。设备具体型号以及参数如表1所示。
表1 设备参数
Tab.1 Equipment parameters
设备生产企业型号参数六轴机械臂越疆科技CR5最大工作半径900mm深度相机微软Azure Kinect DK工作范围0～2000mm结构光相机如本科技RVCXmini工作范围250～1500mm移动底盘松灵机器人HUNTER2.0最大速度6km/h工业控制计算机深圳蓝宇PCX9068CPU i7 9700移动电源天中行电压 48V容量 16A·h
图1 表型机器人
Fig.1 Phenotypic robots
1.RVC-Xmini型结构光相机 2.越疆CR5型机械臂 3.Azure Kinect DK型深度相机 4.工业控制计算机 5.移动电源 6.HUNTER2.0型移动底盘
移动底盘搭载传感器与机械臂在温室内运动,当Azure Kinect DK型深度相机获取到甜椒的类别信息与深度信息后,底盘停止运动,机械臂根据传递深度、类别信息带动结构光相机按照对应策略运动到相应视角,获取甜椒点云数据后,底盘继续运动到下一个目标位置(图1)。
采集地点位于广东省农业科学院白云实验基地、广东省农业科学院设施农业研究所温室内,采集时间为2023年4月2日。2次采集总计1 700幅图像,采用奥林巴斯TG-4型数码相机,分辨率为3 200像素×2 400像素,拍摄距离为350～700 mm,采集环境为晴天,2次采集的甜椒品种均为鲁斯卡。鲁斯卡甜椒在未成熟时呈现绿色,在果实成熟后呈现红色,为保证模型识别的准确性,2种颜色的果实都需要采集,因此在模型数据集中包含2种颜色的果实。
针对原位果实表型测量中的目标遮挡问题,提出一种多视角甜椒果实点云的三维重构方法,基本流程如图2所示。相对于自然生长的甜椒,温室种植的甜椒果实数目少、果实大,且茎叶少,遮挡情况多为叶片遮挡。在试验场景下拍摄甜椒果实图像,通过OpenCV创建增强数据集,并利用标注软件对数据集进行分类。通过YOLO v5算法建立分类识别模型,并在Azure Kinect DK型深度相机上搭载模型识别并且判断甜椒果实遮挡程度。采用本文提出的基于果实位置与遮挡程度的果实表型采集算法,控制机械臂搭载相机运动,对甜椒进行多视角拍摄,采集点云数据。最后,通过ICP匹配算法进行数据融合配准,重建甜椒果实三维模型,基于深度阈值分离植株与背景,使用滤波算法降低噪点对点云的影响,使用CouldCompare软件将果实与植株分离,得到果实的三维点云模型。
图2 遮挡条件下的果实点云重构方法基本流程
Fig.2 Reconstruction method of point cloud for sweet pepper fruit
通过软件Photoshop提取甜椒叶片并将背景透明化处理,保存为png格式。使用OpenCV首先将叶片进行不同角度的旋转,模拟不同视角下的叶片形态,经过处理后叶片总计100片,再从总的数据集中挑选500幅图像清晰、特征明显的甜椒作为初始图像,手动裁出包含甜椒果实的最小矩形图像,随机挑选不同角度的叶片并且将叶片图像面积分别裁剪至当前甜椒矩形图像面积的30%以内以及30%～60%之间,最后随机分布在甜椒果实矩形框内,通过上述方法来模拟真实场景下甜椒叶片遮挡情况(图3a～3c),3种情况总计模拟1 500幅甜椒遮挡图像。
图3 训练集示例图
Fig.3 Example diagrams of training set
为丰富图像数据,保证图像多样性,提高模型的鲁棒性以及在不同场景下的识别能力,在上文基础上使用OpenCV[24-25]对部分图像进行模糊、噪声处理,为提高在不同天气下的识别能力,使用OpenCV调整图像亮度,模拟晴天以及阴天场景(图3d～3f),总计1 500幅甜椒图像。
数据增强后数据集总计3 000幅图像,按照比例 8∶2 将数据集划分训练集与验证集,最终训练集为2 400幅图像,验证集为600幅图像。使用标注软件LabelImg按照上文中划分甜椒的3种类型,给甜椒标记为不同的标签,标签pepper对应的是无遮挡果实,标签pepper_occlusion_1对应的是遮挡面积为0～30%之间的遮挡果实,而标签pepper_occlusion_2则对应遮挡面积为30%～60%之间的遮挡果实。标注文件记录信息包括:图像名称、标签数量、标签名称以及标签对应的坐标。使用Python将标注软件自动保存的XML格式文件转成YOLO v5训练所需的txt格式文件。
YOLO v5[26-29]是一种单阶段目标检测算法,具有模型小、速度快的特点,适合在移动端部署。基于上述优点,本文采用YOLO v5对甜椒进行目标检测识别。使用YOLO v5对数据集进行训练,训练轮数设置为200轮,训练集和测试集的图像尺寸统一设置为640像素×640像素,模型训练批次(Batch size)设置为32。
建立采集作业空间模型,获取机械臂、Kinect相机、结构光相机、甜椒果实之间的空间位置关系,用于果实和采集视角的定位和估计计算。
3.1.1 手眼系统标定
采用手眼标定[30]方式确定机械臂末端执行器坐标系与相机坐标系之间的变换关系,以便机械臂与相机之间协调运动。本机器人使用2个相机,需要进行2次手眼标定。如本RVC相机与机械臂之间采取“眼在手上”的固定方式。标定方法为:固定一张棋盘格标定板,设机械臂底座坐标系为{Base}(下文统称{Base}坐标系),末端坐标系为{End}(下文统称{End}坐标系),RVC相机坐标系为{Camera}(下文统称{Camera}坐标系),标定板坐标系为{Board}。末端坐标系到相机坐标系的转换矩阵
来表示,由末端位姿计算得到{End}坐标系到{Base}坐标系的变换矩
移动机械臂末端,控制RVC相机从不同角度拍摄标定板的图像。由Matlab的相机工具箱得出{Board}坐标系到{Camera}坐标系的转换矩
则可得
(1)
变形公式为
(2)
由于标定板和机械臂底座相对位置不变,故变换矩阵相同,对于n个不同位姿下得到标定板图像的n-1个方程为
(3)
记
(4)
式中 X——{Camera}坐标系与{End}坐标系的变换矩阵
n——拍摄的标定板图像数
则可列出方程:AX=XB[31],求出X即得到如本RVC相机与机械臂末端坐标系的关系。
3.1.2 Kinect定位系统标定
Azure Kinect DK型深度相机与机械臂之间固定方式是“眼在手外”。设Azure Kinect DK型深度相机坐标系为{K}(下文统称{K}坐标系),记Azure Kinect DK型深度相机和机械臂之间的变换矩阵为
固定棋盘格标定板,新标定板坐标系为Board1,操作机械臂末端控制RVC相机从不同角度拍摄标定板图像,再用Azure Kinect DK型深度相机拍摄同一个标定板图像。由Matlab的相机工具箱分别得出标定板坐标系到{K}坐标系与{Camera}坐标系的变换矩
已
则得出{K}坐标系和{Base}坐标系的变换矩
为
(5)
Azure Kinect DK型深度相机像素坐标系下果实中心点坐标为(u,v),对应深度为w,通过相机模型计算果实中心在{K}坐标系中的坐标值(Xk,Yk,Zk),则
(6)
式中 P——相机内参矩阵
已知{K}坐标系与{Base}坐标系的转换矩
通过齐次变换可求得果实中心点在{Base}坐标系下坐标值(Xb,Yb,Zb),则
(7)
基于中心点建立甜椒果实坐标系{G}(下文统称{G}坐标系),且设定{G}坐标系3个坐标轴方向与{Base}坐标系一致,即旋转矩阵为3×3的单位矩阵(E),设平移向量为Q,{G}坐标系到{Base}坐标系的变换矩
为
(8)
其中
Q=(Xb,Yb,Zb)T
上述推导已得出空间中各个坐标系之间的转换关系,空间模型(图4)至此建立完成。
图4 采集空间模型建立
Fig.4 Establishment of collection space model
采集过程中,叶片遮挡不可避免,遮挡情况也不尽相同。为保证有效地获取甜椒果实点云,根据甜椒果实遮挡的类型,分别制定不同的采集策略,使用机械臂带动相机多视角拍摄降低遮挡的影响。
采集策略1对应无遮挡果实,总计分为6个视角:不同方位的3个水平视角,以及3个仰视角(图5b),每个视角左右相机各拍摄1次,总计拍摄12次,拍摄时间为1.08 min(表2)。采集策略2对应第2种类别:遮挡面积0～30%果实。遮挡会造成部分区域点云的缺失,为保证能获取果实的最大直径与果高。在第1种类别的视角上增加2个水平视角和2个俯仰视角,总计10个视角(图5c),拍摄次数为20次,耗时1.75 min(表2)。采集策略3对应第3种类别:遮挡面积30%～60%果实。在第2种拍摄方案的基础上增加俯视视角,保证在高遮挡面积下的甜椒点云获取率(图5d),总计15个视角,拍摄次数为30次,时间为2.50 min(表2)。
表2 不同采集策略
Tab.2 Different collection strategies
策略视角数相机数图像数采集时间/min采集策略162121.08采集策略2102201.75采集策略3152302.50
图5 采集空间视角示意图
Fig.5 Acquisition strategy perspective diagrams
设采集位点坐标系为{H},{G}坐标系先按Z、Y、X顺序旋转到坐标方向与{H}坐标系方向一致,再沿向量(a,b,c)T平移到与{H}坐标系原点重合,可得出{G}、{H}坐标系之间的转换矩
公式(8)已经推导出{G}坐标系与{Base}坐标系之间的转换矩
两者相乘便得出{H}坐标系与{Base}坐标系之间的转换矩
为
(9)
其中
(10)
式中 α——{H}坐标系绕{G}坐标系X轴旋转的角度
β——{H}坐标系绕{G}坐标系Y轴旋转的角度
γ——{H}坐标系绕{G}坐标系Z轴旋转的角度
a——沿X轴平移距离,mm
b——沿Y轴平移距离,mm
c——沿Z轴平移距离,
{H}坐标系与{G}坐标系的转换矩阵
拍摄视角并不存在沿X轴旋转,即α为0°,由图5a可知,β取值为(-30°,0°,30°),γ取值为(-90°,-60°,-45°,0°,45°,60°,90°),而坐标平移方向均为沿X轴方向,即a=350 mm,b、c为0。根据选择的策略自动输入对应参数值,代入式(9)、(10)便可求出对应采集位点{H}坐标系与{Base}坐标系的转换矩阵。
空间中一般用6个参数(x,y,z,rx,ry,rz)控制机械臂末端移动,参数计算公式为
(11)
式中 
矩第m行第n列元素
x——{H}坐标系原点在{Base}坐标系下X轴坐标值
y——{H}坐标系原点在{Base}坐标系下Y轴坐标值
z——{H}坐标系原点在{Base}坐标系下Z轴坐标值
rx——{End}坐标系绕{Base}坐标系X轴旋转角度,取值范围为[-180°,180°]
ry——{End}坐标系绕{Base}坐标系Y轴旋转角度,取值范围为[-180°,180°]
rz——{End}坐标系绕{Base}坐标系Z轴旋转角度,取值范围为[-180°,180°]
通过上述算法求出每个采集位点的坐标参数,控制机械臂末端带动相机按“Z”形移动方式逐步移到各个采集视角拍摄,实现甜椒果实点云采集功能。
为验证果实识别模型以及果实表型采集算法的可行性与准确性,在广东省农业科学院设施农业研究所甜椒种植温室内开展采集试验验证。
果实识别模型训练具体结果如表3所示,其中总体精准度(P)、召回率(R)、平均精度均值(mAP)分别为91.5%、92.7%、95.3%,训练产生的最好模型内存占用量为13.7 MB。
表3 训练效果
Tab.3 Training effect %
类别总体精准度召回率平均精度均值无遮挡果实90.296.098.0遮挡面积0～30%果实90.592.094.2遮挡面积30%～60%果实93.990.093.8总体91.592.795.3
2023年4月6日在广东省农业科学院设施农业研究所甜椒种植温室内,使用训练好的权重搭配Azure Kinect DK型深度相机测试识别模型,识别结果如图6所示,模型能够完成3种遮挡程度甜椒的识别。
图6 各类别甜椒识别结果
Fig.6 Identification diagram of various types of sweet peppers
2023年7月2日于广东省农业科学院设施农业研究所甜椒种植温室内进行采集试验,试验的甜椒品种为鲁斯卡。基于采集算法采集每种遮挡程度甜椒各10组点云数据,并且使用游标卡尺手动测量每个甜椒的果高、果宽作为对照组,总计采集30组点云数据与30组手动测量数据。
将采集的点云数据用ICP算法配准后,拼接不同视角点云,重建甜椒三维点云模型(图7a),基于Kinect相机深度值定位分割出背景与植株(图7b),并经过滤波算法过滤噪点,降低点云噪声的影响(图7c),通过软件CloudCompare分割点云三维模型,分离植株与果实,得到果实点云,以点云最小包含框框高、框宽作为点云果实果高、果宽(图7d)。
图7 甜椒果实三维重建图
Fig.7 3D reconstructions of sweet pepper fruit
点云果实数据与手动测量数据对比,结果如图8所示,无遮挡果实10组数据中果高最大相对误差为2.52%、果宽最大相对误差为3.03%、果高平均相对误差为1.72%、果宽平均相对误差为1.36%(图8a);遮挡面积0～30%果实果高最大相对误差为2.52%、果高平均相对误差为1.80%、果宽最大相对误差为3.03%、果宽平均相对误差为1.80%(图8b);遮挡面积30%～60%果实果高最大相对误差为3.40%、平均相对误差为1.64%,果宽最大相对误差为3.54%、平均相对误差为1.64%(图8c),整体平均果高相对误差为1.72%,果宽为1.60%。数据显示按照采集策略获取的点云数据与实际测量数据误差不大,能够反映果实实际果高、果宽表型信息。
图8 误差分析
Fig.8 Error analysis result
(1)在温室内采集甜椒样本图像,使用虚拟叶片遮挡和模拟天气的方法,创建增强数据集,通过YOLO v5算法建立3种遮挡程度甜椒识别模型,模型对3种遮挡程度的总体精准度分别为90.2%、90.5%、93.9%,召回率分别为96%、92%、90%。
(2)基于识别结果提出一种针对不同遮挡程度的甜椒果实表型点云采集算法,3种遮挡程度果实对应3种采集策略,通过算法自动获取到达目标位置所需参数并传递给总控制器,总控制器控制机械臂按照“Z”形采集顺序逐步完成甜椒果实点云采集功能。
(3)基于果实表型采集算法在甜椒种植温室内用表型机器人进行采集试验,使用ICP算法对采集数据进行多视角点云配准融合,重建点云三维模型,基于深度阈值将背景与植株分离,通过滤波算法降低噪点,并使用软件CouldCompare将果实与植株分割,得到果实的三维点云模型。点云模型果高、果宽与手动测量数据对比得出:整体果高平均相对误差为1.72%,果宽平均相对误差为1.60%。
(4)本文所提出的遮挡条件下的多视角甜椒果实点云重构方法,可有效降低遮挡对温室甜椒果实表型提取的影响,完成温室内甜椒表型原位自动化获取工作,为甜椒数字化育种和管理研究提供一种有效的解决思路和可行方法。
[1] 邹学校, 马艳青, 戴雄泽, 等. 辣椒在中国的传播与产业发展[J]. 园艺学报, 2020, 47(9): 1715-1716.ZOU Xuexiao, MA Yanqing, DAI Xiongze, et al. Spread and industry development of pepper in China[J]. Acta Horticulturae Sinica, 2020, 47(9): 1715-1716. (in Chinese)
[2] BACHI L, LEFEBVRE V, SAGE-PALLOIX A M, et al. QTL analysis of plant development and fruit traits in pepper and performance of selective phenotyping[J]. Theoretical and Applied Genetics, 2009, 118: 1157-1171.
[3] NAEGELE R P, MITCHELL J, HAUSBECK M K. Genetic diversity, population structure, and heritability of fruit traits in Capsicum annuum[J]. Plos One, 2016, 11(7): e0156969.
[4] HURTADO M, VILANOVA S, PLAZAS M, et al. Phenomics of fruit shape in eggplant (Solanum melongena L.) using tomato analyzer software[J]. Scientia Horticulturae, 2013, 164: 625-632.
[5] BHARATH S M, CILAS C, UMAHARAN P. Fruit trait variation in a caribbean germplasm collection of aromatic hot peppers (Capsicum cnense Jacq.)[J]. Hortscience, 2013, 48(5): 531-538.
[6] MARTINEZ-ISPIZUA E, CALATAYUD, MARSAL J I, et al. Phenotypic divergence among sweet pepper landraces assessed by aro-morphological characterization as a biodiversity source[J]. Agronomy, 2022, 12(3): 632.
[7] 刘成良,贡亮,苑进,等.农业机器人关键技术研究现状与发展趋势[J].农业机械学报,2022,53(7):1-22,55.LIU Chengliang, GONG Liang, YUAN Jin, et al. Current satus and dvelopment tends of aricultural robots[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(7):1-22,55.(in Chinese)
[8] 王宁,韩雨晓,王雅萱, 等. 农业机器人全覆盖作业规划研究进展[J].农业机械学报,2022,53(增刊1):1-19.WANG Ning, HAN Yuxiao, WANG Yaxuan, et al. Research progress of agricultural robot full coverage oeration planning[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(Supp.1):1-19.(in Chinese)
[9] LI L, ZHANG Q, HUANG D. A review of imaging techniques for plant phenotyping[J]. Sensors, 2014, 14(11): 20078-20111.
[10] SUN G, WANG X. Three-dimensional point cloud reconstruction and morphology measurement method for greenhouse plants based on the kinect sensor self-calibration[J]. Agronomy, 2019, 9(10): 596.
[11] FAN J, ZHANG Y, WEN W, et al. The future of Internet of Things in agriculture: plant high-throughput phenotypic platform[J]. Journal of Cleaner Production, 2021, 280: 123651.
[12] 任栋宇,李晓娟,林涛, 等. 基于Kinect v2传感器的果树枝干三维重建方法[J].农业机械学报,2022,53(增刊2):197-203.REN Dongyu, LI Xiaojuan, LIN Tao, et al. 3D reconstruction method for fruit tree branches based on Kinect v2 sensor[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(Supp.2):197-203.(in Chinese)
[13] PAULUS S, SCHUMANN H, KUHLMANN H, et al. High-precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants[J]. Biosystems Engineering, 2014, 121: 1-11.
[14] WANG Y, WEN W, WU S, et al. Maize plant phenotyping: comparing 3D laser scanning, multi-view stereo reconstruction, and 3D digitizing estimates[J]. Remote Sensing, 2018, 11(1): 63.
[15] GARRIDO M, PARAFOROS D S, RRISER D, et al. 3D maize plant reconstruction based on georeferenced overlapping LiDAR point clouds[J]. Remote Sensing, 2015, 7(12): 17077-17096.
[16] FORERO M G, MURCIA H F, MENDEZ D, et al. LiDAR platform for acquisition of 3D plant phenotyping database[J]. Plants, 2022, 11(17): 2199.
[17] 刘睿, 刘婷, 董润茹, 等. 基于地基激光雷达数据的单株玉米三维建模[J].中国农业大学学报,2014,19(3):196-201.LI Rui, LIU Ting, DONG Runru, et al. 3D modeling of individual maize based on ground-based LiDAR data[J]. Journal of China Agricultural University, 2014,19(3):196-201. (in Chinese)
[18] TENG X, ZHOU G, WU Y, et al. Three-dimensional reconstruction method of rapeseed plants in the whole growth period using RGB-D camera[J]. Sensors, 2021, 21(14): 4628.
[19] WANG Y, CHEN Y. Fruit morphological measurement based on three-dimensional reconstruction[J]. Agronomy, 2020, 10(4): 455.
[20] 孙国祥, 汪小旵, 刘景娜, 等. 基于相位相关的温室番茄植株多模态三维重建方法[J]. 农业工程学报, 2019, 35(18): 134-142. SUN Guoxiang, WANG Xiaochan, LIU Jingna, et al. Multi-modal three-dimensional reconstruction of greenhouse tomato plants based on phase-correlation method[J]. Transactions of the CSAE, 2019, 35(18): 134-142. (in Chinese)
[21] NGUYEN T T, SLAUGHTER D C, MAX N, et al. Structured light-based 3D reconstruction system for plants[J]. Sensors, 2015, 15(8): 18587-18612.
[22] 郑立华,王露寒,王敏娟, 等.基于Kinect相机的油麦菜自动化三维点云重建[J].农业机械学报,2021,52(7):159-168.ZHENG Lihua, WANG Luhan, WANG Minjuan, et al. Automated 3D reconstruction of leaf lettuce based on Kinect camera[J]. Transactions of the Chinese Society for Agricultural Machinery,2021,52(7):159-168. (in Chinese)
[23] 李鹏,劳彩莲,杨瀚, 等.基于移动机器人平台的玉米植株三维信息采集系统[J].农业机械学报,2019,50(增刊):15-21.LI Peng, LAO Cailian, YANG Han, et al. Maize plant 3D information acquisition system based on mobile robot platform[J]. Transactions of the Chinese Society for Agricultural Machinery,2019,50(Supp.):15-21. (in Chinese)
[24] 刘星星, 王烁烁, 徐丽明, 等. 基于OpenCV的动态葡萄干色泽实时识别[J]. 农业工程学报, 2019, 35(23): 177-184.LIU Xingxing, WANG Shuoshuo, XU Liming, et al. Real time color recognition of moving raisin based on OpenCV[J]. Transactions of the CSAE, 2019, 35(23): 177-184. (in Chinese)
[25] 郭建军, 何国煌, 徐龙琴, 等.基于改进YOLO v4的肉鸽行为检测模型研究[J].农业机械学报,2023,54(4):347-355.GUO Jianjun, HE Guohuan, XU Longqin, et al. Pigeon behavior detection model based on improved YOLO v4[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(4):347-355. (in Chinese)
[26] HU J, LI G, MO H, et al. Crop node detection and internode length estimation using an improved YOLO v5 model[J]. Agriculture, 2023, 13(2): 473.
[27] WU W, LAIU H, LI L, et al. Application of local fully convolutional neural network combined with YOLO v5 algorithm in small target detection of remote sensing image[J]. PloS One, 2021, 16(10): e0259283.
[28] 李健源, 柳春娜, 卢晓春, 等.基于改进YOLO v5s和TensorRT部署的鱼道过鱼监测[J].农业机械学报,2022,53(12):314-322.LI Jianyuan, LIU Chunna, LU Xiaochun, et al. Fish passage monitoring based on improved YOLO v5s and TensorRT deployment[J]. Transactions of the Chinese Society for Agricultural Machinery,2022,53(12):314-322.(in Chinese)
[29] 闫彬, 樊攀, 王美茸, 等.基于改进YOLO v5m的采摘机器人苹果采摘方式实时识别[J].农业机械学报,2022,53(9):28-38,59.YAN Bin, FAN Pan, WANG Meirong, et al. Real-time apple picking pattern recognition for picking robot based on improved YOLO v5m[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(9):28-38,59. (in Chinese)
[30] SHARIFZADEH S, BIRO I, KINNELL P. Robust hand-eye calibration of 2D laser sensors using a single-plane calibration artefact[J]. Robotics and Computer-Integrated Manufacturing, 2020, 61: 101823.
[31] HORAUD R, DORNAIKA F. Hand-eye calibration[J]. The International Journal of Robotics Research, 1995, 14(3): 195-210.