基于多视角三维点云融合的采棉机器人视觉感知方法

摘要：针对传统采棉机器人因单一视角和二维图像信息带来的视觉感知局限问题,本文提出了一种多视角三维点云配准方法,以增强采棉机器人实时三维视觉感知能力。采用4台固定位姿的Realsense D435型深度相机,从不同视角获取棉花点云数据。通过AprilTags算法标定出深度相机RGB成像模块与Tag标签的相对位姿,并基于深度相机中RGB成像模块与立体成像模块坐标系间的转换关系,解算出各个相机间点云坐标的对应变换,进而实现点云间的融合配准。结果表明,本文配准方法的全局配准平均距离误差为0.93 cm,平均配准时间为0.025 s,表现出较高的配准精度和效率。同时,为满足采棉机器人感知的实时性要求,本文对算法中点云获取、背景滤波和融合配准等步骤进行了效率分析及优化,最终整体算法运行速度达到29.85 f/s,满足采棉机器人感知系统实时性需求。

关键词：采棉机器人; 视觉感知; 三维点云; 融合; AprilTags算法

基金项目：江苏省高等学校基础科学(自然科学)研究项目(23KJA460008)和江苏省研究生科研与实践创新计划项目(SJCX23_1180)

作者简介：刘坤(1978—),女,教授,博士,主要从事智能农业装备研究,E-mail:zdhxlk@njit.edu.cn

Visual Perception Method for Cotton-picking Robots Based on Fusion of Multi-view 3D Point Clouds

Abstract：Traditional cotton-picking robots face visual perception challenges due to their reliance on single viewpoint and two-dimensional imagery.To address this,a multi-view 3D point cloud registration method was introduced,enhancing these robots’ real-time 3D visual perception.Four fixed-pose Realsense D435 depth cameras were utilized to capture point cloud data of the cotton from multiple viewpoints.To ensure the quality of fusion registration,each camera underwent rigorous imaging distortion calibration and depth error adjustment before operation.With the help of AprilTags algorithm,the relative pose between the RGB imaging modules of the cameras and their AprilTag labels was calibrated,which clarified the transformation relationship between the coordinate systems of the RGB and stereo imaging modules.As a result,the transformations of point cloud coordinates between cameras can be deduced,ensuring accurate fusion and alignment.The findings showed that this method had an average global alignment error of 0.93 cm and took 0.025 s on average,highlighting its accuracy and efficiency against the commonly used methods.To cater to the real-time demands of cotton-picking robots,processes for point cloud acquisition,background filtering,and fusion registration were also optimized.Impressively,the algorithm’s speed tops at 29.85 f/s,meeting the real-time demands of the robot’s perception system.

Key words：cotton-picking robots; visual perception; 3D point cloud; fusion; AprilTags algorithm

0 引言

随着现代农业技术的迅猛发展,采摘机器人正逐渐成为农业机械化应用的新趋势。棉花作为重要的经济农作物,其采摘不仅要分批次、分等级,更要确保所采收的质量达标。当前,大型采棉机除了售价高昂外,还面临着不能实现精细化等级采摘以及采摘成品含杂率高等问题[1-2]。并且,考虑到我国广阔的棉田分布,尤其是南方的丘陵地带,这些地方不利于大型采棉机的作业,这无疑加大了对棉花采摘机器人的需求。实现机器人高效采摘的关键在于如何精确定位和识别目标,为此,高效的视觉感知系统成为必要配备。三维点云信息因其能为物体提供高度精确的三维描述,成为这一系统中不可或缺的技术支撑,为机器人在复杂农田环境中的精准操作提供了坚实的技术基础[3-9]。

近年来,农作物三维点云融合配准技术已日趋成熟,并在农业领域得到了广泛而深入应用[10-13]。特别是Realsense、Kinect这类商业级、低成本且性能稳定的深度相机,它们在农作物点云配准与三维重建领域已被广泛采用[14-18]。文献[19]使用Kinect传感器从4个视角对油菜分枝进行拍摄,通过计算点云的曲面法矢量和曲率以及应用迭代最近点算法(Iterative closest point,ICP),成功完成三维重建和空间定位。文献[20]对点云使用法线对齐的径向特征(Normal aligned radial feature,NARF)进行关键点搜索,以及利用快速点特征直方图(Fast point feature histograms,FPFH)和随机样本一致性(Random sample consensus,RANSAC)算法计算得到点云间的空间映射关系,在此基础上完成配准。

陈海波等[21]用Kinect V3深度相机并结合旋转台和裁剪迭代最近点(Trimmed iterative closest point,TrICP)算法,成功实现了对菜心等的三维重建,其中平均重建点云数量为252 720的情况下平均重建时间为84.52 s,平均点对距离误差为0.59 cm。另一方面,有研究使用Kinect相机利用旋转平台从不同视角收集油麦菜的点云数据,通过实验分析配准参数的变化规律,建立了配准评价体系,以此实现2片点云的自动化配准;该算法在2片点云重叠率不低于30%的前提下,可以获得最优参数组合,在139 021个点云数量下平均配准时间为44.05 s,全局配准平均距离误差为0.65 cm,具有较高的配准精确度和稳定性[22]。陆健强等[23]通过4个固定位置的三维扫描仪对目标进行点云数据采集并通过引入辅助特征坐标参数,解决ICP算法配准过程中易陷于局部最优解的问题。该算法对 81 741个点的滴水莲的精准融合时间为124.3 s,经测量点云株高和实际株高误差为0.2 cm。

以上研究表明,现阶段农作物点云配准重建方法复杂且耗时,使其应用在采摘机器人的实时三维感知系统中仍面临挑战。为此本文开发基于Realsense D435型深度相机的多视角三维视觉感知采集框架,并设计一种自动实时融合配准点云的方法,尝试通过对多视角的数据采集和实时的点云配准处理,以提高采摘机器人视觉感知系统的实时性和准确性。

1 材料与方法

1.1 实验材料与采集装置

如图1所示,采集装置由可调节尺寸的正方体钢架以及4台Realsense D435型深度相机组成。4台深度相机依次放置于钢架的4个角落,从而获得4个不同位置的点云图,最大限度地确保点云信息的完整性,图1中1～4代表位置编号。采集对象选用全成熟期脱叶棉花植株模型。

数据采集基于配有Intel i7-11800H处理器、3070显卡以及64 GB内存的便携式计算机作为控制和计算的上位机。开发环境为Ubuntu 20.04,使用Realsense SDK 2.0和点云库(Point cloud library,PCL)进行点云处理函数的开发。

1.2 相机标定

为了提高从4台相机获取点云数据的融合配准效率和精度,需要对4台深度相机的位姿进行精确标定。此外,为了确保位姿数据的准确性还需要对Realsense D435型相机中的RGB成像模块与立体成像模块进行误差校准。这一过程的目标在于最大程度地优化获取数据的质量,实现对棉花三维点云感知采集的高效和精确性。

(1)畸变误差校准。为了校准Realsense D435型相机中RGB成像模块畸变,采用了格边长为 42 mm,规格为79的棋盘格标定板。将标定板分别放置在相机前方的0.6 m和1.2 m水平距离处;以世界坐标系X、Y、Z斜轴为旋转轴适度旋转标定板,从不同角度共同采集多幅完整轮廓的棋盘标定板图像并采用张正友棋盘格方法[24]进行标定。这种方法通过观察棋盘格标定板在不同位置和方向的图像,依据投影几何关系,得到相机内部参数,如焦距、成像中心和镜头失真系数。经标定后,能够在接下来的工作中对RGB图像进行畸变矫正,进一步提高多个相机间位姿的计算精度。

(2)深度误差校准。为确保Realsense D435型相机的深度成像模块能提供准确的距离测量和高质量的深度图像,采用高精度激光测距仪进行深度误差的校准。在具体的校准操作中,首先将激光测距仪放置在距离相机1 m的指定位置,利用该测距仪得到的真实距离作为基准;记录Realsense D435型相机深度模块的测量结果,并与激光测距仪的数据进行对比,确保相机能够精确地测量与实际距离相符的数据。

1.2.2 相机位姿标定

相机间位姿标定的过程采用AprilTags算法[25-27]。这一算法是由密歇根大学的研究团队开发,为各种应用场景提供一种低成本且高精度的定位方法。AprilTags算法的每一个标签都含有一种特殊的二维黑白图案,它能够被相机清晰地捕获并进一步解码,可以计算得到Tag标签与相机间的相对位姿。

如图2所示,选择一个特定的Tag标签(样式为tagStandard41h12,ID为0号)将其放置在采集架底部任意位置,并调整相机位姿以确保它们的RGB成像模块都能准确地识别并捕获到这个标签。通过解码被捕获的Tag标签,获取标签的角点构建单应矩阵,该矩阵描述了图像平面上的点与实际三维空间中对应点之间的对应关系。根据单应矩阵精确计算出每个相机相对于标签的旋转矩阵和平移向量,从而完成Tag标签与相机间位姿标定。

1.3 点云数据获取及滤波处理

1.3.1 点云数据获取

采集棉花植株的点云数据时,将植株放置于采集架内,并使用采集架上的4台深度相机同时进行数据采集。由于深度相机直接输出的图像为深度图,因此需要进一步转换以得到实际的三维空间坐标。对深度图像中的每个像素进行转换

式中 Pdc——点P在深度摄像头坐标系下的坐标

Kd——深度相机内参矩阵

点P在深度图中像素坐标

深度相机直接采集的点云往往包含了不必要的背景信息和随机噪声。为了获得更加清晰和精确的棉花植株模型,需要对原始的点云进行滤波处理。

为了剔除不相关的背景信息和噪声,使用直通滤波器对点云进行范围滤波处理。通过设定合适的深度范围,将棉花植株的点云从含有背景噪声的原始点云中分离出来。对于那些由于相机的温漂、反射或其他外部因素导致的随机噪声,可以进一步采用统计滤波进行处理。这种滤波方法通过计算每个点邻域深度平均值和标准差,对那些偏离平均深度过多的点进行移除,从而进一步提高点云质量。

1.4 点云融合配准

通过4个固定位姿的深度相机采集点云数据,经滤波处理之后,可对不同视角的点云数据直接进行配准,最终获得棉花植株完整的三维点云数据。常规的点云配准包含粗配准和精配准2个步骤。粗配准需要进行繁琐的特征提取,为精配准提供初始位姿估计,如基于FPFH特征的采样一致性初始配准算法(Sample consensus initial alignment,SAC-IA)。而精配准则是进一步提高点云间的对齐精度,常用算法有ICP和正态分布变换(Normal distributions transform,NDT)算法。然而,由于这些算法的迭代特性和对初步位姿的依赖导致其计算耗时大且效果受限,不适宜用于实时感知系统。

为此,本文采用高精度的AprilTags标定算法,标定Tag标签与相机间的相对位姿数据,计算出每个相机间的旋转矩阵和平移向量,对不同相机采集到的点云数据进行坐标变换,实现点云数据的融合配准,将相机B深度摄像头坐标系下的点云数据变换至相机A的深度摄像头坐标系下,变换公式为

式中

点P分别在相机A和相机B中深度摄像头坐标系下坐标

RdAdB、tdAdB——从相机B深度摄像头坐标系转换到相机A深度摄像头坐标系的旋转矩阵和平移向量

Rctag、tctag——Tag标签坐标系转换到相机RGB摄像头坐标系的旋转矩阵和平移向量

Rdc、tdc——RGB摄像头坐标系到深度摄像头坐标系间变换的旋转矩阵与平移向量

1.5 整体算法流程

本文提出的算法流程主要分为:预处理阶段和点云处理阶段。

1.5.1 预处理阶段

(1)相机校准。对相机进行RGB成像畸变校准及深度误差校准,确保后续的图像质量与数据准确性。

(2)相机安装与位姿调整。将经过校准的相机固定在采集架上,并对相机位姿进行调整,确保采集目标位于视野之内。

(3)位姿检测与解算。采用在移动机器人领域中被广泛采纳的AprilTags位姿检测算法,获取相机与检测标签间的位姿数据,根据式(3)、(4)进一步解算出相机间的相对位姿。

1.5.2 点云处理阶段

(1)点云数据获取。基于式(1),对各个采集的深度图像进行转化获取点云数据,并执行滤波处理。

(2)点云融合配准。依据式(2),将从不同相机采集到的点云数据进行坐标变换,从而实现在统一坐标系下的融合配准。

2 结果与分析

2.1 相机间位姿标定结果

实验采用AprilTags算法对4台深度相机进行位姿标定,确定其相对于Tag标签的位姿。每台相机的RGB模块均成功捕捉Tag标签图像并检测出标签的四角点。基于角点数据,构建对应的单应性矩阵,并解算出相机与标签间的旋转矩阵Rctag和平移向量tctag。

为验证位姿标定精确性,对Tag标签进行了多次独立的测量。并对平移向量的误差进行分析。首先计算平移向量各个方向的平均值和标准偏差,最后计算平移向量的总体误差。计算出的整体误差为0.008 cm,这一结果表明位姿标定具有良好的稳定性和准确性。具体计算公式为

式中 Exyz——平移向量tctag总体误差

σx、σy、σz——平移向量在x、y、z方向的标准偏差

σ——平移向量的标准偏差

μ——平移向量平均值

tctag,i——第i次测量的平移向量

如图3所示,通过已解算出的旋转矩阵和平移向量,在Tag标签上反向构建立体图形以确认标定数据的正确性。同时,采用机器人操作系统(Robot operating system,ROS)的可视化工具进行实时位姿的展示,以方便监测和调整。

2.2 实时性评估及效率分析

对于采摘机器人的感知方法来说,考虑配准时间仅是一部分,更关键的是全面评估整体算法的执行时间,以确保其满足实时性要求。本文整体算法流程主要分为预处理阶段和点云处理阶段。

预处理阶段涉及到固定操作,如相机校准、相机安装与位姿调整以及位姿检测与解算。由于这些步骤主要在系统启动或配置阶段执行,并不作为实时性的主要评估内容。

点云处理阶段则涉及到每帧数据的处理,包括点云数据获取、背景滤波处理和融合配准等操作。这一阶段的效率直接关系到系统的整体实时性,因此需要进行分析测试并优化。

为了精确度量每个步骤耗时,选择C++的Chrono库作为计时工具,并对点云处理阶段的各个环节进行了详细统计和分析。经统计单台相机在执行点云数据获取阶段耗时0.001 2 s,背景滤波阶段耗时0.011 3 s,以及执行融合配准时的点云坐标变换阶段耗时0.009 s,总计耗时0.021 5 s。从统计结果可知,算法在各处理阶段的耗时已经相当短暂。若对此再进行时间优化将十分困难。为了满足多台相机同步运行的需求和进一步提高系统的实时性,进行了多线程与单线程方案的比较。

在单线程模式中,系统依次对4台相机进行点云数据获取、背景滤波和点云坐标变换操作。这种逐步处理的策略导致随着相机数量的增加,所需的处理时间也会线性增长。经测试该模式下整个算法运行一次需要0.079 3 s,需要说明的是在点云融合配准阶段仅需要按照式(2)对3台相机进行坐标变换操作,使它们的点云统一到第4台相机坐标系中。

在多线程方案中,每台相机都被分配一条独立的线程,从而实现4台相机同时进行点云数据获取、背景滤波以及点云坐标变换操作。当所有相机完成各自的数据处理后,再将这些点云进行提取融合以获取精确的配准结果。经过测试,多线程模式下整个处理过程仅需0.033 5 s,对应的输出帧率为29.85 f/s;虽然多线程模式下的处理时间没有达到单台相机的0.021 5 s,这主要归因于从各线程提取数据、整合以及点云渲染等操作的时间开销。尽管如此,该输出帧率已经满足了采摘机器人感知的实时性要求。

2.3 点云融合配准结果及误差分析

图4展示了4台深度相机分别在4个不同位置采集到的点云数据。由于每个相机的观察位姿不同,因此得到的点云数据在空间分布和形态上存在明显的差异。

应用式(2)进行点云融合配准处理,成功融合配准了4个视角的棉花植株三维点云。图5从不同的方向展示了配准后的点云模型。在图5中,1号视角的点云以蓝色表示,2号视角的点云以绿色表示,3号视角的点云以黄色表示,而4号视角的点云则以红色表示。

通过采用点对间绝对距离算法对融合配准后的三维点云数据进行计算,并根据得到的距离对三维点云进行着色。图6a直观地展示了点云之间的相对位置和距离关系,图6b则展示了点对距离的分布直方图并进行了高斯分布拟合,其中平均点对距离误差为0.60 cm。

在此基础上,对多株棉桃同时进行采集,图7展示了各个视角融合后的点云示意图,可以看出各个视角的点云都能得到较为精准的融合。然而,受到顶部棉桃的遮挡以及相机采集能力的限制,底部的细枝未能完整采集,但棉桃的特征仍可以清晰地检测到。该方法对于采摘机器人来说仍具备棉桃的精准定位能力。

如表1所示,对采集到的12组点云进行了配准方法对比实验。本次实验中采用了以下配准方法进行对比:基于FPFH特征的SAC-IA与ICP结合配准,基于FPFH特征的SAC-IA与NDT结合配准,以及本文描述的融合配准方法。为保证实验的客观性,本文融合配准方法在此实验中仅采用单线程模式运行。

其中ICP精配准算法的主要作用是,在基于完成粗配准的基础上进一步提高对齐精度,并且该算法的性能在很大程度上取决于粗配准的质量。为深入评估本文融合配准方法的性能,实验中还将利用经过本文方法配准后的点云作为粗配准结果,并进一步使用ICP来提高对齐精度,以评估在本文配准方法的基础上再采用ICP精配准是否带来明显的精度增益。

表1详细列出了各种配准方法在不同组点云上的配准时间和平均距离误差。其中本文方法的平均配准时间仅为0.025 s,平均距离误差为0.93 cm。相较于常用的SAC-IA结合ICP配准方法和SAC-IA结合NDT配准方法,本文所提出的配准方法在配准时间和精度上都展现出了明显的优势。

在采用本文融合配准方法的基础上再结合ICP进行精度优化。实验数据表明,经过本文方法配准后的点云,再执行ICP配准仅需2.72 s便可完成迭代,但值得注意的是,由于本文融合配准方法已具备较高的精度,再通过ICP精配准获得的精度提升仅为0.08 cm,精度增益效果不明显。

此外,为验证本文算法的通用性,本文还对无花果幼苗、大叶落地生根等不同种类的植株进行了融合配准的验证。具体的重建结果如图8所示。

3 讨论

在对采棉机器人三维视觉感知系统的优化与完善的研究中,采用4台摄像头同时采集的方法能够有效解决单一视角局限性问题,捕获到更加丰富的三维信息并具有一定的鲁棒性。

采用高精度的AprilTags算法对相机与Tag标签间的位姿进行精确标定,为点云融合提供了精准的初始位姿。此方法避免了传统的特征提取和配准方法,特征提取与迭代配准方法通常会消耗大量的计算资源和时间;通过优化,系统实现了实时运行速度29.85 f/s,保障了数据处理的效率及系统的稳定性。此外,Realsense D435型深度相机在夜晚微光环境下仍具有优秀的深度图像采集性能,极大扩展了机器人在不同环境条件下的工作可能性。系统在收集点云数据的同时,也能获取RGB图像形成多模态信息,使得采摘机器人在处理复杂任务时,可以利用多模态信息进行决策,提高了处理复杂性任务的能力。

尽管具有上述优势,但该方法仍存在一些不足。在当前的配置中,相机采用固定斜俯视的角度进行拍摄,这可能在处理具有复杂形状或高密度分布的植株时造成困难。解决这一问题需在以后的设计和优化过程中加以考虑。例如,在采摘机械臂上增设摄像头进行辅助检测,或通过机械臂先将顶部目标物采摘后,减少遮挡从而暴露底部视野进行底部目标物的采摘。

本文融合配准方法并不局限于采棉机器人视觉感知方法,还可用于其他植株的三维重建。在进行更为详细的点云信息捕捉时,可添加不同角度的摄像头,利用AprilTags算法的方便快捷性快速进行标定拓展,为获取更丰富的视觉信息提供了新的可能性,拓宽了本方法的应用范围。

4 结论

(1)构建了一种适用于采棉机器人的多视角三维点云实时融合配准的采集方法。该方法针对性地解决了传统棉花采摘机器人在视觉数据采集过程中视角单一和二维图像信息量有限的问题。

(2)使用4台Realsense D435型深度相机从不同视角获取棉花的点云数据。结合AprilTags算法,标定出Tag标签与相机的相对位姿。基于此位姿,进一步解算出点云之间的变换关系,从而实现点云间的融合配准。此方法有效避免了繁琐和耗时的点云特征提取和迭代配准操作。实验结果显示,本文融合配准方法在全局配准上的平均距离误差为0.93 cm,平均配准时间为0.025 s,整体系统运行速度可达到29.85 f/s,为棉花采摘机器人的视觉感知提供了一种新的可能性。

(3)所提出的方法能为后续的精配准提供更为准确的初始解,从而能够更快地获得更精确的配准结果。

(4)通过对不同种类植株的融合配准验证,进一步证实了本文融合配准方法的通用性和鲁棒性。

[1] 成广明,彭磊,翁娟娟,等.江苏棉纺企业采购的2020年度棉花异性纤维含量分析[J].中国纤检,2022(10):46-48.

[2] 李孝华,王扬,赵倚天.新疆机采棉加工工艺对棉花质量的影响[J].中国棉花,2021,48(8):22-25.

LI Xiaohua,WANG Yang,ZHAO Yitian.Influence of the processing technology on fiber property of Xinjiang machine-harvested cotton[J].China Cotton,2021,48(8):22-25.(in Chinese)

[3] 郑太雄,江明哲,冯明驰.基于视觉的采摘机器人目标识别与定位方法研究综述[J].仪器仪表学报,2021,42(9):28-51.

ZHENG Taixiong,JIANG Mingzhe,FENG Mingchi.Vision based target recognition and location for picking robot:a review[J].Chinese Journal of Scientific Instrument,2021,42(9):28-51.(in Chinese)

[4] 金寿祥,周宏平,姜洪喆,等.采摘机器人视觉系统研究进展[J].江苏农业学报,2023,39(2):582-595.

JING Shouxiang,ZHOU Hongping,JIANG Hongzhe,et al.Research progress on visual system of picking robot[J].Jiangsu Journal of Agricultural Sciences,2023,39(2):582-595.(in Chinese)

[5] TANG Y,CHEN M,WANG C,et al.Recognition and localization methods for vision-based fruit picking robots:a review[J].Frontiers in Plant Science,2020,11:510.

[6] ZHOU H,WANG X,AU W,et al.Intelligent robots for fruit harvesting:recent developments and future challenges[J].Precision Agriculture,2022,23(5):1856-1907.

[7] GAO R,ZHOU Q,CAO S,et al.An algorithm for calculating apple picking direction based on 3D vision[J].Agriculture,2022,12(8):1170.

[8] LI Y,FENG Q,LI T,et al.Advance of target visual information acquisition technology for fresh fruit robotic harvesting:a review[J].Agronomy,2022,12(6):1336.

[9] CHEN M,TANG Y,ZOU X,et al.Three-dimensional perception of orchard banana central stock enhanced by adaptive multi-vision technology[J].Computers and Electronics in Agriculture,2020,174:105508.

[10] 朱启兵,张梦,刘振方,等.基于点云配准的盆栽金桔果实识别与计数方法[J].农业机械学报,2022,53(5):209-216.

ZHU Qibing,ZHANG Meng,LIU Zhenfang,et al.Identification and counting method of potted kumquat fruits based on point cloud registration[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(5):209-216.(in Chinese)

[11] 李哲,宋青峰,朱新广,等.基于机器视觉的玉米三维表型参数提取算法[J].上海农业学报,2022,38(6):1-8.

LI Zhe,SONG Qingfeng,ZHU Xinguang,et al.Extracting algorithm of maize three-dimensional phenotypic parameters algorithm base on machine vision[J].Acta Agriculturae Shanghai,2022,38(6):1-8.(in Chinese)

[12] BIGLIA A,ZAMAN S,GAY P,et al.3D point cloud density-based segmentation for vine rows detection and localisation[J].Computers and Electronics in Agriculture,2022,199:107166.

[13] YANG Y,ZHANG J,WU K,et al.3D point cloud on semantic information for wheat reconstruction[J].Agriculture,2021,11(5):450.

[14] 彭程,李帅,苗艳龙,等.基于三维点云的番茄植株茎叶分割与表型特征提取[J].农业工程学报,2022,38(9):187-194.

PENG Cheng,LI Shuai,MIAO Yanlong,et al.Stem-leaf segmentation and phenotypic trait extraction of tomatoes using three-dimensional point cloud[J].Transactions of the CSAE,2022,38(9):187-194.(in Chinese)

[15] 刘刚,尹一涵,郑智源,等.基于三维点云的群体樱桃树冠层去噪和配准方法[J].农业机械学报,2022,53(增刊1):188-196.

LIU Gang,YIN Yihan,ZHENG Zhiyuan,et al.Denoising and registration method of group cherry trees canopy based on 3D point cloud[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(Supp.1):188-196.(in Chinese)

[16] ZHOU S,KANG F,LI W,et al.Point cloud registration for agriculture and forestry crops based on calibration balls using Kinect V2[J].International Journal of Agricultural and Biological Engineering,2020,13(1):198-205.

[17] HU Hao,YU Jincheng,YIN Ling,et al.An improved PointNet++ point cloud segmentation model applied to automatic measurement method of pig body size[J].Computers and Electronics in Agriculture,2023,205:107560.

[18] YANG S,ZHENG L,GAO W,et al.An efficient processing approach for colored point cloud-based high-throughput seedling phenotyping[J].Remote Sensing,2020,12(10):1540.

[19] 徐胜勇,卢昆,潘礼礼,等.基于RGB-D相机的油菜分枝三维重构与角果识别定位[J].农业机械学报,2019,50(2):21-27.

XU Shengyong,LU Kun,PAN Lili,et al.3D reconstruction of rape branch and pod recognition based on RGB-D camera[J].Transactions of the Chinese Society for Agricultural Machinery,2019,50(2):21-27.(in Chinese)

[20] 刘振,杨玮,李民赞,等.基于Kinect相机的土壤表面三维点云配准方法[J].农业机械学报,2019,50(增刊):144-149.

LIU Zhen,YANG Wei,LI Minzan,et al.Three-dimensional point cloud registration method for soil surface based on Kinect camera[J].Transactions of the Chinese Society for Agricultural Machinery,2019,50(Supp.):144-149.(in Chinese)

[21] 陈海波,刘圣搏,王乐乐,等.基于Kinect V3的单株作物自动化三维重建与验证[J].农业工程学报,2022,38(16):215-223.

CHEN Haibo,LIU Shengbo,WANG Lele,et al.Automatic 3D reconstruction and verification of an individual crop using Kinect V3[J].Transactions of the CSAE,2022,38(16):215-223.(in Chinese)

[22] 郑立华,王露寒,王敏娟,等.基于Kinect相机的油麦菜自动化三维点云重建[J].农业机械学报,2021,52(7):159-168.

ZHENG Lihua,WANG Luhan,WANG Minjuan,et al.Automated 3D reconstruction of leaf lettuce based on Kinect camera[J].Transactions of the Chinese Society for Agricultural Machinery,2021,52(7):159-168.(in Chinese)

[23] 陆健强,兰玉彬,毋志云,等.植物三维建模ICP点云配准优化[J].农业工程学报,2022,38(2):183-191.

LU Jianqiang,LAN Yubin,WU Zhiyun,et al.Optimization of ICP point cloud registration in plants 3D modeling[J].Transactions of the CSAE,2022,38(2):183-191.(in Chinese)

[24] ZHANG Z.Flexible camera calibration by viewing a plane from unknown orientations[C]∥Proceedings of the Seventh IEEE International Conference on Computer Vision.IEEE,1999:666-673.

[25] OLSON E.AprilTag:a robust and flexible visual fiducial system[C]∥2011 IEEE International Conference on Robotics and Automation.IEEE,2011:3400-3407.

[26] WANG J,OLSON E.AprilTag 2:efficient and robust fiducial detection[C]∥2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).IEEE,2016:4193-4198.

[27] KROGIUS M,HAGGENMILLER A,OLSON E.Flexible layouts for fiducial tags[C]∥2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).IEEE,2019:1898-1903.