自然环境下柑橘采摘机器人避障规划研究

鲍秀兰1,2 包有刚1 马萧杰1 马志涛1 任梦涛1 李善军1,2

(1.华中农业大学工学院, 武汉 430070; 2.农业农村部长江中下游农业装备重点实验室, 武汉 430070)

摘要:针对柑橘枝-叶-果丛生密布、位姿随机生长情况,为了实现对内生交错和枝果层叠的果实安全交互采摘,本文提出了一种柑橘避障采摘方法。为了提高定位精度和采摘效率,将手眼标定问题转换为求解T1X=XT2的问题,完成了相机坐标系到机械臂基坐标系的标定;针对自然环境下柑橘开心树形进行了基于点云密度的树木骨架提取,并通过点密度阈值法对枝干点云进行降噪处理,提高运算速度;利用八叉树地图法进行枝干障碍物地图搭建,通过层次包围盒法拟合机械臂并进行碰撞检测,以时间最优为目标,提出一种符合采摘农艺需求的改进RRT-connect避障规划算法,在RRT-connect算法上引入目标偏置,对采样点进行优选导向。为验证该避障方法的可行性,以标准矮化密植栽培柑橘果园为研究对象,搭建了采摘机器人避障系统。针对自然环境下果树内部和贴近树干生长柑橘果实分别进行多组避障采摘试验。试验结果表明,针对贴近树干生长果实的避障运动时间为9.5 s,避障采摘成功率为91%;针对果树内部生长的果实避障运动时间为10.5 s,避障采摘成功率为88%。

关键词:柑橘; 采摘机器人; 自然环境; 避障规划

0 引言

随着农村劳动力日益短缺,劳动力成本急剧上升,发展和应用果园采收机器人,实现水果采摘机械化、自动化、智能化,优化作业效率,对于解决水果产业劳动力不足、生产成本高、生产效率低等问题有重要意义[1],是农业机器人走向应用的关键[2]。果园作业自然地理环境复杂多变、果树非平面特征明显及果实内生交错和枝果层叠,研究连续动态作业采摘机器人与果树、果实安全交互是亟待解决的关键问题,其大致可分为树木骨架提取、机械臂与枝干间的碰撞检测以及机械臂无碰撞路径规划3个方面。

对树木骨架提取研究多基于固定树枝且叶片较少的情况[3-7],对于复杂多变形态的柑橘果树适应性不强。

碰撞检测是机械臂实现避障的前提和安全物理交互的基础。碰撞检测技术主要基于有无传感器两大类,通过在机械臂末端或环境中安装视觉传感器来获取障碍物信息,计算障碍物与机械臂之间的相对位置关系是基于传感器避障方法的一种[8],通常采用虚拟三维模型和深度相机的图像[9],机器学习与双目视觉结合[10]等进行碰撞检测,该方法可实现碰撞发生前主动避障,但受传感器精度、光照等因素制约。根据碰撞力采取不同安全措施,避免单一反应策略主要基于力矩传感器,通常采用惠斯通全桥信号[11]、神经网络[12]等进行碰撞检测,但力矩传感器布线复杂,成本和控制难度高。基于电子皮肤柔性传感器[13]的碰撞检测逐渐成为研究热点,灵敏度高但制备技术尚不成熟,难以覆盖机械臂表面。针对无传感器碰撞检测,建立机械臂及其工作环境的几何模型,利用物理模型预测机械臂的运动轨迹,结合环境信息进行碰撞检测是基于模型方法的一种,通常采用层次包围盒法[14]和八叉树地图法[15]进行碰撞检测,提高碰撞检测效率,但高度依赖于动态机器人模型质量。通过设定干扰转矩信号的阈值电平,来判断是否发生碰撞,实现机械臂对碰撞的快速准确响应是基于观测器的碰撞检测方法的一种,通常采用基于神经网络的改进非线性扰动观测器[16]、动量观测器[17]等来进行碰撞检测,具有良好的实时性和可靠性,但对复杂非结构化农业环境的鲁棒性不强。

为避免机械臂作业过程与树干的碰撞降低作业成功率与安全性,研究机械臂避障规划方法是实现安全高效采摘的重要途径。常见的避障规划算法有遗传算法[18-19]、人工势场法[20-21]、蚁群算法[22]、A*算法[23]、Dijkstra算法[24-25]、群优化算法[26]、RRT算法[27]、深度学习[28-29]等。其中人工势场法在全局路径规划上很有效,但存在局部最小值,蚁群和遗传算法运算量大且耗时长,A*与Dijkstra算法需要较大空间存储环境信息,不太适用于复杂动态农业环境中的多自由度机械臂作业。而RRT算法具有搜索速度快、探索能力强、概率完备等优点,且其易与其他算法融合,适用于复杂约束和农业动态场景下运动规划问题。文献[30-33]利用改进RRT*与人工势场相结合,缩短路径长度,优化搜索效率,但势场构建会导致局部最优。上述研究极大推动了机械臂自主作业进程,但对非结构化动态农业场景的适应性有限。

为解决自然环境下柑橘果树枝-叶-果丛生交错、位姿随机、相互遮挡导致的安全交互采摘难的问题,本文利用点云属性提取树木骨架,建立机械臂与树木骨架的碰撞检测模型,提出一种与标准矮化密植栽培果树结合且符合采摘农艺需求的改进RRT-connect避障算法,在原有算法基础上引入目标偏置向量,对采样点进行位置优选导向,以提高算法迭代效率和对动态采摘环境的鲁棒性。

1 树木骨架提取与手眼标定

1.1 基于树干点云密度和法向量的骨架提取

密集排列分支和茎枝连接不同会阻碍机械臂运动路径,甚至损坏机械臂。为了更直观地感知工作环境并指导机械臂,针对自然环境下开心树形,通过RealsenseD435i双目相机提取柑橘树干点云模型。采用基于点云密度方法重建果树枝干三维点云,具体流程如图1所示。

图1 基于点云属性的骨架提取流程图

Fig.1 Skeleton extraction based on point cloud attributes

点云密度求解是点云特征提取的关键环节,表示单位体积内点数量,即

ρs=N(s)/V(s)

(1)

式中 N(s)——含有总点数

V(s)——点云总体积

原始果树点云图如图2a所示,带叶果树点云存在局部和全局特征,点云密度满足近似椭球分层分布,设置合理参数可使点云简化。对于枝叶点云,取叶片宽度1/4,枝干直径1/4,建立椭球体包围盒边长r

r=(x2/a2+y2/b2+z2/c2)(w/4-k/4)+k/4

(2)

图2 枝干点云图

Fig.2 Branch point cloud pictures

式中 xyz——相机获取点云数据三维坐标

w——叶宽

k——主干直径

ac——点云在XOZ平面XZ的最大值

b——点云在YOZ平面Y的最大值

点云密度计算式为

ρ(s,r)=r3N(s)/V(s)

(3)

对密度求解后,再利用局部最小二乘法进行平面拟合来估计各测点法向量,对于一个平面其中心点c1坐标为

(4)

式中 k1——简化后树木点云数量

周围点云三维质心坐标

查找一个超平面,使通过点c1的法向量n满足周围点的向量(pi-c1)T在法向量n上的投影之和最小,即

法向量n通过分析点集合pk的协方差矩阵CR3×3的特征值和特征向量得到,对于指定区域的点集合pk,其协方差矩阵为

(5)

Cvj=λjvj (j∈(0,1,2))

(6)

式中 λj——协方差矩阵第j个特征值

vj——协方差矩阵第j个特征向量

通过计算向量vjXOY平面的夹角,实现树干点云在XOY平面的正投影,从而得到提取的枝干点云图如图2b所示。

1.2 枝干点云预处理

受制于硬件本身误差以及外界干扰,如风力扰动影响、叶片遮挡枝条点云缺失、果树表面粗糙度影响反射率,点云数据存在大量噪声,导致机械臂可规划空间狭窄,故需对生成的枝干点云图进行预处理。

通过设定点的密度阈值,将密度高于阈值的点作为树木骨架保留,建立阈值Lρ(s,r)的函数关系式

L=αρ(s,r) (0.5≤α≤1)

(7)

式中 α——调节系数,用于控制密度阈值与点云平均密度之间的关系

根据柑橘果树生长特性,主干较粗,上部枝干细,故采用变阈值方法提取树木骨架,计算当前点与底部点之差来确定其高度,随高度设定动态阈值为

(8)

式中 h——当前点与底部高度差

根据阈值,采用半径范围临近点数量进行滤波,满足该条件的点保留,反之舍弃。初始点云图有229 264个点云数据,经处理后有164 078个点云,有效降低后续构建障碍物地图运算量,滤波后点云图如图3所示。

图3 预处理后树木骨架点云图

Fig.3 Cloud image of tree skeleton points after pretreatment

1.3 手眼标定

为使采摘机器人动作和动作参数与农艺要求相符,提高采摘效率和精度,且能够更好地适应不同自然环境下的果园,如不同的果实高度、果实大小、果实位置,减少因误差导致的果实掉落或损伤,高精度手眼标定能有效提高其采摘稳定性。在手眼标定前,需先完成从像素坐标系{Q}到相机坐标系{C}的转换,因为深度相机输出的是物体像素点(u,v)及深度信息z,需先从像素{Q}到图像{V},即

(9)

式中 dx、dy——每个像素在xy方向上长度

然后由图像{V}坐标系转换到相机坐标系{C},即

(10)

式中 f——相机焦距

Zc——像素点对应的深度

对于手眼矩阵,其基本原理为求解AX=XB的齐次方程,根据约束关系来进行求解,原理如图4所示。

图4 手眼标定原理

Fig.4 Principle of hand-eye calibration

如图4所示,标定板中有点P0,任意移动机械臂,其在机械臂基坐标系{B}和标定板{S}中的坐标值不变,由转换矩阵T2能将该点转换到{C},再由X2将该点转换到{A},最后通得到{B}下点P2,即

(11)

任意移动一次机械臂,可得到

(12)

T2为第2次测量得到的已知参数,变换式(11)、(12)可得

(13)

进一步展开式(13)可得

(14)

因四元数矩阵和旋转矩阵是三维空间表示同一旋转的不同表现形式,但四元数在计算上更高效,避免了旋转矩阵可能出现的万向锁问题,将式(14)中旋转矩阵R由计算更高效的四元数矩阵H表示。

经过17组位姿变换,将所得数据代入式(14)可得{C}相对{A}的平移向和四元数矩

(15)

在右手坐标系转换,解得最终手眼关系X2的旋转矩

(16)

完成手眼标定后即可得到{C}到{A}的转换关系。

2 碰撞检测与避障策略

2.1 柑橘果树与机械臂碰撞检测

2.1.1 基于八叉树地图的树干碰撞检测

为提高采摘机械臂与果树的安全交互,减少采摘过程中的碰撞行为,建立树干碰撞检测模型。采用空间分割法中的八叉树地图从根节点开始分层次地递归划分,利用等体积单元格法将空间分割为8个单元格,存在点云的空间单元格继续八等分分割,直到达到所需的分辨率,最后实现对点云骨架中所有点云的包络,建立完整障碍物地图。

在八叉树映射中,每个节点占用率为P(n),观察树的最低层节点是否被占用,当节点出现占用情况,从树的底部构造障碍物地图,其情况会随时间而变化,从开始到当前时刻z1:t子节点n概率为

P(n|z1:t)=

(17)

为更好描述子节点概率,使用节点占用率的对数概率L(n),计算式为

(18)

节点遍历更新方程为

L(n|z1:t)=L(n|z1:t-1)+L(n|zt)

(19)

式中 L(n|z1:t)——节点新的对数概率占用率

L(n|z1:t-1)——节点前概率

L(n|zt)——根据传感器模型获得的当前测量值节点占用概率

使用一种逼近方法来减少映射内存需求,在树结构最低细分处构建地图,并且随着传感器观测值被纳入地图,节点n对数占位率分别被限制在上限lmax和下限lmin内,即

lminL(n)≤lmax

(20)

其节点更新公式为

L(n|z1:t)=
max(min(L(n|z1:t-1)+L(n|zt),lmax),lmin)

(21)

逼近方法允许通过修订或从八叉树地图中删除节点来压缩映射,当1个节点的占用率达到lminlmax则稳定,当达到所设分辨率对应的最大递归深度时,停止分层形成八叉树地图。该方法在保持地图稳定性的同时允许障碍物地图能更快适应非结构化环境,明显改善点云图局部重影的缺点,且存储空间小。采用边长2 cm的均等立方体生成树木骨架障碍物地图,如图5所示。

图5 八叉树障碍物地图生成

Fig.5 Octree obstacle map generation

2.1.2 基于层次包围盒的机械臂碰撞检测模型

在碰撞检测时,由于机械臂包含多个连杆,每个连杆都需要与障碍物之间进行计算导致计算量大,为降低计算难度,采用层次包围盒法拟合机械臂连杆。圆柱体包围盒的紧密性好,故先用一个半径为4.5 cm,高为25 cm的圆柱体包围盒对机械臂末端执行器进行拟合。

通过优化包围盒尺寸和位置,对动态运动机械臂状态进行更新,与八叉树障碍物地图结合,将不规则物体间的相交计算转换为规则几何体之间的相交计算问题,故物体间碰撞检测转换为层次树的遍历过程,层次包围盒遍历树如图6所示。

图6 层次包围盒遍历树

Fig.6 Hierarchy surrounded box tree

每次运动都要对层次树的每个节点进行更新操作,首先是最上面根节点进行相交测试,若不相交则无碰撞,递归到该节点两个子节点,再继续依次递归遍历所有子节点。生成的机械臂动态碰撞检测模型如图7所示。

图7 机械臂与枝干的碰撞检测模型

Fig.7 Collision detection model between robotic arm and branch

2.2 基于改进RRT-connect算法的避障规划

2.2.1 与农艺采摘结合的RRT-connect算法

针对矮化密植栽培果树及其采摘农艺需求,将RRT-connect算法融入已经建立好的碰撞检测模型中作为机械臂避障规划算法。该算法主要包含两个思路:双向搜索思路和贪婪搜索思路。设机器人完整构型空间为K,其中存在障碍物区域Kobs和无障碍物区域Kfree=K-Kobs,qinit为识别根节点即在果园环境中相机识别点的集合,qgoal为采摘根节点即在果园环境中果实采摘点的集合,RRT-connect算法分别从识别根节点qinit和采摘根节点qgoal出发,找到一条连接两棵随机树的路径,其只通过无障碍物区域Kfree。其算法避障轨迹路径如图8所示。

图8 RRT-connect算法规划采摘路径

Fig.8 RRT-connect algorithm planned picking path

2.2.2 引入目标偏置的RRT-connect算法

在农业采摘场景中,果实和枝干等障碍物密集分布、堆叠错落,机械臂需要在此复杂空间中规划出连续平滑路径的同时避开障碍物。因此,以规划时间最优为目标,提出了一种与采摘农艺结合的改进RRT-connect算法。该算法是在原有算法的基础上引入优选目标偏置向量vbias,在每次节点扩展时,增加目标点到新节点方向的影响力,使得搜索过程更倾向于目标点。具体规划方法为:以初始识别节点qinit和目标采摘节点qgoal为根节点生成随机树G1G2,随机树的拓展步长设定为δ,在机器人完整构型空间中随机选取点qrand,该点满足机械臂的运动约束且在无障碍物区域中。为引入目标偏置,计算向量vbias,该向量指向目标点qgoal

vbias=α(qgoal-qrand)+(1-α)(qnearst-qrand)

(22)

式中 α——介于0到1之间的常数,用于控制目标偏置程度

qnearst——随机树生成距离最近的点

α接近于1时,采样点更倾向于接近目标点;当α接近于0,采样点更随机。将vbiasqrand结合,生成一个新的节点qnearst,新生成的随机树G1上的节点qnearst向点qrand的方向进行拓展,增加目标偏置后,使其采样点生长的同时向目标点生长,改进后生成新节点为

(23)

式中 λ——节点qnearst向节点qrand的拓展距离

μ——缩放调节系数

从节点qnearst到节点qnew的过程中,若与空间障碍物发生碰撞则舍弃该点,重新选取新的点qrand,反之则将节点qnew作为随机树G1的新节点。同理,另一随机树G2G1扩展方法一致。当随机树G1的新节点qnew与随机树G2相同连接时,即可得到一条从初始识别节点qinit到达目标采摘节点qgoal的安全避障路径。该改进避障算法轨迹路径如图9所示。

图9 基于改进RRT-connect算法规划采摘路径

Fig.9 Picking path planned based on improved RRT-connect algorithm

改进RRT-connect算法进行机械臂避障规划的伪代码为:

Advanced RRT-Connect (qinit,qgoal)

V1←{qinit};E1φ;G1←(V1,E1);

V2←{qgoal};E2φ;G2←(V2,E2);i←0;

while i<N do

qrand←RandomSample(i);

ii+1; qnearst←Nearst(G1,qrand);

qnew←Steer(qnearst,qrand,vbias);

if NoObstacle(qnearst,qnew) then

V1V1∪{qnew};E1E1∪{(qnearst,qnew)};

qnearst←Nearst(G2,qnew);

qnew←Steer(qnearst,vbias);

if NoObstacle(qnearst,qnew) then

V2V2∪{qnew}; E2E2∪{qnearst,qnew}; do

qnew←Steer(qnew,qnew,vbias);

if NoObstacle(qnew,qnew) then

V2V2∪{qnew}; E2E2∪{(qnew,qnew)};

qnewqnew;

else break;

while not qnew=qnew

if qnew=qnew

then return (V1,E1);

if |V2|<|V1|

then Swap(V1,V2);

3 采摘试验

3.1 采摘系统与试验方案设计

为了验证柑橘采摘避障规划算法可行性和有效性,搭建了一套柑橘采摘机器人系统,该系统由履带式移动底盘、深度相机、剪切夹持一体化末端执行器、调整机械臂工作空间的升降系统组成,如图10所示。

图10 采摘机器人系统

Fig.10 Picking robot system

采摘试验过程中分别记录每组平均采摘时间、平均避障运动时间、路径规划成功率、末端抓取成功率和避障采摘成功率。

试验记录路径规划成功率定义为采摘试验中规划出避障路径的成功数占总数百分比,避障采摘成功率定义为在已经生成避障路径后机械臂避障到达目标采摘点的成功柑橘数占比,末端抓取成功率定义为到达目标采摘点后末端执行器准确抓取到的果实数占到达采摘点的果实数百分比。

具体采摘流程步骤为:①利用深度相机识别果树并建模。②果树树干提取,构建障碍物环境地图。③机械臂模型进行包络,并与障碍物地图进行碰撞检测。④结合改进的RRT-connect算法规划出安全无碰撞的避障采摘路径。⑤进行果实避障采摘作业并将果实放置到果实放置点。

3.2 自然环境下柑橘采摘试验

为验证该避障规划算法在非结构化复杂动态农业环境中的可行性,随机取10棵不同柑橘果树,分别取该树10个柑橘果实为采摘目标。

针对自然环境下果树内部和贴近树干生长的柑橘果实分别进行了多组避障采摘试验,首先对于贴近树干果实,构建完整果实生长环境障碍物地图,机械臂基于定位的果实采摘点,规划从识别点到采摘点的安全无碰撞路径,完成采摘作业后返回初始点。图11为贴近树干果实采摘完整流程。

图11 贴近树干果实采摘试验

Fig.11 Fruit picking test close to trunk

完成1次避障规划时间为1.2 s,初始识别点到目标采摘点运行时间为4.5 s,末端执行器采摘时间为5.1 s,到达果实放置点用时5.8 s,机械臂避障返回初始识别点运动用时4.5 s,总采摘时间为21.1 s。试验结果如表1所示。

表1 贴近树干果实采摘试验结果

Tab.1 Close to trunk fruit picking test results

序号 路径规划 成功率/ % 避障采摘 成功率/ % 末端抓取 成功率/ % 平均避障 运动时间/ (s·个 - 1 ) 平均采摘 时间/ (s·个 - 1 ) 1 80 90 100 9. 5 21. 5 2 100 100 80 9. 8 19. 5 3 100 100 100 9. 0 21. 0 4 90 80 80 10. 5 19. 8 5 80 90 90 8. 5 21. 8 6 100 100 100 9. 0 23. 0 7 90 90 100 10. 0 22. 0 8 80 80 70 9. 5 21. 5 9 100 100 100 10. 3 20. 0 10 80 80 80 9. 0 21. 5 平均值 90 91 90 9. 5 21. 1

由表1可知,对贴近树干果实进行避障规划作业成功率为90%,少部分规划失败原因为对过于贴近树干的团簇柑橘果实无法规划有效避障路径;避障采摘运动成功率为91%。采摘失败原因:①外界环境的干扰导致树枝摇晃。②贴近树干的团簇果实给予末端执行器可工作角度较少,容易采摘失败。

对于内部生长的柑橘果实,同样以10棵果实内部生长果树为采摘对象,设置10组试验,每棵树进行10个内部果实采摘试验,如图12所示。

图12 内部生长果实采摘试验

Fig.12 Internal growth fruit picking tests

完成一次避障规划时间为1.3 s,初始识别点到达采摘点运行时间为5.5 s,末端执行器采摘时间为5.4 s,到达果实放置点时间为4 s,避障回到初始识别点用时为4.5 s,总采摘流程用时为20.7 s。试验结果如表2所示。

表2 果树内部果实采摘试验结果

Tab.2 Internal fruit picking test results

序号 路径规划 成功率/ % 避障采摘 成功率/ % 末端抓取 成功率/ % 平均避障 运动时间/ (s·个 - 1 ) 平均采摘 时间/ (s·个 - 1 ) 1 100 90 80 10. 5 20. 0 2 90 90 100 10. 9 21. 5 3 90 90 70 10. 0 22. 0 4 100 90 100 10. 5 19. 0 5 90 80 100 9. 8 21. 5 6 100 100 100 11. 0 20. 5 7 90 90 90 10. 5 22. 0 8 100 100 70 10. 0 19. 2 9 90 80 90 10. 9 19. 5 10 80 70 80 10. 5 22. 5 平均值 93 88 88 10. 5 20. 7

对于果树内部果实进行避障规划成功率为93%,可以满足自然环境下柑橘自动采摘任务。失败原因:①部分果实生长位置被树枝树干障碍物包围。②由于机械臂工作空间有限,对部分太靠近内部果实难以规划出可行路径;避障采摘成功率为88%。失败原因:①当风速较大时,果实会发生晃动,末端软体夹爪到达预定目标采摘点时果实发生偏移。②由于光照、相机本身的随机误差等因素,导致果实定位存在一定偏差。

3.3 试验结果讨论

通过试验发现贴近树干生长的果实较果树内部生长果实更易采摘,其原因是对贴近树干果实进行采摘时,不受机械臂工作空间影响,可达性好,容易规划出可行的避障采摘路径,且受树叶遮挡的影响较小,只需调整好末端执行器倾斜采摘角度。而内部生长果实更难采摘,原因是受限于机械臂工作空间,对冠层内部可达性有一定限制,枝叶遮挡阻碍采摘机器人的视觉系统,导致对果树骨架提取存在偏差进而影响采摘成功率,故贴近树干果实路径规划效果更好。所提出的算法能够满足对于内部生长果实和贴近树干果实的安全交互,且有较好的环境适应性。

4 结论

(1)通过视觉系统获取自然生长果树点云信息,经过点云预处理、点云法线计算、点云密度求解获取树木骨架点云模型。

(2)为提供更高精度的果实位姿信息,对机器人系统进行高精度的手眼标定,实现从像素坐标系到机械臂基坐标系的转换。

(3)基于识别获取的树木骨架点云图,通过八叉树地图法构建精准障碍物地图,与层次包围盒法建立的机械臂包络模型实现机械臂与障碍物环境的碰撞检测。

(4)提出了一种与自然环境下矮化密植栽培果树采摘农艺相符的改进RRT-connect算法,该算法在原有算法基础上引入目标偏置向量,可以更快地规划出采摘的安全无碰撞路径。

(5)为验证算法可行性,搭建了一套柑橘采摘机器人系统,针对贴近树干和果树内部生长的柑橘果实设计了多组采摘试验,结果表明改进RRT-connect算法避障采摘成功率可达到91%、88%;避障规划运动时间分别为9.5、10.5 s。

参考文献

[1] 赵春江,范贝贝,李瑾,等.农业机器人技术进展、挑战与趋势[J].智慧农业(中英文),2023,5(4):1-15.
ZHAO Chunjiang, FAN Beibei, LI Jin, et al.Agricultural robots:technology progress, challenges and trends[J].Smart Agriculture, 2023, 5(4): 1-15.(in Chinese)

[2] 刘继展,江应星.农业采摘机器人产业化进程分析与多臂高速化技术走向[J].农业机械学报,2024,55(10):1-17.
LIU Jizhan, JIANG Yingxing.Industrialization trends and multi-arm technology direction of harvesting robots[J].Transactions of the Chinese Society for Agricultural Machinery,2024,55(10):1-17.(in Chinese)

[3] ZHOU J L, LIU J, ZHANG M.Curve skeleton extraction via k-nearest-neighbors based contraction[J].International Journal of Applied Mathematics and Computer Science, 2020, 30(1):123-132.

[4] 李政凯,于嘉辉,潘时佳,等.冬季猕猴桃树单木骨架提取与冠层生长预测方法[J].智慧农业(中英文),2023,5(4):92-104.
LI Zhengkai, YU Jiahui, PAN Shijia, et al.Individual tree skeleton extraction and crown prediction method of winter kiwifruit trees[J].Smart Agriculture,2023, 5(4): 92-104.(in Chinese)

[5] FU L X, LIU J, ZHOU J L, et al.Tree skeletonization for raw point cloud exploiting cylindrical shape prior[J].IEEE Access, 2020, 8: 27327-27341.

[6] LIN G C, TANG Y C, ZOU X J, et al.Three-dimensional reconstruction of guava fruits and branches using instance segmentation and geometry analysis[J].Computers and Electronics in Agriculture, 2021, 184: 106.

[7] 倪纪鹏,朱立成,董力中,等.基于SwinS-YOLACT的番茄采摘机器人实时实例分割算法研究[J].农业机械学报,2024,55(10):18-30.
NI Jipeng, ZHU Licheng, DONG Lizhong, et al.Real-time instance segmentation algorithm for tomato picking robot based on SwinS-YOLACT[J].Transactions of the Chinese Society for Agricultural Machinery,2024,55(10):18-30.(in Chinese)

[8] ALI M H, AIZAT K, YERKHAN K, et al.Vision-based robot manipulator for industrial applications[J].Procedia Computer Science, 2018, 133:205-212.

[9] MOHAMMED A, SCHMIDT B, WANG L.Active collision avoidance for human-robot collaboration driven by vision sensors[J].International Journal of Computer Integrated Manufacturing, 2017, 30(9): 970-980.

[10] 季旭全,王君臣,赵江地,等.基于机器人与视觉引导的星载设备智能装配方法[J].机械工程学报,2018,54(23):63-72.
JI Xuquan, WANG Junchen, ZHAO Jiangdi, et al.Intelligent robotic assembly method of spaceborne equipment based on visual guidance[J].Journal of Mechanical Engineering, 2018, 54(23): 63-72.(in Chinese)

[11] LOU Y, WEI J, SONG S.Design and optimization of a joint torque sensor for robot collision detection[J].IEEE Sensors Journal, 2019, 19(16): 6618-6627.

[12] CHO C N, HONG J T, KIM H J.Neural network based adaptive actuator fault detection algorithm for robot manipulators[J].Journal of Intelligent &Robotic Systems, 2019, 95: 137-147.

[13] HUGHES D,LAMMIE J,CORRELL N.A robotic skin for collision avoidance and affective touch recognition[J].IEEE Robotics and Automation Letters,2018,3(3):970-980.

[14] GAN B Q, DONG Q P.An improved optimal algorithm for collision detection of hybrid hierarchical bounding box[J].Evolutionary Intelligence, 2022, 15(4): 2515-2527.

[15] YU X M, WANG H Q, LV H W, et al.An optimization technique of the 3D indoor map data based on an improved octree structure[J].Mathematical Problems in Engineering, 2020, 2020: 1-13.

[16] XU T, FAN J Z, FANG Q Q, et al.A new robot collision detection method: a modified nonlinear disturbance observer based-on neural networks[J].Journal of Intelligent &Fuzzy Systems, 2020, 38(1): 175-186.

[17] HAN L, XU W F, LI B, et al.Collision detection and coordinated compliance control for a dual-arm robot without force/torque sensing based on momentum observer[J].IEEE/ASME Transactions on Mechatronics, 2019, 24(5): 2261-2272.

[18] NAZARAHARI M, KHANMIZRA E, DOOSTIE S.Multi-objective multi-robot path planning in continuous environment using an enhanced genetic algorithm[J].Expert Systems with Applications, 2019, 115: 106-120.

[19] 李翠明,任柯州,龚俊.基于改进遗传算法的清洁移动机械臂运动学逆解[J].太阳能学报,2022,43(7):180-185.
LI Cuiming, REN Kezhou, GONG Jun.Inverse kinematics solution of cleaning mobile manipulator based on improved genetic algorithm[J].Acta Energiae Solaris Sinica, 2022, 43(7): 180-185.(in Chinese)

[20] WANG W R, ZHU M C, WANG X M, et al.An improved artificial potential field method of trajectory planning and obstacle avoidance for redundant manipulators[J].International Journal of Advanced Robotic Systems, 2018, 15(5): 1-13.

[21] 曹博,毕树生,郑晶翔,等.改进人工势场法的冗余机械臂避障算法[J].哈尔滨工业大学学报,2019,51(7):184-191.
CAO Bo, BI Shusheng, ZHENG Jingxiang, et al.Obstacle avoidance algorithm for redundant manipulator of improved artificial potential field method[J].Journal of Harbin Institute of Technology,2019,51(7):184-191.(in Chinese)

[22] LUO Q, WANG H, ZHENG Y, et al.Research on path planning of mobile robot based on improved ant colony algorithm[J].Neural Computing and Applications, 2020, 32(6): 1555-1566.

[23] CHEN L, SUN H.Picking path optimization of mobile robotic arm based on differential evolution and improved A* algorithm[J].IEEE Access, 2021, 9: 154413-154422.

[24] 巩慧,倪翠,王朋,等.基于Dijkstra算法的平滑路径规划方法[J].北京航空航天大学学报,2024,50(2):535-541.
GONG Hui, NI Cui, WANG Peng, et al.A smooth path planning method based on Dijkstra algorithm[J].Journal of Beijing University of Aeronautics and Astronautics, 2024,50(2):535-541.(in Chinese)

[25] AKRAM M, HABIB A, ALCANTUD J C R.An optimization study based on Dijkstra algorithm for a network with trapezoidal picture fuzzy numbers[J].Neural Computing and Applications, 2021, 33(4): 1329-1342.

[26] CUI Y Y, MENG X, QIAO J F.A multi-objective particle swarm optimization algorithm based on two-archive mechanism[J].Applied Soft Computing, 2022, 119: 108532.

[27] WANG J, LI B, MENG Q H.Kinematic constrained bi-directional RRT with efficient branch pruning for robot path planning[J].Expert Systems with Applications, 2020, 170:114541-114547.

[28] 王寅,王永华,尹泽中,等.基于深度强化学习与旋量法的机械臂路径规划[J].控制理论与应用,2023,40(3):516-524.
WANG Yin, WANG Yonghua, YIN Zezhong, et al.Planning of manipulator based on deep reinforcement learning and screw method[J].Control Theory and Technology,2023,40(3):516-524.(in Chinese)

[29] 熊俊涛,李中行,陈淑绵,等.基于深度强化学习的虚拟机器人采摘路径避障规划[J].农业机械学报,2020,51(增刊2):1-10.
XIONG Juntao, LI Zhonghang, CHEN Shumian, et al.Obstacle avoidance planning of virtual robot picking path based on deep reinforcement learning[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(Supp.2):1-10.(in Chinese)

[30] 陈丹,谭钦,徐哲壮.基于采样点优化RRT算法的机械臂路径规划[J].控制与决策,2024,39(8):2597-2604.
CHEN Dan, TAN Qin, XU Zhezhuang.Robotic arm path planning based on sampling point optimization RRT algorithm[J].Journal of Control and Decision, 2024,39(8):2597-2604.(in Chinese)

[31] WANG X Y, LI X J, GUAN Y, et al.Bidirectional potential guided RRT* for motion planning[J].IEEE Access, 2019, 7: 95046-95057.

[32] 辛鹏,王艳辉,刘晓立,等.优化改进RRT和人工势场法的路径规划算法[J].计算机集成制造系统,2023,29(9):2899-2907.
XIN Peng, WANG Yanhui, LIU Xiaoli, et al.Path planning algorithm based on optimize and improve RRT and artificial potential field[J].Computer Integrated Manufacturing Systems, 2023,29(9):2899-2907.(in Chinese)

[33] 李娜,高笑,杨磊,等.基于改进算法融合与切换的采摘机械臂路径动态规划[J].农业机械学报,2024,55(11):221-230,272.
LI Na, GAO Xiao, YANG Lei, et al.Dynamic path planning for picking robot arm based on improved algorithm fusion and switching[J].Transactions of the Chinese Society for Agricultural Machinery,2024,55(11):221-230,272.(in Chinese)

Obstacle Avoidance Planning of Citrus Picking Robot in Natural Environment

BAO Xiulan1,2 BAO Yougang1 MA Xiaojie1 MA Zhitao1 REN Mengtao1 LI Shanjun1,2

(1.College of Engineering, Huazhong Agricultural University, Wuhan 430070, China 2.Key Laboratory of Agricultural Equipment in Mid-lower Yangtze River, Ministry of Agriculture and Rural Affairs, Wuhan 430070, China)

Abstract:In response to the dense and randomly positioned growth of citrus branches, leaves, and fruits, to achieve safe interactive picking of interlaced and overlapping branches and fruits, a citrus obstacle avoidance picking method was proposed.To enhance the positioning accuracy and picking efficiency, the hand-eye calibration problem was transformed into solving the equation T1X=XT2, completing the calibration from the camera coordinate system to the base coordinate system of the robotic arm.For the citrus open-center tree shape in the natural environment, tree skeleton extraction based on point cloud density was conducted, and noise reduction processing of the branch and trunk point clouds was performed through the point density threshold method to increase the operation speed.The octree map method was utilized to construct the obstacle map of branches and trunks, and the hierarchical bounding box method was employed to fit the robotic arm and carry out collision detection.With the objective of time optimization, an improved RRT-connect obstacle avoidance planning algorithm that conforms to the agricultural requirements of picking was proposed.Target bias was introduced to the RRT-connect algorithm for optimizing and guiding the sampling points.To verify the feasibility of this obstacle avoidance method, taking the citrus orchard with standard dwarf and dense planting cultivation as the research object, an obstacle avoidance system for the picking robot was established.Multiple sets of obstacle avoidance picking experiments were respectively conducted for citrus fruits growing inside the fruit tree and close to the trunk in the natural environment.The experimental results indicated that the obstacle avoidance movement time for fruits growing close to the trunk was 9.5 s, and the success rate of obstacle avoidance picking was 91%; for fruits growing inside the fruit tree, the obstacle avoidance movement time was 10.5 s, and the success rate of obstacle avoidance picking was 88%.

Key words:citrus; picking robot; natural environment; obstacle avoidance planning

中图分类号:S225.93

文献标识码:A

文章编号:1000-1298(2025)02-0420-09

OSID:

doi:10.6041/j.issn.1000-1298.2025.02.039

收稿日期:2024-08-09

修回日期:2024-10-09

基金项目:湖北省农机装备补短板核心技术应用攻关项目(HBSNYT202219)、国家重点研发计划项目(2020YFD1000101)、国家柑橘产业技术体系项目(CARS-Citrus)和国家数字种植业(果园)创新分中心项目(农规发[2022]10号)

作者简介:鲍秀兰(1984—),女,副教授,博士,主要从事果园机器人结构设计与控制研究,E-mail: orchidbaoxl@mail.hzau.edu.cn

通信作者:李善军(1977—),男,教授,博士,主要从事水果生产机械化技术与智能装备研究,E-mail: shanjunlee@mail.hzau.edu.cn