OSID：
我国果园种植面积已经达到1.280 8×107 hm2,水果种植面积和产量均位居世界首位[1]。果园施肥、除草、施药、修剪、授粉、疏花、采收分级等作业环节人工依赖性高,在苹果园生产管理中,人工成本占到了总生产成本的60%以上。以美国和意大利等欧美国家为代表,果园综合机械化率超过了80%,部分环节机械化作业装备实现了智能化,如图1所示。我国目前果园综合机械化率仅为25.88%,虽然部分作业环节已实现机械化,但智能化程度相对较低[2]。截止到2021年,我国65岁以上老年人口已经占到总人口的14.2%[1],老龄化程度呈明显上升趋势,未来有经验的人工作业从业人员将大幅减少,果园生产管理亟需由机械化向智能化加速转型升级。
图1 果园智能化作业装备构成
Fig.1 Composition of orchard intelligent operation equipment
为了改善我国果园生产管理机械化率低、智能化程度低、人工成本高的现状,融合物联网、大数据、人工智能等技术的智慧果园开展了试点建设。韩冷等[3]在北京市平谷区初步构建了智慧桃园和梨园,结果发现,智慧果园生产模式可减少人工成本50%以上,综合经济效益提升32.5%。其中,装备智能化是智慧果园建设的关键环节之一。果园智能化作业装备需要与搭载自主导航系统的移动底盘组合以实现少人或者无人下高效和高质量作业。VERBIEST等[4]研究发现,在苹果园生产管理中,农民每年必须驾驶拖拉机多达70次来完成所有生产任务,劳动力依赖性较高。而自主导航技术可实现果园装备自主导航作业,大大减少人工。
近年来,随着智慧农业发展,自主导航技术在果园中应用越来越广泛,果园自主导航技术已经成为智能化作业装备自主作业的关键核心技术,它包括果园作业场景感知、果园地图构建、导航路径提取与规划、作业装备底盘行走控制、多机协同控制和导航作业远程遥操作控制、异常事件远程干预处理等核心技术。果园作业场景准确感知是果园智能装备精准自主导航作业的前提条件[5-6];果园地图精准构建是导航作业的基础;高效的导航路径提取可以提升作业装备多气象条件和复杂路面上的适应能力,进而提升安全性;最佳的导航路径规划可以提升装备作业效率,缩短工作时间,避免重复作业和作业遗漏[7-8];实时精准的行走控制可以帮助作业装备高效跟踪导航路径并根据障碍物情况进行实时避障控制;多机协同控制技术可根据果园生产管理任务优化作业装备任务分工,实现集群高效作业;导航作业过程远程遥操作控制、异常事件远程干预处理可实现作业装备远程控制和作业过程可视化显示,针对作业过程异常突发事件实现远程干预处理,提高作业安全性[9]。
本文分析果园不同作业环节装备作业特点,结合果园种植模式,在对果园作业场景感知、果园地图构建、导航路径提取与路径规划、作业装备底盘运动控制、多作业环节协同控制和作业过程远程控制与异常事件处理等关键技术研究现状分析的基础上,总结自主导航技术目前在国内外果园装备应用情况和应用中存在的问题,并指出果园智能化作业装备自主导航关键技术未来发展趋势。
果园环境复杂多变,包含场景元素数量多且种类繁杂。目前,果园智能作业装备作业过程需感知场景信息:场地信息,包括果园行间宽度、地头信息、地面平整度等;果树特征信息,包括树干位置、冠层轮廓和植株分布等;障碍物信息,包括支撑架、管线、电线杆、柔性垂条、杂草、田间沟壑等静态障碍物,行人、家畜等动态障碍物。上述信息的实时动态准确感知,可为果园自主导航中定位、避障、路径规划等环节提供信息支撑,有效提升果园智能化装备的作业效率和作业安全性。
导航定位信息包括作业装备位置、姿态和运动方向等信息。目前用于定位的传感器主要有里程计、惯性测量单元(Inertial measurement unit,IMU)、全球导航卫星系统(Global navigation satellite system,GNSS)、激光雷达和视觉传感器等。里程计和IMU在导航过程中会产生累积误差;GNSS信号易受果树冠层遮挡影响导航精度;激光雷达数据量大且对算法要求高;视觉传感器易受光照影响。因此,结合单种传感器优缺点,多传感器融合获取导航定位信息是未来研究热点。
1.1.1 基于GNSS信号的导航定位
基于GNSS信号的导航定位应用相对广泛和成熟。目前网络差分技术定位精度可达到5 cm,但果园环境下信号易受果树冠层遮挡,难以保证全时高精度工作。熊斌等[10]设计了基于北斗卫星导航系统(BDS)的果园施药机自动导航控制系统,在种植行间距为5 m的樱桃园中实现了直线跟踪最大误差不大于0.13 m的导航精度,但没有在易出现卫星信号遮挡现象的郁闭果园中进行测试。法国Naïo Technologies公司研发的Ted型果园除草机器人,采用RTK GNSS技术,可根据果园生产作业任务进行路径规划和自主导航,如图2a所示。羲牛科技公司开发的智能除草机器人采用基于北斗卫星导航的自主驾驶技术,参考市场价格9～11万元,如图2b所示。
图2 基于GNSS信号导航的果园机器人
Fig.2 Orchard robot based on GNSS signal navigation
适当的人工干预和多导航模式搭配的方法也可以应对果园定位导航中卫星信号的短暂丢失。毛文菊等[11]采用了一种可在行人引领导航模式和卫星信号下的定点导航模式间切换的双导航模式设计,应用于果园运输作业装备。现有的基于卫星信号的果园中定位技术需要与其他传感器搭配或人工干预以改善冠层遮挡卫星信号的问题,自动化程度和环境适应性较低。
多导航卫星系统可以在复杂环境下实现高精度定位。GUO等[12]对卫星定位在不同工作模式下、不同地点、不同观测条件下进行测试发现,多全球导航卫星系统(Multi-GNSS)相比于仅使用GPS的定位精度更高,而且在树木茂密的环境下导航效果更佳。
1.1.2 基于激光雷达的导航定位
激光雷达是一种非接触式光学测量传感器,具有精度高和不易受光照条件影响的特点,逐步成为果园复杂场景下定位所需的重要传感器。果园场景下使用激光雷达进行定位的方法可分为两种:① 直接使用激光雷达进行位置分析的作业装备定位[13-15]。② 根据作业装备初始位置和果园中树干的特征建立环境地图或数据库,结合作业过程中激光雷达实时扫描数据,与地图或数据库中的环境匹配进行定位[16-19]。激光雷达采集的果园场景信息量丰富,需要依靠高效的位置分析算法和智能点云匹配算法去提取定位相关特征信息,进而提升定位精度和鲁棒性。
1.1.3 基于视觉传感器的导航定位
视觉传感器通过像素位置、像素与相机距离、相机坐标系和机器人坐标系的转化得到定位信息。丛佩超等[20]使用RGB-D相机,基于ORB-SLAM2算法架构,在果园喷药机器人上进行了精准定位与稠密建图试验。阴雨天气下测试对比晴天时关键帧匹配平均数量出现了约10%的下降,且未在明暗变化的果园环境中进行测试。视觉传感器成本较低,但易受光照的影响,对果园中复杂的光照条件适应性有待提升;且视觉传感器采集数据量较大,对图像处理算法有较高要求。
1.1.4 基于多传感器融合的导航定位
受单一传感器在导航定位上的局限性,多传感器融合的导航定位方法已成为当前研究热点。GNSS融合其他传感器的方法在一定程度上改善了卫星信号在果园场景下容易丢失的问题;融合农机倾角信息[21]、里程计信息[22]、作业装备运动状态信息、机器视觉信息[23-24]、惯性导航[25-26]和航位推算信息[27]等农机定位方案得到了研究应用。近几年激光雷达生产成本降低,在果园导航中应用越来越广泛。SHALAL等[28] 采用摄像头与激光雷达检测树干,构建果园地图,获得机器人位置。沈跃等[29]提出一种基于LiDAR/IMU紧耦合框架的全局无偏状态估计果园机器人定位与建图方法,果园中测试定位精度为5 cm。美国GUSS公司生产的自动喷雾机器人,采用GPS和激光雷达融合的多传感器导航方案,可实现果园无人自主喷药,如图3a所示。国内极飞科技公司研发的R150 2022型农业无人车,基于卫星定位、4D成像雷达和多目视觉多传感融合实现自主无人导航作业,如图3b所示。悟牛智能科技公司采用GNSS、视觉和激光雷达多传感器融合方案,研发可用于果园喷药、防霜、巡检、运输等环节作业的智能装备,如图3c所示。表1分析了果园场景下不同导航定位方法特点。
表1 果园场景下不同定位方法特点
Tab.1 Characteristics of different positioning methods in orchard environment
定位方法特点典型研究成果基于GNSS的定位方法技术相对成熟,果园环境下存在信号遮挡问题熊斌等[10]在果园施药机上应用北斗卫星导航系统,在冠层稀疏的樱桃园中进行测试,未验证郁闭果园中导航的效果毛文菊等[11]在果园运输机器人上应用基于GNSS的定位方法,设计验证了定点导航和行人引领导航的双导航模式基于激光雷达的定位方法定位精度高,环境适应性强,数据处理要求高胡炼等[13]固定二维激光雷达获取点云,机器人上移动激光雷达接收器获得感应激光时间差,融合后实现机器人定位FREITAS等[14]使用转向编码器和车载激光雷达测距设计苹果园作业车辆的低成本模块化导航定位系统,平均误差范围是0.17～0.23mBLOK等[15]采用二维激光雷达验证有激光束模型的粒子滤波器和有线检测算法的卡尔曼滤波器定位算法在果园中导航的适用性周俊等[16]采用激光雷达扫描果树并记录在坐标系中,运动实时检测果树,与坐标系中匹配,校正里程计数据,在世界坐标系的x、y方向上定位误差的标准差都约为0.08mUNDERWOOD等[17]使用激光雷达检测果树建立数据库,运动中再次扫描果树后由匹配算法联系数据库对果园机器人定位刘超等[19]三维激光雷达获取果园环境信息,冠层边缘点作为果树的定位参考点,计算与果树的相对位置基于视觉传感器的定位方法传感器成本较低,但数据处理较复杂,对果园复杂光照环境适应性差丛佩超等[20]使用RGB-D相机,基于ORB-SLAM2算法架构,进行果园喷药机器人的精准定位与稠密建图基于多传感器融合的定位方法数据来源丰富,定位精度和鲁棒性较高,成本较高,对数据融合策略要求高SHALAL等[18]采用一种基于扩展卡尔曼滤波器的算法融合来自激光雷达和视觉传感器的数据,进行果园中的位置估计周俊等[21]基于GNSS高程定位数据与俯仰角数据获得作业装备高程与倾角信息陈艳等[23]基于GPS获取装备绝对位置信息,融合机器视觉,提出二者组合导航定位方法BALL等[24]基于GNSS、惯导和机器视觉传感器,实现5min无GNSS信号下机器人正常作业SUN等[25]融合GNSS和IMU信息,采用卡尔曼滤波处理方法,提高了定位精度刘进一等[27]融合GNSS、MIMU及航位推算(DR)信息,设计组合导航定位系统沈跃等[29]在果园环境下融合激光雷达、IMU、GNSS数据,提升定位精度
图3 采用多传感器融合方案导航的果园机器人
Fig.3 Orchard robot using multi-sensor fusion solution for navigation
综上,基于GNSS信号的果园定位方案易受到冠层遮挡而稳定性欠佳;基于激光雷达的定位方案尚无法将定位误差稳定控制在10 cm内,无法较好满足建图与导航运动控制对定位精度的要求;基于视觉传感器的定位方案易受到果园复杂光照条件的影响,定位效果不稳定,对环境要求较高;多传感器融合的定位方案对工控机硬件和数据融合算法都提出了较高要求。因此,现有的果园定位方法的精度和稳定性还有待进一步研究,以适应多种果园环境,提升环境适应性和导航系统通用性。
果园作业过程中场景信息实时动态变化,在作业装备的行进路线上不可避免出现随机且不确定性障碍物,包括突起的水井口、树桩或伸出的树杈、人和其他行驶的农机等;如果不能实时动态感知障碍物信息进行避让,会造成严重的安全问题。障碍物在线感知与识别定位对于果园作业装备局部路径修正和避障控制具有重要意义。
障碍物检测方法主要包括视觉检测、激光雷达检测、超声波检测、红外检测等。目前果园场景下障碍物信息收集的难点主要有动静/真伪障碍物和障碍物风险等级的识别判断,障碍物在遮挡、光照变化等复杂条件下的识别与深度估计,障碍物是否影响正常作业的判定。例如,一些伸出的果树枝条等伪障碍不影响作业装备的通行,但会被认为是障碍物进而引发避障控制,降低作业效率;动态障碍物对正常作业的潜在威胁判断预警;障碍物识别算法复杂造成障碍物识别实时性较差等。
目前,视觉传感器在障碍物检测中得到了较多应用,视觉障碍物检测主要包括障碍物识别与深度估计两部分。传统视觉障碍物检测通常基于浅层目标特征和显著外形特征,语义信息有限,易提取但不稳定,通常仅适用于简单场景下的目标跟踪等任务[30]。目前基于深度卷积神经网络的障碍物识别方法在果园中得到了研究与实践。魏建胜等[31]、顾宝兴等[32]、景亮等[33]分别使用YOLO v3模型对作业机具等障碍物、树干、行人进行识别。尚没有对较远距离上障碍物的识别效果进行验证。蔡舒平等[34-35]在果园场景下应用YOLO v4和YOLO v5对障碍物进行了不同距离上的检测,尚没有在复杂光照条件下进行对比测试,如图4所示。对果园场景进行分割可以为障碍物识别提供参考,是果园场景感知的关键技术之一。刘慧等[36]改进DeepLab V3+语义分割模型,在果园场景中进行多类别分割,8类果园常见目标的分割精度相比于改进前得到了提升。LIN等[37]采用深度神经网络结构进行语义分割,推导作物种植轮廓,实现障碍物识别。基于视觉的果园障碍物检测方法在真实果园复杂明暗变换环境中对不同距离障碍物的识别效果还有待进一步研究与验证。
图4 不同距离上改进型YOLO v4检测障碍物效果
Fig.4 Obstacle detection performance of the improved YOLO v4 model under different distances
激光雷达可灵敏、精确地感知障碍物的空间信息,且不易受光照等条件变化影响。但它感知的信息丰富度相对有限,缺乏对空间物体颜色和形状的描述能力。BERGERMAN等[38]使用二维激光雷达扫描果园中的障碍物,在果园中进行了实际应用。蔡怀宇等[39]优化DBSCAN 激光雷达检测障碍物算法,实现了对近距离和远距离障碍物的聚类,获得了障碍物位置信息,未能对障碍物分类识别。
超声波技术在果园环境下检测障碍物易受到环境噪声或者多个传感器之间的相互干扰,且检测障碍物空间位置的准确性相对较差,但是成本较低,数据处理逻辑简单。CHO等[40]采用4个超声波传感器实现果园喷药作业过程障碍物感知,但无法对障碍物类型进行识别判断;贾闯等[41]将超声波传感器应用于山地果园单轨运输机的避障控制。激光雷达和超声波对障碍物的语义信息获取有限,缺乏对障碍物的识别和分类能力,限制了避障策略的灵活制定。
多传感器融合的障碍物检测技术可结合不同传感器优势,在果园障碍物检测中表现出较好的效果,但对算法和工控机硬件提出了较高要求。多传感器融合的果园自主导航方案是未来果园作业高度智能化的关键技术。荷兰AGXEED公司的AgBot 5.115T2履带式平台、AgBot 2.055W3和AgBot 2.055W4轮式平台采用RTK GNSS技术实现平台自主行走,并通过顶部激光雷达和集成在保险杠的超声波传感器实现实时避障,如图5a所示。法国Sitia公司研发的葡萄园无人翻土造垄机器人,基于激光雷达和超声波传感器实现无人自主作业和导航避障控制,如图5b所示。
图5 搭载多传感器融合障碍物检测技术的果园机器人
Fig.5 Orchard robot equipped with multi-sensor fusion obstacle detection technology
图6 分割树冠与天空提取导航路径示意图
Fig.6 Schematic of segmenting tree crown and sky to extract navigation path
视觉传感器对复杂光照下远距离的障碍物检测效果不佳;激光雷达和超声波传感器缺乏对障碍物进行分类识别的能力;当前基于多传感器多源数据融合的障碍物检测技术尚存在技术难度相对较高、数据处理压力大等难点。但随着计算机和传感器技术的发展,多传感器融合的检测方法正成为果园场景下障碍物检测技术未来的发展趋势。当前果园障碍物感知与避障策略制订的融合研究还处在起步阶段,缺乏对动态障碍物碰撞可能性分析以及障碍物对导航影响程度的研判能力,导致现有避障策略和局部避障路径规划智能化程度较低。表2为不同传感器检测障碍物技术。
表2 障碍物检测技术
Tab.2 Obstacle detection technology
传感器类型特点障碍物识别典型研究成果机器视觉优点:采集信息较为丰富;分析障碍物对行驶的影响程度的能力有限;成本相对较低缺点:易受环境光影响;有效检测距离有限BALL等[24]基于立体视觉学习典型农业生产环境模型魏建胜等[31]、顾宝兴等[32]、景亮等[33]使用YOLOv3目标检测模型,检测农业作业常见障碍物蔡舒平等[34-35]在果园场景下使用YOLOv4和YOLOv5目标检测模型检测障碍物刘慧等[36]使用轻量化MobileNetV2网络、ReLU6激活函数结合混合扩张卷积提升DeepLabV3+果园场景实时分割能力LIN等[37]应用深度神经网络架构进行语义分割,推导出茶行的轮廓并识别田间场景中的障碍物AGUIAR等[42]针对葡萄主干部署深度学习模型进行训练,识别语义自然地标,应用于定位和映射算法,建立葡萄藤蔓数据集肖珂等[43]使用改进的YOLACT模型,通过阈值法排除深度图像中的干扰信息,进行果树叶墙的实时检测激光雷达优点:检测灵敏准确,抗干扰能力强;检测距离较远缺点:成本相对较高;对空间物体大小形状的描述能力有限BERGERMAN等[38]设计自主果园车辆的感知和导航系统,利用二维激光雷达检测障碍物,已在实验与商业果园中运行350km蔡怀宇等[39]使用激光雷达,基于优化DBSCAN算法检测障碍物王典等[44]结合基于腐蚀和聚类原理的滤波算法,识别出拟合半径大于774mm的大型障碍物张莹莹等[45]改进DBSCAN算法检测果园树干,并通过当前帧数据与前一帧数据的比较改善激光雷达可能扫到地面造成机器人误检的问题超声波优点:数据处理速度较快;技术相对成熟,操作较简便;成本较低缺点:抗干扰能力较差;检测准确性较低CHO等[40]在果园喷雾器上应用超声波传感器进行障碍物探测贾闯等[41]研制用于山地果园单轨运输机的超声波避障系统AGXEED公司在AgBot系列底盘采用集成在保险杠的超声波传感器进行实时障碍物探测多传感器优点:抗干扰能力较强,鲁棒性较高;采集信息较为全面缺点:多传感器数据融合难度较高;工控机数据处理压力较大;成本较高SHALAL等[28]设计一种融合相机和激光雷达数据的树干检测算法KRAGH等[46]应用多模态融合算法,融合激光雷达和机器视觉数据,识别农业车辆遇到的高草、落叶堆等可穿越障碍物薛金林等[47]将激光雷达所获取的信息作为先验性信息,与视觉图像信息相融合,进行障碍物的完整检出曾丽娜[48]采用激光雷达检测障碍物位置,对应得到红外图像中感兴趣区域,利用稀疏编码和特征池化完成特征提取并以支持向量机作为分类器进行障碍物目标类型识别BARGOTI等[49]把激光雷达得到的点云数据霍夫变换后映射到相机图像中,以此识别棚架结构苹果园中的单个树木CHEN等[50]集成摄像头和超声波传感器检测树干,多特征融合处理后,使用超声波传感器滤波获取树干位置信息
现有的果园环境感知能力较于果园导航在定位和障碍物检测环节上的需求还存在不足。无法在郁闭果园保持稳定定位;无法在远距离上实现障碍物的语义信息获取,导致缺乏动态/真伪障碍物的识别与预警能力,无法实现障碍物检测结果与避障指令的灵活匹配;融合多源数据的环境感知方法对硬件和算法要求较高。因此,果园环境感知能力还有待进一步提升。
果园地图构建为作业装备的自主导航提供环境信息,导航中利用地图判断自身位置,规划全局路径,优化局部路径。建图精度直接影响到作业平台运行的效率与安全性。目前果园场景下的建图方法主要有卫星定位与地理信息系统结合、基于视觉或激光雷达的同时定位和建图技术(Simultaneous localization and mapping SLAM)等。SLAM技术作为一种在未知环境中进行地图构建、姿态估计与定位的技术,广泛应用于移动机器人领域[51],并在农业场景下获得了研究与应用[52]。随着多源数据融合算法的发展,多传感器数据融合提供建图所需信息正在成为果园建图的研究热点。
(1)基于激光雷达的SLAM建图方法
基于激光雷达的SLAM建图方法精度高,不易受果园中复杂光照条件的影响,计算量相对较小;但激光雷达成本较高,同时难以获得环境中颜色、纹理等信息,不利于障碍物类别辨识。此外,针对大规模标准化果园,现有的基于激光雷达的SLAM建图会受到地图退化以及占用大量内存问题的制约。基于激光雷达的SLAM建图方法在果园中得到了应用。XIA等[53]应用基于三维激光雷达的SLAM技术构建棚架果园地图,融合卫星定位,实现了喷药机器人在果园中的自主导航。范永祥等[54]引入二次去畸变、二次配准等模块,以LOAM算法为基础,提升Lidar-SLAM森林样地调查系统的去畸变、配准的鲁棒性及精度。欧芳等[55]基于密度二进制模式描述子的激光回环检测算法,减少果园作业装备在多回环复杂果园环境下定位与建图过程中产生的累积漂移误差。
(2)基于视觉的SLAM建图方法
基于视觉的SLAM建图方法可生成三维色彩地图,信息丰富,同时视觉传感器成本较低。视觉SLAM对果园中户外光照的适应性较差,计算量较大。陈劭等[56] 提出了一种用于移动机器人的RGB-D视觉 SLAM 算法,改善移动机器人视觉同步定位以及地图构建的精度和实时性。CHEN等[57]利用立体视觉SLAM技术构建了可服务于大规模非结构果园中采摘机器人的宽幅3D果园地图。薛金林等[58]采用改进的R-GPF地面分割方法和BAT启发式自适应重采样方法,分别对传统Gmapping算法的前端里程计部分和后端优化部分进行改进,梨树列间距离偏差、行间距离偏差均值和标准差比Gmapping算法分别减小50%、43.41% 和32.26%。丛佩超等[20]改进了ORB-SLAM2算法,使用RGB-D相机进行果园喷药机器人的精准定位与稠密建图,改善果园视觉导航中定位精度和地图构建效果。齐咏生等[59]设计了一种基于信息融合描述子的机器人位姿估计算法,在维持实时性和控制计算成本的前提下改善了传统V-SLAM算法对复杂场景的适应能力。
单传感器的SLAM技术在果园中的应用尚存在状态精度不高、稳定性不佳、计算复杂等问题。基于多源数据融合构建的地图具有精度高和鲁棒性强的优点。国外对使用视觉传感器、激光雷达、IMU、车轮编码器等多传感器进行果园地图构建的研究起步较早。ASTOLFI等[60]利用车轮编码器、IMU、GPS,融合基于激光雷达的SLAM和自适应蒙特卡罗定位算法,开发了一种应用于葡萄园环境的导航系统。该系统具备一定准确和稳健姿态估计能力,能够建立可用于导航的地图。UNDERWOOD等[61]利用激光雷达和视觉传感器设计了对杏仁园进行3D地图绘制的移动平台,以估计和预测每棵树的产量。EMMI等[62]采用2D LiDAR和RGB相机组成的感知系统采集数据,在新地图上集成了位置和工作区域的语义特征,不需要使用人工地标,易于获得和更新,以提高农业机器人的自主性。李晨阳等[63]提出了融合里程计信息的建图算法,以减少激光雷达运动畸变对地图构建产生的影响。多传感器数据融合建图正成为果园高精度建图领域的研究热点。
果园环境下导航路径提取是指利用传感器获取果园环境数据,然后通过算法分析处理,平滑优化后从中提取出可供机器人或车辆导航的路径区域或导航线。导航路径提取是运动控制的前提条件,是局部路径规划与避障的参考要素。常用的传感器包括视觉和激光雷达传感器。传统的路径提取方法主要有Hough变换法、最小二乘法、随机采样一致性法等。Hough变换法具有抗干扰能力强的优点,但算法复杂度相对较高;最小二乘法拟合曲线的能力较强,但作为线性估计仍然存在一定局限性;随机采样一致性方法(Random sample consensus,RANSAC)鲁棒性较好,但需要手动设置内点数量阈值,不同问题的阈值可能需要调整。
基于机器视觉的果园导航路径提取方法主要有2类:①利用图像分割技术,处理视觉传感器采集到的图像,机器学习分割后提取图像中道路部分,进而获得导航路径。②先提取果树行,再求取夹在两条相邻树行间的行间中心线;可利用株间相连形成的树墙提取树行或检测树干后拟合树行。表3分析了基于视觉传感器的导航路径提取方法目前的研究成果。由于果园环境中复杂光照条件,基于视觉传感器的路径提取方法的图像处理算法的环境适应性还有待提升。
表3 基于视觉传感器的导航路径提取方法研究成果
Tab.3 Research results of navigation path extraction methods based on visual sensors
图像处理方法路径提取方法文献序号图像二值化处理,采用基于改进的灰度因子和Otsu方法来实现图像分割二值图像的白色像素点的相对坐标中心提取导航点,采用中间点霍夫变换法对导航路径进行拟合[64]通过RGB颜色模型,结合植株根部的形状特征,利用最小边界矩形确定根部的定位特征点采用最小二乘法对定位特征点拟合得到根行线,计算根行线的斜率后得到实际的导航中心线[65]选择B分量图,通过行阈值分割、行间区域去噪、灰度垂直投影提取树干采用最小二乘法拟合左右两侧边缘,提取边缘线上各行的几何中心点生成枣园导航基准线[66]采用基于MaskR-CNN模型对道路与树干进行识别,提取道路分割掩码和树干边界框坐标采用改进RANSAC算法提取前排树行线,采用最小二乘法拟合生成后排树行线[67]使用有限差分算子提取图像边缘,再使用灰度值对比度约束和霍夫直线检测去除噪声使用多项式函数描述直线和弯曲道路,采用随机采样一致性算法和线性最小二乘法拟合道路边缘点,估计多项式函数的参数,实现果园道路检测[68]通过k均值聚类后生成二值图像对二值图像采用轴向中线提取算法得到导航路径[69]用点运算的多分量加权融合阈值分割方法处理图像基于形状特征和野外道路灰度值的差异,提取道路区域的质心点。平滑处理后应用外极约束和同源矩阵进行匹配和三维重建,得到了野外道路的自主导航线[70]基于卷积神经网络(CNN)的语义分割,分割输入的RGB图像为作物和非作物(可驾驶区域)采用自适应多感兴趣区域(Regionofinterest,ROI)的方法将轨迹拟合到可驾驶区域[71]基于patch的卷积神经网络(CNN)用于图像分类实现路径区域分割使用路径评分映射和线检测确定路径[72]形态学图像分割技术对彩色视频图像进行分割由叶壁距离估计导航路线[73]最大值法将颜色特征与HSV颜色空间S分量多方向纹理特征掩膜相融合并进行二值化与降噪处理分段三次样条插值法拟合道路边缘[74]绿色平面提取,阈值化,滤波和寻找质心,分割树冠和天空,如图6所示计算路径平面的质心,车辆航向,获取导航线[75]结合图像绿色层的Otsu分割结果和深度图像的K-means分层结果,测量桃树LWA。由图像侵蚀将两个最大的LWA划分为感兴趣区域(ROI)检测ROI(感兴趣区域)间距的中点作为喷药路径的末端来规划喷药路径[76]将单眼近红外(NIR)相机图像转换为二值图像朴素贝叶斯分类来检测树干和地面之间的边界,采用一种确定自由空间中心线的算法得到导航路径[77]对采集图像中的道路信息进行标注,制作果园数据集,生成道路分割模型根据分割结果,生成路径拟合中点,基于样条曲线拟合原理对拟合中点进行多段三次B样条曲线拟合[78]对环境点云进行坐标系转换和空间限制的预处理,再进行双阈值分割投影至二维平面改进的K-means算法将道路两侧香蕉树分离,通过道路两侧包围矩形中线提取导航路径[79]
激光雷达作为一种精度较高、户外适应能力强的传感器,广泛应用于果园场景下导航路径提取,目前应用主要包括二维和三维激光雷达。国内外学者利用二维激光雷达,已开展了相关研究并进行了实际应用[80-83]。针对不同类型和生长时期果园,通过提取树干[81]或冠层[82]点云数据中的特征点,经过拟合算法处理,可实现导航路径的提取。但由于二维激光雷达获取的语义信息有限,果园环境相对复杂,仅仅基于激光雷达的果园导航路径提取方法还存在鲁棒性不高的问题。
随着微型计算机技术的发展,移动平台可搭载的算力得到了大幅提升,三维激光雷达获得环境信息丰富,对非结构化的果园环境适应性更强,在果园导航路径提取方面得到了应用。JONES等[84]采用多层激光识别猕猴桃果树行的方法,应对果园凹凸不平路况下平面激光雷达在结构化特征间产生非结构化数据云的问题,以实现作业装备在郁闭果园行内直线行驶,未进行曲线树行果园的导航测试,如图7所示。胡广锐等[85]使用三维激光雷达采集果园场景点云数据,采用改进人工势场法对初始路径进行优化,将障碍物点云距导航路径的最短距离由0.156 m提高至0.863 m。尚缺乏结合障碍物检测结果进行灵活控制与障碍物距离的路径规划研究。艾长胜等[86]通过对激光雷达扫描获取的果园数据信息进行处理,获取垄线安全预估测位置,并规划拟合果园装备作业导航线,拟合导航线与垄行中心线平均角度偏差为0.72°,但未对地头位置处的导航路径进行提取测试。现有路径提取方法对果园环境要求较高,在不同果园下的提取效果还有待进一步验证。同时缺乏地头导航线提取与衔接的研究。
图7 基于激光雷达的郁闭果园自主导航作业平台
Fig.7 Automation navigation platform based on LiDAR for closed orchard
果园中导航路径的提取会受到车辆偏航、非相邻树行干扰、植株缺失、树行弯曲等因素影响。单一传感器进行果园导航路径提取存在一定局限性,多传感器融合方法可改善这一问题。ROVIRA-MAS等[87]提出了一种引导作业装备沿着葡萄树行间进行导航的增强感知方法,通过局部感知,融合3D视觉传感器、激光雷达和超声波传感器采集的信息,为果园内作业装备的智能行为提供了环境信息基础。多传感器数据融合的路径提取目前面临着数据处理压力大、算法与系统复杂、成本较高等问题,当前应用较少。但多传感器融合可获取更丰富的信息,系统鲁棒性更高,在提升潜力方面具有更大优势,是未来研究热点之一。
路径规划是基于果园环境地图信息和果园作业需求确定作业装备所需移动路线和方式的过程,是果园导航关键环节。路径规划可以分为局部和全局路径规划。全局路径规划是在环境信息已知的情况下,基于先验完全信息的路径规划方法。全局路径规划算法目的在于规划出满足作业需求的最优的路径,分为全局覆盖路径规划和全局点到点路径规划。全局覆盖的路径规划常应用于收获、施药、农情数据采集、巡检等任务,点对点的路径规划常应用于果园运输任务。局部路径规划是根据作业平台自身与果园环境信息进行实时路径规划,目的在于减少全局地图精度不足对导航质量的影响,并提高农机实时安全避障的通过能力。
目前在果园中应用的路径规划算法主要包括A*算法[88-90]、蚁群优化算法[91-92]、动态窗口算法[93]、灰狼算法[94]、遗传算法[95-96]、分支界定算法[97-98]、Floyd优化算法[99]、贪婪算法[100]、模拟退火算法[101-102]和粒子群优化算法[103-104]等。
除了上述常见的路径规划算法,还有其他一些路径规划方法被应用于解决果园等农业生产环境下路径规划问题。针对全局路径规划,ZHAO等[105]提出了利用最小捕捉算法使拖拉机能够安全导航的点对点路径规划方法;日本北海道大学RAHMAN等[106]通过RTK-GPS和IMU传感器数据得到地块边界轮廓点位置,结合作业幅宽生成作业路径,设计了一种适用于不规则边界地块N边形地块的路径规划算法。PLESSEN等[107]参考农机运行成本与收获窗口,设计了一种基于作物分配与车辆路线耦合的大规模适用收获规划方法。BOCHTIS等[108]改进了一种最佳覆盖区域算法,减少了行内和行间果园作业生成路线规划中农机非工作时间的占比。上述全局路径规划主要面向大田环境,缺乏对果园中进入位置限制条件的考量。而针对局部路径规划,规划平滑的局部路径[109]、动态规划避障路径[110-111]、优化避障路径长度[112]、完善避障安全模型[113]、优化局部路径以适应喷药等特定作业[114]、应对远距离上多障碍物的局部路径规划[115]等方向得到了国内外学者的研究与实践。目前的果园导航路径规划多集中在进入果园行内后的阶段,缺乏对进入果园最佳位置选择与规划的研究,亟需与地头环境信息感知结合,开发自动化程度更高,更加完整的果园导航路径规划方案。
果园中地头自主转向是作业装备驶出一个果树行后驶入另一个果树行的过程。目前常用的地头转向方式有:U型转向、平滑转向、K型转向、Ω型转向、鱼尾型转向、钩型转向等,如图8所示。到达地头位置的准确判断和地头宽度的确定是地头转向的两个主要外在约束条件,茂密的树冠和不平整的路面都会对地头转弯效率和成功率产生影响。作业装备根据自身运动学特性和果园地头空间情况选择适当的转向方式,同时动态优化转向路径,提升车辆在地头转弯过程中平滑性和效率,已成为当前业界关注的焦点。
图8 常用的地头转向方式
Fig.8 Commonly used steering method applied to headland
准确感知地头空间信息,建立地头转向约束是果园智能作业装备自主地头转向的关键步骤。目前,通过处理视觉传感器[116]、激光雷达[117]、GNSS[118]以及多传感器组合数据[119]感知地头信息的方法已经在国内外得到了研究与应用。基于多源数据的地头感知技术逐渐成为自主导航技术研究热点。通过选择和优化转向路径,提升转弯效率,减少转弯时间,同样是自主导航的关键技术。国内外学者也对此进行了相关研究。转向运动的误差与转向路径类型以及地形路况存在密切联系[120]。PARAFOROS等[121]设计了一种根据转向位置自动确定转向方式的地头转向方法,目的是减少农机非工作时间。受果园路况松软的影响,转向运动中会发生不可避免的滑移。HE等[122]提出了一种基于非对称鱼尾转弯方法的农用四轮车地头转弯实时动态路径规划方法;当农用无人车在田间发生侧滑时,该算法会根据车辆的实时位置动态地重新规划路线;农用无人车无需回到原路径,提高了转弯效率。现有的果园地头转向技术还存在精度受果园地形和路况影响较大、狭窄地头转向效率低、牵引机具状态下安全性低等问题。亟需在提升地头空间信息感知能力、跨行路径规划质量和实时转向路径优化能力上取得更多进展。
果园作业装备底盘是搭载作业机具在果园中导航作业的关键部件,构建底盘行走控制模型对于提升路径跟踪精度具有重要意义。果园作业装备底盘行走一般为低速行驶模式,常通过分析底盘行走运动性能和实际工作环境,建立底盘行走控制的运动学模型。果园中非铺装路面会导致动力平台在运动中发生难以避免的滑移,转向过程中的滑移现象尤为明显。在底盘行走控制模型构建时,需要对滑移现象[123-124]和转向中的偏差进行限制[125-127],以提升果园作业装备运动控制和路径跟踪的准确性或鲁棒性。
国内外学者针对底盘行走控制的动力学模型也开展了一系列研究。奥本大学和斯坦福大学团队[128]提出了一种通过前轮中不可忽略的松弛长度组成模型来捕获模型特征的偏航动力学模型,精准快速识别多个速度并确定其影响。袁洪良等[129]建立包含横摆动力学的状态空间模型,设计了一种适应较大速度变化的状态反馈控制器,以改善农机速度变化导致的自动导航系统控制精度和稳定性下降的问题。现有的控制模型简化程度高,存在一些关键实际因素未被考虑,模型准确性相对有限。
果园作业装备底盘行走控制是通过合理科学的路径跟踪控制逻辑实时控制底盘的运动状态,以实现果园智能作业装备按照作业路径精准运动的过程。路径跟踪是指在车辆上选取一点作为控制点来跟踪一条与时间参数无关的几何曲线。侧向位移误差和航向角误差是评价路径跟踪质量的重要指标[130]。在农机位置姿态信息精度足够的情况下,路径跟踪控制方法的选择和参数配置是提高农机自动导航系统精度和稳定性的关键。果园作业装备底盘主要有履带式和轮式两种,履带式底盘具有通过性强和承重能力强等特点。赵永春等[131]针对果园履带式割草机,建立了虚拟雷达和两级串联的深度神经网络模型,在翻浆路面下进行了精度较高的路径跟踪控制,在一种示范果园中进行了测试。赵智宇等[132]针对丘陵果园中的履带式除草机器人底盘使用自抗扰闭环控制算法,相比PID算法减少了调节时间、稳定时间和超调幅度,在一种橘园中进行了测试。轮式底盘具有速度较快和能量利用效率较高的特点,目前常用的控制方法包括 PID 控制[133-134]、模糊控制[135]、纯追踪控制[127,136-138]、滑模控制[123-124,139]、模型预测[140]、预瞄路径跟踪控制[141]等。
在常用控制方法的基础上,国内外学者进行了改进创新,并与常用控制方法的效果进行了对比。YANG等[142]提出了一种模拟驾驶员的前视行为并搜索最佳目标,最终指向前视区域的农业机械路径跟踪算法,在仿真和现场测试中,与纯追踪算法相比,跟踪误差降低了20%以上。AHN等[143]提出了一种通过考虑车辆和路径关系的启发式选择前视点的路径跟踪方法,相较于纯追踪方法提升了路径跟踪精度。陈子文等[144]提出一种改进模糊式预瞄控制算法——虚拟探照灯寻径跟踪,改善了横向偏差和速度变化引起的跟踪振荡问题。在离合制动式底盘上进行了测试,尚未在阿克曼转向和差速转向底盘上开展验证。HAN等[145]开发了基于单频GNSS RTK的用于果园喷雾机的路径生成和跟踪系统,但没有在真实果园环境下进行测试。解彬彬等[146]在农田边界布置随插近距超宽带基站组作为参照路径,设计了具备基站偏移误差自诊断自主导航系统,在小地块内进行了高精度自主导航试验。PATON等[147]建立了基于视觉的自主路线跟踪算法,融合多信息通道,增加了视觉算法对环境变化的鲁棒性,在26 km现场部署中自主率大于99.99%。当前果园作业装备底盘的行走控制方法缺乏统一的评价与验证平台,未在不同运动学模型的底盘上进行验证;多数研究仅通过仿真或在单一果园中进行了测试,在多种果园环境下的效果还有待对比和验证。
果园多机协同控制技术是多台作业装备按照一定的协作策略,共同完成果园生产任务的技术,可提高果园智能作业装备利用效率和提高机群规模化生产效益。果园中施药与采收作业环节已经开展了多机协同技术实践。果园中应用的多机协同系统主要包含以下核心技术:任务分配与调度、多机路径规划和导航、人机交互远程控制、多机综合服务平台等。多机协同技术组成和关联如图9所示。
图9 多机协同技术组成
Fig.9 Composition of multi-machine collaboration technology
任务分配是多机协同作业中提升效率,减少作业资源浪费的关键环节;多机导航是任务分配决策落实的重要保障,高效的多机导航有效提升多机协同作业的安全性;基于人机交互的远程控制技术提升多机协同模式下系统对突发情况的应对能力。多机作业服务平台是沟通用户和果园智能化生产装备的桥梁。
果园作业中的任务分配需要考虑作业装备数量与性能、作业区域地理限制、作业优先级、作业间依赖关系、各机型作业效率与成本、任务动态调整需求等多种因素。如何在农机机群作业前将任务合理分配给适合的农机,在出现突发情况或新的作业任务时如何重新调配农机的作业任务,使得机群收益最大,是长期困扰农机合作社、农场的难题。合理科学的任务分配是果园作业多机协同的一个重要前提。王猛等[148]考虑作业时间、油耗和路程代价等因素,通过多机协同代价函数、多变异分组遗传算法、农机多机协同作业静态任务分配模型,静态任务分配的机群代价比实际作业代价降低了29.48%～55.00%。贾宜霖[149]应用蚁群算法对 CVRP 模型进行求解,实现大规模果园与紧急作业需求下的多旋翼无人机集群作业的任务分配。PITAKASO等[150]提出了一种具有时间窗的收获装备路由问题和分配问题的搜索方法,在收获装备任务共享的情况下提高甘蔗收获服务面积。果园中存在同一时间内开展多种作业环节的需求。现有的多机协同技术主要针对静态大田环境,缺乏果园多作业环节协同决策与调度优化的能力。大规模果园环境下作业时间跨度长,生产要求可能由于天气原因在作业过程中发生变化;但是当前关于果园作业任务智能动态再分配技术的研究较少。
作业装备在分配到任务后需要多机导航技术驱动以执行任务,多机导航和多机路径规划是农机机群协同作业的一个关键环节。完善的多机导航赋予多机协同避免农机碰撞的安全行驶功能和突发状况下路径再规划功能。BAUMANN等[151]对多机器人移动进行了集成控制、估计与分配的算法设计,得到了一个多机器人导航设计与评估的模块化功能框架。果园环境下多机协同路径规划与大田环境下存在差异。大田环境下任务坐标的选取可以在地块边界处灵活选取,果园中不同区域任务坐标的选取需要考虑树行方向。当前果园多机协同导航技术多聚焦于主从跟随模式的研究与应用,果园任务区域间的多机导航路径规划研究较少。
多机导航路径再规划的研究得到了开展。张凯翔等[152]提出一种基于讨价还价博弈机制的改进层级协作 A*算法,用于解决对密集场景中大规模冲突导致多机器人路径规划 (Multi-agent path finding,MAPF) 成功率低的问题。
多机协同技术多用于大型果园中,大型果园地图构建是多机导航技术的基础,依靠单个平台进行大型果园地图的构建效率较低。因此,多机协同建图技术得到了研究和验证。随着人工智能、5G 通信、多模态感知、机器人技术等新技术的发展,SLAM技术已成为多机器人系统(Multi-robot system,MRS)协同工作的基础和关键技术[153]。陈昌川等[154]将SVO[155]和改进REVO[156]作为前端算法并融合到CCMSLAM系统中,设计了轻量化的多机协同SLAM系统。蒋朝阳等[157]以ORB-SLAM2作为视觉里程计,利用 NetVLAD 全局图像描述子进行多车间共视区域识别和数据关联;利用PCM算法剔除多车间闭环离群值;利用 MC-DGS 算法实现多车协同定位优化,提高多车协同定位精度。
当前多机协同导航技术的研究多针对大田环境开展。现有多机协同中多机导航和路径规划技术还存在缺乏果园环境限制下的研究与应用、路径再规划与任务再分配的协调机制不完善、动态调整能力不足、缺乏协同质量统一评价指标等问题。
由于复杂的任务要求和高度非结构化的作业环境,果园中自主移动和操作对作业装备具有挑战性。随着信息化技术的提升,高效的数据交互与指令下达为智能化作业装备应对复杂环境提供了新的解决方案。基于人机交互的远程控制可以协助作业装备进行决策和运动规划。目前应用于果园作业装备的远程控制技术多为远程控制出入库和作业启停等简单操作,应对作业中突发情况的能力不足。
临场感描述用户对虚拟或增强现实环境的身临其境感受程度。临场感的提升为操作者提供身临现场的感官辅助,从而提高遥操作作业装备完成复杂任务的效率,有助于提升应对作业中突发情况的能力。基于临场感的远程干预可以提升作业装备的导航精度、避障效率、作业质量、农机农艺的深度融合。以临场感技术为代表的依托高度信息化的新技术,应用于果园作业装备的远程控制将成为未来发展趋势。
TORIELLI等[158]提出了一种“木偶”机器人远程操作概念,操作者可以选择性地应用于远程机器人的不同身体部分。HUANG等[159]提出了一种用户友好型机器人远程操作界面,增强了来自本地摄像机的深度信息,提供了场景视图,使得操作者可在摄像头被部分遮挡情况下继续操作。KAMEZAKI等[160]使用 GPS 和激光雷达获取障碍物距离信息后,生成报警信息,对相机数据进行增强处理后,显示于遥操作端。CHEN等[161]提出了一种虚拟现实(VR)和基于Kinect的沉浸式远程操作系统,试验结果表明其系统和算法具有在非结构化农业环境中进行沉浸式远程操作的适用性。王运东等[162]设计了一套基于临场感增强的果园环境信息可视化系统,系统包含临场感可视化界面,如图10所示,以用于果园作业装备的遥操作,测试中,平均提取导航线时间86 ms,提取导航线平均精度 16°。现有的果园作业装备遥操作技术尚不成熟,缺乏与果园环境感知技术的融合,需要基于环境感知结果提升人机交互水平,并在更多类型果园环境下进行检验。
图10 临场感可视化界面
Fig.10 Telepresence visual interface
多机作业服务平台是多机导航与任务分配直观化展示与人性化调整的有效工具,是果园生产人机交互的关键一环。国内学者设计了多种应对多机协同约束条件以及多目标需求的多机作业服务平台。王博等[163]提出了多维度与全链条农机多机协同技术,在技术实用性、技术易用性、技术成本、吸收能力、资源就绪度等方面产生了正向影响。李寒等[164]设计了由GIS服务和农机调度2个功能模块组成的基于WebGIS的农机多机协同导航服务平台。该平台可向多台农业机械协同作业应用场景提供地图和导航服务支持。同时支持任务分配和路径规划。北京派得伟业科技发展有限公司开发了智慧果园云管控平台,基于用户、决策、数据、基础设施等多层次数据,可为用户提供动态的果园作业场景信息,以及为智能作业装备提供作业决策处方,实现果园作业装备远程作业控制,目前已投入商业化运行,在陕西、山东、北京等省市进行了应用,如图11所示。
图11 北京派得伟业科技发展有限公司开发的智慧果园云管控平台
Fig.11 Intelligent orchard cloud management and control platform developed by Beijing PAIDE Science and Technology Development Co.,Ltd.
针对果园生产管理不同作业环节智能装备控制需求,国内外学者围绕果园自主导航技术开展了系列研究,突破了部分关键核心技术并研发系列智能装备。GNSS、激光雷达、机器视觉等已经在果园智能化作业装备的场景感知中得到了广泛应用,实现了果园场景下位置、障碍物、地头空间等信息动态感知和基于SLAM技术的果园地图构建;提出了不同果园场景下导航路径提取和规划算法,构建了智能装备运动模型,实现智能作业装备自主导航与避障控制;研发了用于农业生产的多机协同技术和生产管理的智能化生产云管控平台,实现了作业装备远程控制和作业信息智能化管理。但还存在着以下不足:
(1)果园环境感知能力不足
依赖单一传感器的环境感知对果园信息采集不全面,导航定位不精准,远距离目标识别不准确;多传感器融合的环境感知方法存在着数据融合难度高和实时性较差的问题。果园环境在作业时相对复杂,除了固定的果树还有移动的行人和机具;果园动态/真伪障碍物的识别与预警、障碍物对导航影响程度的判断与分级、障碍物感知与局部避障路径规划智能耦合等有现实需求的新技术还没有得到相对广泛的开发与验证。
(2)路径提取不稳定,局部路径规划不灵活
由于现有果园环境感知不充分,路径提取方法环境适应性较差,路径提取的稳定性还有待提升。局部路径规划中,由于对障碍物识别与分级能力相对匮乏,会出现避障不足引发安全问题和避障过度影响作业质量与效率的问题,目前的避障局部路径规划策略还有待于障碍物感知深度耦合与优化。由于缺乏结合地头环境信息感知的最佳进入果园开始作业点的选择研究,果园导航路径规划尚存在自动化程度较低、完整度欠缺的问题。
(3)导航系统通用性和环境适应性较差
不同种植品种、不同果树生长周期和不同地域的果园环境存在区别,对导航系统的要求存在差异;同一果园不同作业环节,不同作业装备对导航的要求也存在不同;不同类型底盘对导航运动控制系统的要求也存在差别;这对导航系统的通用性提出了较高要求。当前果园导航系统的环境感知方法对环境的适应性还有待提升,作业装备底盘的模型构建和行走控制方法尚缺乏统一的评价方法,在多种果园环境下和多类型底盘上的效果还有待对比和验证。进一步提升导航系统通用性和环境适应性是现有的果园导航系统亟需解决的问题。
(4)果园多机协同技术研究不充分
当前多机协同导航的研究主要聚焦于同一生产环节的多机协同以及大田环境下的多机协同。而在大型果园生产管理中,同一时间段开展不同生产作业的现象越来越普遍,对适用于果园环境的多机协同技术提出了任务动态分配、路径再规划与任务分配高效配合、多机协同统一评价指标等新要求,已有的多机协同技术难以满足大型果园生产需求。
(5)远程遥操作技术不成熟
现有的远程遥操作与果园环境感知融合不充分,制约远程操作可执行任务的扩展、限制远程控制中人机交互的质量,影响果园导航应对特殊情况的能力。受限于果园环境感知技术和远程通讯技术的成本与成熟度,果园远程控制技术的发展尚处于起步阶段。
(6)导航系统成本较高,推广困难
果园环境复杂多变,果园生产管理中不同作业环节、不同果园、不同作业装备和果树不同生长时期对导航系统的要求不同,单一传感器难以满足不同应用场景需求,需要多传感器融合,多传感器的使用增加了导航系统成本,而国内果园规模相对较小,不利于果园智能化作业装备在国内商业化推广应用。
综上,目前果园智能装备导航系统中场景感知、路径提取规划、底盘行走控制、多机协同、远程控制等技术相互服务,相互制约,亟需得到全面提升以应对复杂多样的果园环境和作业需求。
基于目前研究现状、尚存在的问题以及未来发展需求,面向我国智慧果园建设要求,未来果园智能化作业装备自主导航技术应加强以下方面研究:
(1)针对多种果园环境特点和生产作业需求,开发环境适应性强的果园环境感知方法,并深度融入果园导航系统。开发基于多传感器融合的环境感知技术,改善感知环境适应性,提升感知实时性。在环境感知能力提升的基础上,利用深度学习技术提升导航系统动静/真伪障碍物识别和危险等级评估能力,为导航系统的环境适应性和在多种果园作业中的通用性提升建立基础。
(2)基于果园环境感知,提升果园导航路径提取稳定性和路径规划完整性。在高质量环境感知基础上,开发稳定性和鲁棒性更强的导航路径提取方法;结合地头空间信息感知结果,设计自主化程度更高、完整性更强的导航路径规划方法。根据对障碍物的识别和风险分级结果,完善局部路径规划和避障策略,提升导航系统智能化程度,以适应不同果园环境和作业需求。
(3)面向果园生产特点与需求,研发适用于大型果园的多机协同技术。在现有多机协同技术和服务平台的基础上,针对果园环境、果园生产作业、农机农艺结合、标准化、数字化和智慧化果园建设的需求,开发任务动态分配、路径再规划、远程数据交互等先进技术,改善多机协同技术在果园中的应用质量,提升果园智能化作业装备利用效率,降低使用成本,加快技术落地应用。
(4)完善果园场景下的远程遥操作技术。基于果园环境感知,融合5G远程通讯和临场感增强技术,提升果园智能化装备远程人机交互质量。在此基础上,提升果园导航应对突发状况能力,保障果园导航作业安全性。
[1] 中华人民共和国国家统计局.中国统计年鉴[M].北京:中国统计出版社,2022.
[2] 孟志军,王昊,付卫强,等.农业装备自动驾驶技术研究现状与展望[J].农业机械学报,2023,54(10):1-24.
MENG Zhijun,WANG Hao,FU Weiqiang,et al.Research status and prospects of agricultural machinery autonomous driving[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(10):1-24.(in Chinese)
[3] 韩冷,何雄奎,王昌陵,等.智慧果园构建关键技术装备及展望[J].智慧农业(中英文),2022,4(3):1-11.
HAN Leng,HE Xiongkui,WANG Changling,et al.Key technologies and equipment for smart orchard construction and prospects[J].Smart Agriculture,2022,4(3):1-11.(in Chinese)
[4] VERBIEST R,RUYSEN K,VANWALLEGHEM T,et al.Automation and robotics in the cultivation of pome fruit:where do we stand today?[J].Journal of Field Robotics,2021,38(4):513-531.
[5] 翟长远,杨硕,王秀,等.农机装备智能测控技术研究现状与展望[J].农业机械学报,2022,53(4):1-20.
ZHAI Changyuan,YANG Shuo,WANG Xiu,et al.Status and prospect of intelligent measurement and control technology for agricultural equipment[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(4):1-20.(in Chinese)
[6] 何勇,蒋浩,方慧,等.车辆智能障碍物检测方法及其农业应用研究进展[J].农业工程学报,2018,34(9):21-32.
HE Yong,JIANG Hao,FANG Hui,et al.Research progress of intelligent obstacle detection methods of vehicles and their application on agriculture[J].Transactions of the CSAE,2018,34(9):21-32.(in Chinese)
[7] 张漫,季宇寒,李世超,等.农业机械导航技术研究进展[J].农业机械学报,2020,51(4):1-18.
ZHANG Man,JI Yuhan,LI Shichao,et al.Research progress of agricultural machinery navigation technology[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(4):1-18.(in Chinese)
[8] BAILLIE C P,LOBSEY C R,ANTILLE D L,et al.A review of the state of the art in agricultural automation.Part Ⅲ:agricultural machinery navigation systems[C]∥2018 ASABE Annual International Meeting,American Society of Agricultural and Biological Engineers,2018:1-9.
[9] AMAYA A,AARCHCHIGE D D K,GREY J,et al.Evaluation of human-robot teleoperation interfaces for soft robotic manipulators[C]∥Proceedings of the 30th IEEE International Conference on Robot &Human Interactive Communication(RO-MAN),2021:412-417.
[10] 熊斌,张俊雄,曲峰,等.基于BDS的果园施药机自动导航控制系统[J].农业机械学报,2017,48(2):45-50.
XIONG Bin,ZHANG Junxiong,QU Feng,et al.Navigation control system for orchard spraying machine based on Beidou navigation satellite system[J].Transactions of the Chinese Society for Agricultural Machinery,2017,48(2):45-50.(in Chinese)
[11] 毛文菊,刘恒,王小乐,等.双导航模式果园运输机器人设计与试验[J].农业机械学报,2022,53(3):27-39.
MAO Wenju,LIU Heng,WANG Xiaole,et al.Design and experiment of dual navigation mode orchard transport robot[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(3):27-39.(in Chinese)
[12] GUO J,LI X,LI Z,et al.Multi-GNSS precise point positioning for precision agriculture[J].Precision Agriculture,2018,19(5):895-911.
[13] 胡炼,王志敏,汪沛,等.基于激光感知的农业机器人定位系统[J].农业工程学报,2023,39(5):1-7.
HU Lian,WANG Zhimin,WANG Pei,et al.Agricultural robot positioning system based on laser sensing[J].Transactions of the CSAE,2023,39(5):1-7.(in Chinese)
[14] FREITAS G,ZHANG J,HAMNER B,et al.A low-cost,practical localization system for agricultural vehicles[C]∥Intelligent Robotics and Applications:5th International Conference,ICIRA 2012,2012:365-375.
[15] BLOK P M,BOHEEMEN K V,VAN EVERT F K,et al.Robot navigation in orchards with localization based on particle filter and Kalman filter[J].Computers and Electronics in Agriculture,2019,157:261-269.
[16] 周俊,胡晨.密植果园作业机器人行间定位方法[J].农业机械学报,2015,46(11):22-28.
ZHOU Jun,HU Chen.Inter-row localization method for agricultural robot working in close planting orchard[J].Transactions of the Chinese Society for Agricultural Machinery,2015,46(11):22-28.(in Chinese)
[17] UNDERWOOD J P,JAGBRANT G,NIETO J I,et al.Lidar-based tree recognition and platform localization in orchards[J].Journal of Field Robotics,2015,32(8):1056-1074.
[18] SHALAL N,LOW T,MCCARTHY C,et al.Orchard mapping and mobile robot localisation using on-board camera and laser scanner data fusion—Part B:mapping and localisation[J].Computers and Electronics in Agriculture,2015,119:267-278.
[19] 刘超,陈锦明,刘慧,等.基于三维激光雷达与优化DBSCAN算法的果树定位方法[J].农业机械学报,2023,54(4):214-221.
LIU Chao,CHEN Jinming,LIU Hui,et al.Fruit tree location method based on 3D Lidar end optimized DBSCAN algorithm[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(4):214-221.(in Chinese)
[20] 丛佩超,崔利营,万现全,等.基于改进ORB-SLAM2的果园喷药机器人定位与稠密建图算法[J].农业机械学报,2023,54(7):45-55.
CONG Peichao,CUI Liying,WAN Xianquan,et al.Localization and dense mapping algorithm for orchard spraying robot based on improved ORB-SLAM2[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(7):45-55.(in Chinese)
[21] 周俊,许建康,王耀羲,等.基于GNSS的智能水田旋耕平地机研究[J].农业机械学报,2020,51(4):38-43.
ZHOU Jun,XU Jiankang,WANG Yaoxi,et al.Development of paddy field rotary-leveling machine based on GNSS[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(4):38-43.(in Chinese)
[22] 李雪峰.基于多源信息融合的果园移动机器人自主定位导航系统研究[D].南宁:广西大学,2022.
LI Xuefeng.Research on autonomous positioning and navigation of orchard mobile robots[D].Nanning:Guangxi University,2022.(in Chinese)
[23] 陈艳,张漫,马文强,等.基于GPS和机器视觉的组合导航定位方法[J].农业工程学报,2011,27(3):126-130.
CHEN Yan,ZHANG Man,MA Wenqiang,et al.Positioning method of integrated navigation based on GPS and machine vision[J].Transactions of the CSAE,2011,27(3):126-130.(in Chinese)
[24] BALL D,UPCROFT B,WYETH G,et al.Vision-based obstacle detection and navigation for an agricultural robot[J].Journal of Field Robotics,2016,33(8):1107-1130.
[25] SUN B,YEARY M,SIGMARSSON H H,et al.Fine resolution position estimation using Kalman filtering[C]∥2019 IEEE International Instrumentation and Measurement Technology Conference (I2MTC),2019:1-5.
[26] 袁洪良,杨浚宇,唐睿,等.基于低成本惯导和运动约束的农机高精度定位系统研究[J].农业机械学报,2023,54(7):17-25.
YUAN Hongliang,YANG Junyu,TANG Rui,et al.High-precision localization of autonomous agricultural machinery using low-cost IMU and motion constraints[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(7):17-25.(in Chinese)
[27] 刘进一,杜岳峰,张硕,等.基于GNSS/MIMU/DR的农业机械组合导航定位方法[J].农业机械学报,2016,47(增刊):1-7.
LIU Jinyi,DU Yuefeng,ZHANG Shuo,et al.Automatic navigation method for agricultural machinery based on GNSS/MIMU/DR information fusion[J].Transactions of the Chinese Society for Agricultural Machinery,2016,47(Supp.):1-7.(in Chinese)
[28] SHALAL N S,LOW T,MCCARTHY C,et al.Orchard mapping and mobile robot localisation using on-board camera and laser scanner data fusion—Part a:tree detection[J].Computers and Electronics in Agriculture,2015,119:254-266.
[29] 沈跃,肖鑫桦,刘慧,等.基于LiDAR/IMU紧耦合的林果园机器人实时定位与建图方法[J].农业机械学报,2023,54(11):20-28,48.
SHEN Yue,XIAO Xinhua,LIU Hui,et al.Real-time localization and mapping method for agricultural robot in orchards based on LiDAR/IMU tight-coupling[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(11):20-28,48.(in Chinese)
[30] KURKA P R G,SALAZAR A A D.Applications of image processing in robotics and instrumentation[J].Mechanical Systems and Signal Processing,2019,124:142-169.
[31] 魏建胜,潘树国,田光兆,等.农业车辆双目视觉障碍物感知系统设计与试验[J].农业工程学报,2021,37(9):55-63.
WEI Jiansheng,PAN Shuguo,TIAN Guangzhao,et al.Design and experiments of the binocular visual obstacle perception system for agricultural vehicles[J].Transactions of the CSAE,2021,37(9):55-63.(in Chinese)
[32] 顾宝兴,刘钦,田光兆,等.基于改进YOLO v3的果树树干识别和定位[J].农业工程学报,2022,38(6):122-129.
GU Baoxing,LIU Qin,TIAN Guangzhao,et al.Recognizing and locating the trunk of a fruit tree using improved YOLO v3[J].Transactions of the CSAE,2022,38(6):122-129.(in Chinese)
[33] 景亮,王瑞,刘慧,等.基于双目相机与改进YOLO v3算法的果园行人检测与定位[J].农业机械学报,2020,51(9):34-39.
JING Liang,WANG Rui,LIU Hui,et al.Orchard pedestrian detection and location based on binocular camera and improved YOLO v3 algorithm[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(9):34-39.(in Chinese)
[34] 蔡舒平,孙仲鸣,刘慧,等.基于改进型YOLO v4的果园障碍物实时检测方法[J].农业工程学报,2021,37(2):36-43.
CAI Shuping,SUN Zhongming,LIU Hui,et al.Real-time detection methodology for obstacles in orchards using improved YOLO v4[J].Transactions of the CSAE,2021,37(2):36-43.(in Chinese)
[35] 蔡舒平,潘文浩,刘慧,等.基于D2-YOLO去模糊识别网络的果园障碍物检测[J].农业机械学报,2023,54(2):284-292.
CAI Shuping,PAN Wenhao,LIU Hui,et al.Orchard obstacle detection based on D2-YOLO deblurring recognition network[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(2):284-292.(in Chinese)
[36] 刘慧,姜建滨,沈跃,等.基于改进DeepLab V3+的果园场景多类别分割方法[J].农业机械学报,2022,53(11):255-261.
LIU Hui,JIANG Jianbin,SHEN Yue,et al.Multi-category segmentation of orchard scene based on improved DeepLab V3+[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(11):255-261.(in Chinese)
[37] LIN Y,CHEN S.Development of navigation system for tea field machine using semantic segmentation[J].IFAC-PapersOnLine,2019,52(30):108-113.
[38] BERGERMAN M,MAETA S M,ZHANG J,et al.Robot farmers:autonomous orchard vehicles help tree fruit production[J].IEEE Robotics &Automation Magazine,2015,22(1):54-63.
[39] 蔡怀宇,陈延真,卓励然,等.基于优化DBSCAN算法的激光雷达障碍物检测[J].光电工程,2019,46(7):83-90.
CAI Huaiyu,CHEN Yanzhen,ZHUO Liran,et al.LiDAR object detection based on optimized DBSCAN algorithm[J].Opto-Electronic Engineering,2019,46(7):83-90.(in Chinese)
[40] CHO S I,LE J H.Autonomous speed sprayer using differential global positioning system,genetic algorithm and fuzzy control[J].Journal of Agricultural,2000,76(2):111-119.
[41] 贾闯,李加念,洪添胜,等.山地果园单轨运输机超声波避障系统的设计与试验[J].农业工程学报,2015,31(增刊):69-74.
JIA Chuang,LI Jianian,HONG Tiansheng,et al.Design and test of ultrasonic obstacle avoidance system for mountain orchard monorail conveyor[J].Transactions of the CSAE,2015,31(Supp.):69-74.(in Chinese)
[42] AGUIAR A S,MONTEIRO N N,SANTOS F N D,et al.Bringing semantics to the vineyard:an approach on deep learning-based vine trunk detection[J].Agriculture,2021,11(2):131.
[43] 肖珂,梁聪哲,夏伟光.基于改进YOLACT的果树叶墙区域实时检测方法[J].农业机械学报,2023,54(4):276-284.
XIAO Ke,LIANG Congzhe,XIA Weiguang.Real-time detection method of fruit leaf wall area based on improved YOLACT[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(4):276-284.(in Chinese)
[44] 王典,刘晋浩,王建利.基于系统聚类的林地内采育目标识别与分类[J].农业工程学报,2011,27(12):173-177.
WANG Dian,LIU Jinhao,WANG Jianli.Identification and classification of scanned target in forest based on hierarchical cluster[J].Transactions of the CSAE,2011,27(12):173-177.(in Chinese)
[45] 张莹莹,周俊.基于激光雷达的果园树干检测[J].中国农业大学学报,2015,20(5):249-255.
ZHANG Yingying,ZHOU Jun.Laser radar based orchard trunk detection[J].Journal of China Agricultural University,2015,20(5):249-255.(in Chinese)
[46] KRAGH M,UNDERWOOD J.Multimodal obstacle detection in unstructured environments with conditional random fields[J].Journal of Field Robotics,2020,37(1):53-72.
[47] 薛金林,董淑娴,范博文.基于信息融合的农业自主车辆障碍物检测方法[J].农业机械学报,2018,49(增刊):29-34.
XUE Jinlin,DONG Shuxian,FAN Bowen.Detection of obstacles based on information fusion for autonomous agricultural vehicles[J].Transactions of the Chinese Society for Agricultural Machinery,2018,49(Supp.):29-34.(in Chinese)
[48] 曾丽娜.车载视觉系统中障碍物检测与识别方法研究[D].南京:南京航空航天大学,2016.
ZENG Li’na.Research on obstacle detection and identification for on-board vision systems[D].Nanjing:Nanjing University of Aeronautics and Astronautics,2016.(in Chinese)
[49] BARGOTI S,UNDERWOOD J P,NIETO J I,et al.A pipeline for trunk detection in trellis structured apple orchards[J].Journal of Field Robotics,2015,32(8):1075-1094.
[50] CHEN X,WANG S,ZHANG B,et al.Multi-feature fusion tree trunk detection and orchard mobile robot localization using camera/ultrasonic sensors[J].Computers and Electronics in Agriculture,2018,147:91-108.
[51] 周治国,曹江微,邸顺帆.3D激光雷达SLAM算法综述[J].仪器仪表学报,2021,42(9):13-27.
ZHOU Zhiguo,CAO Jiangwei,DI Shunfan.Overview of 3D Lidar SLAM algorithms[J].Chinese Journal of Scientific Instrument,2021,42(9):13-27.(in Chinese)
[52] DING H,ZHANG B,ZHOU J,et al.Recent developments and applications of simultaneous localization and mapping in agriculture[J].Journal of Field Robotics,2022,39(6):956-983.
[53] XIA Y,LEI X,PAN J,et al.Research on orchard navigation method based on fusion of 3D SLAM and point cloud positioning[J].Frontiers in Plant Science,2023,14:1207742.
[54] 范永祥,冯仲科,申朝永,等.基于改进LOAM的森林样地调查系统设计与试验[J].农业机械学报,2022,53(7):291-300.
FAN Yongxiang,FENG Zhongke,SHEN Chaoyong,et al.Design and experiment of forest plot survey system based on improved LOAM[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(7):291-300.(in Chinese)
[55] 欧芳,苗中华,李楠,等.复杂果园场景中基于DBP的激光回环检测算法[J].农业机械学报,2023,54(5):29-35.
OU Fang,MIAO Zhonghua,LI Nan,et al.Loop closure detection in complex orchards based on density binary pattern[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(5):29-35.(in Chinese)
[56] 陈劭,郭宇翔,高天啸,等.移动机器人RGB-D视觉SLAM算法[J].农业机械学报,2018,49(10):38-45.
CHEN Shao,GUO Yuxiang,GAO Tianxiao,et al.RGB-D visual SLAM algorithm for mobile robots[J].Transactions of the Chinese Society for Agricultural Machinery,2018,49(10):38-45.(in Chinese)
[57] CHEN M,TANG Y,ZOU X,et al.3D global mapping of large-scale unstructured orchard integrating eye-in-hand stereo vision and SLAM[J].Computers and Electronics in Agriculture,2021,187:106237.
[58] 薛金林,王培晓,周俊,等.基于改进Gmapping算法的果园二维环境地图精准构建[J].农业机械学报,2023,54(7):26-34.
XUE Jinlin,WANG Peixiao,ZHOU Jun,et al.Accurate construction of orchard two-dimensional environmental map based on improved Gmapping algorithm[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(7):26-34.(in Chinese)
[59] 齐咏生,姚辰武,刘利强,等.基于信息融合描述子的机器人复杂场景位姿估计算法[J].农业机械学报,2022,53(10):293-305.
QI Yongsheng,YAO Chenwu,LIU Liqiang,et al.Pose estimation algorithm for robot complex scenes based on information fusion descriptor[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(10):293-305.(in Chinese)
[60] ASTOLFI P,GABRIELLI A,BASCETTA L,et al.Vineyard autonomous navigation in the Echord++ GRAPE experiment[J].IFAC-PapersOnLine,2018,51(11):704-709.
[61] UNDERWOOD J P,HUNG C,WHELAN B,et al.Mapping almond orchard canopy volume,flowers,fruit and yield using lidar and vision sensors[J].Computers and Electronics in Agriculture,2016,130:83-96.
[62] EMMI L,LE FLÉCHER E,CADENAT V,et al.A hybrid representation of the environment to improve autonomous navigation of mobile robots in agriculture[J].Precision Agriculture,2021,22(2):524-549.
[63] 李晨阳,彭程,张振乾,等.融合里程计信息的农业机器人定位与地图构建方法[J].农业工程学报,2021,37(21):16-23.
LI Chenyang,PENG Cheng,ZHANG Zhenqian,et al.Positioning and map construction for agricultural robots integrating odometer information[J].Transactions of the CSAE,2021,37(21):16-23.(in Chinese)
[64] CHEN J,QIANG H,WU J,et al.Extracting the navigation path of a tomato-cucumber greenhouse robot based on a median point Hough transform[J].Journal of Robotics &Machine Learning,2020,174:105472.
[65] YANG S,MEI S,ZHANG Y.Detection of maize navigation centerline based on machine vision[J].IFAC-PapersOnLine,2018,51(17):570-575.
[66] 彭顺正,坎杂,李景彬.矮化密植枣园收获作业视觉导航路径提取[J].农业工程学报,2017,33(9):45-52.
PENG Shunzheng,KAN Za,LI Jingbin.Extraction of visual navigation directrix for harvesting operation in short-stalked and close-planting jujube orchard[J].Transactions of the CSAE,2017,33(9):45-52.(in Chinese)
[67] 肖珂,夏伟光,梁聪哲.复杂背景下果园视觉导航路径提取算法[J].农业机械学报,2023,54(6):197-204.
XIAO Ke,XIA Weiguang,LIANG Congzhe.Visual navigation path extraction algorithm in orchard under complex background[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(6):197-204.(in Chinese)
[68] 林桂潮,邹湘军,罗陆锋,等.改进随机样本一致性算法的弯曲果园道路检测[J].农业工程学报,2015,31(4):168-174.
LIN Guichao,ZOU Xiangjun,LUO Lufeng,et al.Detection of winding orchard path through improving random sample consensus algorithm[J].Transactions of the CSAE,2015,31(4):168-174.(in Chinese)
[69] OPIYO S,OKINDA C,ZHOU Jun,et al.Medial axis-based machine-vision system for orchard robot navigation[J].Computers and Electronics in Agriculture,2021,185:106153.
[70] LI Y,WANG X,LIU D.3D autonomous navigation line extraction for field roads based on binocular vision[J].Journal of Sensors,2019,2019:6832109.
[71] PONNAMBALAM V R,BAKKEN M,MOORE R J D,et al.Autonomous crop row guidance using adaptive multi-ROI in strawberry fields[J].Sensors,2020,20(18):5249.
[72] KIM W S,LEE D H,KIM Y J,et al.Path detection for autonomous traveling in orchards using patch-based CNN[J].Computers and Electronics in Agriculture,2020,175:105620.
[73] GAO G,XIAO K,MA Y.A leaf-wall-to-spray-device distance and leaf-wall-density-based automatic route-planning spray algorithm for vineyards[J].Crop Protection,2018,111:33-41.
[74] 张彦斐,封子晗,张嘉恒,等.基于特征融合的果园非结构化道路识别方法[J].农业机械学报,2023,54(7):35-44.
ZHANG Yanfei,FENG Zihan,ZHANG Jiaheng,et al.Recognition method of orchard unstructured road based on feature fusion[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(7):35-44.(in Chinese)
[75] RADCLIFFE J,COX J,BULANON D M.Machine vision for orchard navigation[J].Computers in Industry,2018,98:165-171.
[76] GAO G,XIAO K,JIA Y.A spraying path planning algorithm based on colour-depth fusion segmentation in peach orchards[J].Computers and Electronics in Agriculture,2020,173:105412.
[77] LYU H K,PARK C H,HAN D H,et al.Orchard free space and center line estimation using naive Bayesian classifier for unmanned ground self-driving vehicle[J].Symmetry,2018,10(9):355.
[78] 韩振浩,李佳,苑严伟,等.基于U-Net网络的果园视觉导航路径识别方法[J].农业机械学报,2021,52(1):30-39.
HAN Zhenhao,LI Jia,YUAN Yanwei,et al.Path recognition of orchard visual navigation based on U-Net[J].Transactions of the Chinese Society for Agricultural Machinery,2021,52(1):30-39.(in Chinese)
[79] 张振乾,李世超,李晨阳,等.基于双目视觉的香蕉园巡检机器人导航路径提取方法[J].农业工程学报,2021,37(21):9-15.
ZHANG Zhenqian,LI Shichao,LI Chenyang,et al.Navigation path detection method for a banana orchard inspection robot based on binocular vision[J].Transactions of the CSAE,2021,37(21):9-15.(in Chinese)
[80] ZHANG S,GUO C,GAO Z,et al.Research on 2D laser automatic navigation control for standardized orchard[J].Applied Sciences,2020,10(8):2763.
[81] 李秋洁,丁旭东,邓贤.基于激光雷达的果园行间路径提取与导航[J].农业机械学报,2020,51(增刊2):344-350.
LI Qiujie,DING Xudong,DENG Xian.Intra-row path extraction and navigation for orchards based on LiDAR[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(Supp.2):344-350.(in Chinese)
[82] REISER D,SEHSAH E S,BUMANN O,et al.Development of an autonomous electric robot implement for intra-row weeding in vineyards[J].Agriculture,2019,9(1):18.
[83] ZHANG C,YONG L,CHEN Y,et al.A rubber-tapping robot forest navigation and information collection system based on 2D LiDAR and a gyroscope[J].Sensors,2019,19(9):2136.
[84] JONES M H,BELL J,DREDGE D,et al.Design and testing of a heavy-duty platform for autonomous navigation in kiwifruit orchards[J].Biosystems Engineering,2019,187:129-146.
[85] 胡广锐,孔微雨,齐闯,等.果园环境下移动采摘机器人导航路径优化[J].农业工程学报,2021,37(9):175-184.
HU Guangrui,KONG Weiyu,QI Chuang,et al.Optimization of the navigation path for a mobile harvesting robot in orchard environment[J].Transactions of the CSAE,2021,37(9):175-184.(in Chinese)
[86] 艾长胜,林洪川,武德林,等.葡萄园植保机器人路径规划算法[J].农业工程学报,2018,34(13):77-85.
AI Changsheng,LIN Hongchuan,WU Delin,et al.Path planning algorithm for plant protection robots in vineyard[J].Transactions of the CSAE,2018,34(13):77-85.(in Chinese)
[87] ROVIRA-MAS F,SAIZ-RUBIO V,CUENCA-CUENCA A.Augmented perception for agricultural robots navigation[J].IEEE Sensors Journal,2021,21(10):11712-11727.
[88] 殷建军,董文龙,梁利华,等.复杂环境下农业机器人路径规划优化方法[J].农业机械学报,2019,50(5):17-22.
YIN Jianjun,DONG Wenlong,LIANG Lihua,et al.Optimization method of agricultural robot path planning in complex environment[J].Transactions of the Chinese Society for Agricultural Machinery,2019,50(5):17-22.(in Chinese)
[89] 曹如月,张振乾,李世超,等.基于改进A*算法和Bezier曲线的多机协同全局路径规划[J].农业机械学报,2021,52(增刊):548-554.
CAO Ruyue,ZHANG Zhenqian,LI Shichao,et al.Multi-machine cooperation global path planning based on A-star algorithm and Bezier curve[J].Transactions of the Chinese Society for Agricultural Machinery,2021,52(Supp.):548-554.(in Chinese)
[90] LI Y,LI J,ZHOU W,et al.Robot path planning navigation for dense planting red jujube orchards based on the joint improved A* and DWA algorithms under laser SLAM[J].Agriculture,2022,12(9):1445.
[91] 郝琨,张慧杰,李志圣,等.基于改进避障策略和双优化蚁群算法的机器人路径规划[J].农业机械学报,2022,53(8):303-312.
HAO Kun,ZHANG Huijie,LI Zhisheng,et al.Path planning of mobile robot based on improved obstacle avoidance strategy and double optimization ant colony algorithm[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(8):303-312.(in Chinese)
[92] ZHANG D,ZHANG D,LIU S,et al.Dynamic multi-role adaptive collaborative ant colony optimization for robot path planning[J].IEEE Access,2020,8:129958-129974.
[93] 翟丽,张雪莹,张闲,等.基于势场法的无人车局部动态避障路径规划算法[J].北京理工大学学报,2022,42(7):696-705.
ZHAI Li,ZHANG Xueying,ZHANG Xian,et al.Local dynamic obstacle avoidance path planning algorithm for unmanned vehicles based on potential field method[J].Transactions of Beijing Institute of Technology,2022,42(7):696-705.(in Chinese)
[94] 刘志强,何丽,袁亮,等.采用改进灰狼算法的移动机器人路径规划[J].西安交通大学学报,2022,56(10):49-60.
LIU Zhiqiang,HE Li,YUAN Liang,et al.Path planning of mobile robot based on TGWO algorithm[J].Journal of Xi’an Jiaotong University,2022,56(10):49-60.(in Chinese)
[95] 徐博,陈立平,徐旻,等.多作业区域植保无人机航线规划算法[J].农业机械学报,2017,48(2):75-81.
XU Bo,CHEN Liping,XU Min,et al.Path planning algorithm for plant protection UAVs in multiple operation areas[J].Transactions of the Chinese Society for Agricultural Machinery,2017,48(2):75-81.(in Chinese)
[96] RYERSON A E F,ZHANG Q.Vehicle path planning for complete field coverage using genetic algorithms[J].Agricultural Engineering International:CIGR Journal,2007,9:1-11.
[97] 季宇寒,李寒,张漫,等.基于激光雷达的巡检机器人导航系统研究[J].农业机械学报,2018,49(2):14-21.
JI Yuhan,LI Han,ZHANG Man,et al.Navigation system for inspection robot based on LiDAR[J].Transactions of the Chinese Society for Agricultural Machinery,2018,49(2):14-21.(in Chinese)
[98] JIANG H,YAN P L,ZHOU J G,et al.Multi-constrained least cost QoS routing algorithm[C]∥Telecommunications and Networking-ICT 2004:11th International Conference on Telecommunications,2004:704-710.
[99] 陈警,罗斌,张婧,等.一种移动机器人激光模型全局路径规划方法[J/OL].武汉大学学报(信息科学版),2022:1-15.http:∥doi.org/10.13203/j.whugis20220067.
CHEN Jing,LUO Bin,ZHANG Jing,et al.A global path planning method for mobile robot laser model[J/OL].Geomatics and Information Science of Wuhan University,2022:1-15.http:∥doi.org/10.13203/j.whugis20220067.(in Chinese)
[100] 侯加林,蒲文洋,李天华,等.双激光雷达温室运输机器人导航系统研制[J].农业工程学报,2020,36(14):80-88.
HOU Jialin,PU Wenyang,LI Tianhua,et al.Development of dual-lidar navigation system for greenhouse transportation robot[J].Transactions of the CSAE,2020,36(14):80-88.(in Chinese)
[101] 陈凯,解印山,李彦明,等.多约束情形下的农机全覆盖路径规划方法[J].农业机械学报,2022,53(5):17-26.
CHEN Kai,XIE Yinshan,LI Yanming,et al.Full coverage path planning method of agricultural machinery under multiple constraints[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(5):17-26.(in Chinese)
[102] OYAMA N,LIU Z,GUETA L B,et al.Task apportionment in a rearrangement problem of multiple mobile robots[J].Advanced Robotics,2013,27(2):93-107.
[103] 陈秋莲,郑以君,蒋环宇,等.基于神经网络改进粒子群算法的动态路径规划[J].华中科技大学学报(自然科学版),2021,49(2):51-55.
CHEN Qiulian,ZHENG Yijun,JIANG Huanyu,et al.Improved particle swarm optimization algorithm based on neural network for dynamic path planning[J].Journal of Huazhong University of Science and Technology(Natural Science Edition),2021,49(2):51-55.(in Chinese)
[104] 贾会群,魏仲慧,何昕,等.基于改进粒子群算法的路径规划[J].农业机械学报,2018,49(12):371-377.
JIA Huiqun,WEI Zhonghui,HE Xin,et al.Path planning based on improved particle swarm optimization algorithm[J].Transactions of the Chinese Society for Agricultural Machinery,2018,49(12):371-377.(in Chinese)
[105] ZHAO X,WANG K,WU S,et al.An obstacle avoidance path planner for an autonomous tractor using the minimum snap algorithm[J].Computers and Electronics in Agriculture,2023,207:107738.
[106] RAHMAN M M,ISHII K,NOGUCHI N.Optimum harvesting area of convex and concave polygon field for path planning of robot combine harvester[J].Intelligent Service Robotics,2019,12(2):167-179.
[107] PLESSEN M G.Coupling of crop assignment and vehicle routing for harvest planning in agriculture[J].Artificial Intelligence in Agriculture,2019,2:99-109.
[108] BOCHTIS D,GRIEPENTROG H W,VOUGIOUKAS S,et al.Route planning for orchard operations[J].Computers and Electronics in Agriculture,2015,113:51-60.
[109] 李朋,杨彩云,王硕.面向地图构建的移动机器人局部路径自主规划[J].控制理论与应用,2018,35(12):1765-1771.
LI Peng,YANG Caiyun,WANG Shuo.Active local path planning of mobile robots for map construction[J].Control Theory &Applications,2018,35(12):1765-1771.(in Chinese)
[110] 杨洋,温兴,马强龙,等.基于贝塞尔曲线的动态识别区农机避障路径实时规划[J].农业工程学报,2022,38(6):34-43.
YANG Yang,WEN Xing,MA Qianglong,et al.Real time planning of the obstacle avoidance path of agricultural machinery in dynamic recognition areas based on Bezier curve[J].Transactions of the CSAE,2022,38(6):34-43.(in Chinese)
[111] 崔永杰,王寅初,何智,等.基于改进RRT算法的猕猴桃采摘机器人全局路径规划[J].农业机械学报,2022,53(6):151-158.
CUI Yongjie,WANG Yinchu,HE Zhi,et al.Global path planning of kiwifruit harvesting robot based on improved RRT algorithm[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(6):151-158.(in Chinese)
[112] 熊俊涛,李中行,陈淑绵,等.基于深度强化学习的虚拟机器人采摘路径避障规划[J].农业机械学报,2020,51(增刊2):1-10.
XIONG Juntao,LI Zhongxing,CHEN Shumian,et al.Obstacle avoidance planning of virtual robot picking path based on deep reinforcement learning[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(Supp.2):1-10.(in Chinese)
[113] 袁朝春,翁烁丰,何友国,等.基于改进人工势场法的路径规划决策一体化算法研究[J].农业机械学报,2019,50(9):394-403.
YUAN Chaochun,WENG Shuofeng,HE Youguo,et al.Integration algorithm of path planning and decision-making based on improved artificial potential field[J].Transactions of the Chinese Society for Agricultural Machinery,2019,50(9):394-403.(in Chinese)
[114] 沈跃,刘子涵,刘慧,等.基于多约束条件的果园喷雾机器人路径规划方法[J].农业机械学报,2023,54(7):56-67.
SHEN Yue,LIU Zihan,LIU Hui,et al.Orchard spray robot planning algorithm based on multiple constraints[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(7):56-67.(in Chinese)
[115] LIU C,ZHAO X,DU Y,et al.Research on static path planning method of small obstacles for automatic navigation of agricultural machinery[J].IFAC-PapersOnLine,2018,51(17):673-677.
[116] 王侨,刘卉,杨鹏树,等.基于机器视觉的农田地头边界线检测方法[J].农业机械学报,2020,51(5):18-27.
WANG Qiao,LIU Hui,YANG Pengshu,et al.Detection method of headland boundary line based on machine vision[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(5):18-27.(in Chinese)
[117] 封永,张欣欣,黄林青,等.激光雷达机器人车辆地头转向路径规划[J].传感器与微系统,2017,36(2):28-31.
FENG Yong,ZHANG Xinxin,HUANG Linqing,et al.Path planning of end-of-row turning for robot vehicle based on laser radar[J].Transducer and Microsystem Technologies,2017,36(2):28-31.(in Chinese)
[118] 李延华.自主移动果园作业机器人地头转向与定位研究[D].南京:南京农业大学,2016.
LI Yanhua.Research on headland turning and localization for automatic robot operating in orchard[D].Nanjing:Nanjing Agricultural University,2016.(in Chinese)
[119] 黄沛琛.基于视觉与卫星定位的履带式果园机器人的导航系统研究[D].广州:华南农业大学,2019.
HUANG Peichen.Research on orchard navigation system for tracked robot based on machine vision and GNSS[D].Guangzhou:South China Agricultural University,2019.(in Chinese)
[120] PASSALAQUA B P,MOLIN J P.Path errors in sugarcane transshipment trailers[J].Engenharia Agrícola,2020,40:223-231.
[121] PARAFOROS D S,HUEBNER R,GRIEPENTROG H W.Automatic determination of headland turning from auto-steering position data for minimising the infield non-working time[J].Computers and Electronics in Agriculture,2018,152:393-400.
[122] HE Z,BAO Y,YU Q,et al.Dynamic path planning method for headland turning of unmanned agricultural vehicles[J].Computers and Electronics in Agriculture,2023,206:107699-107712.
[123] 武涛,李彦明,林洪振,等.基于干扰观测器的直播机路径跟踪快速终端滑模控制[J].农业机械学报,2021,52(12):24-31.
WU Tao,LI Yanming,LIN Hongzhen,et al.Fast terminal sliding mode control for autonomous rice seeding machine based on disturbance observer[J].Transactions of the Chinese Society for Agricultural Machinery,2021,52(12):24-31.(in Chinese)
[124] 林洪振,李彦明,袁正华,等.水田植保机自主作业滑模抗干扰路径跟踪方法[J].农业机械学报,2021,52(9):383-388.
LIN Hongzhen,LI Yanming,YUAN Zhenghua,et al.Sliding mode anti-interference path tracking method for autonomous operation of paddy field plant protection machine[J].Transactions of the Chinese Society for Agricultural Machinery,2021,52(9):383-388.(in Chinese)
[125] 李赫,赵弋秋,秦超斌,等.折腰转向无人驾驶植保车控制系统设计与试验[J].农业机械学报,2020,51(增刊2):544-553.
LI He,ZHAO Yiqiu,QIN Chaobin,et al.Design and test of control system of articulated steering unmanned plant protection vehicle[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(Supp.2):544-553.(in Chinese)
[126] 王猛,赵博,王长伟,等.基于高斯混合模型的履带拖拉机转弯半径控制方法[J].农业机械学报,2020,51(增刊1):557-563.
WANG Meng,ZHAO Bo,WANG Changwei,et al.Method for controlling turning radius of crawler-type tractors based on GMM[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(Supp.1):557-563.(in Chinese)
[127] 肖世德,江海锋,杜金兰,等.基于两阶段纯追踪模型的农用车辆路径跟踪算法研究[J].农业机械学报,2023,54(4):439-446.
XIAO Shide,JIANG Haifeng,DU Jinlan,et al.Path tracking algorithm of agricultural vehicle based on two stages pure tracking model[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(4):439-446.(in Chinese)
[128] BEVLY D M,GERDES J C,PARKINSON B W.A new yaw dynamic model for improved high speed control of a farm tractor[J].Journal of Dynamic Systems,Measurement,and Control,2002,124(4):659.
[129] 袁洪良,郭锐,薛梦琦,等.基于状态空间建模的智能农机模型辨识与柔化控制[J].农业机械学报,2022,53(10):405-411.
YUAN Hongliang,GUO Rui,XUE Mengqi,et al.State-space modeling and identification of intelligent agricultural machinery and flexible LQR control[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(10):405-411.(in Chinese)
[130] 熊璐,杨兴,卓桂荣,等.无人驾驶车辆的运动控制发展现状综述[J].机械工程学报,2020,56(10):127-143.
XIONG Lu,YANG Xing,ZHUO Guirong,et al.Review on motion control of autonomous vehicles[J].Journal of Mechanical Engineering,2020,56(10):127-143.(in Chinese)
[131] 赵永春,张庆,尤泳,等.融合虚拟雷达和两级神经网络的割草机路径跟踪算法[J].农业机械学报,2023,54(4):222-232.
ZHAO Yongchun,ZHANG Qing,YOU Yong,et al.Path tracking algorithm for mower based on virtual radar and two level neural network[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(4):222-232.(in Chinese)
[132] 赵智宇,朱立成,周利明,等.丘陵果园除草机器人底盘系统设计与试验[J].农业机械学报,2022,53(增刊1):48-57.
ZHAO Zhiyu,ZHU Licheng,ZHOU Liming,et al.Design and experiment of chassis control system for weeding robot in hilly orchard[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(Supp.1):48-57.(in Chinese)
[133] 胡炼,关锦杰,何杰,等.花生收获机自动驾驶作业系统设计与试验[J].农业机械学报,2022,53(9):21-27.
HU Lian,GUAN Jinjie,HE Jie,et al.Design and experiment of automatic driving operation system of peanut harvester based on BDS[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(9):21-27.(in Chinese)
[134] HUANG P,ZHANG Z,LUO X,et al.Path tracking control of a differential-drive tracked robot based on look-ahead distance[J].IFAC-PapersOnLine,2018,51(17):112-117.
[135] 吴才聪,吴思贤,文龙,等.拖拉机自动导航变曲度路径跟踪控制[J].农业工程学报,2022,38(21):1-7.
WU Caicong,WU Sixian,WEN Long,et al.Variable curvature path tracking control for the automatic navigation of tractors[J].Transactions of the CSAE,2022,38(21):1-7.(in Chinese)
[136] WANG L,LIU M.Path tracking control for autonomous harvesting robots based on improved double arc path planning algorithm[J].Journal of Intelligent &Robotic Systems,2020,100(3-4):899-909.
[137] WANG R,LI Y,FAN J,et al.A novel pure pursuit algorithm for autonomous vehicles based on salp swarm algorithm and velocity controller[J].IEEE Access,2020,8:166525-166540.
[138] 张华强,王国栋,吕云飞,等.基于改进纯追踪模型的农机路径跟踪算法研究[J].农业机械学报,2020,51(9):18-25.
ZHANG Huaqiang,WANG Guodong,LÜ Yunfei,et al.Agricultural machinery automatic navigation control system based on improved pure tracking model[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(9):18-25.(in Chinese)
[139] 冀杰,贺庆,赵立军,等.除草机器人自适应快速积分终端滑模跟踪控制技术[J].农业机械学报,2023,54(6):55-64.
JI Jie,HE Qing,ZHAO Lijun,et al.Adaptive fast integrating terminal sliding mode tracking control technique for weeding robot[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(6):55-64.(in Chinese)
[140] 白国星,刘丽,孟宇,等.基于非线性模型预测控制的移动机器人实时路径跟踪[J].农业机械学报,2020,51(9):47-52.
BAI Guoxing,LIU Li,MENG Yu,et al.Real-time path tracking of mobile robot based on nonlinear model predictive control[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(9):47-52.(in Chinese)
[141] 王辉,王桂民,罗锡文,等.基于预瞄追踪模型的农机导航路径跟踪控制方法[J].农业工程学报,2019,35(4):11-19.
WANG Hui,WANG Guimin,LUO Xiwen,et al.Path tracking control method of agricultural machine navigation based on aiming pursuit model[J].Transactions of the CSAE,2019,35(4):11-19.(in Chinese)
[142] YANG Y,LI Y,WEN X,et al.An optimal goal point determination algorithm for automatic navigation of agricultural machinery:improving the tracking accuracy of the pure pursuit algorithm[J].Computers and Electronics in Agriculture,2022,194:106760.
[143] AHN J,SHIN S,KIM M,et al.Accurate path tracking by adjusting look-ahead point in pure pursuit method[J].International Journal of Automotive Technology,2021,22(1):119-129.
[144] 陈子文,熊扬凡,胡宗锐,等.基于虚拟探照灯的离合制动履带底盘寻径跟踪[J].农业工程学报,2023,39(12):10-19.
CHEN Ziwen,XIONG Yangfan,HU Zongrui,et al.Path finding and tracking of clutch brake track chassis based on virtual searchlight[J].Transactions of the CSAE,2023,39(12):10-19.(in Chinese)
[145] HAN J,PARK C,PARK Y J,et al.Preliminary results of the development of a single-frequency GNSS RTK-based autonomous driving system for a speed sprayer[J].Journal of Sensors,2019(Special Issue):4687819.
[146] 解彬彬,刘继展,蔡连江,等.小地块履带农机UWB导航系统设计及其基站布置[J].农业工程学报,2022,38(7):48-58.
XIE Binbin,LIU Jizhan,CAI Lianjiang,et al.Design of the UWB navigation system for tracked agricultural machinery in small land and analysis of base station layout[J].Transactions of the CSAE,2022,38(7):48-58.(in Chinese)
[147] PATON M,POMERLEAU F,MACTAVISH K.Expanding the limits of vision-based localization for long-term route-following autonomy[J].Journal of Robotics &Machine Learning,2017,34(1):98-122.
[148] 王猛,赵博,刘阳春,等.基于多变异分组遗传算法的多机协同作业静态任务分配[J].农业机械学报,2021,52(7):19-28.
WANG Meng,ZHAO Bo,LIU Yangchun,et al.Static task allocation for multi-machine cooperation based on multi-variation group genetic algorithm[J].Transactions of the Chinese Society for Agricultural Machinery,2021,52(7):19-28.(in Chinese)
[149] 贾宜霖.多旋翼无人机果园植保作业规划及服务系统研发[D].泰安:山东农业大学,2022.
JIA Yilin.Scheduling for plant protection using multiple unmanned aerial vehicles in orchard and development of service system[D].Taian:Shandong Agricultural University,2022.(in Chinese)
[150] PITAKASO R,SETHANAN K.Adaptive large neighborhood search for scheduling sugarcane inbound logistics equipment and machinery under a sharing infield resource system[J].Computers and Electronics in Agriculture,2019,158:313-325.
[151] BAUMANN C,MARTINOLI A.A modular functional framework for the design and evaluation of multi-robot navigation[J].Robotics and Autonomous Systems,2021,144:103849.
[152] 张凯翔,毛剑琳,向凤红,等.基于讨价还价博弈机制的B-IHCA*多机器人路径规划算法[J].自动化学报,2023,49(7):1483-1497.
ZHANG Kaixiang,MAO Jianlin,XIANG Fenghong,et al.B-IHCA*,a bargaining game based multi-agent path finding algorithm[J].Acta Automatica Sinica,2023,49(7):1483-1497.(in Chinese)
[153] 阴贺生,裴硕,徐磊,等.多机器人视觉同时定位与建图技术研究综述[J].机械工程学报,2022,58(11):11-36.
YIN Hesheng,PEI Shuo,XU Lei,et al.Review of research on multi-robot visual simultaneous localization and mapping[J].Journal of Mechanical Engineering,2022,58(11):11-36.(in Chinese)
[154] 陈昌川,全锐杨,张谦,等.基于轻量化智能的多机协同SLAM系统[J].仪器仪表学报,2022,43(12):188-198.
CHEN Changchuan,QUAN Ruiyang,ZHANG Qian,et al.Lightweight intelligence-based multi-machine collaborative SLAM system[J].Chinese Journal of Scientific Instrument,2022,43(12):188-198.(in Chinese)
[155] JIANG N,HUANG D,CHEN J,et al.Semi-direct monocular visual-inertial odometry using point and line features for IoV[J].ACM Transactions on Internet Technology (TOIT),2021,22(1):1-23.
[156] SCHENK F,FRAUNDORFER F.Robust edge-based visual odometry using machine-learned edges[C]∥IEEE International Conference on Intelligent Robots and Systems,2017:1297-1304.
[157] 蒋朝阳,兰天然,郑晓妮,等.分布式多车协同视觉SLAM系统[J].汽车工程,2022,44(12):1809-1817.
JIANG Chaoyang,LAN Tianran,ZHENG Xiaoni,et al.Distributed multi-vehicle collaborative visual SLAM system[J].Automotive Engineering,2022,44(12):1809-1817.(in Chinese)
[158] TORIELLI D,MURATORE L,LAURENZI A.TelePhysicalOperation:remote robot control based on a virtual “Marionette” type interaction interface[J].IEEE Robotics and Automation Letters,2022,7(2):2479-2486.
[159] HUANG B,TIMMONS N G,LI Q.Augmented reality with multi-view merging for robot teleoperation[C]∥Companion of the 2020 ACM/IEEE International Conference on Human-Robot Interaction,2020:260-262.
[160] KAMEZAKI M,YANG J,SATO R,et al.A situational understanding enhancer based on augmented visual prompts for teleoperation using a multi-monitor system[J].Automation in Construction,2021,131:103893.
[161] CHEN Y,ZHANG B,ZHOU J,et al.Real-time 3D unstructured environment reconstruction utilizing VR and Kinect-based immersive teleoperation for agricultural field robots[J].Computers and Electronics in Agriculture,2020,175:105579.
[162] 王运东,周俊,孙经纬,等.基于临场感增强的果园机器人遥操作可视化系统研究[J].农业机械学报,2023,54(3):22-31.
WANG Yundong,ZHOU Jun,SUN Jingwei,et al.Teleoperation visualization system of orchard robot based on enhancing telepresence[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(3):22-31.(in Chinese)
[163] 王博,毛罕平,王亚娜,等.多维度农机多机协同技术采纳影响因素与作用机制研究[J].农业机械学报,2023,54(1):45-53.
WANG Bo,MAO Hanping,WANG Ya’na,et al.Influencing factors and mechanism of multi-dimensional agricultural machinery collaborative technologies adoption[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(1):45-53.(in Chinese)
[164] 李寒,钟涛,张可意,等.基于WebGIS的农机多机协同导航服务平台设计[J].农业机械学报,2022,53(增刊1):28-35.
LI Han,ZHONG Tao,ZHANG Keyi,et al.Design of agricultural machinery multi-machine cooperative navigation service platform based on WebGIS[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(Supp.1):28-35.(in Chinese)