OSID：
设施农业是一种典型的劳动密集型行业,果实采摘是占用劳动力最多的环节,也是实现自动化难度最大的环节,人工采摘方式依旧是设施农业中的首选方式。因此,自动化采摘成为设施农业发展过程中亟需解决的技术难题。
果实自动采摘技术的核心在于准确地定位果实位置。然而,在实际自然环境中,会面临多种挑战,如光照变化、果实重叠、以及植物枝叶遮挡等。这些因素都会对果实目标的定位测距造成影响。
实际农业环境的典型特点包括光照变化大、具有丰富的纹理边缘信息、果实相似度大、果实之间存在互相遮挡等;目前,传统的测距方法分为主动测距[1]和被动测距[2];主动测距常用的方法有三角测距法[3]、飞行时间法[4]和结构光法[5]等;被动测距可分为单目视觉测距以及双目视觉测距。对于结构光法在强光照下不宜使用,强光容易干扰投影光;飞行时间法定位精度为厘米级且容易受到光照影响;三角测距原理的激光雷达成本较高,结构复杂,且分辨率不高;并且在温室草莓园环境下,草莓行间距较小,在采集草莓图像时,主动测距方式的相机受到拍摄起始距离较大的影响导致无法获取清晰的图像,从而丢失部分图像特征。因此,主动式测距的方法在实际农业环境下的测距效果会受到限制。
双目立体视觉基于双目相机目标匹配方法,获得在左右相机中图像的几何特征点,从而通过几何计算获得目标距离。基于角点、线、轮廓和边缘等的匹配是较为成功的双目匹配方法,但是在草莓种植环境这种典型的非结构环境,具有光照亮度和阴影覆盖区域变化大的问题,由于枝叶与草莓果实局部特征相似导致存在大量相似的角点特征以及由于阴影或光照较强导致的角点缺失的情况,因此特征匹配成功率较低。若结合草莓自身边缘、纹理、形状等几何特征以及克服光照、模糊、遮挡、旋转、颜色不一致等因素,实现双目草莓图像稳定的特征提取,完成草莓图像的双目匹配,那么可在温室草莓种植环境下体现双目视觉系统成本低、环境适应性好、起始距离短和可灵活配置的优点,则利用双目视觉系统实现目标识别和定位是一个有效方法[6-11]。但现有方法适用的目标环境相对单一,不满足实际采摘环境需求。
为克服此问题,文献[12-22]先利用深度学习网络识别目标再利用区域几何特征完成目标匹配。而对于自然环境下草莓目标图像基于区域特征的双目匹配方法难以克服目标局部特征存在的相似性高和差异较大的问题,从而导致双目特征匹配准确率较低。
本文设计基于语义信息的草莓目标双目视觉匹配方法,首先完成左右2个相机图像中的草莓目标区域的分割,提取自然环境下的草莓目标像素区域;然后利用小型深度网络提取草莓图像区域的语义特征,并设计基于语义特征和空间几何特征的草莓双目语义匹配的方法,以期实现双目相机中的草莓目标匹配。
使用的草莓数据采集于北京市昌平区小汤山万德草莓庄园,分两次进行数据采集:于2023年12月21日13:00—15:30温室顶无盖被条件下拍摄光照充分时草莓图像,15:30—17:00温室顶有盖被条件下拍摄晴天弱光下草莓图像;于2023年12月29日阴天09:00—12:00温室顶无盖被条件下拍摄草莓图像。
拍摄所使用的设备为2台大恒ME2C-137-90GC(-P)型相机,镜头型号为HN-0612-2M-C1/2X,所拍摄图像分辨率为1 280像素×1 024像素。采集装置如图1所示。
图1 草莓图像采集装置
Fig.1 Strawberry image acquisition device
本文设计的方法由两部分组成:①草莓目标识别与分割模块。②草莓图像语义匹配模块。草莓目标识别与分割模块基于训练好的草莓目标识别与分割网络,从实际自然环境的图像中确定草莓目标图像像素区域。其次,将草莓目标图像区域送入训练好的语义特征提取网络,获得所有草莓目标语义特征向量。再次,基于顺序约束和极线约束剔除不符合双目结构几何约束的待匹配草莓目标对,对满足约束条件的草莓目标,计算左右相机中草莓目标区域的语义特征向量距离。最后,对左右相机中符合约束条件的草莓目标进行拒取判断,剔除满足拒取条件的草莓目标匹配目标,从而获得草莓图像匹配对。上述匹配对可用于基于双目的目标测距。方法总体流程图如图2所示。
图2 基于双目的草莓语义匹配整体流程图
Fig.2 Whole flowchart of strawberry semantic matching based on binocular
如图2所示,输入的左右相机图像,经过目标识别与分割模块后,以从实际自然环境的图像中确定草莓目标的图像像素区域;将草莓区域的图像送入特征提取网络,获得左右相机图像中所有草莓目标的语义特征向量,其中(XL1,XL2,XL3,XL4)为图1左相机中提取的4个草莓语义特征向量,(XR1,XR2,XR3)为图1右相机中提取的3个草莓语义特征向量;对上述语义特征向量进行筛选、匹配后,获得匹配目标对。最终左相机图像中1号草莓与右相机图像中1号草莓成功匹配;左相机图像中2号草莓与右相机图像中2号草莓成功匹配;左相机图像3号草莓在右相机图像中由于枝叶遮挡,无法识别到,不进行匹配;左相机图像中4号草莓与右相机图像中3号草莓成功匹配(由于左相机1号草莓与4号草莓基本在同一像素高度,与右相机匹配后,导致表示草莓目标匹配对的绿线部分重合),匹配关系通过结果图中绿色连线进行展示;本文设计的算法可以对实际温室草莓种植环境下双目草莓图像进行语义匹配。在完成草莓目标的匹配之后,可进行双目测距计算。
基于前期工作设计的草莓目标识别网络和分割网络,能够在自然环境的图像中识别并分割草莓区域,并提取精确的草莓目标像素[23],识别分割效果如图3所示。
图3 草莓目标识别与分割模块效果
Fig.3 Strawberry target recognition and segmentation module effect
将图3中识别到的草莓编号为1号、2号、3号草莓,其分割结果如图3所示,可以识别并分割相互近邻的1号、2号草莓以及单个不完整的3号草莓。网络可以识别并分割自然场景下温室种植的草莓目标;利用分割网络得到的草莓区域掩膜,提取到草莓像素区域,过滤不需要的背景信息,在本文后续草莓语义匹配中,语义特征提取网络所提取到的语义特征向量仅含所需要的草莓像素所对应的语义特征信息。
在自然温室草莓种植场景这种典型的非结构环境下,环境中纹理、边缘丰富,而且草莓枝叶、草莓果实之间相似性大,角点特征点不明确,并且角点特征在真实草莓园环境下易受到光照变化、像素模糊的影响,难以获得稳定的角点匹配结果,会出现无法匹配的问题。卷积神经网络是典型的特征学习方法,草莓图像送入训练好的卷积神经网络后,该网络全连接层输出的特征向量综合了边缘、纹理、形状等特征,还能够克服包含光照、像素模糊、遮挡、旋转、颜色不一致带来的影响,相较于角点特征,全连接层特征向量具有更稳定和准确的目标物体描述能力。因此,利用卷积神经网络全连接层提取到的草莓语义信息可用于草莓实际种植环境下的双目草莓目标匹配,通过计算语义特征向量距离,可以实现双目草莓目标相似性判断,从而实现双目草莓匹配,进而为草莓定位提供支撑。因此本文采用语义匹配方式进行温室环境下双目草莓目标匹配。
对于草莓语义特征向量的提取,在温室草莓园环境下,仅需要提取出草莓目标边缘、纹理、形状、尺寸、光影、旋转、遮挡、颜色等信息,且环境信息较为单一,不需要在复杂多样场景下进行草莓目标语义特征提取,较小的网络参数量即可满足需求。在实际匹配过程中,左右相机拍到的图像可能包含多个草莓,需要较快的提取速度以提高匹配算法整体实时性。AlexNet网络是典型的卷积神经网络且模型结构简单,计算量小,满足本文需求。因此以AlexNet网络的最后一个全连接层(FC8层)的输出作为草莓语义特征向量,以此语义特征向量作为双目目标匹配的特征。图4为草莓语义特征向量定义示意图。
图4 草莓语义特征向量定义
Fig.4 Strawberry semantic feature vector definition
对于提取到的草莓语义特征向量,计算其之间的距离值,判断左右相机中的草莓图像是否为同一个。在本文中判断左、右相机中草莓是否为同一个需要对比左右相机所拍图像中草莓的整体相似性,需考虑由于遮挡、光照、草莓模糊等其他环境因素带来细节差异和草莓姿态不一致时方向上的差异。欧氏距离对向量整体坐标差异进行计算,适用于分析草莓相似性中图像整体差异。曼哈顿距离对各个维度的差异敏感,有助于捕捉草莓图像中的细节差异。余弦相似度可以在草莓向量方向上进行相似性对比。因此选择欧氏距离、余弦相似度、曼哈顿距离来判断左、右相机图像中的草莓是否为同一个。
利用双目相机采集到的图像数据,左右相机图像中同一草莓坐标应满足约束条件
|yL-yR|≤ε
(1)
xL>xR
(2)
式中(xL,yL)、(xR,yR)为左右相机图像中草莓坐标,ε为设置的同一草莓纵坐标差阈值参数。纵坐标理论上在左右相机光心连线的平行线上,而横坐标在左相机图像中坐标大于右相机图像中坐标。因此计算左、右机图像中满足此约束条件的特征向量的空间距离,选择距离最小的特征向量所对应的草莓作为预匹配结果。由于同一草莓和不同草莓的特征向量距离存在交叉区域,对预匹配结果不能全取,需要结合数据特点进行拒取设计;在这些结果中进一步判断是否满足拒取条件,剔除被拒取的目标对,得到最终的草莓目标匹配对。至此,通过草莓语义匹配,可以实现温室环境下的草莓双目匹配问题。对采集到的所有草莓图像,对其进行识别与分割,再提取草莓图像的语义特征向量,计算这些草莓语义特征向量之间的欧氏距离、余弦相似度、曼哈顿距离,分析左右相机拍到的同一草莓与不同草莓之间距离分布特点,如图5所示。
图5 草莓间语义特征向量距离数据分布
Fig.5 Distributions of semantic feature vector distance data among strawberries
从图5看出,同一草莓之间特征向量距离相对较小,而不同草莓之间特征向量距离较大,但是两者仍有交叉区域,其中针对曼哈顿距离,其距离交叉区域集中在895.76～1 227.81,在除去样本离群值后,交叉区域占比为19.9%。针对欧氏距离,其距离交叉区域集中在35.88～48.47,在除去样本离群值后,交叉区域占比为18.3%。针对余弦相似度,其交叉区域集中在0.05～0.15,在除去样本离群值后,交叉区域占比为26.5%。
为确定交叉区域产生的原因,在数据集中选择部分同一草莓和不同草莓,计算草莓语义特征向量距离并进行分析。
在所拍摄的草莓数据集中,根据识别到草莓目标锚框中心点坐标,依照U-Net网络输入所要求的图像尺寸,截取224像素×224像素的草莓图像区域送入分割网络,选取5组左右相机拍到的同一草莓进行特征距离计算,如图6所示。
图6 同一草莓经过分割网络结果
Fig.6 Results of the same strawberry after segmentation network
图6a、6c、6e、6g、6i为5组由左右相机获得图像内同一草莓区域进行识别结果,图6b、6d、6f、6h、6j为相应图像分割结果,标注L为左相机获得的图像中的草莓区域,标注R为右相机获得的图像中的草莓区域。提取图6b、6d、6f、6h、6j所示的草莓区域图像语义特征。图6k为多果且存在轻微遮挡识别结果,图6l为图6k识别结果的分割结果,并对其中草莓个体进行图6k所示编号,上述特征向量距离如表1所示。
表1 同一草莓之间语义特征向量距离
Tab.1 Semantic feature vector distance between the same strawberry
编号欧氏距离余弦相似度曼哈顿距离b22.700.0242570.09d20.030.0495503.88f33.760.0793839.84h45.510.11791139.05j39.110.0944946.13l(1)38.000.1004961.82l(2)36.400.0808904.40l(3)35.100.0610877.10
对于图6中所展示的图像,当光照充足,分割网络由左右相机图像提取的草莓区域较为完整,如图6b、6d、6f所示,对应的距离值如表1中的草莓编号b、d、f所示,3种距离值均较小;当草莓存在遮挡或光照不均匀的情况时,如图6h、6j所示,分割网络由左右相机图像提取的草莓区域存在区别;对应距离如表1中的草莓编号h、j所示,3种距离均大于草莓区域较为完整对应的距离;l(1)、l(2)、l(3)分别表示图6l中左图1、2、3号草莓与右图1、2、3号草莓之间的距离关系,由表1可知,对于分割区域完整的2号草莓与3号草莓,距离相对较小;而由于光照与遮挡导致分割区域不完整的1号草莓,距离相对较大。
为了对比选取的左右相机拍到的同一草莓计算的5组距离特点,再选取左右相机拍到的不同的5组草莓进行特征距离计算,以分析不同草莓距离的数据特点,所选草莓图像如图7所示。
图7 不同草莓经过分割网络结果
Fig.7 Results of different strawberries processed by the segmentation network
图7a、7c、7e、7g、7i为由左右相机获得的5组图像内不同草莓区域识别结果,图7b、7d、7f、7h、7j为相应的图像分割结果。标注L的为左相机获得的图像中的草莓区域,标注R的为右相机获得的图像中的草莓区域。提取图7b、7d、7f、7h、7j为草莓区域图像语义特征,计算特征向量距离如表2所示。
表2 不同草莓之间语义特征向量距离
Tab.2 Semantic feature vector distance between different strawberries
编号欧氏距离余弦相似度曼哈顿距离b85.100.32072072.3d39.100.0812975.9f63.200.20611560.6h53.160.16541306.3j75.810.27231889.8
对比表1和表2数据,左右相机中同一草莓特征距离较小,而不同草莓特征距离较大。如在图6k中识别到的多果遮挡情况下草莓目标,分别计算图6k左图1号草莓与右图2号草莓,左图1号草莓与右图3号草莓,左图2号草莓与右图3号草莓特征向量之间的曼哈顿距离,分别为:1 455.9、1 468.3、1 479.1,以及表2中b组以及f、h、j组不同草莓之间特征距离。但数据也有交叉部分,例如在同一草莓中,表1中h组为同一草莓,其语义特征向量曼哈顿距离为1 139.05,而表2中d组为不同草莓,其语义特征向量曼哈顿距离为975.9。
由于光照或遮挡等因素,同一草莓在左右相机中的像素区域提取结果存在差异,进而导致同一草莓间特征距离增大;而不同草莓个体之间也具有一定的相似性,网络提取出的草莓语义向量较为接近,计算获得的不同草莓之间的距离较小,从而导致产生数据交叉。
对于这些交叉区域,需要进行进一步数据分析,选择一个合适的阈值来执行当距离值处于交叉区域时,是否为同一草莓的决策。对同一草莓和不同草莓提取的语义特征向量,均计算3种距离,结果如图8所示。
图8 草莓语义特征向量距离分布箱型图
Fig.8 Strawberry semantic feature vector distance distribution box plots
图8中3种距离测度均可在整体上区分是否为同一草莓。同时为了在3种距离表示方式中选择一种合适的距离表示方式作为本文算法距离计算标准,分析其各自同一草莓的上邻点数值以及不同草莓下四分位点数值,如表3所示。
表3 草莓语义特征向量距离分布箱型图特殊点
Tab.3 Strawberry semantic feature vector distance distribution box plot special points
特征点类型特征向量距离表示欧氏距离余弦相似性曼哈顿距离同一草莓上邻点 48.470.14811227.8不同草莓下四分位点49.170.13091231.3
根据图8所示3种距离表示,欧氏距离表示与曼哈顿距离表示中,同一草莓上邻点数值小于不同草莓下四分位点。图8b中相同草莓箱型图上邻点的值大于不同草莓箱型图下四分位数数值,同一草莓与不同草莓距离之间存在较多数据交叉区域,相较欧氏距离与曼哈顿距离不利于判断是否为同一草莓。
考虑到曼哈顿距离相较欧氏距离数据表达范围更广,相较更为直观,因此选取草莓语义特征向量之间的曼哈顿距离作为后续特征向量距离计算标准。
由图8c可知,样本中大部分同一草莓特征向量之间的曼哈顿距离集中在600～850,而不同草莓特征向量之间的距离更多集中在1 250～1 600。对于特征向量之间的距离处在交叉区域时,执行是否属于同一草莓决策的曼哈顿距离阈值设计为1 900。据此特征,进行实际环境下匹配验证,如图9所示。
图9 正常匹配成功的画幅
Fig.9 Normally matched frame
在草莓图像完整,无光照不均、遮挡等情况下,草莓的匹配是准确的,如图9所示,左相机图像1、2、3号草莓分别与右相机1、2、3号草莓形成匹配关系。其对应的左右相机中草莓间特征向量距离如表4所示。
表4 正常匹配成功的草莓间曼哈顿距离
Tab.4 Manhattan distance between strawberries in a normal successful match
距离计算关系(左,右)曼哈顿距离(1号,1号)808.4(1号,2号)1001.8(1号,3号)985.2(2号,1号)961.7(2号,2号)727.5(2号,3号)880.2(3号,1号)1279.1(3号,2号)1075.9(3号,3号)758.5
在表4所示数据中,图9左相机图像中的1、2、3号草莓分别和右相机图像中1、2、3号草莓距离最小,可以形成一对一的匹配关系。
尽管在草莓图像完整,无光照不均、遮挡等情况下可以进行匹配,但这两种草莓的特征向量之间仍存在一定的交叉区域。因此,需要进一步改进和优化匹配算法,以提高分类的准确性和鲁棒性,因此,引入了两种关键约束。
(1)极线约束:对于在三维空间中的一个映射点,其纵坐标理论上在左右相机光心连线的平行线上。约束关系如公式(1)所示,本文中设置的约束为,两点y坐标之差的绝对值应小于或等于20像素。因为草莓个体本身为类球形,草莓掩膜区域的最小外接圆更适合于表示草莓区域,因此,本文设计草莓经过分割网络输出后的草莓掩膜区域最小外接圆圆心作为左右相机图像草莓y坐标的判断依据。而由于光照、遮挡等原因,分割网络从左右相机草莓图像中提取到的草莓区域存在区别,导致草莓掩膜区域外接圆圆心在y坐标上存在偏差。在本文所采集的草莓数据中,草莓果实在图像中的像素高度集中在80～120,经测试得出y坐标约束值设置为20个像素可较好地实现果实约束筛选。
(2)顺序约束:在左右相机捕捉到的图像中,同一草莓的像素x坐标应满足一定的顺序关系。对于同一草莓,其最小外接圆圆心在左相机图像中的x坐标应大于其在右相机图像中的x坐标,约束关系如公式(2)所示。
基于以上约束条件,进行草莓特征向量之间的距离计算。首先,对左相机图像的每一个草莓的特征向量分别计算其与右相机图像中所有满足约束条件的草莓特征向量的距离,并选择距离最小的匹配。最终,建立了左右相机图像中草莓之间的一对一配对关系。添加约束前后效果如图10所示。
图10 约束条件前后效果
Fig.10 Effects before and after constraints
图10a为未添加两种约束时的匹配结果,出现了错误匹配的草莓。
将图10a中的草莓进行编号,如图10b所示,左相机图像按照从左到右分别为1号、2号、3号、4号草莓,右相机图像按照从左到右分别为1号、2号、3号草莓,整理出左右相机图像中草莓外接圆圆心在原图中坐标(xcenter,ycenter),如表5所示。
表5 相机图像草莓外接圆圆心坐标
Tab.5 Coordinates of center of circle outside strawberry of camera image 像素
草莓编号xcenterycenter左相机1号149592左相机2号796771左相机3号963668左相机4号1069671右相机1号490747右相机2号649647右相机3号761645
按表5中所示的草莓外接圆圆心,对图10中检测出的草莓在分割网络输出的掩膜上进行绘图展示外接圆,如图11所示。
图11 图10中的草莓掩膜最小外接圆示意图
Fig.11 Schematic of minimum outer circle of strawberry mask in Fig.10
由图11可知,外接圆可以较好地包围图10中的草莓掩膜区域。对识别到的草莓外接圆圆心横坐标进行顺序约束,纵坐标进行极线约束。对满足约束条件的草莓匹配对进行整理,如表6所示。
表6 满足约束条件的草莓预匹配关系
Tab.6 Strawberry pre-matching relationships that satisfied constraints
匹配关系左图草莓编号右图草莓编号预匹配2号1号预匹配3号2号预匹配3号3号预匹配4号2号预匹配4号3号
对于满足约束条件的草莓样本对,分别计算其对应的语义特征向量距离,结果如表7所示。
表7 预匹配草莓样本对之间的曼哈顿距离
Tab.7 Manhattan distance between pairs of pre-matched strawberry samples
预匹配草莓对(左,右)曼哈顿距离(2号,1号)636.4(3号,2号)1028.3(3号,3号)1527.8(4号,2号)1332.0(4号,3号)1171.4
由表7可得,图10b左相机图像中的2号草莓和右相机图像中的1号草莓形成唯一匹配对。左相机图像中3号草莓在比较曼哈顿距离后与右相机图像2号草莓形成匹配对。左相机图像中4号草莓在比较曼哈顿距离后和右相机图像中3号草莓形成匹配对。在添加顺序约束与极限约束后可以提高双目草莓目标匹配准确率。
在满足约束条件情况下,仍有匹配错的情况,由图8可得不同草莓特征向量之间的距离更多集中在1 250～1 600,而同一草莓上邻点值为1 227.3。共统计274对草莓对,分别设置拒取值(dr)为1 600、1 700、1 800、1 900、2 000,其拒取准确率与匹配准确率如表8所示。
表8 不同拒取值对应的匹配准确率
Tab.8 Matching accuracy for different rejection values %
拒取值拒取准确率匹配准确率160060.994.1170068.395.2180073.295.9190075.696.3200073.295.9
由表8可知,当拒取值设置高于1 900时,准确率反而下降,因此,设计本文的距离拒取值为1 900。即尽管满足约束条件,若草莓特征向量曼哈顿距离大于1 900,仍认为左、右相机草莓不构成匹配对,如图12所示。
图12 拒取结果
Fig.12 Refusal result
由于图12c中左相机图像标记的1号草莓在图12a中成功识别到,而在图12b中并没有成功识别到,导致在计算特征向量距离时,图12c中右相机图像标记的1号草莓并未参与到距离计算中,从而导致图像中左相机图像1号草莓与右相机图像中2号草莓形成错误匹配关系。左相机图像1号草莓与右相机图像识别到的草莓(2号、3号、4号)之间的特征向量距离分别为1 979.8、2 406.6、2 487.4。
计算距离得到图12c左相机图像1号草莓与右相机图像2号草莓更接近,导致图12c的错误匹配对。对比拒取值,图12c左相机图像1号草莓与右相机图像2号草莓的错误匹配关系被拒取,如图12d所示,在剔除错误匹配关系后,可获得正确的草莓目标匹配关系。
文献[12]中提到的双目视觉车距测量系统中,对于车辆匹配准确率可达95%,在实际环境下也有较高的匹配准确率。在文献[24]中提到对罗汉果的双目匹配方法中,准确率可达98.7%,在实际的果园种植环境中也可以获得较高的匹配准确率,结合先前调研的类似方法,在实际环境中结合神经网络可以在双目定位系统中获得可用于实际生产需求的匹配准确率。方法最终的准确率与实际环境的复杂程度以及模型的数据集是否充足也有一定关系,需要综合不同的场景进行优化以达到目标需求。
(1)设计使用深度学习网络对温室草莓种植环境下草莓目标实现检测与分割,获取了左右相机图像精确的草莓目标像素区域。
(2)利用卷积神经网络提取草莓目标像素区域最后一层全连接层输出作为草莓目标的语义特征向量;分析左右相机拍到的图像中草莓目标语义特征向量之间不同距离的数据特点,选择曼哈顿距离作为草莓目标匹配对的判断标准,结合草莓掩膜区域最小外接圆圆心坐标设计顺序约束、极线约束作为草莓目标匹配对的筛选条件。分析不同特征距离值对匹配成功率的影响,设定拒取阈值,完成了对基于双目图像草莓目标的匹配。
(3)实验结果表明,温室环境下本文方法收集的草莓双目图像测试的匹配正确率为96.3%,可为实际采摘环境下草莓目标双目定位系统提供良好的目标匹配结果。
[1] 高宏伟.计算机双目立体视觉[M].北京:电子工业出版社,2012.
[2] LIU C,JU W,ZHANG G,et al.ASDN-based active measurement method to traffic QoS sensing for smart network access[J]. Wireless Networks,2021,27:3677-3688.
[3] YI W,JIANG M,HOSEINNEZHAD R,et al.Distributed multi-sensor fusion using generalised multi-Bernoulli densities[J].IET Radar,Sonar &Navigation,2017,11(3):434-443.
[4] CORTI A,GIANCOLA S, MAINETTI G,et al.A metrological characterization of the Kinect V2 time-of-flight camera[J].Robotics and Autonomous Systems, 2016, 75: 584-594.
[5] 冯云.双目结构光三维成像系统研究[D].长沙:湖南大学, 2017.
FENG Yun. Research on binocular structured light three-dimensional imaging system[D]. Changsha:Hunan University, 2017.(in Chinese)
[6] 李长勇,房爱青,谭红,等.高架草莓采摘机器人系统研究[J].机械设计与制造,2017(6):245-247,251.
LI Changyong, FANG Aiqing, TAN Hong, et al. Elevated strawberry picking robot system research[J]. Machinery Design and Manufacture,2017(6):245-247,251.(in Chinese)
[7] 项荣,应义斌,蒋焕煜,等.基于双目立体视觉的番茄定位[J].农业工程学报,2012,28(5):161-167.
XIANG Rong,YING Yibin,JIANG Huanyu,et al.Localization of tomatoes based on binocular stereo vision[J].Transactions of the CSAE,2012,28(5):161-167.(in Chinese)
[8] 李寒,王库,曹倩,等.基于机器视觉的番茄多目标提取与匹配[J].农业工程学报,2012,28(5):168-172.
LI Han,WANG Ku,CAO Qian,et al. Machine vision-based multi-target extraction and matching for tomato[J]. Transactions of the CSAE, 2012,28(5):168-172.(in Chinese)
[9] GAO G, WEI L, HU Q. Research on image lightweight binocular ranging[C]∥2023 3rd International Conference on Computer Control and Robotics (ICCCR), 2023.
[10] XIONG J T, LIN R, ZHEN L, et al. The recognition of litchi clusters and the calculation of picking point in a nocturnal natural environment[J]. Biosystems Engineering, 2018, 166: 44-57.
[11] LUO L F, TANG Y C, ZOU X J, et al. Vision-based extraction of spatial information in grape clusters for harvesting robots[J]. Biosystems Engineering, 2016, 151: 90-104.
[12] 张晓玲,程荣波,唐荣芳.基于双目视觉的车距测量系统[J].信息与电脑(理论版),2023,35(10):144-146.
ZHANG Xiaoling, CHENG Rongbo,TANG Rongfang.Vehicle distance measurement system based on binocular vision[J].China Computer and Communication,2023,35(10):144-146.(in Chinese)
[13] 顾宝兴,刘钦,田光兆,等.基于改进YOLOv3的果树树干识别和定位[J].农业工程学报,2022,38(6):122-129
GU Baoxing, LIU Qin, TIAN Guangzhao, et al. Recognizing and locating the trunk of a fruit tree using improved YOLOv3[J]. Transactions of the CASE, 2022, 38(6): 122-129.(in Chinese)
[14] 陈燕,王佳盛,曾泽钦,等.大视场下荔枝采摘机器人的视觉预定位方法[J].农业工程学报,2019,35(23):48-54.
CHEN Yan, WANG Jiasheng, ZENG Zeqin, et al. Vision pre-positioning method for litchi picking robot under large field of view[J]. Transactions of the CASE, 2019, 35(23): 48-54.(in Chinese)
[15] 闫元.基于深度学习与双目视觉的草莓识别定位研究[D].太原:山西农业大学,2020.
YAN Yuan.Research on strawberry recognition and localization based on deep learning and binocular vision[D].Taiyuan: Shanxi Agricultural University,2020.(in Chinese)
[16] 曹力阳.基于双目视觉的地面羽毛球分类检测及测距[D].桂林:广西师范大学,2023.
CAO Liyang.Ground badminton detection and distance measurement based on binocular vision[D].Guilin: Guangxi Normal University,2023.(in Chinese)
[17] 生明超.基于双目视觉的螺旋式粮面机器人平粮作业测距与目标识别定位研究[D].长春:吉林农业大学,2023.
SHENG Mingchao. Research on ranging and target recognition and positioning of spiral grain surface robot based on binocular vision during grain leveling operation[D]. Changchun:Jilin Agricultural University,2023.(in Chinese)
[18] YIN S, XU W, YU B, et al. Deep learning based binocular detection and localization method for roses[C]∥2022 4th International Conference on Robotics and Computer Vision (ICRCV), 2022.
[19] WU Y, QIU C, LIU S, et al. Tomato harvesting robot system based on binocular vision[C]∥2021 IEEE International Conference on Unmanned Systems (ICUS), 2021.
[20] WANG C L, ZOU X J, TANG Y C, et al. Localisation of litchi in an unstructured environment using binocular stereo vision[J]. Biosystems Engineering, 2016, 145: 39-51.
[21] ZHANG P, LIU Z. Research on binocular stereo vision ranging based on improved YOLOv5s[C]∥2023 5th International Conference on Intelligent Control, Measurement and Signal Processing (ICMSP), 2023.
[22] YANG L, ZHANG Z, ZHAO H, et al. Target visual detection and positioning for autonomous driving[C]∥2023 IEEE 9th International Conference on Cloud Computing and Intelligent Systems (CCIS), 2023.
[23] 毕松,隗朋峻,刘仁学.温室高架栽培草莓空间姿态识别与采摘点定位方法[J].农业机械学报,2023,54(9):53-64,84.
BI Song,WEI Pengjun, LIU Renxue. Spatial posture recognition and picking point location method for greenhouse raised-frame strawberry cultivation[J]. Transactions of the Chinese Society for Agricultural Machinery,2023,54(9):53-64,84.(in Chinese)
[24] ZHAO H. Research on the recognition and localization of Momordica grosvenori based on binocular vision and a convolutional neural network[C]∥2023 IEEE International Conference on Control, Electronics and Computer Technology (ICCECT), 2023.