OSID：
选育优质品种是农业生产的重要环节,直接影响作物品质和产量,对于应对粮食安全挑战具有重要意义[1]。株高和叶面积是作物幼苗的重要形态特征,在种苗培育中,通过对株高、叶面积等表型性状的定量观测,可评估出作物生长发育状况,是筛选作物优质品种的重要手段[2]。然而传统的人工表型测量方法工作量大、速度慢、均匀性差且具有破坏性,上述问题限制了表型分析在种苗培育和设施农业精准管理中的应用[3]。为此,研究者开发了许多高通量传感器以用于获取作物植株生理状态和表型信息,包括高光谱相机、热像仪、叶绿素荧光相机和RGB-D相机等[4]。高光谱相机结合了空间分辨率和光谱信息[5],可以检测胁迫和叶片生理生化特征[6];热像仪可以捕获辐射信息用于水分胁迫检测[7];叶绿素荧光相机用于获取叶绿素含量[8];RGB-D相机被广泛用于获取作物三维结构[9]。然而高光谱相机、热像仪、叶绿素荧光相机等传感器价格昂贵、操作复杂[10],而RGB-D相机又对环境条件要求高且需要校准标定、对齐配准等程序[11-12],难以满足低成本快速获取表型信息的研究需求[13]。
随着计算机图形学的发展,基于低成本RGB影像的三维重建方法已成为表型测量的重要手段[14-15]。该方法利用运动恢复结构(Structure from motion,SFM)算法和立体视觉几何(Multi-view stereo,MVS)算法重建出植株的三维结构,有效解决了二维成像技术缺乏深度信息和遮挡的问题,因而在设施农业育种和田间监测中受到了极大关注[16-17]。这类方法通过运动恢复结构算法来计算相机内外参数、无需复杂的相机标定,设备成本低、表型测量精度较高,可测量参数包括表面缺陷、生物量估计、作物表面模型、作物动态监测、叶片形态、群体结构形态和器官参数[18-25]。然而该方法需要采集大量的高重叠度图像,稠密重建阶段消耗时间长,难以高效获取海量表型信息,这在一定程度上制约了表型技术在设施农业育种管理中的应用[26-27]。
神经辐射场(Neural radiance fields,NeRF)是一种面向三维隐式空间的深度学习模型,通过多层感知机(Multi layer perceptrons,MLPs)来学习和表达三维场景。神经辐射场由于先进的视觉质量和视图合成效果,成为了三维重建研究中的重要分支方向,活跃在计算机视觉领域的研究中[28]。NeRF研究热点主要集中在改进重建质量[29]、提高训练和推理速度[30]、大场景重建[31]、动态场景重建[32]和场景可编辑[33]等方向上,但在三维尺度的作物表型研究中还未见报道,NeRF利用多视角图像获取三维信息,基于神经网络的隐式三维模型拟合视角下的二维图像,结合了深度学习和传统三维视觉的优点,可以重建出高精度的三维模型[34],在苗期作物三维建模和表型参数获取中具有很大潜力。
针对以上问题,本文基于神经辐射场算法对苗期的辣椒、番茄、草莓和绿萝植株进行三维建模,并采用点云库(Point cloud library,PCL)中直线拟合算法和区域生长算法对点云模型进行分割,分割后提取株高、茎粗、叶面积等表型参数,并基于人工实测数据对获取的表型参数进行精度评估。此外,还与SFM-MVS算法所重建的植株进行三维建模分析,基于点对距离均方根误差评价2种方法重建点云的相似程度,并对比建模效率。旨在建立低成本、高通量、非侵入性的植物表型分析系统,快速完成三维重建和表型参数获取,以期为作物育种育苗和设施农业生产提供高效技术手段和数据支持。
试验于2023年1—12月在宁夏大学宁夏回族自治区黄河水联网数字治水重点实验室(38°29′N,106°07′E)进行。选取辣椒、番茄、草莓和绿萝的苗期盆栽植株作为试验对象,将植株置于无风、环境光照稳定的表型分析平台(图1a)中进行拍摄。该表型分析平台主体由旋转台、背景板和三脚架组成,背景板置于三脚架对面,将目标植株置于旋转台上,三脚架距离旋转台中心点45 cm,根据植株高度调节三脚架高度和相机角度,相机镜头指向目标植株中心,通过旋转台转动带动植株缓慢匀速转动,旋转台转速为7.2(°)/s,固定手机摄像头并连接计算机,利用编写的Python程序通过Android SDK调用相机间隔1 s采集图像。为了得到丰富的高重叠度的图像,每次采集拍摄 3周,每周50幅共得到150幅图像,采集方案如图1b所示,多视角RGB影像如图1c所示。
图1 三维重建平台和方案
Fig.1 3D reconstruction platforms and schemes
数据处理使用Intel(R) core(TM) i9-12900KF处理器、128 GB内存以及NVIDIA GeForce RTX 3090 24 GB显卡的图形工作站,在Ubuntu 20.04系统下,使用COLMAP[35]和Instant NGP[36]完成三维重建并利用Python编写的自动运行和计时脚本获取重建时间,重建后使用点云库[37]进行表型参数提取和点对距离均方根误差计算,利用CloudCompare进行可视化。
为了与表型参数测量系统获取的数据进行对比,在试验的同时对株高、茎粗和叶面积进行了人工测量,人工测量方法为:在试验过程中,将叶片依次摘下并标记后置于白色纸板上,并将白色纸板置于透明的玻璃盖板下以保证叶片处于非卷曲状态。此外,纸板上用计算机软件绘制并打印直径为1 cm的圆形定位点,用其作为基准计算目标在图像所占像素与实际尺寸的比例关系。采用Oneplus 11型手机相机采集叶片图像,基于以上图像,采用开源图像处理软件ImageJ来获取叶面积,其具体操作为:首先将图像导入到软件ImageJ中,然后将图像从RGB颜色空间转换成HSB颜色空间,通过调整HSB颜色阈值范围来分割出完整的叶子并计算该区域所占像素点数,进而计算出实际叶面积。在本研究中,株高被定义为作物幼苗茎秆高度,采用卷尺测量获得,茎粗采用游标卡尺并进行多段测量,取其均值测得。
本研究三维建模方法结合了运动恢复结构和神经辐射场算法,重建流程如图2a所示,其具体流程为:
图2 三维重建流程及神经辐射场原理图
Fig.2 Pipeline of 3D reconstruction and schematic of neural radiance fields
(1)基于运动恢复结构算法获取相机的位姿。本文利用COLMAP中的SFM模块进行位姿的估计,该方法采用增量式重建的方法,选择无序图像进行特征匹配,并基于几何条件进行匹配优化,通过三角测量恢复点云的稀疏结构并进行相对姿态估计,再进行光束平差法(Bundle adjustment,BA)优化调整数据结构,然后输出相机的内参和位姿。
(2)基于NeRF模型获取三维场景的隐式表达。将运动恢复结构算法获取的相机位姿及内参输入到神经辐射场中生成三维场景。其原理如图2b所示,神经辐射场使用全连接层深度网络用于场景表达,其输入是3维空间位置坐标和2维视角方向,输出的是该位置空间的体积密度和发射亮度,沿着发射光线查询5维坐标来合成视图并使用立体渲染技术将输出的颜色和密度投影到图像中。通过计算渲染生成的图像与真实图像之间的差异,并采用损失函数进行比较,从而对神经辐射场的场景表示进行迭代优化。在此基础上,NeRF模型生成了高逼真的三维场景。
(3)基于移动立方体(Marching cubes,MC)算法完成三维建模。由于NeRF模型是隐式表达的三维场景,并非直接生成显式表达的三维点云或网格模型。因此,本研究采用移动立方体算法对NeRF模型获取的三维场景进行网格提取,实现了三维模型的构建。
本研究以SFM-MVS方法重建点云为参照,分别统计不同图像数量下重建的辣椒苗和番茄苗点云的点对距离分布,并采用点对距离均方根误差R来量化重建点云相似度。点云相似度代表了两组点云之间的匹配程度,一般而言,点对距离均方根误差越小,重建点云和参照点云之间的相似程度就越高,其重建点云的质量也就越高。由于2个模型尺度不一,处于不同的坐标下,因此需要将点云进行对齐。本研究使用CloudCompare进行对齐操作,选择叶尖、叶脉、叶柄等作为特征点,根据二者对应关系将2个点云对齐到同一坐标系。对齐后,利用迭代最近点(Iterative closest point,ICP)算法进行精配准。配准后,计算重建点云和参考点云之间的点对距离。遍历重建点云中的每个点,搜寻参考点云中的最近邻点作为其对应点,计算该点云对的欧氏距离Di,然后计算点对距离均方根误差R,计算公式分别为
(1)
(2)
式中 (xc,yc,zc)——重建点云某一点坐标
(xr,yr,zr)——参考点云中的对应点坐标
n——点对数量
1.4.1 点云预处理
基于点云库对苗期作物三维点云进行目标分割和表型参数提取。首先,进行点云预处理,其主要目的是消除噪声、坐标校正和尺度恢复。本研究采用HSV颜色阈值分割[38]并结合统计滤波[39]去除,只保留了植株点云。
图像采集时由于视角和高度不固定,重建后的三维模型尺度并非一致,为了精确比较重建结果和获取表型参数,需要进行坐标校正和尺度恢复,具体方法为:在获取图像时,在转台上放置一个采用计算机打印的标准方格纸,由于重建后模型中包含标准格纸的三维点云,可采用随机采样一致性(Random sample consensus,RANSAC)平面拟合算法检测该格纸所在平面方程,拟合后的平面如图3a所示,其平面方程为
图3 坐标校正结果
Fig.3 Coordinate correction results
Ax+By+Cz+D=0
(3)
式中 (A,B,C)——模型中格纸平面的法向量
D——平面法向量(A,B,C)的模与原点至平面的距离之积
然后基于平面方程对点云坐标进行旋转,转换后的点云坐标如图3b所示。
坐标校正后,进行尺度恢复,即以标准方格纸作为参照物,计算出模型和真实世界的比例关系。比例系数k的计算公式为
(4)
式中 Hreal——方格真实长度
Hmodel——方格在模型中的长度
1.4.2 点云分割
苗期作物点云分割主要分为2部分,即茎秆分割和叶片分割。其点云分割流程如图4所示。
图4 点云分割流程
Fig.4 Workflow plots of point cloud segmentation
预处理后,基于随机采样一致性算法对去噪后的作物幼苗点云(图4a)进行直线拟合分割出其茎秆点云,分割效果如图4b所示。同时,提取出非茎秆点云部分(图4c),并对非茎秆点云进行统计滤波处理。处理后,采用区域生长算法进行叶片分割,分割后的叶片点云如图4d所示,采用不同颜色区分叶片。
1.4.3 性状提取
基于分割后的茎秆点云,计算株高和茎粗,具体参数计算方法如下:株高采用距离最值遍历计算(图5a),提取茎秆后,遍历所有点,由于校正以后,植株的生长方向与z轴正方向大致相同,且底部平面为oxy平面,因此植株的z坐标最大值与最小值之间的差值即为株高。将茎秆所有点投影到oxy平面后,由于植株茎秆近似为圆柱,投影后近似为圆形,投影后基于随机采样一致性算法进行圆拟合,求取圆的直径即为茎粗。在辣椒苗的生长过程中,主茎的顶芽活动虽然占据优势,但在实际中茎秆并非完全直立,投影后并非近似为圆形。因此,本研究采用分段求取茎粗,首先根据茎秆的生长状况将茎截取成若干近似直立的片段,采用主成分分析法(Principal component analysis,PCA)进行主方向校正,校正后将茎投影到与主方向垂直的法平面,然后采用随机采样一致性算法进行圆拟合,如图5b所示,拟合圆直径即该分段的茎粗,然后再将几个截取片段的计算结果进行平均。
图5 表型参数计算示意图
Fig.5 Diagrams of phenotype parameters
基于叶片分割后的单叶片点云计算叶面积,其参数计算方法为:提取叶片后,由于叶片点云存在一定的厚度,与实际观测的生长发育状态不符,为了精确提取叶面积性状,需要进行点云平滑,本研究采用移动最小二乘法(Moving least squares,MLS)平滑方法,平滑前如图5c所示,图5d为平滑后效果。可以看出,采用MLS平滑以后,叶片轮廓并未改变,但叶片点云大致在一个曲面上,更符合实际情况。然后采用贪心投影算法进行三角化,三角化后的叶片由若干个三角形组成,计算所有三角形面积Si并叠加即为叶面积。三角形面积计算采用海伦公式,然后累加得到的总面积即为所求叶面积S。计算公式为
(5)
其中
(6)
(7)
式中 ai、bi、ci——三角形边长
m——三角化后的三角形数量
分别使用NeRF和SFM-MVS这2种方法对典型植株进行三维重建,图6a为NeRF渲染结果,重建结果如图6b和图6c所示,两者重建效果均较好,对比NeRF和SFM-MVS方法,可以明显看出前者保留了更多的细节和纹理特征,植株重建较为完整,叶片脉络清晰。而SFM-MVS方法中,在叶片的周围部分出现了较多的白色噪点,这主要是由于环境影响,布设的白色背景对植株重建产生了一定程度的干扰,在特征匹配与提取中被错误地提取出来,产生了点云漂移。此外,由于棋盘格和转盘表面纹理较少,颜色均一,导致图像中存在一定程度的镜面反射,进而影响了特征提取的结果,最终导致重建的稠密点云中出现了部分内容缺失。但NeRF模型基于隐式表达,通过附加位姿信息的二维图像作为监督即可表达出复杂的三维场景,相比于传统的三维重建方法,这种隐式表达方式使得NeRF模型能够更好地处理模型中的细节,从而达到照片级的渲染效果,经网格提取后其重建结果仍优于SFM-MVS方法。
图6 重建效果对比
Fig.6 Comparison plots of reconstruction effects
此外,本研究以SFM-MVS重建点云为参考,基于点对距离实现了NeRF重建质量的可视化,由图6d可知,在番茄苗、草莓苗和绿萝等植株点云中,表示重建质量较好的蓝色区域广泛分布,而表示重建质量较差的红色区域较少,这表明NeRF方法的重建质量较高。
为了进一步检验该方法的三维重建效果,本研究选择辣椒、番茄、草莓和绿萝苗期植株进行三维建模结果分析试验,与SFM-MVS算法从重建效率、相似度进行比较,其中三维建模效率采用完成重建消耗时间为评估标准,相似度采用点对距离均方根误差作为评估标准并统计了点对距离分布,三维建模效率和相似度如表1所示。
表1 三维建模效率和相似度
Tab.1 3D reconstruction efficiency and similarity
作物图像数量/幅NeRF平均重建时间/sSFM-MVS平均重建时间/s点对距离均方根误差/cm72330.4723068.0480.15690465.4923836.3870.128辣椒108602.9104708.0120.206126794.2215543.3270.368144868.8796460.7280.39272219.5233259.8840.08190400.1254118.7780.143番茄108540.9684964.9970.235126644.5185890.4730.377144699.8246807.7890.38972190.3643123.8530.19290317.8353901.5480.147草莓108379.8834821.0790.268126405.5565497.1830.379144595.3276901.2850.39572307.1243609.5820.14990438.6733942.6590.178绿萝108569.4865542.1090.238126772.8416178.6740.325144842.6097232.3280.369
同一种重建策略下,图像数量和重建时间呈正相关,获取精细的三维模型往往需要消耗更多重建时间,采用72～144幅图像进行辣椒、番茄、草莓和绿萝植株三维重建时,SFM-MVS算法消耗的时间分别为3 068.048～6 460.728 s、3 259.884～6 807.789 s、3 123.853～6 901.285 s和3 609.582～7 232.328 s,而NeRF方法则分别仅需330.472～868.879 s、219.523～699.824 s、190.364～595.327 s和307.124～842.609 s,同等条件下为前者的6.09%～14.32%,可见相比于传统的SFM-MVS方法,NeRF时间上的优势明显。因此,NeRF方法显著降低了三维建模阶段的时间成本,可以近实时完成作物生长状况动态监测和数字可视化。总体而言,在采取72～144幅图像的重建策略时,NeRF方法较SFM-MVS方法重建效率提升极大,达700%。说明NeRF方法能显著减少作物幼苗的三维建模时间,可快速高效完成对结构复杂、纹理特征丰富作物幼苗的三维重构。
以SFM-MVS重建的三维点云为基准,NeRF方法重建出的各植株点云的点对距离均方根误差最大仅为0.395 cm,点对距离均分布在0.1 cm以内,其中90%的点对距离分布在0.05 cm以内,表现出极高的相似性,这在一定程度上反映出NeRF方法重建精度较好。总体而言,2种方法所重建点云匹配程度高,而NeRF方法作物幼苗的重建速度相较于SFM-MVS方法提升700%,更具应用价值。
三维重建后,基于PCL 1.12.1实现了对辣椒苗的表型参数提取,提取表型参数包括株高、茎粗和叶面积。为进一步评价本研究方法的准确性和有效性,以50株辣椒苗为试验对象,将表型提取的株高、茎粗、叶面积与人工测量值进行对比分析,采用均方根误差(Root mean square error,RMSE)和决定系数(R2)作为精度评估评价指标。各表型参数提取值与人工实测值的对比如图7所示,对比结果表明,株高提取值与人工实测值之间误差较小,其决定系数(R2)和均方根误差(RMSE)分别为0.971和0.86 cm。茎粗决定系数(R2)和均方根误差(RMSE)分别为0.907和0.017 cm。叶面积决定系数(R2)和均方根误差(RMSE)分别为0.935和0.75 cm2。
图7 表型参数值与人工实测值对比
Fig.7 Comparison plots of extracted parameters and measured values
叶面积和株高这2个表型参数提取结果与人工实测值非常接近,反映出本研究提出的三维建模方法准确性较好,能较好还原苗期植株的生长发育状态和真实的三维结构。茎粗的表型提取值与人工实测值之间比较接近,整体上比人工实测值略大,造成这种误差的原因有以下几个方面:①以苗期辣椒作为试验对象,其茎粗较小,存在一定的测量误差,并且在表型分析中的尺度恢复时,其比例系数参数较为敏感。②采用投影的方法来计算茎粗,茎的投影部分可能还包含了其他截面的点云,这在一定程度也会造成提取结果偏大。③茎叶分割算法的提取结果也会对计算结果产生影响,部分叶片点云会被错误分割,从而造成提取结果偏大。
总体而言,虽然表型提取参数存在少许误差,但与人工测量值之间相关性较好,这在一定程度上也反映出本研究所提出的方法其建模精度较好,可以应用于苗期作物三维建模和表型参数获取。
为了进一步验证该方法用于复杂植株叶面积提取的可靠性,本研究还选取番茄、草莓和绿萝等苗期植株作为试验对象,并统计了来自4株番茄植株的32片番茄叶片,来自10株草莓植株的32片草莓叶片,来自5株绿萝植株的37片绿萝叶片,与人工实测值进行了对比分析,采用均方根误差和决定系数作为精度评估评价指标。
各植株叶面积提取值与人工值均较为接近,反映出本研究提出的方法用于获取叶面积可靠性较好,其中番茄苗叶面积的R2和RMSE分别为0.911和2.2 cm2,草莓苗叶面积的R2和RMSE分别为0.909和3.12 cm2,绿萝植株叶面积的R2和RMSE分别为0.919和3.22 cm2。
由图8可知,试验所用叶片尺寸不一,形态各异,数据分布较为广泛,其R2均高于0.9,该方法对于叶面积提取效果较好,RMSE均小于4 cm2,说明该方法较为可靠。
图8 叶面积提取值与人工实测值对比
Fig.8 Comparison plots of extracted value and measured values
与二维成像相比,基于三维结构的表型分析技术拓展了表型数据的维度,可实现更精准提取多种表型参数[18]。已有研究利用SFM-MVS算法重建出三维点云并提取表型参数,其准确性较好、经济成本较低,但重建速度慢限制了该方法在表型参数获取中的应用[19-25]。此外,光照条件的变化可能导致特征点的亮度和颜色发生变化,对SFM-MVS重建结果产生较大影响,而在NeRF模型中,场景、物体都是自发光、自吸收光的粒子云,环境光照影响非常小[40-41],本研究提出的方法克服了这种缺点,环境限制更小、三维场景表达准确、表型参数测量精度较好,并且降低了重建阶段的时间成本,显著加快点云重建进程和表型分析进程。但仍存在一些问题:在表型算法中如茎秆分割等算法部分参数较敏感,依赖人工选取,不能实现完全的自动化,可考虑结合深度学习来进行器官分割;设计自动化图像采集系统以固定相机位置,减少计算量可进一步提高重建效率。
在已有的三维尺度的表型研究中,三维建模和表型分析是独立的,三维建模只是获取点云的技术手段,重建后利用点云分割算法进行器官分割并提取表型特征。这是由传统的三维数据获取手段决定的,激光雷达、三维扫描仪等设备和SFM-MVS方法都是基于显式的点云或网格对三维场景进行表达,而NeRF模型采用多层感知器神经网络实现了三维内容的隐式表达,可以对场景中的物体和背景进行语义表达和内容变换[42],如去除背景,对植株进行语义标注和分割等。因此,NeRF可以将三维建模过程和点云分割统一起来,这将进一步提高植物形态结构的数字化感知能力,进而加速表型分析进程。
(1)提出了一种基于神经辐射场的苗期作物三维建模和表型参数获取的方法,该方法首先利用手机摄像头获取苗期作物多视角的RGB影像,并基于该影像采用NeRF算法进行了三维建模,然后进行茎叶分割,分割后获取了叶面积、株高和茎粗等表型参数。
(2)提出的方法可以精准且快速地对苗期作物进行三维建模,利用手机摄像头实现了低成本获取其三维表型信息,所重建的各苗期植株点云与SFM-MVS方法重建点云的平均点对距离均方根误差均小于0.04 cm,相似度高,重建质量好,但建模效率提升极大,达700%。
(3)利用神经辐射场获取了苗期作物的三维结构,对重建后的点云进行表型参数测量,提取辣椒苗株高、茎粗决定系数(R2)分别为0.971和0.907,均方根误差(RMSE)分别为0.86 cm和0.017 cm,对各苗期植株叶面积提取的R2为0.909～0.935,RMSE为0.75～3.22 cm2。提取值和人工测量值误差较小,验证了该重建方法可以用于获取作物表型信息,具有一定的准确性和可靠性。
[1] 王庆,车荧璞,柴宏红,等.基于无人机影像的冠层光谱和结构特征监测甜菜长势[J].农业工程学报,2021,37(20):90-98.
WANG Qing,CHE Yingpu,CHAI Honghong,et al.Monitoring of sugar beet growth using canopy spectrum and structural characteristics with UAV images[J].Transactions of the CSAE,2021,37(20):90-98.(in Chinese)
[2] YANG S,ZHENG L,GAO W,et al.An efficient processing approach for colored point cloud-based high-throughput seedling phenotyping[J].Remote Sensing,2020,12(10):1540.
[3] 袁培森,李润隆,任守纲,等.表示学习技术研究进展及其在植物表型中应用分析[J].农业机械学报,2020,51(6):1-14.
YUAN Peisen,LI Runlong,REN Shougang,et al.State-of-the-art review for representation learning and its application in plant phenotypes[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(6):1-14.(in Chinese)
[4] 何勇,李禧尧,杨国峰,等.室内高通量种质资源表型平台研究进展与展望[J].农业工程学报,2022,38(17):127-141.
HE Yong,LI Xiyao,YANG Guofeng,et al.Research progress and prospect of indoor high-throughput germplasm phenotyping platforms[J].Transactions of the CSAE,2022,38(17):127-141.(in Chinese)
[5] 黄亦其,刘祥焕,黄震宇,等.基于高光谱成像的甘蔗叶片早期轮斑病与锈病识别技术[J].农业机械学报,2023,54 (4):259-267.
HUANG Yiqi,LIU Xianghuan,HUANG Zhenyu,et al.Identification of early wheel spot and rust on sugarcane leaves based on spectral analysis[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(4):259-267.(in Chinese)
[6] 谢亚平,仝晓刚,王晓慧.基于高光谱的水稻稻曲病早期监测研究[J].农业机械学报,2023,54(9):288-296.
XIE Yaping,TONG Xiaogang,WANG Xiaohui.Early monitoring of rice koji disease based on hyperspectroscopy[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(9):288-296.(in Chinese)
[7] MWINUKA P R,MBILINYI B P,MBUNGU W B,et al.The feasibility of hand-held thermal and UAV-based multispectral imaging for canopy water status assessment and yield prediction of irrigated African eggplant (Solanum aethopicum L)[J].Agricultural Water Management,2021,245:106584.
[8] ZHANG H,GE Y,XIE X,et al.High throughput analysis of leaf chlorophyll content in sorghum using RGB,hyperspectral,and fluorescence imaging and sensor fusion[J].Plant Methods,2022,18(1):1-17.
[9] 徐胜勇,李磊,童辉,等.基于RGB-D相机的黄瓜苗3D表型高通量测量系统研究[J].农业机械学报,2023,54(7):204-213,281.
XU Shengyong,LI Lei,TONG Hui,et al.High-throughput measurement system for 3D phenotype of cucumber seedlings using RGB-D camera[J].Transactions of the Chinese Society for Agricultural Machinery,2023,54(7):204-213,281.(in Chinese)
[10] 程曼,袁洪波,蔡振江,等.田间作物高通量表型信息获取与分析技术研究进展[J].农业机械学报,2020,51(增刊1):314-324.
CHENG Man,YUAN Hongbo,CAI Zhenjiang,et al.Review of field-based information acquisition and analysis of high-throughput phenotyping[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(Supp.1):314-324.(in Chinese)
[11] 朱启兵,张梦,刘振方,等.基于点云配准的盆栽金桔果实识别与计数方法[J].农业机械学报,2022,53(5):209-216.
ZHU Qibing,ZHANG Meng,LIU Zhenfang,et al.Identification and counting method of potted kumquat fruits based on point cloud registration[J].Transactions of the Chinese Society for Agricultural Machinery,2022,53(5):209-216.(in Chinese)
[12] 肖志刚,周猛祥,袁洪波,等.光照强度对Kinect v2深度数据测量精度的影响[J].农业机械学报,2021,52(增刊):108-117.
XIAO Zhigang,ZHOU Mengxiang,YUAN Hongbo,et al.Influence analysis of light intensity on Kinect v2 depth measurement accuracy[J].Transactions of the Chinese Society for Agricultural Machinery,2021,52(Supp.):108-117.(in Chinese)
[13] 陈海波,刘圣搏,王乐乐,等.基于Kinect V3的单株作物自动化三维重建与验证[J].农业工程学报,2022,38(16):215-223.
CHEN Haibo,LIU Shengbo,WANG Lele,et al.Automatic 3D reconstruction and verification of an individual crop using Kinect V3[J].Transactions of the CSAE,2022,38(16):215-223.(in Chinese)
[14] SONG P,LI Z,YANG M,et al.Dynamic detection of three-dimensional crop phenotypes based on a consumer-grade RGB-D camera[J].Frontiers in Plant Science,2023,14:1097725.
[15] 张漫,苗艳龙,仇瑞承,等.基于车载三维激光雷达的玉米点云数据滤波算法[J].农业机械学报,2019,50(4):170-178.
ZHANG Man,MIAO Yanlong,QIU Ruicheng,et al.Maize point cloud data filtering algorithm based on vehicle 3D LiDAR[J].Transactions of the Chinese Society for Agricultural Machinery,2019,50(4):170-178.(in Chinese)
[16] HE W,YE Z,LI M,et al.Extraction of soybean plant trait parameters based on SfM-MVS algorithm combined with GRNN[J].Frontiers in Plant Science,2023,14:1181322.
[17] 朱冰琳,刘扶桑,朱晋宇,等.基于机器视觉的大田植株生长动态三维定量化研究[J].农业机械学报,2018,49(5):256-262.
ZHU Binglin,LIU Fusang,ZHU Jinyu,et al.Three-dimensional quantifications of plant growth dynamics in field-grown plants based on machine vision method[J].Transactions of the Chinese Society for Agricultural Machinery,2018,49(5):256-262.(in Chinese)
[18] 肖顺夫,刘升平,李世娟,等.改进区域增长算法的植株多视图几何重建[J].中国农业科学,2019,52(16):2776-2786.
XIAO Shunfu,LIU Shengping,LI Shijuan,et al.Multi-view geometric reconstruction of plant based on improved region-growing algorithm[J].Scientia Agricultura Sinica,2019,52(16):2776-2786.(in Chinese)
[19] 张慧春,周宏平,郑加强,等.植物表型平台与图像分析技术研究进展与展望[J].农业机械学报,2020,51(3):1-17.
ZHANG Huichun,ZHOU Hongping,ZHENG Jiaqiang,et al.Research progress and prospect in plant phenotyping platform and image analysis technology[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(3):1-17.(in Chinese)
[20] 郑晨曦,温维亮,卢宪菊,等.基于三维数字化的小麦植株表型参数提取方法[J].智慧农业(中英文),2022,4(2):150-162.
ZHENG Chenxi,WEN Weiliang,LU Xianju,et al.Phenotypic traits extraction of wheat plants using 3D digitization[J].Smart Agriculture,2022,4(2):150-162.(in Chinese)
[21] 王瑞萍,刘东风,王先琳,等.基于多视图几何的白菜薹分割与关键表型测量[J].农业工程学报,2022,38(16):243-251.
WANG Ruiping,LIU Dongfeng,WANG Xianlin,et al.Segmentation and measurement of key phenotype for Chinese cabbage sprout using multi-view geometry[J].Transactions of the CSAE,2022,38(16):243-251.(in Chinese)
[22] GUO R,XIE J,ZHU J,et al.Improved 3D point cloud segmentation for accurate phenotypic analysis of cabbage plants using deep learning and clustering algorithms[J].Computers and Electronics in Agriculture,2023,211:108014.
[23] ZHU T,MA X,GUAN H,et al.A method for detecting tomato canopies’ phenotypic traits based on improved skeleton extraction algorithm[J].Computers and Electronics in Agriculture,2023,214:108285.
[24] 陈辉,王婷婷,代作晓,等.基于运动恢复结构的无规则植物叶片面积三维测量方法[J].农业机械学报,2021,52 (4):230-238.
CHEN Hui,WANG Tingting,DAI Zuoxiao,et al.3D measurement method for area of irregular plant leaf based on structure from motion[J].Transactions of the Chinese Society for Agricultural Machinery,2021,52(4):230-238.(in Chinese)
[25] 梁秀英,周风燃,陈欢,等.基于运动恢复结构的玉米植株三维重建与性状提取[J].农业机械学报,2020,51(6):209-219.
LIANG Xiuying,ZHOU Fengran,CHEN Huan,et al.Three-dimensional maize plants reconstruction and traits extraction based on structure from motion[J].Transactions of the Chinese Society for Agricultural Machinery,2020,51(6):209-219.(in Chinese)
[26] LI Y,LIU J,ZHANG B,et al.Three-dimensional reconstruction and phenotype measurement of maize seedlings based on multi-view image sequences[J].Frontiers in Plant Science,2022,13:974339.
[27] 李百明,吴茜,吴劼,等.基于多视角自动成像系统的作物三维点云重建策略优化[J].农业工程学报,2023,39(9):161-171.
LI Baiming,WU Qian,WU Jie,et al.Optimization of crop 3D point cloud reconstruction strategy based on the multi-view automatic imaging system[J].Transactions of the CSAE,2023,39(9):161-171.(in Chinese)
[28] MILDENHALL B,SRINIVASAN P P,TANCIK M,et al.Nerf:representing scenes as neural radiance fields for view synthesis[J].Communications of the ACM,2021,65(1):99-106.
[29] BARRON J T,MILDENHALL B,VERBIN D,et al.Mip-nerf 360:unbounded anti-aliased neural radiance fields[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2022:5470-5479.
[30] FRIDOVICH-KEIL S,YU A,TANCIK M,et al.Plenoxels:radiance fields without neural networks[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2022:5501-5510.
[31] REMATAS K,LIU A,SRINIVASAN P P,et al.Urban radiance fields[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2022:12932-12942.
[32] LI T,SLAVCHEVA M,ZOLLHOEFER M,et al.Neural 3D video synthesis from multi-view video[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2022:5521-5531.
[33] YUAN Y J,SUN Y T,LAI Y K,et al.Nerf-editing:geometry editing of neural radiance fields[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2022:18353-18364.
[34] ZHU F,GUO S,SONG L,et al.Deep review and analysis of recent NeRFs[J].APSIPA Transactions on Signal and Information Processing,2023,12(1):1-32.
[35] SCHONBERGER J L,FRAHM J M.Structure-from-motion revisited[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2016:4104-4113.
[36] MÜLLER T,EVANS A,SCHIED C,et al.Instant neural graphics primitives with a multiresolution hash encoding[J].ACM Transactions on Graphics (ToG),2022,41(4):1-15.
[37] RUSU R B,COUSINS S.3D is here:point cloud library[C]∥2011 IEEE International Conference on Robotics and Automation.IEEE,2011:1-4.
[38] ZHANG W,WU S,WEN W,et al.Three-dimensional branch segmentation and phenotype extraction of maize tassel based on deep learning[J].Plant Methods,2023,19(1):76.
[39] 苗艳龙,彭程,高阳,等.基于地基激光雷达的玉米株高与茎粗自动测量研究[J].农业机械学报,2021,52(增刊):43-50.
MIAO Yanlong,PENG Cheng,GAO Yang,et al.Automatic measurement of plant height and stem thickness of maize based on terrestrial laser scanning[J].Transactions of the Chinese Society for Agricultural Machinery,2021,52(Supp.):43-50.(in Chinese)
[40] MARTIN-BRUALLA R,RADWAN N,SAJJADI M S M,et al.Nerf in the wild:neural radiance fields for unconstrained photo collections[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2021:7210-7219.
[41] SRINIVASAN P P,DENG B,ZHANG X,et al.Nerv:neural reflectance and visibility fields for relighting and view synthesis[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2021:7495-7504.
[42] ZHI S,LAIDLOW T,LEUTENEGGER S,et al.In-place scene labelling and understanding with implicit scene representation[C]∥Proceedings of the IEEE/CVF International Conference on Computer Vision,2021:15838-15847.