基于智能手机的手持式树上苹果果径测量系统设计与试验

苹果产业是我国农业经济的重要组成部分,在增加农民收入、出口创汇与农业产业结构调整等方面发挥着重要作用。在苹果种植生产中,通过高效的果园管理来提高果实品质是提升经济效益的主要方式之一[1-5]。不同生长时期的果实果径是果园管理的重要依据,果径测量方式按实施手段可分为非接触式与接触式两种。

非接触式测量通常基于机器视觉技术提取出被测量果实像素信息,随后转换为现实世界的尺寸信息。通过在视野中放置已知尺寸参照物实现尺寸信息的转换[6-8]。APOLO-APOLO等[9]使用木尺作为参照物来实现图像中柑橘果实尺寸信息校准和测量。HUYNH等[10]通过放置特定尺寸棋盘方格实现苹果果实尺寸信息的估测,平均绝对百分比误差(Mean absolute percentage error,MAPE)为15.20%。通过放置参照物虽可降低部分相机硬件成本,但难以实现标准化。因而,通过加配深度传感器来获取被拍摄场景尺寸信息,并结合机器视觉检测出果实图像轮廓,以实现果径测量,是当前常用手段之一。MIZUSHIMA等[11]结合激光测距仪数据和果实分割结果测量苹果果径,均方根误差(Root mean squared error,RMSE)为1.79 mm。YAMAMOTO等[12]通过对基于消费级RGB-D相机数据生成的点云进行矫正以实现苹果果径测量,RMSE为1.00 mm。此类非接触式果径测量方法虽已达到较佳性能,但仍需购买相机设备,且学习成本较高,难以推广。

根据智能手机多摄像头硬件特性,本团队已开发了异构双目视觉算法,可实现图像中多个果实果径同时测量[13]。该算法对120个果实样本果径测量的平均绝对百分比误差为13.73%。但此方法仍无法对被枝叶遮挡严重的果实果径进行准确识别与测量。因而,当前接触式果径测量依旧难以被非接触式所完全取代。

接触式果径测量应用广泛,但操作过程耗时,且长时间测量可能受试验人员主观影响发生人工记录错误问题[14-16]。卡尺式测量是一种常见接触式果径测量方式,通常使用游标卡尺来实现果径测量,精度可达到亚毫米级,但游标卡尺测取果径时所需的操作动作并不太符合人体工程学,且测量时卡尺在果实上的放置位置的差异也可能会引入较大的采样误差。WANG等[17]使用卡尺式测量工具重复测取芒果果实长度时标准差(Standard deviation,SD)为1.20 mm,已超过部分果实处于快速生长期时果径日变化量,难以满足果径测量精度要求。近年来,接触式果径测量装置相关研究多为包裹式带环卡尺测量,带环卡尺需长期安装于被测物体表面,并每隔一段时间自动进行数据采集和上传[18-19]。该类包裹式带环卡尺测量方式适合用于环境可控,仅需获取少量被测对象信息的植物工厂物联网系统中。而对于室外现代化苹果园果径测量,该类方法操作便携性较低,难以被大规模应用。因此,当前果园中果径测量仍主要依赖试验人员使用游标卡尺测量并手动记录果树位置信息,不利于规模果园自动化管理。因此,本文结合现代苹果园中果径测量实际需求,基于机械设计、串口通信、自动控制等技术,设计并开发一种树上苹果果径测量系统,以实现不同生长期果实高精度、易操作的测量及数据统计。

1 树上苹果果径测量系统设计

树上苹果果径测量系统由手持式果径测量工具和数据接收APP组成。手持式果径测量工具获取树上果径信息,无线蓝牙模块将数据传输至数据接收APP显示、处理及保存,方便后续数据查询、下载和统计分析,总体流程见图1。

1.1 手持式果径测量工具

手持式果径测量工具主要由传感器防尘罩、霍尔角度传感器、主壳体、握柄、夹持爪、传动模块、ESP32开发板、施压手柄、电源仓、可充电式锂电池组成,见图2a、2b。基于国家标准GB/T 10651—2008《鲜苹果果径标准》和GB/T 16252—2023《成年人手部尺寸分型》确定测量工具尺寸、量程及部件参数,见图2c,夹持爪最大开口为120 mm,可满足特大果测量需求。装置外壳和部分零件采用3D打印树脂材料加工而成,而对精度要求高的传动模块中的齿轮则为数控机床加工铝合金而成。在果园树上果径测量作业时,试验人员手持握柄,对施压手柄施加握柄方向的力,施压手柄随之发生转动并伴随有扭簧产生的反向阻尼。同时,通过传动模块带动夹持爪张开实现苹果夹持,松开施压手柄后夹持爪自动回弹,夹持爪与被测果实表面贴合,即可实现果径测量。

苹果果径测量装置原理为通过传动模块实现夹持爪与果实表面间的贴合,并实现贴合过程中的线性位移与霍尔角度传感器(P3022型,配备MT6701磁编码器,分辨率为0.022°)旋转角度转换来获取果径。传动模块由曲柄连杆机构以及多级齿轮传动机构共同构成。其中平行四杆机构2个,直齿轮副4个,齿轮副间通过串并联实现转矩传递,见图3。

四级传动齿轮与施压手柄固连,在使用测量工具进行测量时,施压手柄的转动带动四级传动齿轮旋转;四级传动齿轮通过啮合方式向三级传动齿轮传递转矩;三级传动齿轮则通过固连方式向下方的二级传动齿轮A传递转矩;上述二级传动齿轮A继续通过啮合方式向一级传动齿轮A传动转矩;一级传动齿轮A的转动副与轴连曲柄固连,同时通过啮合方式向一级传动齿轮B传递转矩,从而带动2个平行四杆机构运动,实现夹持爪开合;同时,一级传动齿轮B通过啮合方式向二级传动齿轮A传递转矩,二级传动齿轮A与霍尔角度传感器转轴通过定孔固连,以实现对四杆机构整转副旋转角度的读取,角度经解算模块处理即可实现果径测量。

1.1.2 果径解算模块

结算模块硬件部分主要由直流电源、降压模块、ESP32开发板和霍尔角度传感器4部分组成。直流电源(倍量9 V,650 mA·h锂电池)输出电流到降压模块(电压由9 V降为5 V),并接入ESP32开发板为单片机供电,霍尔角度传感器获取旋转角ζ(rad),并通过开发板运行解算果径S(mm)程序,计算式为

式中 Λ——角度传感器初始位置补偿,取3.86 rad

Z——齿数比,取16/36

Ψ——曲柄长度,取60 mm

并通过数据传输模块将果径解算结果传输至数据接收APP。

1.1.3 数据传输模块

苹果果径测量装置需要蓝牙通讯来完成数据从单片机到手机端APP的无线传输。使用ESP32模块内部集成的低功耗蓝牙模块,通过GATT(Generic attributes)协议实现通讯,见图4。本模块基于Arduino IDE使用C++编程来实现,整个模块业务中需传输数据仅为一个32 bit单精度浮点数字,即被测果实果径,故仅设置一种SERVICE,用以实现果径数据传输。

1.2 果径数据接收APP

基于手持式果径测量工具各模块特性,设计并开发配套数据接收APP,以提升数据采集及处理效率。传统果径测量结果通常需人工记录,并在试验后将所记录数据登记至电子表格中,过程费时费力,且易因人工登记失误导致数据可靠性出现偏差,影响后续研究工作。通过开发该数据接收APP,测量人员即可实现数据便捷记录,在测量结束后可一键导出数据表,可极大降低数据记录劳动量。另外,通过接入高德地图软件开发工具包,向数据记录中添加全球定位系统(Global positioning system,GPS)定位信息,便于后期跨地域果园大数据构建。为保证该APP在安卓智能手机上的通用性,基于谷歌Android Studio平台,使用Android5.0(Lollipop)进行APP开发。

数据接收APP主要包含主界面、数据接收、数据导出三大模块。如图5所示,APP打开后直接进入主界面,自动检索并关联手持式果径测量工具,并包含果树信息添加、删减及导出功能;选中果树信息添加选项后,可自行定义果树编号,横/纵径信息采取实时显示交互策略,即点选横/纵径信息编辑框后,编辑框中实时显示手持式果径测量工具所获取的果径数据,试验人员待观察数据平稳后,即可点选获取按钮,以保证数据可靠性,另外,果径信息添加完整后,将自动获取并绑定当前GPS信息;数据获取完成后,点选主界面中的数据导出功能,即可完成数据接收操作。

2 树上苹果果径测量系统性能试验

2.1 系统性能评价指标

为评价树上苹果果径测量系统性能,先后进行室内公制块规和室外树上苹果果径测量试验。室内公制块规试验选用24.50 mm和75.00 mm两种规格高速钢材质的公制块规,分别使用电子游标卡尺(宝工Pro’sKit)和本文所提出的测量系统对公制块规测量尺寸20次。

室外树上苹果果径测量试验果园位于陕西省咸阳市乾县梁山镇瓦子岗村(108°02′E,34°53′N),以广泛种植的美玛嘎啦品种果实为研究对象,分别在幼果(2023年5月23日)、膨大(2023年7月5日)和成熟(2023年8月10日)3个时期[20-21]随机选取10个果实测量横、纵径20次。

根据试验结果对装置的测量精度进行评估。采用平均绝对误差(Mean square error, MAE)和均方根误差来评估测量精度[22-25]。

2.2 公制块规测量试验

经试验后可知,虽本文所提出的尺寸测量工具对于具有简单固定外形的公制块规测量偏差大于游标卡尺,但仍达到较高精度。测量公制块规时,游标卡尺外量爪可与公制块规良好贴合。因而,当公制块规从24.50 mm增加到75.00 mm,测量结果的MAE和RMSE均不超过0.02 mm,见表1。而尺寸测量工具的MAE及RMSE均显著高于游标卡尺,且随着公制块规尺寸的增大而增大。对于75.00 mm的公制块规,尺寸测量工具的MAE及RMSE均分别高于游标卡尺0.16 mm和0.25 mm。表明虽然由于制造和组装工艺水平限制,本文所提出的尺寸测量工具在公制块规测量时难以达到与游标卡尺相同的精度,但夹持爪也可实现与公制块规间较好的贴合效果,达到亚毫米级别精度,可满足苹果果径测量需求。相较公制块规,苹果果实外形不够规则,尺寸测量工具夹持爪和游标卡尺的外量爪与果实表面贴合效果差异直接影响测量结果偏差,继而影响设备测量果径的性能[14]。因此,需开展苹果果径测量试验比较两者对应MAE和RMSE。

2.3 苹果果径测量试验

相较游标卡尺,本文所提出的尺寸测量工具测量树上苹果果径可达到更加令人满意的精度。与公制块规测量不同,苹果果实三维外形并不规则,并且这种不规则随着果实尺寸从幼果至成熟时期的显著增加而被放大,从而影响果径测量精度。见图6,游标卡尺及尺寸测量工具测量幼果期苹果果径时均达到较好的测量精度,MAE及RMSE均不超过0.17 mm。这是由于此时期不规则的果实外形带来的测量偏差仍然较小,果实横、纵径多数在25.00 mm以下。使用游标卡尺测量果实果径时,外量爪依旧可实现与果实表面间的良好贴合。

随着果实依次进入膨大及成熟两个生长期,果实果径随之显著增加,最大将达70.00 mm以上。游标卡尺与果实表面间的贴合将随之变得困难,游标卡尺测量膨大期果实果径的MAE及RMSE多数达0.40 mm以上(最高达0.61 mm)。而相较游标卡尺,本文所提出的尺寸测量工具“双板式”的夹持爪可实现与果实表面间更好的贴合,且夹持爪中间的U形孔可有效避免果柄与枝条连接处对于本装置作业的干扰。这使得尺寸测量工具在测量成熟期果实果径时,MAE及RMSE多数可控制在0.45 mm以下。而游标卡尺却因更加不规则的果实外形导致多数MAE及RMSE达1.05 mm以上。

而尺寸测量工具和游标卡尺的果径测量结果间的差值,并未随生长期改变而显著变化。对于横径测量,两个装置在幼果、膨大和成熟3个生长期的差值分别为0～0.31 mm、0.01～0.67 mm和0.22～1.61 mm。对于纵径测量,2个装置在幼果、膨大和成熟3个时期的差值分别为0～0.29 mm、0.20～0.76 mm和0.08～1.28 mm。虽然差值范围中的最大值随着果实从幼果进入成熟期而增大,但差值范围中的最小值却并未出现相似的情况。这是由于游标卡尺和尺寸测量工具均可达到亚毫米级别的测量精度,测量结果范围均可覆盖真实值。这使得差值最小值可达0 mm,并且测量果实纵径时,虽然成熟期果实尺寸比膨大期更大,但差值的最小值却更小。而果实从幼果进入成熟期不仅带来了尺寸增大,也增加了果实外形不规则性,直接导致了差值中的最大值随生长期的显著变化。

3 结论

(1)设计了一种树上苹果果径测量系统,其综合利用机械设计、串口通信、自动控制等相关技术,可实现树上苹果果径快速准确获取及保存。

(2)根据苹果园种植及果实生长特点,设计出带有U形孔的“双板式”果径测量工具夹持爪。

(3)基于夹持爪与果实接触过程特点,通过霍尔角度传感器获取旋转角度实现“平动-旋转”转换,解算果径结果。

(4)公制块规测量试验结果表明,提出的尺寸测量工具实现了亚毫米级别精度测量,可满足苹果果径测量需求。

(5)苹果果径测量试验结果表明,相较游标卡尺,提出的尺寸测量工具所获取的结果可达到令人更加满意的精度,即便在测量成熟期果实果径时,多数果实果径测量的MAE及RMSE仍可控制在0.45 mm以下。

[1] 赵娟, 沈懋生, 浦育歌, 等. 基于近红外光谱与多品质指标的苹果出库评价模型研究[J]. 农业机械学报, 2023, 54(2): 386-395.ZHAO Juan, SHEN Maosheng, PU Yuge, et al. Out-of-warehouse evaluation and prediction model of apple based on near-infrared spectroscopy combined with multiple quality indexes[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(2): 386-395.(in Chinese)

[2] 王金星, 陈子旭, 范国强, 等. 苹果采收平台输送装置设计与优化试验[J]. 农业机械学报, 2022, 53(增刊1): 176-184.WANG Jinxing, CHEN Zixu, FAN Guoqiang, et al. Design and optimization test of conveying device for apple harvesting platform[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(Supp.1): 176-184.(in Chinese)

[3] 郭志明, 王郡艺, 宋烨, 等. 手持式可见近红外苹果品质无损检测系统设计与试验[J]. 农业工程学报, 2021, 37(22): 271-277.GUO Zhiming, WANG Junyi, SONG Ye, et al. Design and experiment of the handheld visible-near infrared nondestructive detecting system for apple quality[J]. Transactions of the CSAE, 2021, 37(22): 271-277.(in Chinese)

[4] 高芳芳, 武振超, 索睿, 等. 基于深度学习与目标跟踪的苹果检测与视频计数方法[J]. 农业工程学报, 2021, 37(21): 217-224.GAO Fangfang, WU Zhenchao, SUO Rui, et al. Apple detection and counting using real-time video based on deep learning and object tracking[J]. Transactions of the CSAE, 2021, 37(21): 217-224.(in Chinese)

[5] 耿磊, 黄亚龙, 郭永敏. 基于融合注意力机制的苹果品种分类方法[J]. 农业机械学报, 2022, 53(6): 304-310,369. GENG Lei, HUANG Yalong, GUO Yongmin, et al. Apple variety classification method based on fusion attention mechanism[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(6): 304-310,369.(in Chinese)

[6] WANG Z L, KOIRALA A, WALSH K, et al. In field fruit aizing using a smart phone application[J]. Sensors, 2018, 18: 3331.

[7] LU S L, CHEN W K, ZHANG X, et al. Canopy-attention-YOLO v4-based immature/mature apple fruit detection on dense-foliage tree architectures for early crop load estimation[J]. Computers and Electronics in Agriculture, 2022, 193: 106696.

[8] HARTLEY Z K, JACKSON A S, POUND M, et al. Ganana: unsupervised domain adaptation for volumetric regression of fruit[J]. Plant Phenomics, 2021, 2021: 9874597.

[9] APOLO-APOLO O E, MART width=5,height=14,dpi=110

NEZ-GUANTER J, EGEA G, et al. Deep learning techniques for estimation of the yield and size of citrus fruits using a UAV[J]. European Journal of Agronomy, 2020, 115: 126030.

[10] HUYNH T T, TONTHAT L, DAO S V. A vision-based method to estimate volume and mass of fruit/vegetable: case study of sweet potato[J]. International Journal of Food Properties, 2022, 25(25): 717-732.

[11] MIZUSHIMA A, LU R. A low-cost color vision system for automatic estimation of apple fruit orientation and maximum equatorial diameter[J]. Transactions of the ASABE, 2013, 56: 813-827.

[12] YAMAMOTO S, KARKEE M, KOBAYASHI Y, et al. 3D reconstruction of apple fruits using consumer-grade RGB-depth sensor[J]. Engineering in Agriculture, Environment and Food, 2018, 11: 159-168.

[13] ZHAO G A, YANG R Z, JING X D, et al. Phenotyping of individual apple tree in modern orchard with novel smartphone-based heterogeneous binocular vision and YOLO v5s[J]. Computers and Electronics in Agriculture, 2023, 209: 107814.

[14] MIRBOD O, CHOI D, HEINEMANN P H, et al. On-tree apple fruit size estimation using stereo vision with deep learning-based occlusion handling[J]. Biosystems Engineering, 2023, 226: 27-42.

[15] ISLAM M S, SCALISI A, O’CONNELL M G, et al. A ground-based platform for reliable estimates of fruit number, size, and color in stone fruit orchards[J]. HortTechnology, 2022, 32(6): 510-522.

[16] GONGAL A, KARKEE M, AMATYA S. Apple fruit size estimation using a 3D machine vision system[J]. Information Processing in Agriculture, 2018, 6(5): 498-503.

[17] WANG Z, WALSH K B, VERMA B. On-tree mango fruit size estimation using RGB-D images[J]. Sensors, 2017, 17(12): 2738.

[18] THALHEIMER M. A new optoelectronic sensor for monitoring fruit or stem radial growth[J]. Computers and Electronics in Agriculture, 2016, 123: 149-153.

[19] SENGUPTA A, MUKHERJEE A, DAS A, et al. GrowFruit: an IoT-based radial growth rate monitoring device for fruit[J]. IEEE Consumer Electronics Magazine, 2022, 11(3): 38-43.

[20] MAR F, JAVIER R, EDUARD G, et al. Simultaneous fruit detection and size estimation using multitask deep neural networks[J]. Biosystems Engineering, 2023, 233: 63-75.

[21] NEUPANE C, PEREIRA M, KOIRALA A, et al. Fruit sizing in orchard: a review from caliper to machine vision with deep learning[J]. Sensors, 2023, 23: 3868.

[22] MARINI R, SCHUPP J, BAUGHER T, et al. Relationships between fruit weight and diameter at 60 days after bloom and at harvest for three apple cultivars[J]. HortScience, 2019, 54(1): 86-91.

[23] JORDI G, MAR F, EDUARD G, et al. Looking behind occlusions: a study on amodal segmentation for robust on-tree apple fruit size estimation[J]. Computers and Electronics in Agriculture, 2023, 209: 107854.

[24] JUAN C M, JORDI G, MANUELA Z, et al. Fruit sizing using AI: a review of methods and challenges[J]. Postharvest Biology and Technology, 2023, 206: 112587.

[25] JUAN C M, JAUME A, JORDI G, et al. Assessing automatic data processing algorithms for RGB-D cameras to predict fruit size and weight in apples[J]. Computers and Electronics in Agriculture, 2023, 214: 108302.