OSID：
随着信息技术的发展和工业化的深入,联合收获机正逐步向智能化、信息化转型[1-3]。联合收获机的应用不仅可以降低劳动成本和劳动强度[4],还能大幅提升收获作业的效率[5]。然而,随着联合收获机的信息化管理水平以及联合收获机间的信息交互透明度的提升,也面临着优化作业质量控制、故障预警诊断和精准预测油耗等一系列新的挑战[6]。此外,当前科研实验中的管理系统及实验台架使用时,在时间、空间和实验数据量方面存在一定的局限性,这些限制阻碍了农业机械的快速、高效研发。
数字孪生(Digital twin)技术作为一种先进的模拟工具,为复杂系统提供了一种数字化的虚拟映射,能够精准模拟孪生体的行为[7-8]。通过实时的数据交换,实时反映其对应物理实体的状态和行为,甚至预测未来发展趋势[9-10]。
近年来,数字孪生技术在农业领域受到了广泛的关注,国内外众多学者已取得了显著的研究成果。LIN等[11]研究了数字孪生技术在智能农业机械设备设计中的应用和提高农业机械的智能化水平,促进了技术创新和智能农业机械化产业的标准化。DOROKHOV等[12]创建农业机械的数字孪生体并进行了测试,可以在不需要物理制造的情况下,有效地测试和优化农业机械,从而降低了物理测试的成本和时间。SLEDKOV等[13]针对农业机械在恶劣环境下的加速磨损问题,提出了一种创新的数字孪生模型。该模型能够优化农业机械的修复与恢复过程,减少材料成本,并为组织工作提供最佳解决方案。ZHANG等[14]通过部署拖拉机、中央服务器和物联网平台,开发了一个智能农业机械设备的数字孪生服务平台,并以大功率拖拉机耕作为例来验证方法的有效性。该平台能够准确预测拖拉机耕作质量,准确率达到96.65%。顾生浩等[15]明确了农业数字孪生系统的背景、概念、内涵、基本组成及其技术优势。强调了农业数字孪生系统在实现农业数字化转型升级中的作用,提出了我国在这一领域的应用方向和发展路径。郭大方等[16]提出了一个基于云-雾-边-端协同架构的农业装备数字孪生系统。通过实验,成功开发了一个针对籽粒直收型玉米联合收获机的数字孪生原型系统,该系统能够执行模型预测、更新、实时监测和优化决策等功能。实验结果显示,该系统能有效提高预测效果,显著降低籽粒破碎率。张延安等[17]引入了一种数字孪生驱动的时变比例积分自适应控制方法解决高功率动力换挡拖拉机中湿式离合器压力控制。研究结果表明,数字孪生系统可以快速更新并准确描述离合器液压系统,与传统的PID控制方法相比,提高了离合器压力的响应速度和鲁棒性。
综上所述,数字孪生技术在构建远程监视系统方面已取得显著成果[18-20]。然而,多数数字孪生系统依赖于现有的大型物理引擎[21-22],这不仅提高了开发的门槛和系统配置要求,还降低了开发效率和系统的可移植性。
因此,针对现有农机装备数字孪生系统开发难度大、配置要求高以及资源占用过大的限制,本文提出一种基于轻量级网络的联合收获机数字孪生系统构建方法,包含物理、虚拟、数据交互、模型计算以及人机交互等多个子系统的实现方法。旨在保障数字孪生系统基本功能的实现和资源使用的优化。实现联合收获机作业参数匹配、故障预警诊断以及实时油耗预测等关键功能,解决实体农机实验面临的时间、空间以及实验数据量限制问题。
本文基于数字孪生技术,提出了一种创新的联合收获机数字孪生系统五维模型概念,旨在构建一个综合、高效的联合收获机数字孪生系统。该系统涵盖了物理收获机、虚拟收获机、数据交互系统、模型计算系统和人机交互系统,各组成部分相互协作,确保系统整体的协同和高效运行。其详细开发流程如图1所示。
图1 联合收获机数字孪生设计框架流程图
Fig.1 Flowchart of digital twin design framework for combine harvesters
物理收获机集成:物理收获机是指数字孪生系统的实体部分,包含联合收获机的所有物理结构和功能组件。这些组件不仅涉及机械结构,还包括一系列先进的传感器和执行器,用于实现精确的作业控制和反馈。物理收获机的设计和实现考虑了机械工程学、物理学和传感技术,以确保其在复杂的农业环境中能够稳定和高效地运行。
虚拟收获机的精确映射:虚拟收获机在数字孪生系统中扮演着最重要角色。利用三维建模技术和计算机图形学,实现了对物理收获机的高度精确数字化映射。该模型不仅精确复现了物理收获机的结构,还能通过计算机图形学实现模拟其运行状态和性能,为操作者提供了一个功能强大的模拟和分析工具。
数据交互系统架构是物理收获机和虚拟收获机之间信息传递的桥梁,采用了最新的5G通信和数据处理技术。不仅实现数据的高速传输和实时更新,还确保了数据安全性和可靠性。这一系统的设计和实现体现了物联网和网络工程的综合应用。
模型计算系统:通过数学模型和算法实现虚拟环境与物理实体的精确模拟,持续数据反馈与实时修正,具有强大的预测能力。该系统综合应用人工神经网络、监督学习和集成学习等计算方法,提高了农业机械操作效率和安全性。
人机交互系统的用户友好设计:提供了一个直观且易于操作的界面,使用户能够有效地监控和控制虚拟模型。该系统的人机交互设计考虑了易用性和效率,包括直观的图形界面、实时反馈机制和自适应控制策略,以提升用户体验和操作效率。
这一流程为联合收获机轻量级数字孪生系统的多维互联互通奠定了基础,解决了数字孪生系统多维度信息的连接问题,为数字孪生系统的开发流程提供了理论基础。
本研究根据数字孪生技术为联合收获机构建了一个多维度、多层次的综合数字孪生平台。该平台侧重于实现系统模型的高效构建、操作系统的简便性以及高度灵活的编程接口。通过JavaScript和HTML实现一个轻量级的数字孪生平台,优化虚拟收获机建模,加强模型处理能力,并提供直观的人机交互体验。本文将详细阐述联合收获机数字孪生系统关键组成部分的构建方法。
在数字孪生系统的构建中,对联合收获机的物理实体及其工况参数进行精确监控至关重要。通过对联合收获机的各个部件进行详细分类,并构建了一套全面的工况参数采集系统,本研究确保了数字孪生模型能够实时、准确地反映联合收获机的运行状态。
物理收获机包括实体零部件结构、特征参数和物理属性。考虑到数字孪生系统在构建时的多种需求,本研究对联合收获机的物理实体基于其运动特性将其划分为以下5大类:①无运动部件,包括机身框架、支撑结构等。②单一运动部件,包括皮带轮、送粮轮、风机轮及主传动轴等。③复合运动部件,包括拨禾轮、拨齿和后轮等。④循环运动部件,包括筛板、上粮筛板、皮带和链条等。⑤往返运动部件,包括振对筛、割刀等。
为确保数字孪生模型能够准确反映联合收获机的实时工况,构建了一套工况参数采集系统,如图2所示。该系统由一系列高精度传感器组成,如轮速传感器、角度传感器、扭矩传感器、油量传感器、GPS定位模块、雷达模块和视觉传感器等。这些传感器的安装位置和类型经过选择和测试,以确保能够精确捕捉机器运行状态的关键参数。
图2 联合收获机及其传感器布置
Fig.2 Combine harvester sensor arrangement
此外,还采用了基于STM32F103C8T6型单片机设计的数据采集器,具有串口、CAN总线等多种通信功能,不仅可以实时采集多源传感器数据,还可对数据进行初步分析。其中数据采集器硬件构成图如图3所示。
图3 数据采集器硬件构成图
Fig.3 Data collector hardware diagram
通过虚拟收获机的高精度建模能够实现联合收获机运行状态的三维可视化,为用户提供直观且全面的信息。为实现基于物理收获机的实时映射,需要构建高精度的联合收获机三维模型,以及对联合收获机所有运动部件进行运动逻辑建模,确保模型的准确性和实用性。
2.2.1 三维建模与映射
虚拟收获机是对联合收获机物理特征的高度复现。本研究通过实地数据采集,获取联合收获机的详细物理特征,包括位置、几何尺寸、材质和运动学特性。本研究通过Solidworks和3DMAX等三维建模软件构建联合收获机的高保真几何模型。这一过程不仅涉及模型的几何构建,还包括材质属性和动态特性的模拟,以确保虚拟模型能够真实地反映物理收获机的状态。图4为联合收获机三维模型。
图4 联合收获机零部件图
Fig.4 Combine harvester parts diagram
几何建模:每个零部件的三维形状都经过仔细测量和建模,以确保尺寸精度和细节真实性。例如,支撑结构的每个弯曲角度,以及传动系统中每个齿轮,均需在虚拟环境中精确建模。
材质特性与动态行为:材料属性的设定确保外观的真实感和材料的物理特性,如质量、强度和耐磨性。此外,对于诸如皮带轮、振动筛等需要运动的部件,应精确模拟动态行为,以便于在虚拟环境中实现功能预测和性能分析。
软件协同开发:Solidworks和3DMAX的联合使用增强了模型创建的多功能性和效率,如自动化设计的参数化功能、复杂曲面的处理能力。
多层次组织结构:本研究采用多层次模型组织结构,从宏观到微观逐层深入。顶层展示收获机整体结构和外观;中层聚焦于各主要组件,如拨禾轮、驾驶室;底层则揭示这些组件的内部零部件,如过桥齿轮和轴承。
通过精确建模和数据整合,实现了数字孪生平台系统性能的全方位展现,提高了模型准确性和实时映射效率,增强了整个数字孪生系统的实用性和可靠性。
2.2.2 运动逻辑建模
为了实现对每个运动部件的精准运动映射,本研究采用JavaScript语言对虚拟收获机的各个零部件进行运动逻辑建模。分析联合收获机关键部件的运动特性,将联合收获机的运动零部件的基本运动细分为单一运动和复合运动。
为了实现这些运动的精确模拟,集成了Web3D和CMOline引擎,确保三维图形的高精度处理与运动控制。运动部件通过一个4×4齐次矩阵进行描述,能够精确描述三维空间中的旋转和平移运动[23]。
(1)单一运动
在收获机的工作过程中,大部分零部件的运动特性可以被归纳为单一运动。这种单一运动特指除了由发动机主导的基本平移之外,零部件仅表现出单一的运动模式。例如,纵轴流滚筒、破碎机构和风机在操作时,它们的主要运动特性都是围绕一个固定轴进行的旋转。
本文根据运动特性,将零部件的单一运动模型细分为4种基本模式:绕X轴旋转、绕Y轴旋转、绕Z轴旋转和平移运动。通过采用4×4齐次矩阵描述零部件的单一运动,在该矩阵中,用前3行3列的矩阵元素描述物体的旋转,第4列矩阵元素描述物体的平移,每种旋转模式都有特定的数学描述公式,即
(1)
式中 Md——单一运动的运动矩阵
Rd——单一运动的旋转矩阵
Td——单一运动的位移矩阵
(2)复合运动
在收获机的工作过程中,部分零部件的运动特性可以被归纳为复合的运动特性。这种复合运动指的是,除了由发动机主导的基本平移外,零部件还会表现其他多种运动模式。为了精确描述这种复合运动,需要综合考虑零部件的空间运动情况。零部件的复合运动需要通过各种单一运动的链式矩阵乘法实现多物体系统的复杂运动模拟。零部件的复合运动特性可表示为
M=R(α)×R(β)×T(tx,ty,tz)
(2)
式中 M——复合运动矩阵
R(α)——第1个旋转角旋转矩阵
R(β)——第2个旋转角旋转矩阵
T——零部件平移矩阵
tx——零部件X轴方向位移
ty——零部件Y轴方向位移
tz——零部件Z轴方向位移
α——第1个旋转矩阵旋转角
β——第2个旋转矩阵旋转角
具体来讲,以拨齿为例,它不仅在自身轴线上旋转,还围绕支架的轴进行旋转。第1个轴是拨齿本身的中心轴,负责其主要的旋转动作;而第2个轴则是支架轴,使拨禾轮能够在更广泛的空间范围内运动。采用矩阵Mr构建三维空间拨齿的复合运动模型。式(2)中的α为拨禾轮支架旋转角,β为拨禾轮旋转角,则拨齿中心坐标为
(3)
式中 L1——拨禾轮原点到支架原点距离
L2——拨齿坐标原点到坐标原点距离
θ1——拨禾轮相对整体的旋转角度
θ2——拨齿相对拨禾轮的旋转角度
数据交互系统的核心环节包括数据传递和数据实时同步。其中,数据实时同步是确保实现物理实体和虚拟实体互联互通;数据实时通过高速网络技术,旨在实现物理联合收获机与虚拟模型之间的数据交换和同步,从而确保系统的高效运行和实时监控。
2.3.1 数据传递机制
为确保数字孪生系统中数据的实时、高效和安全传输,本文构建了一个数据传递环节,如图5所示。
图5 数据传递流程图
Fig.5 Data transfer flow chart
在平台架构中,本研究通过4G/5G网络,数据终端将收集到的数据上传至中央数据库;采用JavaScript构建了高效灵活的数据接口,实现与数字孪生模型的无缝连接。利用AJAX和Node.js,与数据库建立连接,实现数据实时反馈和监控。通过上述接口将数据传递至人机交互系统,人机交互系统将接收到的实时数据计算出相应零部件的运动指令。这些指令通过运动逻辑模型驱动数字孪生模型中对应的零部件,从而实现了物理实体的运动状态与虚拟模型的同步运行。这种策略不仅提升了数据传输效率,还为数字孪生系统提供了坚实的数据支持和保障。
图6为物理实体数据传递到云端数据库过程中的数据交互机制。由图6可知,联合收获机在对传感器数据进行收集和预处理后,根据自定义的通信协议对获得的转速、扭矩、位置和速度等数据进行封装。每个封装的数据包数据被分配到一个唯一的序列号,并暂时存储在联合收获机的本地内存中,然后通过4G/5G网络上传到云服务器平台。云服务平台在接收到数据包后,会验证数据和对应的序列号,然后将确认的序列号反馈给联合收获机,并指示其从本地存储中删除已成功传输的数据包。如果联合收获机在规定时间内没有收到云服务平台的序列号确认,系统将推断该数据包未成功传输。在这种情况下,联合收获机会重新发送该数据包,直到收到云服务平台的确认响应为止。
图6 数据交互机制图
Fig.6 Data interchange mechanism diagram
2.3.2 数据实时同步机制
为实现联合收获机数字孪生系统的互联互通,构建了一套数据实时同步机制,这一机制主要包括数据上传与存储、数据接口、实时交互、安全性和数据保护,具体内容为:
(1)数据上传与存储。联合收获机数据终端通过5G网络将物理系统的传感器收集到的数据通过WebSocket技术实时上传至中央数据库。这些数据包括联合收获机的操作信息、状态参数和环境数据。
(2)数据接口。在虚拟系统端通过JavaScript和Node.js构建的数据接口支持数字孪生系统的前后端的异步通信,允许系统实时接收并处理来自物理设备的数据请求。
(3)实时交互。在实现物理系统与虚拟系统之间的同步运行过程中,核心在于将实时数据转换为数字孪生系统中各零部件的动作驱动。
通过2.2节建立的运动逻辑模型,结合4×4齐次矩阵和CMOnline虚拟引擎,实现基于实时数据的零部件运动驱动。在接收到实时数据后,系统通过运动逻辑模型和联合收获机传动关系计算出零部件的新位置和旋转状态,然后利用虚拟引擎更新虚拟模型中的零部件状态,从而实现与物理联合收获机的同步运动。这一过程中,4×4齐次矩阵的应用允许复杂的运动变换和精确的位置控制,而虚拟引擎提供了必要的三维图形处理和动画控制能力,确保了虚拟系统能够实时反映物理系统的动态变化。
(4)安全性和数据保护:数据安全性在整个交互过程中至关重要。为此,系统采用加密技术(TLS/SSL)来保护数据传输过程中的安全性。此外,数据库还采用了多重数据备份和恢复机制,以防止数据丢失或损坏。
通过这些综合的数据交互与同步机制,数字孪生系统在数据处理的效率、实时性和安全性方面都得到了显著提升。
数字孪生系统模型计算系统的核心任务之一是通过构建数学模型,利用先进算法,结合实时数据和历史数据,支持联合收获机的模拟、预测和决策,实现实时油耗预测、故障预警诊断、作业参数匹配等功能。详细的算法实施和分析流程图参见图7,展示了模型计算系统的整体框架。
图7 模型计算系统流程图
Fig.7 Model calculation system flowchart
在联合收获机的实时油耗预测方面,采用了人工神经网络技术,特别是BP神经网络。该网络通过建立包含多个隐藏层的复杂结构,能够识别并学习数据中的复杂模式和关系,从而准确实时预测油耗的相关数据。此方法不仅能够实时监控联合收获机油耗相关的关键指标,而且有助于优化整个收获机的动力输出策略,提升能源利用效率。
在联合收获机的故障预警诊断方面,采用了集成学习算法,特别是轻量级梯度提升机(LightGBM)算法。该算法通过构建梯度单边采样和直方图优化来提高预测准确性,能够通过对实时数据的分析,及时发现潜在的维护问题,并为维护决策提供数据支持。
在联合收获机的作业参数匹配环节中,采用监督学习算法,特别是随机森林算法。该算法通过多个决策树的预测结果,提升了系统整体的判断准确度和可靠性。算法的应用优化了操作参数,适配了多样的作业环境和作物类型,进而提升作业效率和精度。
通过这些计算方法和技术,数字孪生系统可以实现包括健康监测、作业控制、工况监管和性能预测在内的多项关键功能,提升了农业机械的操作效率和安全性。
数字孪生系统的人机交互界面为用户提供了一个直观、高效的操作平台,使用户可实时与虚拟场景交互。本研究采用HTML和JavaScript语言开发用户界面,利用HTML提供基础的结构和内容,而JavaScript处理用户交互和数据处理。为了实现联合收获机的三维场景渲染,采用了WebGL 3D技术,并通过CMOnline库增强了系统的场景管理能力。设计的人机交互界面应具备以下核心功能:
(1)三维展示界面。利用图形渲染技术,为用户提供了一个直观的三维展示界面,使其可以清晰地观察虚拟收获机的各个部分和整体结构。用户可以进行视图转换,对图形进行拖拉、旋转,从而获得更多维度的视角。
(2)实时数据监控。设计一个实时的数据监控平台,使用户可以即时地了解虚拟收获机的关键数据和运行状态。专门设计的数据栏用于显示主要的实时数据,并可以通过这些数据直接驱动虚拟收获机。
(3)历史数据重现。用户可以方便地查询和分析历史数据,这对于系统的优化和调整具有重要意义。用户可以直接读取本地的历史数据文件,并根据这些历史数据驱动虚拟收获机。
(4)零部件显示与控制。用户可以查看和控制虚拟收获机的各个零部件,确保系统的稳定运行。用户还可以选择零件、部件进行单独显示和隐藏。
(5)零部件控制。用户可以为主要部件设置需要的转速,从而进行模拟控制。
通过上述功能的细致设计和实现,使数字孪生系统能够更好地满足实际应用的需求,为用户提供一个高效、可靠的操作平台。
为了应对现有数字孪生系统在高性能物理硬件要求方面的限制,并降低成本,通过采用先进的图形处理和数据优化技术,有效地减小了模型的内存占用和处理负担,确保了在不牺牲模型精度和功能的情况下,模型能够适应各种计算环境,从而为广泛的用户提供了易于接入和使用的数字孪生解决方案。
模型轻量化是确保虚拟场景流畅展示的关键[24-25]。采用Solidworks和CMdevelopment kit v1.0 (北京圜晖科技有限公司)进行虚拟收获机的轻量化处理,旨在实现模型数据的高效、可控转换。这一过程显著降低了内存占用量,并优化了模型在多种网络环境下的兼容性,流程如图8所示。
图8 模型轻量化流程图
Fig.8 Model lightweighting process flowchart
(1)模型简化技术。采取了针对性的图形简化策略。对于不需要精细描述的零部件(如螺栓等),通过简化为基本几何形状的方法,例如将其表示为简单的圆柱体。此外,对于一些对系统功能和精度影响不大的非关键零部件(如发动机的气缸等)进行合理删减。这种有选择性的简化和优化,旨在降低模型的整体复杂度,同时确保不损害数字孪生模型的核心功能和真实性。
(2)纹理压缩方法。纹理映射是模型真实感的关键,但高分辨率纹理图像会占用大量存储空间。因此,使用DXT压缩算法,将纹理图像进行无损或接近无损的压缩,大幅减少文件大小,同时保持了纹理质量。
(3)层级优化。层级细节模型技术被用于动态优化模型的细节水平。在用户远离模型时,会使用简化的模型版本,而当用户接近时,则切换到高细节版本。这种方法显著提高了场景的渲染速度,尤其是在用户浏览大型模型时。
为进一步优化数字孪生系统性能,特别引入CMdevelopment kit工具包,实现模型数据的高效、可控转换。该工具包可以直接集成并嵌入Solidworks平台,允许模型直接进行大幅压缩处理,显著降低内存占用,达到超过80%的压缩效果。此外,该工具包支持将模型转换为.cle文件格式,使之能够适应不同的网络环境和设备兼容性,显著提高用户体验。这种数据压缩和格式转换的技术不仅优化了系统的运行效率,还确保了模型在不同网络环境和各类设备上的兼容性和流畅性,从而显著提升了用户体验。
利用这些轻量化技术能够精确控制模型的数据大小和性能表现。模型在轻量化后能够保持其外观、功能和运动学特性的真实性,以及在多种终端设备上快速加载,满足数字孪生系统对实时性的高标准要求。
在虚拟收获机模型的构建过程中,坐标系和原点的精准设计确保了模型的准确性。本研究采用Solidworks 2021实现坐标统一,以适应模型的运动特性和多维数据分析的需求。
坐标系设计与优化:在Solidworks 2021环境下针对联合收获机的运动特性,进行坐标系设计。基于联合收获机各部件的运动学特性,为每个关键零部件建立了独立的坐标系,以避免控制不同零部件时出现不可控运动。图9为部分零部件坐标系图。
图9 零部件坐标系设计图
Fig.9 Component coordinate system design
坐标原点变换过程应考虑数字孪生系统对实时性和精确性的要求。通过设定全局基准面,并重新设计各运动部件的坐标原点,确保了模型在数字孪生平台中的一致性和数据的精确对应。对于一些复杂运动部件,特别采用了坐标变换方法,以提高其在虚拟环境中的运动准确性,实现对零部件的更为简洁和精准的控制。设零部件原坐标点为(xl,yl,zl),坐标转换后的坐标点为(xg,yg,zg),则坐标转换公式为
(4)
式中 R——坐标点转换的旋转矩阵
nx——坐标点转换X轴方向位移
ny——坐标点转换Y轴方向位移
nz——坐标点转换Z轴方向位移
数字孪生系统在处理复杂的运动逻辑时,对于零部件的坐标原点变换,一个有效的方法是通过旋转矩阵R和平移向量来实现坐标原点变化,进而简化计算过程。以拨齿为例,传统方法中拨齿的坐标变换需要考虑其相对于割台梁、拨禾轮以及自身摆动的综合运动,计算量巨大。通过将拨齿的坐标原点平移到拨禾轮的几何中心,可以显著简化拨齿的运动逻辑,将其简化为跟随割台梁位置和拨齿自身摆动的运动。这种方法显著减少了所需的计算量,从而提高了整个数字孪生系统处理复杂运动逻辑的能力。
在模型整合阶段,针对联合收获机中相对固定的部件,如机身框架和驾驶室,进行了模型合并工作。这一步骤旨在简化整体模型的数据结构,使其更加易于管理和检索。通过这种方式,不仅提高了模型的处理速度,也为系统的维护和升级提供了便利。
为验证本文提出的联合收获机数字孪生系统构建方法的可行性,针对雷沃GM100型单筒纵轴流轮式联合收获机,构建了一套基于轻量级网络的联合收获机数字孪生系统。具体内容为:
(1)系统开发与优化。针对系统软件,依托Solidworks 2021完成孪生系统虚拟模型的三维构建,使用CMProfession 1.0进行模型轻量化,使用Visual Studio Code作为主要的开发平台,支持高效的编程和设计工作。针对硬件配置,选用高性能的Nvidia RTX 3080和Intel Core i9-10900K处理器,32 GB RAM,以确保数据处理和模型渲染的高效率。此外,为了保证数据传输的实时性和稳定性,系统采用1 Gb/s以太网连接。
(2)物理与虚拟模型同步。在物理实体方面,使用物理传感器系统记录和分析雷沃GM100型联合收获机,以保证数字孪生模型的真实性和准确性。对于虚拟模型,使用CMdevelopment kit软件和手动标定优化原始三维模型,模型的三角片面数降低90%以上,同时保持了细节精确度,提高了系统响应速度。
(3)轻量化优化:通过CMdevelopment kit软件初步压缩虚拟模型和人工方式优化模型结构。将模型的零部件从原先的4 000多个减少至119个;三角片面数由4.5×107大幅降低至8.0×106;收获机模型的内存占用量也从743 MB减少至22.3 MB。
(4)高级数据采集与交互:采用LabWindows CVI平台开发数据采集系统,配合专用的平板计算机和通信模块,实现了收获机数据的实时传输和处理。在人机交互方面,基于Visual Studio Code开发的可视化平台,利用HTML和CSS技术,为用户提供了包括3D模型展示、历史数据回放、实时数据监控等多功能交互界面。
通过综合利用这些先进技术搭建的数字孪生平台不仅在技术层面展示了高度的先进性和实用性,还在实际应用中展现了其在数据处理、模型展示和用户交互方面的卓越性能。联合收获机数字孪生系统网页端如图10所示。
图10 联合收获机数字孪生系统网页端
Fig.10 Web side of digital twin system for combine harvesters
2023年6月在北京市小汤山国家精密农业研究示范基地采用雷沃GM100型联合收获机开展田间实验。实验参照GB/T 8097—2008《收获机械 联合收割机 实验方法》中的方法开展,图11为实验现场。
图11 田间实验现场
Fig.11 Field test situation
4.2.1 三维可视化监控功能测试
本研究在国家农业信息化工程技术研究中心进行,旨在细致评估数字孪生系统在农业机械管理中的性能,特别是在模拟实际田间操作条件下的响应速度和资源占用。具体实验步骤为:
(1)田间模拟启动与同步。在实验开始阶段,使用数字孪生平台远程启动雷沃GM100型联合收获机。此时,数字孪生平台同步激活,以监控和记录收获机的每一个动作和状态。
(2)高频数据输入与处理。系统在数据输入频率20 Hz下运行,处理包括位置、速度、油耗等关键操作参数的模拟数据流。通过数据处理单元,以确保信息的快速解码和分析。通过传感器系统和实时数据传输技术,收获机的各项参数和操作等动态信息被实时捕捉并上传至数字孪生系统。
(3)用户交互与控制测试。通过键盘和鼠标操作数字孪生平台,测试系统在模拟实际田间操作条件下的用户交互性和控制灵活性。实验中,操作员使用键盘和鼠标控制虚拟模型的不同视角和放大,同时评估系统的响应速度和操作的流畅性。
为综合衡量联合收获机轻量级数字孪生系统的性能,针对数字孪生系统的响应速度、资源占用、CPU、GPU以及运行帧率进行测试,并与基于Unity3D引擎构建的数字孪生系统进行性能比较。具体结果如图12所示。
图12 数字孪生系统响应时间与内存占用量对比
Fig.12 Comparison charts of response time and memory usage graph for digital twin system
图12测试结果表明,在数据输入频率20 Hz下,轻量级数字孪生系统的响应时间保持在78 ms以内,平均响应时间在71.6 ms;Unity3D数字孪生系统的响应时间保持在170 ms以内,平均响应时间在157.1 ms。资源占用方面的分析显示,轻量级数字孪生系统在整个测试过程中的内存占用量均维持在331 MB以内,平均内存占用量为304.7 MB;Unity3D数字孪生系统内存占用量均维持在1 240 MB以内,平均内存占用量为1 202.9 MB。实验结果表明,轻量级数字孪生系统在处理实际田间操作数据时能够保持良好的响应速度,同时有效控制资源占用。
图13展示了数字孪生系统运行过程中的不同阶段,图中区域1表示系统待机状态;区域2表示网页接口激活阶段;区域3表示数字孪生系统启动和运行阶段;区域4表示系统关闭过程。性能测试结果显示,轻量级数字孪生系统启动时间为9 s;Unity3D数字孪生系统启动时间为16 s。在轻量级数字孪生系统运行期间,CPU的平均占用率为17%,GPU的占用率为30%;在Unity3D数字孪生系统运行期间,CPU的平均占用率为16%,GPU的占用率则为94%。
图13 数字孪生系统CPU与GPU占用率对比
Fig.13 Comparison charts of CPU and GPU occupancy graph for digital twin system
实验结果表明,轻量级数字孪生系统在运行时对计算资源的占用相对较低,其在动态操作条件下具有高效性能和优化的资源管理能力。
4.2.2 虚实映射同步功能测试
为验证联合收获机数字孪生系统中物理系统与虚拟系统同步运行过程的有效性,本研究开展了数字孪生系统转速同步性实验。
实验通过对比物理实体中发动机、脱粒滚筒、升运器和清选风机等关键部件传感器捕获的实时转速数据,与数字孪生系统中零部件实时映射的转速数据进行同步性分析。此外,通过测试同步运行时的数字孪生系统的运行帧率,进一步验证数字孪生系统运行时的同步性和准确性,实验结果如图14所示。
图14 转速同步性测试结果
Fig.14 Fuel consumption prediction charts
实验结果表明,将数字孪生模型中的螺旋输送器、滚筒和清选风机转速与物理联合收获机实际转速绘制在时域坐标系中,两者的转速曲线几乎一致。
在低压力测试环境中,数字孪生系统在简单互联互通状态下实现了平均帧率142.6 f/s;中压力测试环境下,在测试员每秒1次的操作频率下,系统维持了平均帧率113.8 f/s;而在高压力环境下,在测试员每秒超过3次的操作频率下,系统平均帧率稳定在75.6 f/s。
以上实验表明物理实体与数字孪生模型之间的高度一致性,成功验证了数字孪生系统的同步运行效率和准确性。
4.2.3 运行状态重现功能测试
对数字孪生系统的运行状态重现功能进行了测试,以验证其准确性和实用性。实验目的是通过调用存储在数据库中的历史数据,来复现收获机运行状态,并与实际运行时记录的数据进行对比,从而确保数据一致性和系统准确性。具体实验步骤为:
(1)数据采集与存储。在联合收获机的实际运行过程中,收集关键运行数据如位置、速度、转速等,并实时上传至MySQL数据库。数据库记录了收获机的实时运行参数,并在运行结束后保存了整个作业过程中的数据。
(2)历史数据重现。实验中,用户通过系统控制面板选择要重现的特定历史数据段。系统随后调用这些历史数据,模拟重现联合收获机的运行状态。例如:用户输入“2023/7/2 07:10:53”作为查询的起始时间点,系统则根据这一时间点调用对应的历史数据。
(3)数据准确性验证。完成历史状态的重现后,系统将重现时产生的新数据与调用的历史数据进行对比,检验两者是否一致。一致性验证的重点在于观察是否每个运行参数(联合收获机的位置、速度等)在历史数据与重现数据中保持相同。
历史数据再现完成后,将数据库中存储的对应时间段的历史数据与动作重现产生的实时数据进行对比,两者设备运动产生的数据一致,重现动作与历史动作相同,系统的历史重现功能准确。
表1为联合收获机数据库存储的部分历史运行数据。
表1 联合收获机数据库数据
Tab.1 Combine harvester database data
车速/(km·h-1)航向角/(°)滚筒转速/(r·min-1)滚筒扭矩/(N·m)过桥转速/(r·min-1)过桥扭矩/(N·m)风机转速/(r·min-1)油耗/(L·h-1)1.585+00.001146-0.3543-25.2228312.951.513+00.0411410.1539-25.4227512.61.485+00.1511340.1543-26.3227812.71.541+00.3211260.1544-23.0227513.051.567+00.361134-0.1534-25.1228412.951.465+00.4611360.2542-26.1227813.101.491+00.5411360.2541-25.5227812.451.435+00.6311460.1539-24.5228212.551.539+00.5911380.3538-24.9227613.351.424+00.601136-0.3543-24.5227213.151.548+00.6911360.3539-25.6227612.81.58+00.711136-0.2543-23.6228212.61.441+00.681136-0.3539-25.5228412.81.558-00.4111360.3539-25.2228113.351.661-00.411136-0.1543-23.1227512.95
4.2.4 油耗预测功能测试
为了验证联合收获机数字孪生系统的可行性和油耗预测模型的准确性,开展了小麦收获实验。收获实验工况分为空载、标准密度收获以及增密收获3种。空载为联合收获机发动机直线行驶、不收获情况。标准密度收获为联合收获机正常满幅作业。增密收获为联合收获机在两倍密度下收获作业。每个工况重复实验5次。在收获过程中,联合收获机作业速度严格控制,从0 km/h逐渐加速,最终达到8 km/h。图15为实时油耗预测结果。
图15 油耗预测结果
Fig.15 Fuel consumption prediction charts
油耗预测值与真实值之间均方误差(MSE)、均方根误差(RMSE)和决定系数(R2)如表2所示。
表2 油耗预测性能评估结果
Tab.2 Fuel consumption prediction evaluation
负载情况MSE/(L2·h-2)RMSE/(L·h-1)R2空载0.100.350.939标准密度收获0.160.400.913增密收获0.110.330.925
由图15、表2可知,空载条件下,联合收获机油耗预测值与实际值的最小误差为0.008 L/h,最大误差为0.87 L/h,平均误差为0.28 L/h,平均相对误差为1.56%。标准密度收获条件下,联合收获机油耗预测值与实际值的最小误差为0.02 L/h,最大误差为0.88 L/h,平均误差为0.34 L/h,平均相对误差为2.51%。在增密收获条件下,联合收获机油耗预测值与实际值的最小误差为0.055 L/h,最大误差为0.71 L/h,平均误差减少0.32 L/h,平均相对误差为1.51%。3种收获负载条件下,油耗预测均方误差均低于0.2 L2/h2,均方根误差最大值均低于0.4 L/h,并且,预测模型拟合油耗的R2均超过0.91。
由此可见,该预测模型可准确计算瞬时油耗,并对油耗变化具备较好的敏感性。
(1)针对现有农机装备数字孪生系统开发难度大、配置要求高以及资源占用过高的问题,提出一种基于JavaScript语言、Web3D和CMOline引擎的轻量级五维联合收获机数字孪生系统。该系统通过运动逻辑建模,实现了联合收获机运行状态的高精度仿真和实时监控,显著提高了作业效率。
(2)为降低内存占用量和提高网页端加载速度,通过Solidworks和CMdevelopment kit工具实现了对模型数据结构的轻量化处理。通过坐标统一和模型整合等技术,确保了虚拟模型的准确性与高效管理。轻量化技术的应用不仅提高了系统性能,还增强了其在不同网络环境和设备上的兼容性和流畅性。
(3)针对雷沃GM100型单筒纵轴流轮式联合收获机,构建了一套轻量级网络的联合收获机数字孪生系统。性能测试显示,该系统在数据更新频率20 Hz下,保持响应时间在78 ms以内,且内存占用量不超过331 MB;油耗预测实验正常作业下平均误差为0.34 L/h,平均相对误差为2.51%。
[1] 赵春江,范贝贝,李瑾. 农业机器人技术进展、挑战与趋势[J/OL]. 智慧农业(中英文), 2024: 1-15.DOI:10.12.133/j.smartag.SA202312030.ZHAO Chunjiang, FAN Beibei, LI Jin. Agricultural robots: technology progress, challenges and trends[J/OL].Smart Agriculture, 2024: 1-15.DOI:10.12.133/j.smartag.SA202312030.(in Chinese)
[2] 谢斌,武仲斌,毛恩荣. 农业拖拉机关键技术发展现状与展望[J]. 农业机械学报, 2018, 49(8): 1-17.XIE Bin, WU Zhongbin, MAO Enrong. Development and prospect of key technologies on agricultural tractor[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(8): 1-17.(in Chinese)
[3] 赵博,张巍朋,苑严伟,等. 农业装备运维与作业服务管理信息化技术研究进展[J]. 农业机械学报, 2023, 54(12): 1-26.ZHAO Bo, ZHANG Weipeng, YUAN Yanwei, et al. Research progress in information technology for agricultural equipment maintenance and operation service management[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(12): 1-26.(in Chinese)
[4] 张漫,季宇寒,李世超,等. 农业机械导航技术研究进展[J]. 农业机械学报, 2020, 51(4): 1-18.ZHANG Man, JI Yuhan, LI Shichao, et al. Research progress of agricultural machinery navigation technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 1-18.(in Chinese)
[5] 刘成良,林洪振,李彦明,等. 农业装备智能控制技术研究现状与发展趋势分析[J]. 农业机械学报, 2020, 51(1): 1-18.LIU Chengliang, LIN Hongzhen, LI Yanming, et al. Analysis on status and development trend of intelligent control technology for agricultural equipment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(1): 1-18.(in Chinese)
[6] 郭大方,杜岳峰,武秀恒,等. 农机装备数字孪生:从概念到应用[J]. 智慧农业(中英文), 2023, 5(2): 149-160.GUO Dafang, DU Yuefeng, WU Xiuheng, et al. Digital twin for agricultural machinery: from concept to application[J].Smart Agriculture, 2023, 5(2): 149-160.(in Chinese)
[7] 李浩,陶飞,王昊琪,等. 基于数字孪生的复杂产品设计制造一体化开发框架与关键技术[J]. 计算机集成制造系统, 2019, 25(6): 1320-1336.LI Hao, TAO Fei, WANG Haoqi, et al. Integration framework and key technologies of complex product design-manufacturing based on digital twin[J]. Computer Integrated Manufacturing Systems, 2019, 25(6): 1320-1336.(in Chinese)
[8] 陶飞,刘蔚然,刘检华,等. 数字孪生及其应用探索[J]. 计算机集成制造系统, 2018, 24(1): 1-18.TAO Fei, LIU Weiran, LIU Jianhua, et al. Digital twin and its potential application exploration[J]. Computer Integrated Manufacturing Systems, 2018, 24(1): 1-18.(in Chinese)
[9] 庄存波,刘检华,熊辉,等. 产品数字孪生体的内涵、体系结构及其发展趋势[J]. 计算机集成制造系统, 2017, 23(4): 753-768.ZHUANG Cunbo, LIU Jianhua, XIONG Hui, et al. Connotation,architecture and trends of product digital twin[J]. Computer Integrated Manufacturing Systems, 2017, 23(4): 753-768.(in Chinese)
[10] 陶飞,刘蔚然,张萌,等. 数字孪生五维模型及十大领域应用[J]. 计算机集成制造系统, 2019, 25(1): 1-18.TAO Fei, LIU Weiran, ZHANG Meng, et al. Five-dimension digital twin model and its ten applications[J]. Computer Integrated Manufacturing Systems, 2019, 25(1): 1-18.(in Chinese)
[11] LIN J, CHEN X. Application of digital design technology in the design of intelligent agricultural machinery and equipment[J]. Applied Mathematics and Nonlinear Sciences, 2024, 9(1): 42-54.
[12] DOROKHOV A S, PAVKIN D Y, YUROCHKA S S. Digital twin technology in agriculture: prospects for use[J]. Agricultural Engineering, 2023, 14(4): 14-25.
[13] SLEDKOV Y G, KHOROSHKO L L, KUZNETSOV P M, et al. The digital twin for agricultural machinery restoration processes[J]. Engineering Technologies and Systems, 2021, 4(31): 530-543.
[14] ZHANG Y, DU Y, YANG Z, et al. Construction method of high-horsepower tractor digital twin[J]. Digital Twin, 2022(2): 24-36.
[15] 顾生浩,卢宪菊,王勇健,等. 数字孪生系统在农业生产中的应用探讨[J]. 中国农业科技导报, 2021, 23(10): 82-89.GU Shenghao, LU Xianju, WANG Yongjian, et al. Application of agricultural digital twin system in crop production system[J]. Journal of Agricultural Science and Technology, 2021, 23(10): 82-89.(in Chinese)
[16] 郭大方,杜岳峰,栗晓宇,等. 云-雾-边-端协同的农业装备数字孪生系统研究[J]. 农业机械学报, 2023, 54(10): 133-141.GUO Dafang, DU Yuefeng, LI Xiaoyu, et al. Digital twin system for agricultural machinery with cloud-fog-edge-terminal architecture[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(10): 133-141.(in Chinese)
[17] 张延安,杜岳峰,毛恩荣,等. 基于数字孪生的大马力拖拉机湿式离合器压力控制方法研究[J]. 机械工程学报, 2023, 59(13): 268-279.ZHANG Yan’an, DU Yuefeng, MAO Enrong, et al. Pressure control method of wet clutch in high-powered tractor based on digital twin[J].Journal of Mechanical Engineering, 2023, 59(13): 268-279.(in Chinese)
[18] 周成,孙恺庭,李江,等. 基于数字孪生的车间三维可视化监控系统[J]. 计算机集成制造系统, 2022, 28(3): 758-768.ZHOU Cheng, SUN Kaiting, LI Jiang, et al. Workshop 3D visual monitoring system based on digital twin[J]. Computer Integrated Manufacturing Systems, 2022, 28(3): 758-768.(in Chinese)
[19] 李炜,朱德利,王青,等. 监测生长状态和环境响应的作物数字孪生系统研究综述[J]. 中国农业科技导报, 2022, 24(6): 90-105.LI Wei, ZHU Deli, WANG Qing, et al. Research review on crop digital twin system for monitoring growth status and environmental response[J]. Journal of Agricultural Science and Technology, 2022, 24(6): 90-105.(in Chinese)
[20] 熊祥盛,许静,陈平录. 基于数字孪生的农业耕作监控系统[J]. 农业技术与装备, 2022(3): 78-80.XIONG Xiangsheng, XU Jing, CHEN Pinglu. Agricultural farming monitoring system based on digital twin[J]. Agricultural Technology &Equipment, 2022(3): 78-80.(in Chinese)
[21] 王文明,侯春来,武振宇,等. 海洋无隔水管修井的数字孪生框架与可视化交互[J]. 计算机集成制造系统, 2021, 27(2): 423-431.WANG Wenming, HOU Chunlai, WU Zhenyu, et al. Frame and visualization for digital twin of marine riserless well intervention[J]. Computer Integrated Manufacturing Systems, 2021, 27(2): 423-431.(in Chinese)
[22] 刘怀兰,赵文杰,李世壮,等. 数字孪生车间机器人虚实驱动系统构建方法[J]. 中国机械工程, 2022, 33(21): 2623-2632.LIU Huailan, ZHANG Wenjie, LI Shizhuang, et al. Construction method of virtual-real drive systems for robots in digital twin workshops[J]. China Mechanical Engineering, 2022, 33(21): 2623-2632.(in Chinese)
[23] 吴博,梁循,张树森,等. 图神经网络前沿进展与应用[J]. 计算机学报, 2022, 45(1): 35-68.WU Bo, LIANG Xun, ZHANG Shusen, et al. Advances and applications in graph neural network[J]. Chinese Journal of Computers, 2022, 45(1): 35-68.(in Chinese)
[24] 林之钊,黄惠. 从单幅图像生成人物三维动画[J]. 计算机辅助设计与图形学学报, 2022, 34(9): 1341-1350.LIN Zhizhao, HUANG Hui. 3D character animation generation from a single image[J]. Journal of Computer-Aided Design &Computer Graphics, 2022, 34(9): 1341-1350.(in Chinese)
[25] 于瑞云,苏展,谢青,等. 基于空间分割的人体模型骨骼提取算法[J]. 计算机学报, 2019, 42(9): 2049-2061.YU Ruiyun, SU Zhan, XIE Qing, et al. Skeleton extraction of character model based on space segmentation[J]. Chinese Journal of Computers, 2019, 42(9): 2049-2061.(in Chinese)