1、第 52 卷第 2 期2023 年 2 月Vol.52 No.2February 2023光子学报ACTA PHOTONICA SINICA02110041基于多源系统融合的结构形态感知技术孙静，林雪竹，郭丽丽，刘悦，闫东明，李丽娟（长春理工大学 光电工程学院，长春 130022）摘要：针对薄壁结构零件在装配过程中由于装配状态变化存在的装配受力变形问题，结合数字孪生发展背景，提出一种激光跟踪、视觉测量、光纤监测多源系统融合的结构形态感知技术。首先，建立多源系统多站位坐标统一模型，实现坐标基准统一；其次，建立异构数据融合模型，完成光纤监测波长与空间点坐标异构数据统一，基于高斯过程实现多源数据融合
2、，预测变形点云，实现产品结构形态感知；最后，以蒙皮薄壁结构为例，模拟装配变形实验。结果表明，融合方法所感知数据更好地反应实际变形，其平均相对误差为 4.66%，绝对误差保持在 0.016 mm。多源异构数据融合基于实测数据预测形变点云，可实现结构实时变形监测，从而简化视觉测量方式，提高了曲面信息保真度，为动态孪生模型构建提供新思路。关键词：数字孪生；多源系统测量；异构数据融合；高斯过程回归；结构变形中图分类号：TH741 文献标识码：A doi：10.3788/gzxb20235202.02110040 引言数字孪生技术发展背景下，航空航天装配产品数字化、智能化测量程度越来越高1。大型零部件装
3、配是实现产品性能的基础，装配精度是保证产品质量的重要指标2。蒙皮装配过程中随装配状态变化存在结构变形问题，致使薄壁类零件间出现干涉现象，强迫定位将影响产品结构稳定性及安全性。因此，实时感知结构形变，不仅满足数字孪生预装配模型动态更新的特点，而且对实现产品高精度装配具有重要意义。数字孪生技术具有多源、异构、海量、实时等特点3。孪生模型汇聚了采集、读取和融合等方式获得的所有数据4，因此，测量感知产品结构获取零部件真实状态信息尤为重要。结构形变信息多通过接触式或非接触式测量采集得到5，目前激光跟踪仪、视觉测量系统等先进数字化设备在信息感知、辅助产品装配中应用广泛，非视觉测量中光纤传感结构状态监测获得
4、广泛研究6-9。WANG Q10结合激光跟踪及扫描系统获取机翼壁板结构数据，对装配模型配合间隙进行评估。张微11针对结构复杂装配产品，利用激光扫描技术实现产品变形检测，将其用于装配干涉研究。郭飞燕12对数字孪生驱动下装配工艺现状进行分析，以蒙皮为例采用结构光扫描技术检测曲面形变偏差，构建孪生工艺模型。殷礼鑫13针对应变场等因素引起的曲面变形问题，基于光纤传感展开插值曲面重构，该方法可用于飞行器结构实时监测。上述测量系统中激光跟踪系统站位布置灵活，对大尺寸测量坐标系建立具有独特优势，但对于产品面型数据获取，该系统测点密度及测量效率具有局限性。视觉测量系统由双目立体视觉相机及激光扫描仪组成，通过三
5、维激光扫描快速获取产品高密度点云数据，但当装配状态或装配空间变化时，需重复扫描被测产品用以检测产品结构形变情况，扫描工作量较大。光纤传感具有实时感知产品形变的性能，为产品全生命周期提供数据支撑，但光纤传感监测借助应变拟合插值等方法得到产品变形量，有限的测点数量限制了产品特征信息全面性。综上所述，当前对三维激光检测形变及光纤传感监测结构健康状态的研究较多，但对于多源系统融合引用格式：SUN Jing，LIN Xuezhu，GUO Lili，et al.Structural Form Sensing Technology Based on Multi-source System FusionJ.A
6、cta Photonica Sinica，2023，52（2）：0211004孙静，林雪竹，郭丽丽，等.基于多源系统融合的结构形态感知技术 J.光子学报，2023，52（2）：0211004基金项目：吉林省科技发展计划重点研发项目（No.20200401019GX），中山市社会公益科技研究项目（No.2022B2013）第一作者：孙静，cust_通讯作者：林雪竹，收稿日期：2022 08 26；录用日期：2022 11 01http:/光子学报02110042感知产品形态，基于实测数据实时预测高保真度形变数据的研究较少。本文针对产品形态实时感知及测量场大型化等特点，结合激光跟踪、视觉测量及光纤
7、监测系统不同的测量优势，展开多源系统融合测量模型构建。多源系统融合的结构形态感知技术基于光纤传感，具有实时监测的特点，不受装配状态限制，可有效减少视觉测量形变频次，所得高保真度数据可为孪生装配模型构建提供参考。1 多源系统融合结构形态测量模型建立实际装配现场基于多源系统测量设备生成数字化信息，作为孪生模型中的数据信息来源。多源系统由激光跟踪系统、视觉测量系统及光纤监测系统组成。激光跟踪系统测得空间点坐标数据；视觉测量系统由双目立体视觉相机配合激光扫描仪测得产品点云数据；光纤监测系统经解调后以波形数据表示应变。因数据来源具有显著差异，且数据结构具有不等价性，因此，模型中测量数据信息具有“多源异构
8、”的特点。多源系统融合信息感知框架由物理层、交互层及虚拟层组成。如图 1所示，物理层中由数字化系统及光纤监测系统进行产品信息感知，主要感知受应力等因素产生的结构形态变形信息。交互层为控制单元，包括有线或无线传输方式，便于数据传递及存储。虚拟层中将感知信息以点云或波形数据显示，可实现多源异构数据融合模型构建，以实时方式输出结构形变模型。下面将针对结构形变信息感知建立多源系统融合测量模型。1.1多源系统多站位坐标统一模型多源数据采集主要集中在物理层完成，为感知薄壁类构件高精度形变数据，需搭建多源感知测量场，完成系统间坐标统一。测量场中一般包括测量坐标系、产品坐标系、全局坐标系，测量坐标系主要为仪器
9、自身坐标系，包括激光跟踪系统、视觉测量系统；产品坐标系为被测构件自身所定义，代表被测件在空间的位置图 1多源系统融合信息感知框架Fig.1Illustration of the information perception framework of multi-source system fusion孙静，等：基于多源系统融合的结构形态感知技术02110043姿态，其光纤监测数据在产品坐标系下；全局坐标系是测量场中的基础坐标系，具有唯一性。因此，测量场中各个独立坐标系可在全局坐标系下统一表示。利用多站位激光跟踪系统建立全局坐标系，将全局坐标系设为参考基准，通过在测量空间布置公共基座点即转站点，
10、实现坐标系间关系建立。激光跟踪系统基于基座点与目标靶球配合，视觉测量系统与高反光半球合作，光纤监测系统通过激光跟踪实现监测点定位布置于产品表面，从而保证不同系统间协同工作，实现多源系统测量网络融合。将视觉系统及光纤监测系统视为局部坐标系，空间网络数据配准采取多次转站的形式确定各局部坐标系与全局坐标系关系。设全局坐标系为OG-XGYGZG，系统多站位局部坐标系为OMt-XMtYMtZMt(t=1，2，b)，公 共 点 在 全 局 坐 标 系 下 记 为Qg，Qg=(Xg，Yg，Zg)T，在 局 部 坐 标 系 下 记 为Qm，Qm=(Xm，Ym，Zm)T。此时，OMt-XMtYMtZMt至OG-
11、XGYGZG变换过程可表示为Qg=GMtRQm+T（1）式中，GMtR为变换旋转矩阵，Tm为平移矩阵，多源系统多站位坐标统一是对多站位公共点测量进行坐标转换，获得各站位自身坐标系到全局坐标系的最优转换关系。基于多站位间公共点距离不等精度最小二乘原理，即满足加权距离误差平方和最小，可得到最佳转站参数。引入权重，此时目标函数为min=f=Mt=1bgtQg-(GMtRmtQm+Tm)2（2）通过求解f可得各站位间最佳转换关系，使空间坐标分量误差最小，实现多站位局部坐标系到全局坐标系的最优转换。其多源系统坐标统一如图 2所示。1.2多源异构数据融合模型1.2.1光纤监测波长与空间点坐标异构数据统一异
12、构数据统一是数据融合的前提。基于曲面插值重构思想，从若干条曲线集合可形成曲面方向考虑，将应变曲面模型建立转化为空间网格曲线构建问题14-16，由此将光纤监测波形转换为空间点坐标形式表示，完成不同系统下异构数据统一，同时实现动态形变测量。光纤布拉格光栅（Fiber Bragg Grating，FBG）为无源器件，其体积小、可靠性高、对环境适应力强，且可以通过单根光纤串联若干个 FBG 形成分布式传感阵列17-18，适用于产品应变载荷监测。因此，选用 FBG 传感阵列监测薄壁结构应变。当光源通过光纤传输，符合 Bragg中心波长的光将被反射，其余光源将被透射，中心波长B表达式为B=2neff（3）
13、图 2多源系统多站位坐标统一示意图Fig.2Unity diagram of multi-station coordinates of multi-source system光子学报02110044式中，neff表示有效折射率，表示光栅周期。当外界温度恒定时，光纤测点处中心波长变化量B与应变满足B=B(1-Pe)（4）式中，Pe 0.216，为有效弹光系数。将封装后 FBG 通过表面粘贴方式置于微元段中心，在曲面上截取长为L，厚度为a的微元段，受载荷影响时中性层区域长度保持不变，若曲率半径为r，微元长度变化量为L，圆弧对应圆心角为，此时 L=rL+L=()r+a2（5）由曲率 k与波长关系得k
14、=1r=2aLL=2a=2BB(1-Pe)a（6）为保证形变曲面连续性，需对曲率进行线性插值处理，则曲率k与弧长L之间关系为k=SL+M（7）式中，S为相邻两曲率点间斜率，M为截距，若两相邻点曲率值为kc和kc+1，则插值方程式记为kc=ScLc+Mckc+1=ScLc+1+Mc（8）两点间斜率与截距值为Sc=(kc+1-kc)/(Lc+1-Lc)Mc=(kcLc+1-kc+1Lc)/(Lc+1-Lc)（9）则任意两点间曲率与弧长关系式为k(L)=kc+1-kcLc+1-LcL+kcLc+1-kc+1LcLc+1-Lc（10）基于微分思想建立空间曲线运动坐标系，由坐标系推导空间曲线点坐标。选取
15、固定约束边为起点，建立坐标系。如图 3所示，p0，p1，p2分别为空间曲线上三点，k0为正交曲率分量ku0，kv0合成矢量，与w0轴构成密切平面M0，0为p0p1弧段对应圆心角，0为kv0与k0夹角，由于该弧段为曲线微元段，扭曲状态忽略不计。以p0为原点，正交曲率分量ku0，kv0所在直线为x轴和y轴建立固定坐标系p0-xyz。p0点运动坐标系为p0-u0v0w0，起始状态下与固定坐标系重合。p1点运动坐标系为p1-u1v1w1，依次类推，建立曲线段上其余运动坐标系。由图 3中几何关系，固定坐标系p0-xyz下p1点坐标为图 3基于曲率信息空间点坐标推导示意图Fig.3Diagram of s
16、patial point coordinate derivation based on curvature information孙静，等：基于多源系统融合的结构形态感知技术02110045 xp1=1-cos 0cos 0 k0yp1=1-cos 0sin 0 k0zp1=sin 0 k0（11）令n表示pn点所对应该弧段圆心角，n表示曲率矢量间夹角，kn为pn点曲率值，则pn在对应运动坐标系空间点坐标为 xpn=1-cos ncos n knypn=1-cos nsin n knzpn=sin n kn（12）若将运动坐标系记为Hn，固定坐标系记为F，将Hn中pn点转换到F中，齐次变换矩阵为Tn，则转换关系可记为Hn=TnF（13）假设第pn-1点到第pn点坐标系递推已知，那么pn+1点在F中坐标为xn+1yn+1zn+11=Tnhanhbnhcn1（14）Hn+1动坐标系中原点为pn+1点，在Hn坐标系中坐标为(han，hbn，hcn)，pn+1点w轴方向为该点处切线方向，设pn到pn+1的齐次变换矩阵为tn+1，则Hn+1=tn+1Hn（15）其中，tn+1由以下步骤变换完成：
