(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210813111.9 (22)申请日 2022.07.11 (71)申请人 杭州超阳 科技有限公司 地址 310000 浙江省杭州市余杭区五常街 道西坝路51号B座8楼-A0 001 (72)发明人 李玮涛　沈琦超　 (51)Int.Cl. G06T 7/62(2017.01) G06T 7/66(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) (54)发明名称 车辆加工 状态监测系统及其方法 (57)摘要 本申请涉及智能制造的领域， 其具体地公开 了一种车辆加工状态监测系统及其方法， 其通过 基于深度学习和神经网络的人工智能技术 以等 离子体形貌作为间接观测对象对激光焊接过程 中的熔透状态进行预测， 并且在此过程中， 采用 跨模态联合编码的思路来进一步地强化图像特 征向量中关于等离子体形貌特征的表达， 同时在 解码时对解码特征矩 阵进行修正 以减少由于参 数调整导致的对于期望特征的依赖性发散， 也就 提升了所述解码特征矩 阵对于图像语义和参数 上下文语义的联合表征能力， 进而， 提高了对车 辆加工状态监测的准确度。 权利要求书3页 说明书12页 附图5页 CN 115222798 A 2022.10.21 CN 115222798 A 1.一种车辆加工状态监测系统， 其特 征在于， 包括： 等离子体图像获取单元， 用于通过相机获取激光焊接车用材料过程中产生的等离子体 的可见光图像； 图像编码单元， 用于将所述等离子体的可见光图像通过Clip模型的图像编码器以获得 图像特征向量； 形貌特征提取单元， 用于从所述等离子体的可见光图像提取用于表示所述等离子体的 形貌特征 的参数， 所述用于表示所述等离子体的形貌特征 的参数包括质心高度、 质心摆角 和等离子面积； 形貌特征编码单元， 用于将所述用于表示所述等离子体的形貌特征的参数通过所述第 Clip模型的序列编码器以生成形貌特 征向量； 特征融合单元， 用于使用所述Clip模型融合所述图像特征向量和所述形貌特征向量以 生成解码特 征矩阵； 特征矩阵校正单元， 用于基于所述解码特征矩阵中各个位置的特征值相对于所述解码 特征矩阵的所有位置的特征值的关联， 对所述解码特征矩阵进行校正以生成校正后解码特 征矩阵； 以及 解码单元， 用于将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值， 所述解码值用于表示激光焊接的熔融深度。 2.根据权利要求1所述的车辆加工状态监测系统， 其中， 所述Clip模型的图像编码器使 用第一卷积神经网络对所述 等离子体的可 见光图像进行编码以得到所述图像特 征向量。 3.根据权利要求2所述的车辆加工状态监测方法， 其中， 所述图像编码单 元， 包括： 浅层特征提取子单元， 用于从所述第一卷积神经网络的第M层提取浅层特征向量， 其 中， M大于等于4且小于等于 6； 深层特征提取子单 元， 用于从所述第一卷积神经网络的最后一层提取深层特 征向量； 深浅融合子单元， 用于计算所述浅层特征向量和所述深层特征向量之间的按位置加权 和以生成所述图像特 征向量。 4.根据权利要求3所述的车辆加工状态监测系统， 其中， 所述特征融合单元， 进一步用 于使用所述Clip模型以如下公式来融合所述图像特征向量和所述形貌特征向量以得到所 述解码特征矩阵； 其中， 所述公式为： 其中， 为所述解码特征矩阵， Vf表示所述图像特征向量， 且Vs表示所述形貌特征向 量。 5.根据权利要求4所述的车辆加工状态监测系统， 其中， 所述特征矩阵校正单元， 用于 基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的特征 值的关联， 以如下公式对所述 解码特征矩阵进行 校正以生成所述校正后解码特 征矩阵； 其中， 所述公式为：权　利　要　求　书 1/3 页 2 CN 115222798 A 2其中mi,j表示所述解码特征矩阵中各个位置的特征值， 表示所述解码特征矩阵中所 有位置的特 征值的集 合。 6.根据权利要求5所述的车辆加工状态监测系统， 其中， 所述解码单元， 进一步用于使 用所述解码器以如下公式对所述校正后解码特 征矩阵进行解码回归以得到所述 解码值； 其中， 所述公式为： 其中X是所述校正后解码特征矩阵， Y是解码值， W 是权重矩阵， 表示矩阵乘。 7.一种车辆加工状态监测方法， 其特 征在于， 包括: 通过相机获取激光焊接车用材 料过程中产生的等离 子体的可 见光图像； 将所述等离子体的可 见光图像通过Cl ip模型的图像编码器以获得图像特 征向量； 从所述等离子体的可见光图像提取用于表示所述等离子体的形貌特征的参数， 所述用 于表示所述 等离子体的形貌特 征的参数包括质心高度、 质心摆角和等离 子面积； 将所述用于表示所述等离子体的形貌特征的参数通过所述第Clip模型的序列编码器 以生成形貌特 征向量； 使用所述Cl ip模型融合所述图像特 征向量和所述形貌特 征向量以生成解码特 征矩阵； 基于所述解码特征矩阵中各个位置的特征值相对于所述解码特征矩阵的所有位置的 特征值的关联， 对所述 解码特征矩阵进行 校正以生成校正后解码特 征矩阵； 以及， 将所述校正后解码特征矩阵通过解码器进行回归解码以生成解码值， 所述解码值用于 表示激光焊接的熔融深度。 8.根据权利要求7所述的车辆加工状态监测方法， 其中， 将所述等离子体的可见光图像 通过Clip模型的图像编码器以获得图像特 征向量， 包括： 所述Clip模型的图像编码器使用第一卷积神经网络对所述等离子体的可见光图像进 行编码以得到所述图像特 征向量。 9.根据权利要求8所述的车辆加工状态监测方法， 其中， 所述Clip模型的图像编码器使 用第一卷积神经网络对所述等离子体的可见光图像进 行编码以得到所述图像特征向量， 包 括： 从所述第一卷积神经网络的第M层提取浅层特 征向量， 其中， M大于等于4且小于等于 6； 从所述第一卷积神经网络的最后一层提取深层特 征向量； 以及 计算所述浅层特征向量和所述深层特征向量之间的按位置加权和以生成所述图像特 征向量。 10.根据权利要求9所述的车辆加工状态监测方法， 其中， 使用所述Clip模型融合所述 图像特征向量和所述形貌特 征向量以生成解码特 征矩阵， 包括： 使用所述Clip模型以如下公式来融合所述图像特征向量和所述形貌特征向量以得到 所述解码特征矩阵； 其中， 所述公式为： 权　利　要　求　书 2/3 页 3 CN 115222798 A 3