(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211352620.2 (22)申请日 2022.11.01 (71)申请人 中国民航大 学 地址 300300 天津市东 丽区津北公路2898 号 (72)发明人 李彪　朱书杰　邢志伟　 (74)专利代理 机构 天津盈佳知识产权代理事务 所(特殊普通 合伙) 12224 专利代理师 孙宝芸 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/64(2022.01) G06V 10/74(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 自主式搬运的航空行李特征感知重构方法、 系统及其应用 (57)摘要 本发明属于航空行李三维重建图像识别技 术领域， 公开了自主式搬运的航空行李特征感知 重构方法、 系统及其应用。 该方法包括： 利用图像 采集设备采集行李输送视频， 并提取行李输送视 频中的行李图像， 建立用于行李三维重构的行李 图像关键帧组； 利用行李图像关键帧组重建完整 的行李三维表 面网格模型； 对重建出的行李三维 表面网格模 型进行最小包围盒估计， 结合像素分 辨率与实际尺寸的函数拟合关系计算出行李的 三维尺寸。 本发 明搭建了航空行李特征感知重构 系统， 实现航空行李尺寸和重量信息一体化检 测。 本发明具有精确度高、 实时性强、 鲁棒性好等 优点， 有效实现了航空行李无人化搬运码放的尺 寸和重量检测问题， 提高机场运行效率， 有较好 的应用前 景。 权利要求书3页 说明书12页 附图2页 CN 115410135 A 2022.11.29 CN 115410135 A 1.一种面向自主式搬运的航空行李特征感知重构方法， 其特征在于， 该方法包括以下 步骤： S1， 利用图像采集设备采集行李输送视频， 并提取行李输送视频中的行李图像， 建立用 于行李三维重构的行李图像关键帧组； S2， 利用行李图像关键帧组重建完整的行李三维表面网格模型； S3， 对重建出的行李三维表面网格模型进行最小包围盒估计， 结合像素分辨率与实际 尺寸的函数拟合关系计算出 行李的三维尺寸。 2.根据权利要求1所述的面向自主式搬运的航空行李特征感知重构方法， 其特征在于， 在步骤S1中， 建立用于行李三维重构的行李图像关键帧组包括： （1） 设置固定的时间阈值t， 以时间阈值t作为间隔选取出一组视频帧序列， 令每组序列 的第一个视频帧作为关键帧； （2） 利用图像差异哈希算法对提取出的关键帧进行视频帧相似度计算， 对相似度过大 的视频帧进行去除； （3） 利用Tenen grad梯度评价函数对经过相似度计算筛选出的候选帧进行清晰度评价， 筛选出最终的行李图像关键帧组， 梯度算子公式如下： Gx与Gy对应的算子矩阵分别为： 利用Tenengrad梯度函数对二维图像清晰度计算定义： 公式中，Gx与Gy是在横向与纵向两个方向上的卷积， D （f） 表示的是该图像的梯度值， G （x,y） 表 示的是在二维图像中坐标 （x,y） 处像素点的Sobel算子的卷积， T表 示的是给定的卷 积阈值， x和y分别表示 二维图像中的坐标， g为系数。 3.根据权利要求1所述的面向自主式搬运的航空行李特征感知重构方法， 其特征在于， 在步骤S2中， 利用行李图像关键帧组重建完整的行李三维表面网格模型包括： （i） 重建算法模型采用编码器 ‑解码器体系结构形式， 编码器部分采用残差神经网络结 构， 解码器部分由多层感知器和网格细分层两个形变模块组成； （ii） 在残差神经网络ResNet的每个卷积层 连接处加入组归一化GN和ReLU激活函数， 将权　利　要　求　书 1/3 页 2 CN 115410135 A 2改进后的残差网络作为特 征提取网络模块； （iii） 多层感知器将前一阶段的输出作为输入并输出形变后的顶点坐标， 网格细分层 对表面网格的三角形面片作剖分， 使每个三角形边长减半以期待在后续的多层感知器形变 过程中得到对目标物体表面 流形更精确的近似； （iv） 在训练过程中， 在每个多层感知器形变阶段之后对形变网格采样以计算优化的目 标函数， 最小化生成 的表面网格 M与Ground truth物体表面 S之间的距离； 生成的表面网格 被定义为M= （V,E,T） ， 其中V∈R3是表面网格的顶点的集合， E是连接相邻网格顶点的边的集 合，T是由相连接的边围成的三角形面片的集 合， 训练目标函数如下： 其中Lc为倒角距离， Le为边长约束， LN为法线约束， Lsm为平滑约束， Llap为拉普拉斯约束， Lall被作用于模型的最终输出以及每一级形变模块 的中间结果； Lc倒角距离表征重建出的 行李表面 网格与原始行李模型两者间面到面的距离， Le边长约束用以最小化行李表面网格 的三角形面片的面积， LN法线约束用于约束行李表面网格与原始行李模型的法线一致性， Lsm平滑约束使得行李表面网格中相邻的面片夹角趋于平缓， Llap拉普拉斯约束能够最小化 重建出的行李表面网格平均曲率； 为边长约束系数； 法线约束系数； 为平滑约束系 数； 为拉普拉斯约束系数； R为表面网格的顶点； （v） 结合倒角距离和E MD两种评估指标评估改进的三维表面网格重建算法的性能； 倒角距离对生成的表面网格以及Ground  truth表面采样得到的两个点集之间的最近 邻距离， 被定义如下： 其中， p和q均为顶点， 表示点云， 表示表面网格； EMD表征两个对象相似性， 定义在两个点数相同的点 集S1,S2⊆R3之间的EMD如下： 其中ϕ：S1⟶S2为根据两个点集之间最小距离和构建的双射， S1和S2均表示点集， 表示 点集S1中的任意 一点， 为双射， 为在 点时的双射。 4.根据权利要求1所述的面向自主式搬运的航空行李特征感知重构方法， 其特征在于， 在步骤S3中， 对重建出的行李三维表面网格模型进行最小包围盒估计包括： 利用PCA主元分析法获得行李网格模型的三个主方向， 获取质心， 计算协方差， 获得协 方差矩阵， 求取协方差矩阵的特 征值和特 征向量， 特 征向量即为主方向； 利用获得的主方向和质心， 将输入 网格转换至原点网格， 且主方向与坐标系方向重回， 建立变换到原点的网格的包围盒； 给输入网格模型设置主方向和包围盒， 通过输入网格到原点网格 变换的逆变换实现。 5.根据权利要求1所述的面向自主式搬运的航空行李特征感知重构方法， 其特征在于，权　利　要　求　书 2/3 页 3 CN 115410135 A 3