(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211012192.9 (22)申请日 2022.08.23 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 杨铀　黄良　刘琼　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 彭军芬 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于多视点图像特征的自适应匹配代价构 建方法和系统 (57)摘要 本发明公开了一种基于多视点图像特征的 自适应匹配代 价构建方法和系统， 属于多视点图 像的立体匹配及三维重建领域。 方法包括： 将多 视点图像特征进行逐对匹配， 并将 两匹配视图在 特征维度上进行拼接得到两匹配视图的图像特 征组合； 从图像特征组合中获取视图间的相似性 特征； 将每一对匹配视图间的相似性特征组合为 一个相似 性特征序列， 通过soft ‑max操作计算得 到不同的两匹配视图所对应的归一化权重； 将多 个匹配视图初始代价体利用其对应的归一化权 重进行归一化加权求和， 生成多视图匹配代价。 本发明综合考虑了不同视图间的差异性， 构建的 匹配代价鲁棒性得到增强， 特别是在匹配较困难 的弱纹理区域， 基于此预测的深度及场景重建质 量会有明显的提升 。 权利要求书2页 说明书4页 附图2页 CN 115439670 A 2022.12.06 CN 115439670 A 1.一种基于多视点图像特 征的自适应匹配代价构建方法， 其特 征在于， 包括： S1.将多视点图像特征进行逐对匹配， 并将两匹配视图在特征维度上进行拼接得到两 匹配视图的图像特 征组合； S2.从图像特 征组合中获取视图间的相似性特 征； S3.将每一对匹配视图间的相似性特征组合为一个相似性特征序列， 通过soft ‑max操 作计算得到不同的两匹配视图所对应的归一 化权重； S4.将多个匹配视图初始代价体利用其对应的归一化权重进行归一化加权求和， 生成 多视图匹配代价。 2.根据权利要求1所述的一种基于多视点图像特征的自适应匹配代价构建方法， 其特 征在于， 利用卷积神经网络从图像特征组合中获取视图间的相似性特征或计算两视图间的 SSIM结构相似度。 3.根据权利要求2所述的一种基于多视点图像特征的自适应匹配代价构建方法， 其特 征在于， 所述卷积神经网络为对称的U型结构， 包括七个卷积层， 每个卷积层之后连接批归 一化层； 第一卷积层及第二卷积层对特征进行下采样 到1/4及1/16， 在第四卷积层和第五卷 积层对特征进行上采样到1/4及原尺寸， 并对下采样的特征进行跳跃连接操作进行跨层次 的特征融合。 4.根据权利要求1 ‑3任一项所述的一种基于多视点图像特征的自适应匹配代价构建方 法， 其特征在于， 多视图匹配代价 为： Wi为源视点对应的聚合权 重， Vi为源视点对应的初始匹配代价， n表示源视点的个数。 5.一种基于多视点图像特 征的自适应匹配代价构建系统， 其特 征在于， 包括： 匹配拼接模块， 用于将多视点图像特征进行逐对匹配， 并将两匹配视 图在特征维度上 进行拼接得到 两匹配视图的图像特 征组合； 相似性特 征获取模块， 用于从图像特 征组合中获取视图间的相似性特 征； 归一化权重计算模块， 用于将每一对 匹配视图间的相似性特征组合为一个相似性特征 序列， 通过soft ‑max操作计算得到不同的两匹配视图所对应的归一 化权重； 加权求和模块， 用于将多个匹配视图初始代价体利用其对应的归一化权重进行归一化 加权求和， 生成多视图匹配代价。 6.根据权利要求5所述的一种基于多视点图像特征的自适应匹配代价构建系统， 其特 征在于， 相似性特征获取模块利用卷积神经网络从图像特征组合中获取视图间的相似性特 征或计算两 视图间的S SIM结构相似度。 7.根据权利要求6所述的一种基于多视点图像特征的自适应匹配代价构建系统， 其特 征在于， 所述卷积神经网络为对称的U型结构， 包括七个卷积层， 每个卷积层之后连接批归 一化层； 第一卷积层及第二卷积层对特征进行下采样 到1/4及1/16， 在第四卷积层和第五卷 积层对特征进行上采样到1/4及原尺寸， 并对下采样的特征进行跳跃连接操作进行跨层次 的特征融合。 8.根据权利要求5 ‑7任一项所述的一种基于多视点图像特征的自适应匹配代价构建系 统， 其特征在于， 多视图匹配代价 为：权　利　要　求　书 1/2 页 2 CN 115439670 A 2Wi为源视点对应的聚合权 重， Vi为源视点对应的初始匹配代价， n表示源视点的个数。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述计算机程序被所述处理器执行时实现如权利要求 1～4 任意一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115439670 A 3