(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210794320.3 (22)申请日 2022.07.07 (71)申请人 合肥安达创展科技股份有限公司 地址 230023 安徽省合肥市包河区河北路 18号 (72)发明人 王家伟　李颖　徐朦　邹颂扬　 杜亚飞　 (74)专利代理 机构 合肥天明专利事务所(普通 合伙) 34115 专利代理师 高微微 (51)Int.Cl. G06F 3/01(2006.01) G06V 20/20(2022.01) G06V 10/74(2022.01) G06V 10/75(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于异构孪生网络的AR观景互动方法及系 统 (57)摘要 本发明公开了基于异构孪生网络的AR观景 互动方法及系统， 将模板图集合和待匹配图输入 到已训练好的图像匹配网络中， 图像匹配网络包 括孪生网络模块、 区域选取网络模块和匹配模 块； 孪生网络模块对输入的模板图集合和待匹配 图进行相关卷积运算以及多特征融合， 输出两种 底层特征图； 区域选取网络模块对输入的两种底 层特征图进行不同参数的卷积运算， 分别生成目 标类别特征图和目标位置特征图； 匹配模块对输 入的目标类别特征图和目标位置特征图进行匹 配， 输出目标位置下目标类别的三维图， 以供AR 观景展示； 该AR观景互动方法能够高精度、 低延 时地匹配并定位模板图在待匹配图中的位置， 提 高了AR观景类互动的实时性和准确性， 增强互动 的真实性和体验感。 权利要求书3页 说明书8页 附图4页 CN 115202477 A 2022.10.18 CN 115202477 A 1.基于异构孪生网络的AR观景互动方法， 其特 征在于， 包括： 将模板图集合和待匹配图输入到已训练好的图像匹配网络 中， 图像匹配网络包括孪生 网络模块、 区域选取网络模块和匹配模块； 孪生网络模块对输入的模板图集合和待匹配图进行相关卷积运算以及多特征融合， 输 出两种底层特 征图； 区域选取网络模块对输入的两种底层特征图进行不同参数的卷积运算， 分别生成 目标 类别特征图和目标位置特 征图； 匹配模块对输入的目标类别特征图和目标位置特征图进行匹配， 输出目标位置下目标 类别的三维图， 以供AR观景展示。 2.根据权利要求1所述的基于异构孪生网络的AR观景互动方法， 其特征在于， 所述孪生 网络模块包括多特征融合网络和两个残差网络， 两个残差网络的结构相同、 网络不对称， 多 特征融合网络的输入端分别与残差网络的输出端连接、 输出端与区域选取网络模块的输入 端连接， 残差网络的输入端输入 模板图集 合和待匹配图。 3.根据权利要求2所述的基于异构孪生网络的AR观景互动方法， 其特征在于， 残差网络 包括卷积层Conv3_4、 卷积层Conv4_4、 卷积层Conv5_4， 卷积层Conv3_4、 卷积层Conv4_4、 卷 积层Conv5_4并联设置； 其中一个残差网络中的卷积层Conv3_4与另一个残差网络中的卷积层Conv3_4进行深 度卷积型相关卷积， 输出第一相关性特征图， 其中一个残差网络中的卷积层Conv4_4与另一 个残差网络中的卷积层Conv4_4进行深度卷积型相关卷积， 输出第二相关性特征图， 其中一 个残差网络中的卷积层Conv5_4与另一个残差网络中的卷积层Conv5_4进行深度卷积型相 关卷积， 输出第三相关性特征图， 并将第一相关性特征图、 第二相关性特征图、 第三相关性 特征图分别输入到多特 征融合网络中。 4.根据权利要求3所述的基于异构孪生网络的AR观景互动方法， 其特征在于， 所述多特 征融合网络包括卷积层Co nvF1、 卷积层Co nvF2和卷积层Co nvF3和融合层； 卷积层ConvF1的输入端输入第一相关性特征图， 并对第一相关性特征图进行卷积计算 输出第一顶层特征图， 卷积层ConvF2的输入端输入第二相关性特征图， 并对第二相关性特 征图进行卷积计算输出第二顶层特征图， 卷积层ConvF3的输入端输入第三相关性特征图， 并对第三相关性特征图进行卷积计算输出第三顶层特征图， 第一顶层特征图、 第二相关性 特征图、 第三相关性特 征图输入到融合层进行 特征融合， 输出两种底层特 征图。 5.根据权利要求4所述的基于异构孪生网络的AR观景互动方法， 其特征在于， 所述区域 选取网络模块包括卷积层ConvFN_cl s和卷积层ConvFN_reg， ConvFN_cls的输入端输入其中 一个底层特征图， 通过卷积计算输出目标类别特征图， 卷积层ConvFN_reg的输入端输入另 一个底层特 征图， 通过 卷积计算输出目标位置特 征图。 6.根据权利要求4所述的基于异构孪生网络的AR观景互动方法， 其特征在于， 卷积层 ConvFN_cl s包括卷积层ConvCl s_t和卷积层Reg_t， 卷积层ConvFN_reg包括卷积层ConvCl s_ d和卷积层Reg_d， 卷积层ConvCls_t与卷积层ConvCls_d进行深度卷积型相关卷积， 输出目 标类别特征图， 卷积层Reg_t和卷积层Reg_d进行深度卷积型相关卷积， 输出 目标位置特征 图。 7.根据权利要求4所述的基于异构孪生网络的AR观景互动方法， 其特征在于， 多特征融权　利　要　求　书 1/3 页 2 CN 115202477 A 2合网络中的融合层是指将三个参数相同的第一顶层特征图、 第二相关性特征图和 第三相关 性特征图， 分别通过两种不同参数 的卷积运算得到两种底层特征图， 两种底层特征图分别 为特征信息弱、 位置信息强的底层特 征图以及特 征信息强、 位置信息强的底层特 征图。 8.根据权利要求1所述的基于异构孪生网络的AR观景互动方法， 其特征在于， 对已构建 好的图像匹配网络进行训练， 训练步骤如下： 构建图像样本集和设置初始模型参数， 图像样本集包括训练样本集和 测试样本集； 通过训练样本集对图像匹配网络进行训练， 更新图像匹配网络中的模型参数， 所述图 像匹配网络的激活函数 是PReLu函数； 所述网络的损失函数为交叉熵损失函数， 对ConvF1、 ConvF2、 ConvF3分别计算损失函数 L1、 L2、 L3以及总损失函数Lvltotal； 总损失函数为： Lv1total(pi， ti)＝L1(pi， ti)+L2(pi， ti)+L3(pi， ti) 其中， p*表示标签， 值为0或1， p表示预测的概率， t为回归分支的输出结果， 即输出预测 中心坐标偏移量(dx,dy)以及输出预测目标框长宽偏移量(dw,dh)， t*则为目标真实的中心 偏移量与长宽偏移量， Lcls( )表示卷积层ConvFN_cls的损失函数， Lreg( )表示卷积层 ConvFN_reg的损失函数， Llip表示正则化项， Ncls1、 Ncls2、 Ncls3、 Nreg1、 Nreg2、 Nreg3、 λ、 λ2分别为固 定参数。 通过测试样本集对训练过的图像匹配网络进行测试， 计算图像匹配网络的准确率和实 时性， 若性能提升， 则迭代通过训练样本集对图像匹配网络进行训练； 若性能未提升， 则停 止迭代， 输出已训练好的图像匹配网络 。 9.基于异构孪生网络的AR观景互动系统， 其特征在于， 包括图像输入模块、 孪生网络模 块、 区域选取网络模块和匹配模块； 图像输入 模块用于将模板图集 合和待匹配图输入到已训练好的图像匹配网络中； 孪生网络模块用于对输入的模板图集合和待匹配图进行相关卷积运算以及多特征融 合， 输出两种底层特 征图； 区域选取网络模块用于对输入的两种底层特征图进行不同参数的卷积运算， 分别生成 目标类别特 征图和目标位置特 征图； 匹配模块用于对输入的目标类别特征图和目标位置特征图进行匹配， 输出目标位置下 目标类别的三维图， 以供AR观景展示。 10.一种计算机可读储存介质， 其特征在于， 所述计算机可读储存介质上存储有若干分 类程序， 所述若干 分类程序用于被处理器调用并执行如权利要求 1至8任一所述的AR观景 互权　利　要　求　书 2/3 页 3 CN 115202477 A 3