(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210621831.5 (22)申请日 2022.06.02 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 谢伟伦　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 秦晓君 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/74(2022.01) G06V 10/762(2022.01) (54)发明名称 一种图像拼接方法及装置 (57)摘要 本发明公开一种图像拼接方法及装置， 可应 用于金融领域或其他领域。 确定图像组中第一目 标图像和参考图像的投影误差， 及确定第一目标 图像对应的单应性模型； 基于投影误差， 对单应 性模型进行聚类以得到至少一个模型类别并确 定目标类别； 利用优化方程， 对目标类别中单应 性模型对应的第一目标图像进行优化， 得到第二 目标图像； 确定目标类别中单应性模 型对应的优 化后的最佳缝合线； 基于优化后的最佳缝合线， 将第二目标图像与相应的参考图像进行拼接， 得 到图像拼接结果； 计算图像拼接结果的评价指标 并据此确定最终图像拼接结果。 本方案采用基于 结果为驱动的图像拼接策略， 并通过多个优化步 骤降低图像拼接结果的失真， 提高图像中低特征 物体拼接的准确性。 权利要求书2页 说明书15页 附图3页 CN 114936970 A 2022.08.23 CN 114936970 A 1.一种图像拼接方法， 其特 征在于， 所述方法包括： 获取多个图像组， 每 个所述图像组包括相对应的第一目标图像和参 考图像； 对于每个图像组， 确定所述图像组中第一目标图像和参考图像的投影误差， 以及确定 所述图像组中第一目标图像对应的单应性模型； 基于所述投影误差， 对所有所述单应性模型进行聚类以得到至少一个模型类别， 并从 所述至少一个模型类别中确定目标类别； 利用预设的优化方程， 对所述目标类别中每个单应性模型对应的第 一目标图像进行优 化， 得到相应的第二目标图像， 其中， 所述优化方程至少包括： 基于点特征的匹配优化项， 基 于线特征的匹配优化项， 基于十字特征的投影失真优化项和基于十字特征的透视失真优化 项； 确定所述目标类别中每 个单应性模型对应的优化后的最佳 缝合线； 对于每个第二目标图像， 基于所述第二目标图像对应的优化后的最佳缝合线， 将所述 第二目标图像与相应的参 考图像进行拼接， 得到图像拼接结果； 计算各个所述图像拼接结果的评价指标， 并基于所述评价指标从各个所述图像拼接结 果确定最终图像拼接结果。 2.根据权利要求1所述的方法， 其特征在于， 对于每个图像组， 确定所述图像组中第一 目标图像和参考图像的投影误差， 以及确定所述图像组中第一目标图像对应的单应性模 型， 包括： 对于每个图像组， 分别提取所述图像组中第一目标图像和参考图像的特征信 息， 其中， 所述特征信息包括特 征点和特 征线； 基于所述特征信息， 确定所述图像组中第一目标图像和参考图像的投影误差， 以及确 定所述图像组中第一目标图像对应的单应性模型。 3.根据权利要求1所述的方法， 其特征在于， 基于所述投影误差， 对所有所述单应性模 型进行聚类以得到 至少一个模型类别， 并从所述至少一个模型类别中确定目标类别， 包括： 基于所述投影误差， 对所有所述单应性模型进行聚类以得到 至少一个模型类别； 从进行聚类的所述单应性模型中确定最佳的单应性模型； 确定涵盖所述 最佳的单应性模型的模型类别为目标类别。 4.根据权利要求3所述的方法， 其特征在于， 确定涵盖所述最佳的单应性模型的模型类 别为目标类别之后， 所述方法还 包括： 获取所述目标类别包 含的单应性模型的模型 数量； 判断所述模型 数量是否小于数量阈值； 若所述模型 数量小于数量阈值， 输出 所述目标类别； 若所述模型数量大于或等于所述数量阈值， 对所述目标类别包含的单应性模型进行聚 类以得到至少一个模型类别， 返回执行从进 行聚类的所述单应性模型中确定最佳的单应性 模型这一步骤。 5.根据权利要求1所述的方法， 其特征在于， 确定所述目标类别中每个单应性模型对应 的优化后的最佳 缝合线， 包括： 利用大津算法， 确定所述目标类别中每 个单应性模型对应的优化后的最佳 缝合线。 6.根据权利要求1所述的方法， 其特征在于， 计算各个所述图像拼接结果的评价指标，权　利　要　求　书 1/2 页 2 CN 114936970 A 2并基于所述评价指标从各个所述图像拼接结果确定最终图像拼接结果， 包括： 计算各个所述图像拼接结果的峰值信噪比； 确定峰值信噪比最大的所述图像拼接结果 为最终图像拼接结果。 7.一种图像拼接装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取多个图像组， 每个所述图像组包括相对应的第一目标图像和参考 图像； 第一确定单元， 用于对于每个图像组， 确定所述图像组中第一目标图像和参考图像的 投影误差， 以及确定所述图像组中第一目标图像对应的单应性模型； 第一处理单元， 用于基于所述投影误差， 对所有所述单应性模型进行聚类以得到至少 一个模型类别， 并从所述至少一个模型类别中确定目标类别； 优化单元， 用于利用预设的优化方程， 对所述目标类别 中每个单应性模型对应的第一 目标图像进行优化， 得到相应的第二目标图像， 其中， 所述优化方程至少包括： 基于点特征 的匹配优化项， 基于线特征 的匹配优化项， 基于十字特征 的投影失真优化项和基于十字特 征的透视失真优化项； 第二确定单元， 用于确定所述目标类别中每个单应性模型对应的优化后的最佳缝合 线； 拼接单元， 用于对于每个第二目标图像， 基于所述第二目标图像对应的优化后的最佳 缝合线， 将所述第二目标图像与相应的参 考图像进行拼接， 得到图像拼接结果； 第二处理单元， 用于计算各个所述图像拼接结果的评价指标， 并基于所述评价指标从 各个所述图像拼接结果确定最终图像拼接结果。 8.根据权利要求7所述的装置， 其特征在于， 所述第一确定单元具体用于： 对于每个图 像组， 分别提取所述图像组中第一目标图像和参考图像的特征信息， 其中， 所述特征信息包 括特征点和特征线； 基于所述特征信息， 确定所述图像组中第一 目标图像和 参考图像的投 影误差， 以及确定所述图像组中第一目标图像对应的单应性模型。 9.根据权利要求7 所述的装置， 其特 征在于， 所述第一处 理单元包括： 第一聚类模块， 用于基于所述投影误差， 对所有所述单应性模型进行聚类以得到至少 一个模型类别； 第一确定模块， 用于从进行聚类的所述单应性模型中确定最佳的单应性模型； 第二确定模块， 用于确定涵盖所述 最佳的单应性模型的模型类别为目标类别。 10.根据权利要求9所述的装置， 其特 征在于， 所述第一处 理单元还包括： 获取模块， 用于获取 所述目标类别包 含的单应性模型的模型 数量； 判断模块， 用于判断所述模型 数量是否小于数量阈值； 输出模块， 用于若所述模型 数量小于数量阈值， 输出 所述目标类别； 第二聚类模块， 用于若所述模型数量大于或等于所述数量阈值， 对所述目标类别包含 的单应性模型进行聚类以得到 至少一个模型类别， 返回执 行所述第一确定模块。权　利　要　求　书 2/2 页 3 CN 114936970 A 3