(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211024435.0 (22)申请日 2022.08.24 (71)申请人 北京医智影科技有限公司 地址 100089 北京市海淀区学院路3 0号科 大天工大厦A座5层02、 0 3室 (72)发明人 张云　白璐　王少彬　陈颀　陈宇　 丁生苟　黄玉玲　袁星星　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 秦溪 (51)Int.Cl. G06T 7/30(2017.01) G06T 7/13(2017.01) G06V 10/74(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 图像配准网络模 型的训练方法、 图像配准方 法及设备 (57)摘要 本申请涉及一种图像配准网络模型的训练 方法、 图像配准方法及设备， 训练方法包括获取 训练样本集中的多个第一图像对； 对每个第一图 像对中的两张医学图像进行处理， 得到每个第一 图像对对应的一组训练样本； 将每组训练样本输 入图像配准网络模型中进行配准， 得到多个形变 场； 基于多个形变场计算每个训练样本中的形变 场复合自约束条件和配准损失； 基于形变场复合 自约束条件和配准损失计算每组训练样本的网 络损失； 利用网络损失调整图像配准网络模型的 参数； 重复执行输入训练样本、 计算网络损失和 调整参数的步骤， 直到网络损失达到预设收敛条 件时， 对图像配准网络模型训练结束， 得到训练 好的图像配准网络模型。 本申请具有为了提高配 准精度的效果。 权利要求书3页 说明书12页 附图3页 CN 115393402 A 2022.11.25 CN 115393402 A 1.一种图像 配准网络模型训练方法， 其特 征在于， 包括： 获取训练样本集， 所述训练样本集包括多个第一图像对， 所述第一图像对包括不同模 态的两张医学图像； 对每个所述第 一图像对中的两张医学图像进行处理， 得到每个所述第 一图像对对应的 一组训练样本， 其中， 每组所述训练样本包括多张医学图像； 将每组所述训练样本分别输入图像 配准网络模型中进行配准， 得到多个形变场； 基于多个所述形变场计算每个所述训练样本 中的形变场复合自约束条件和配准损失， 所述配准损失包括相似性损失、 形变场连续 性的约束条件以及轮廓 约束条件； 基于所述形变场复合自约束条件和所述配准损失计算每组所述训练样本的网络损失； 利用每组所述训练样本的网络损失调整所述图像 配准网络模型的参数； 重复执行输入所述训练样本、 计算所述网络损 失和调整参数的步骤， 直到所述网络损 失达到预设收敛条件时， 对所述图像配准网络模型训练结束， 得到训练好的图像配准网络 模型。 2.根据权利要求1所述的方法， 其特征在于， 所述对每个所述第 一图像对中的两张医学 图像进行处 理， 得到每 个所述第一图像对 对应的一组训练样本， 包括： 选择其中一张医学图像作为 参考图像， 另一张医学图像作为移动图像； 对所述参考图像和/或所述移动图像进行扩增处 理得到至少一张扩增图像； 将所述参考图像、 所述移动图像以及所述至少一张扩增图像组成一组训练样本 。 3.根据权利要求2所述的方法， 其特征在于， 所述将每组所述训练样本分别输入图像配 准网络模型中进行配准， 得到多个形变场， 包括： 当所述训练样本包括一张扩增图像时， 将所述训练样本中的所有医学图像两两组合形 成一个所述第一图像对和一个第二图像对， 其中， 所述第二图像对包括一参考图像和一移 动图像对应的扩增图像或一移动图像和一 参考图像对应的扩增图像； 将所述第一图像对和所述第 二图像对分别 输入所述图像配准网络模型中， 生成一个所 述第一图像对 对应的形变场和一个所述第二图像对 对应的形变场； 或者， 当所述训练样本包括多 张扩增图像时， 将所述训练样本中的所有医学图像两两组合形 成一个所述第一图像对和多个第二图像对， 其中， 每个所述第二图像对均包括一参考图像 和一移动图像， 其中， 每 个所述第二图像对中的参 考图像和移动图像至少一个为扩增图像； 将所述第一图像对和多个所述第 二图像对分别输入所述图像配准网络模型中， 生成一 个所述第一图像对 对应的形变场和每 个所述第二图像对 对应的形变场。 4.根据权利要求3所述的方法， 其特征在于， 所述基于多个所述形变场计算每个所述训 练样本中的形变场复合自约束条件， 包括： 当所述训练样本包括一个第 二图像对时， 将所述训练样本 中的所述第 一图像对对应的 形变场作用于所述第一图像对中的移动图像， 生成配准后的移动图像； 将配准后的移动图像与所述第一图像对中的参 考图像进行匹配得到第一配准 等式； 将所述第二图像对对应的形变场作用于第 二图像对的移动图像， 生成配准后的移动图 像； 将配准后的移动图像与所述第 二图像对中的参考图像进行匹配， 得到第 二图像对对应 的第二配准 等式；权　利　要　求　书 1/3 页 2 CN 115393402 A 2将所述第二配准等式与所述第 一配准等式结合， 得到所述第 二图像对与所述第 一图像 对之间的形变场的关系； 基于所述第二图像对与所述第一图像对之间的形变场的关系确定所述训练样本的自 约束条件， 将所述自约束条件作为所述形变场复合自约束条件L ossDeformati on； 或者， 当所述训练样本包括多个第 二图像对时， 将每组训练样本 中的所述第 一图像对对应的 形变场作用于所述第一图像对中的移动图像， 生成配准后的移动图像； 将配准后的移动图像与所述第一图像对中的参 考图像进行匹配得到第一配准 等式； 将每个所述第 二图像对对应的形变场作用于每个第 二图像对的移动图像， 生成配准后 的移动图像； 将每个配准后的移动图像与每个所述第 二图像对中的参考图像进行匹配， 得到多个所 述第二图像对 对应的第二配准 等式； 将每个所述第 二配准等式与 所述第一配准等式结合， 得到每个所述第 二图像对与第 一 图像对之间的形变场的关系； 基于每个所述第二图像对与所述第一图像对之间的形变场的关系确定多个自约束条 件， 将所述多个自约束条件进行叠加， 得到总的自约条件； 将所述总的自约束条件作为所述形变场复合自约束条件L ossDeformati on。 5.根据权利要求1或4所述的方法， 其特征在于， 基于多个所述形变场计算每个所述训 练样本中的配准损失， 包括： 基于所述第一图像对中的参考图像勾画区域的mask以及配准后的移动图像勾画区域 的mask计算D SC系数； 基于DSC系数确定第一轮廓 约束LossContour1； 基于每个所述第二图像对中的参考图像勾画区域的mask以及配准后的移动图像勾画 区域的mask计算D SC系数； 基于DSC系数确定第二轮廓 约束LossContour2； 对所述第一轮廓约束LossContour1和所有的所述第二轮廓约束LossContour2进行求和， 得 到总的轮廓 约束； 将所述总的轮廓 约束作为所述轮廓 约束条件L ossContour； 基于所述第一图像对对应的形变场计算各个像素位置 的 的第一雅可比行列 式； 基于所述第一 雅可比行列式确定第一形变场连续 性约束LossContinuous1； 基于每个所述第二图像对对应的形变场计算各个像素位置 的 的第二雅可比行 列式； 基于所述第二 雅可比行列式确定第二形变场连续 性约束LossContinuous2； 对所述第一形变场连续性约束LossContinuous1和所有的所述第二形变场连续性约束 LossContinuous2进行求和， 得到形变场连续 性约束条件L ossContinuous； 基于互信 息计算公式计算所述第 一图像对中的参考图像和 移动图形的第 一互信息， 基 于所述第一互信息计算第一相似性损失L ossSimilarity1； 基于互信息计算公式计算每个所述第二图像对中的参考图像和移动图形的第二互信 息， 基于所述第二互信息计算第二相似性损失L ossSimilarity2；权　利　要　求　书 2/3 页 3 CN 115393402 A 3