(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211366435.9 (22)申请日 2022.11.03 (71)申请人 南京应用数 学中心 地址 210000 江苏省南京市江宁区麒 麟科 创园智识路26号启迪城立 业园04幢 (72)发明人 丘成桐　刘继军　王冬　王丽艳　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 张天哲 (51)Int.Cl. G06T 11/00(2006.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于多模态结构相似度神经网络的低剂量 PET-CT重建方法 (57)摘要 本发明公开了一种基于多模态图像结构相 似度的神经网络的低剂量PET ‑CT重建方法。 发明 的核心是利用CT图像的结构信息， 使得短时间窗 位采集的PET图像达到长时间窗位采集的效果， 有助于减少运动伪影并提高病人的扫描舒适度。 通过构建多模态多分支带自注意力机制的深度 卷积神经网络， 在损失函数中引入多模态图像结 构相似度来学习CT图像中的结构信息， 使得低剂 量PET图像的峰值信噪 比提高9% 的同时， 成功达 到标准剂量PET图像的效果， 且结构信息明显优 于标准剂量PET图像。 本发明利用CT图像信息的 同时， 在损失函数中引入刻画多模态图像结构相 似度的罚项， 从而得到了包含更多结构信息的高 精度PET图像 。 权利要求书2页 说明书5页 附图3页 CN 115423893 A 2022.12.02 CN 115423893 A 1.基于多模态结构相似度神经网络的低剂量PET ‑CT重建方法， 其特征在于， 包括如下 步骤： （a） 收集数据： 收集同一病人的临床60秒PET ‑CT图像数据和10秒PET ‑CT图像数据； 将收 集到的数据集按比例随机分为训练集、 验证集、 测试集并做预处 理； （b） 建立模型： 基于深度 学习方法， 构建多模态多分支带自注意力机制的深度 卷积神经 网络， 网络 输入为10秒PET图像和CT图像， 网络 输出为60秒PET图像； （c） 设计损失函数： 在损失函数中引入刻画多模态图像结构相似度的罚项， 利用图像的 梯度信息学习CT图像中的结构信息； （d） 训练模型： 采用全监督学习方法将步骤 （b） 中构 建的深度卷积神经网络模型在训练 集和验证集上进行优化； （e） 测试模型： 训练结束后， 将步骤 （d） 中所得网络在测试集上进行测试， 得到重建后的 PET图像并与6 0秒PET图像进行 数值对比。 2.根据权利要求1所述的基于多模态结构相似度神经网络的低剂量PET ‑CT重建方法， 其特征在于： 利用所步骤 （a） 中收集到的数据训练所述步骤 （b） ‑（d） 中建立的网络模型， 并 利用所述步骤 （e） 进行多模态重建， 所述步骤 （a） 中PET 图像的重建算法包括但不限于3D ‑ OSEM重建算法。 3.根据权利要求1所述的基于多模态结构相似度神经网络的低剂量PET ‑CT重建方法， 其特征在于： 将所述步骤 （a） 中 收集到的数据分为训练集、 验证集和测试集的比例包括但 不 限于8:1:1； 所述步骤 （a） 中对收集到的数据的预处理方法包括归一化、 随机水平翻转、 随机 垂直翻转、 随机45度旋转、 阈值分割 、 切割图像块。 4.根据权利要求1所述的基于多模态结构相似度神经网络的低剂量PET ‑CT重建方法， 其特征在于： 所述步骤 （b） 中所提出的深度卷积神经网络 分为前端和 后端两部 分， 并且前端 与后端通过2个残差模块进行连接； 网络前端包括两个 分支， 分别为CT分支与P ET分支； 每个 分支均由5个2D卷积模块和1个自注意力模块依次连接而成， 其中每个2D卷积模块由卷积 层、 批归一化层、 以及激活层组成， 卷积核的个数为96， 大小为5x5， 步长为1， 激活函数为 ReLU； 自注意力模块通过3次1x1卷积和内积操作来提取图像各个像素之间的全局信息； 网 络后端对提取到的CT图像特征和PET图像特征进行拼接处理， 并且由5个反卷积模块和2个 自注意力模块依次连接而成， 其中每个2D反卷积模块由反卷积层、 批归一化层、 以及激活层 组成， 卷积核的个数为96， 大小为5x5， 步长为1， 激活函数为ReLU。 5.根据权利要求1所述的基于多模态结构相似度神经网络的低剂量PET ‑CT重建方法， 其特征在于： 所述 步骤 （c） 中的损失函数为 其中 为网络参数， 为网络的输出， 即重建后的PET图像， 为网络标签， 即6 0秒PET图像， 为CT图像， 和 为权重； MSE表示均方误差， 定义 为： SSIM表示结构相似度系数， 定义 为：权　利　要　求　书 1/2 页 2 CN 115423893 A 2它利用图像的统计信息刻画两幅图像之间的结构相似度； MMSP表示多模态结构相似度罚项， 定义 为： 它利用图像的梯度信息刻画多模态图像之间的结构相似度。 6.根据权利要求1所述的基于多模态结构相似度神经网络的低剂量PET ‑CT重建方法， 其特征在于： 所述步骤 （d） 采用全监督训练方法， 以10秒PET图像块和CT图像块为网络输入， 以相对应的60秒P ET图像块为标签训练网络， 将网络进行初始 化后， 采用ADAM算法优化网络 参数， 训练完成后得到最优网络参数。 7.根据权利要求1所述的基于多模态结构相似度神经网络的低剂量PET ‑CT重建方法， 其特征在于： 所述步骤 （e） 中测试的过程具体实现为： 将测试集中的数据逐一放入 （d） 中训 练得到的网络， 以10秒PET图像和相对应的CT图像为网络输入， 网络输出即为重建后的PET 图像； 将重建后的PET图像与6 0秒PET图像进行 数值对比， 计算 客观评价指标。权　利　要　求　书 2/2 页 3 CN 115423893 A 3