(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211373349.0 (22)申请日 2022.11.04 (71)申请人 北京精诊医疗科技有限公司 地址 100071 北京市丰台区南四环西路186 号二区2号楼-1至8层101内1层03-04 室 (72)发明人 王博　赵威　申建虎　张伟　 徐正清　 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于交互分组注意机制的多期相占位 分类方法 (57)摘要 本发明公开了一种基于交互分组注意机制 的多期相占位分类方法， 包括： 多期相肝脏占位 分割CT图像预处理、 HCC判断模型构建、 HCC判断 模型训练、 HCC判断模型的测试验证， 其中HCC判 断模型可以处理多期相的图像数据， 实现了对占 位是否是HCC的分类的判断。 能够实现判断输入 的多期相图像的是HCC还是非HCC， 能够避免由于 尺寸差异和占位临近导致误截造成的误判、 拥有 更好的“快进快出”特征提取能力。 权利要求书3页 说明书8页 附图4页 CN 115439473 A 2022.12.06 CN 115439473 A 1.一种基于交互分组注意机制的多期相占位分类方法， 其特征在于， 包括： 多期相肝脏 占位分割CT图像预处 理、 HCC判断模型构建、 H CC判断模型训练、 H CC判断模型的测试验证； 所述的预处 理具体包括以下步骤： S1、 采集患者的多期相CT图像数据； 采集患者的肝脏区域掩膜、 肝脏HCC占位区域掩膜、 肝脏非HCC占位区域掩膜； 并对采集到的多期相CT图像数据进 行预处理， 预处理中肝脏区域 掩膜、 肝脏 HCC占位区域掩膜、 肝脏非H CC占位区域掩膜参与预处 理； 所述的步骤S1具体包括以下步骤： S11、 多期相CT图像数据中包括至少两个期相， 使用其中一个期相的空间位置为标准， 对其它期相 进行配准； 配准完成后， 使用三阶spline插值结合最近邻插值对多期相CT图像 数据、 肝脏区域掩膜、 肝脏 HCC占位区域掩膜、 肝脏非H CC占位区域掩膜进行重采样； S12、 将经过步骤S11重采样之后的肝脏区域掩膜与经过步骤S11重采样之后的多期相 CT图像数据相乘， 得到肝区多期相数据； S13、 遍历所有肝脏 HCC占位区域掩膜和肝脏非H CC占位区域掩膜， 所述的步骤S13具体包括以下步骤： S131、 使用skimage第三方库标记步骤S11重采样之后的肝脏HCC占位区域掩膜或肝脏 非HCC占位区域掩膜中的所有 孤立目标， S132、 通过skimage第三方库获取所有孤立目标的外接B ounding box坐标信息、 孤立目 标的体素数量信息； 当遍历的掩膜为肝脏HCC占位区域掩膜 时获取该孤立目标标签为1， 当 遍历的掩膜 为肝脏非HCC占位区域掩膜时获取该孤立目标标签为2， 从而获取所有孤立目标 标签， 将孤立目标的外接Bounding  box坐标信息及 孤立目标标签信息列表按照孤立目标的 体素数量由大到小排序； S133、 对步骤S132中孤立目标的外接Bounding  box坐标信息及孤立目标标签信息列表 进行遍历处 理； 所述的步骤S13 3具体包括以下步骤： S1331、 将非孤立目标的HCC占位区域和非HCC占位区域作为一个整体， 进行均值灰化， 得到的均值灰化多期相数据； S1332、 通过步骤S133中得到的孤立目标的外接Bounding  box坐标信息， 获取该外接 Bounding  box的中心坐标及该外接Bounding  box的最大边长， 将该外接Bou nding box的最 大边长延长到1.5倍； 以外接Bou nding box的中心坐标不变的准则， 更新外接Bounding  box 坐标信息得到倍增外 接Boundi ng box坐标信息； S1333、 利用倍增外接Bounding  box坐标信息对步骤S1331得到的均值灰化多期相数据 进行裁剪， 然后 将裁剪得到的多期相数据的体素缩放为约定尺寸， 得到裁缩多期相数据； 通 过步骤S13 3中孤立目标 标签信息与裁缩多期相数据绑定， 得到带 标签的裁缩多期相数据； S1334、 生成假阳性多期相数据， 具体过程 为： 将肝脏HCC占位区域和非HCC占位区域作为一个整体， 进行均值灰化， 并对均值灰化后 的数据进行随机裁剪， 得到约定尺寸的假阳性多期相数据， 将假阳性多期相数据绑定标签 信息为0， 得到带 标签的假阳性多期相数据； S1335、 对S1333中的带标签 的裁缩多期相数据及S1334中的带标签 的假阳性多期相数 据进行窗宽窗位裁剪， 具体过程为： 统计对S1333中的带标签的裁缩多期相数据及S1334中权　利　要　求　书 1/3 页 2 CN 115439473 A 2的带标签的假阳性多期相数据内像素点的HU值的范围， 计算0.05 ‑99.5百分比的HU值的范 围作为窗宽窗位， 以确定目标HU值范围， 并对带标签的裁缩多期相数据和带标签的假阳性 多期相数据进行裁剪， 得到约定尺寸的带标签的待增强多期相数据； 至此对S133中所有符 合要求的孤立目标的外 接Boundi ng box坐标信息及孤立目标 标签信息列表遍历结束； S14、 对步骤S13中所有在S1335得到的带标签的待增强多期相数据进行数据增强与归 一化； S141.利用公式 （1） 对S142的带标签的待增强多期相数据进行Z ‑score归一化， 得到带 标签的归一 化多期相数据； 所述的公式 （1） 如下： （1） 其中 为图像中像素的HU值， 为所有像素HU值的均值， 为所有像素的标准差； S142、 对步骤S141中的带标签的归一化多期相数据中的标签信息进行统计， 并进行数 据增强， 增强后标签比例约为1:1:1； S143、 随机叠加高斯噪声、 高斯模糊、 对比度增强、 gamma增强、 镜像翻转中的增强方法 对带标签的归一化多期相数据进行数据增强， 得到最终带标签的多期相数据， 将该多期相 数据按照8:2的比例进行随机划分， 依次得到训练集、 测试集； 所述的最终带标签的多期相 数据包括至少两个期相； 最终带 标签的多期相数据绑定的标签为真实标签； S2、 构建多期相H CC判断模型； 所述的步骤S2的多期相HCC判断模型是骨干 网络模型， 所述的多期相HCC判断模型包括 与期相数量相同的若干条编 码路径， 所述的编 码路径分别对各个期相的图像进行输入和处 理， 所述的编码路径结构均相同， 两两互为对称放置， 每条编码器包含若干编码器； 每两条 相邻的编码 器中间均连接有若干MFIFM模块； 第一个MFIFM模块的输出端均经过一个卷积层 并concat， 第二个MFIFM模块到最后一个MFIFM模块的输出端均分别经过若干反卷积层并 concat， 从而将所有的MFIFM模块的输出特征图统一为约定特征尺 寸， 连接到同一个拼接融 合分类路径； 所述的拼接融合分类路径包括concat拼接模块、 若干个瓶颈结构、 若干个3D   卷积下采样层； 编码路径均是基于迁移学习的ResNet编码路径， 所述的编码路径的起始均是一个3D   卷积下采样层， 该3D  卷积下采样层下面经过若干ResNet  Block结构再连接到下一个3D  卷 积下采样层， 每个ResNet  Block结构如图2所示， 图中m标识通道数； 如此重复布置若干个3D 卷积下采样层， 直到最下层的3D  卷积下采样层结束， 所述的最下层的3D  卷积下采样层下 方不再连接若干ResNet  Block； 每条编码路径的3D  卷积下采样层的数量保持一致； MFIFM 模块的数量与编码路径中的编 码块的数量相同的； 每两条相 邻的编码路径中每个编 码块得 到的特征图均输入到位于编码路径中间的与编码块所对应的MFIFM模块中； 经过该层MFIFM 模块融合处理后的融合特征图经过若干反卷积层输入到拼接融合分类路径中进行融合处 理； 经过每个MFIFM模块处理的融合特征图均经过若干反卷积层输入到拼接融合分类路径 进行拼接融合计算， 该计算结果经过若干个瓶颈结构与若干个3D  卷积下采样层相连， 输入 结果， 进行后续判断； S3、 网络模型的训练， 具体步骤如下： 将训练集的数据输入多期相HCC判断模型中进行 训练， 训练集的数据输入到 HCC判断模型中， 得到预测值；权　利　要　求　书 2/3 页 3 CN 115439473 A 3