(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211375015.7 (22)申请日 2022.11.04 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 胡丹青　程乐超　 (74)专利代理 机构 北京志霖恒远知识产权代理 有限公司 1 1435 专利代理师 戴莉 (51)Int.Cl. G16H 50/20(2018.01) G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种多模态图森林的肺癌淋巴结转移辅助 诊断系统 (57)摘要 本发明公开了一种多模态图森林的肺癌淋 巴结转移辅助诊断系统， 包括： CT深度特征获取 模块： 获取CT深度特征； 多模态数据异构图构建 模块： 用于根据多模态特征类型定义表示不同特 征类型的多模态节点； 并根据医学先验知识， 定 义节点与节点之间的关系构建多模态数据异构 图； 异构图森 林构建模块： 构建异构图森 林； 淋巴 转移诊断结果模块： 获取所述异构图森林中每个 子图的图表征， 将每个子图的图表征通过全 连接 层的输出得到对应的患者淋巴转移概率， 对每个 子图对应的患者淋巴转移概率进行平均得到最 终的患者淋巴转移预测结果。 本发 明可有效考虑 不同种类特征之间的相关关系， 提取的深度特征 在预测淋巴结转移时有更好的泛化能力。 权利要求书2页 说明书6页 附图2页 CN 115424724 A 2022.12.02 CN 115424724 A 1.一种多模态图森林的肺癌淋巴结转移辅助诊断系统， 其特 征在于， 包括： CT深度特征获取模块： 用于对胸部CT影像数据预处理， 并将预处理后的胸部CT影像数 据以病理T分期为预测目标构建预测模型， 获取CT深度特 征； 多模态数据异构图构建模块： 用于根据多模态特征类型定义表示不同特征类型的多模 态节点， 所述多模态节 点包括CT影像节点， 所述CT深度特征用于描述CT影像节 点； 利用对应 的特征向量对多模态节点描述； 并根据医学先验知识， 定义节点与节点之间的关系构建多 模态数据异构图； 异构图森林构建模块： 用于将所述多模态数据异构图中选择每一个节点及 当前节点涉 及的关系删除， 将剩余的节点与关系作为子图存储， 遍历后得到多个包含部分节点与关系 的子图， 所有所述子图构成异构图森林； 淋巴转移诊断结果模块： 用于利用图卷积神经网络获取所述异构图森林中每个子图的 图表征， 将每个子图的图表征通过全连接层的输出得到对应的患者淋巴转移概率， 对每个 子图对应的患者淋巴转移概 率进行平均得到最终的患者淋巴转移预测结果。 2.如权利要求1所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统， 其特征在 于， 所述CT深度特 征获取模块具体包括： 影像预处理单元： 用于获取胸部CT影像数据， 并对所述胸部CT影像数据进行预处理， 获 取原发肿瘤区域影 像数据； CT深度特征提取单元： 用于将所述原发肿瘤区域影像数据作为模型的输入， 患者病理T 分期作为预测目标， 对深度神经网络进 行训练， 得到病理T分期预测模 型， 提取病理T分期预 测模型网络中倒数第二层的全连接层输出作为CT深度特 征。 3.如权利要求2所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统， 其特征在 于， 所述CT深度特征提取单元中采用的深度神经网络的架构为依次连接的骨干网络、 两层 transformer编码层、 平均池化层和两层全连接层。 4.如权利要求3所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统， 其特征在 于， 所述骨干网络采用ResNet34、 ResNet5 0、 ResNet101或VG G。 5.如权利要求1所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统， 其特征在 于， 所述淋巴转移诊断结果模块的功能流 程具体包括： 步骤S1： 利用图卷积神经网络通过聚合子图中每个节点及其单跳临近节点的特征， 得 到每个节点深度表征； 步骤S2： 将每 个节点深度表征的最大值 拼接作为当前子图的图表征； 步骤S3： 将当前子图的图表征通过全连接层的输出得到当前子图对应的患 者淋巴转移 概率； 步骤S4： 遍历步骤S1 ‑步骤S3， 直至遍历所述异构图森林中所有子图， 得到所有子图对 应的患者淋巴转移概 率； 步骤S5： 将所有子图对应的患 者淋巴转移概率进行平均 得到最终的患 者淋巴转移预测 结果。 6.如权利要求1所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统， 其特征在 于， 所述淋巴转移诊断结果模块中的图卷积神经网络采用GCN或GAT。 7.如权利要求1所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统， 其特征在权　利　要　求　书 1/2 页 2 CN 115424724 A 2于， 所述多模态数据异构图构建模块中将患者临床或影像多模态特征类型定义表示不同特 征类型的节点包括： 患者节点、 肿物节点、 淋巴结节点、 肿瘤标志物节点、 疾病史节点和/或 CT影像节点。 8.如权利要求1所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统， 其特征在 于， 所述多模态数据异构图构建模块中节点与 节点之间的关系包括： 患者—发生/被发生— 肿物、 肿物—导致/被导致—淋巴结、 CT深度特征—描述/被描述—肿物、 肿物—引起/被引 起—肿瘤标志物、 肿瘤标志物—预示/被预示—淋巴结、 患者—患有/被患有 —疾病史和/或 疾病史—影响/被 影响—淋巴结。 9.如权利要求1所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统， 其特征在 于， 所述异构图森林构建模块中选择每一个节点及当前节点涉及的关系删除时， 节点数量 至少为1个， 选择的方式为随机 选择或依次遍历。权　利　要　求　书 2/2 页 3 CN 115424724 A 3