(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211359224.2 (22)申请日 2022.11.02 (71)申请人 长春理工大 学 地址 130022 吉林省长 春市朝阳区卫星路 7089号 (72)发明人 李奇　刘静远　武岩　宋雨　高宁　 (74)专利代理 机构 长春众邦菁华知识产权代理 有限公司 2 2214 专利代理师 张伟 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06V 10/44(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 基于尺度均衡耦合卷积架构的脑神经影像 特征提取方法 (57)摘要 本发明涉及一种基于尺度均衡耦合卷积架 构的脑神经影像特征提取方法， 属于图像特征提 取技术领域， 包括步骤： 分别对sMRI 图像与fMRI 图像进行不同的预处理， 得到3D大脑图像和2D脑 功能网络图像； 利用基于膨胀卷积的尺度均衡金 字塔卷积网络分别对3D大脑图像和2D脑功能网 络图像进行卷积特征提取操作， 得到时间 ‑空间 尺度均衡特征； 将所得到的时间 ‑空间尺度均衡 特征进行随机匹配耦合计算， 得到耦合矩阵， 该 耦合矩阵用于作为提取的融合特征输入到分类 器中。 本发 明特征提取方法既充分考虑了单一模 态中多尺度语义关联性， 也能对模态间耦合特征 进行提取， 使模型的准确性和鲁棒性进一步提 升， 同时适用多种不同模态的特征提取， 可扩展 性强。 权利要求书1页 说明书5页 附图1页 CN 115409843 A 2022.11.29 CN 115409843 A 1.一种基于尺度均衡耦合卷积架构的脑神经影像特征提取方法， 其特征在于， 包括以 下步骤： 步骤一、 获取包括sMRI图像与fMRI图像 的脑神经影像， 并分别对sMRI图像与fMRI图像 进行不同的预处 理， 得到3D大脑图像和2D脑 功能网络图像； 步骤二、 利用基于膨胀 卷积的尺度均衡金字塔卷积网络分别对3D大脑图像和2D脑功能 网络图像进行卷积特征提取操作， 得到3D大脑图像和2D脑功能网络图像的时间 ‑空间尺度 均衡特征； 步骤三、 将步骤二所得到的时间 ‑空间尺度均衡特征进行随机匹配耦合计算， 得到耦合 矩阵， 所述耦合矩阵用于作为 提取的融合特 征输入到分类 器中。 2.根据权利要求1所述的基于尺度均衡耦合卷积架构的脑神经影像特征提取方法， 其 特征在于， 步骤一中对sMRI图像进行 预处理的过程包括以下步骤： 将sMRI图像导入到SPM12软件中， 首先通过头动校正筛去头动过大的图像， 然后将头动 校正后的功能像文件 归一化到MNI空间， 剥离颅骨和去除小脑后， 最终得到 3D大脑图像。 3.根据权利要求1所述的基于尺度均衡耦合卷积架构的脑神经影像特征提取方法， 其 特征在于， 步骤一中对fMRI图像进行 预处理的过程包括以下步骤： 将fMRI图像导入到SPM12软件中， 首先进行时间点去除操作； 接下来进行时间层校正， 保证一个扫描周期内各层扫描时间的统一； 然后进 行头动校正， 评估被试头动状况， 并调整 因此造成的不同时刻的图像错位； 之后直接将 个体极限平 面图像配准到标准的EPI模板上； 最后进行脑网络构建， 利用A AL90模板将fMRI数据分成90个ROI节点构建脑 功能网络 。 4.根据权利要求1所述的基于尺度均衡耦合卷积架构的脑神经影像特征提取方法， 其 特征在于， 步骤二包括以下步骤： 将每一个输入基于膨胀卷积的尺度均衡金字塔卷积网络的输入数据都划分为不同的 尺度； 根据划分的尺度选用相应的均衡膨胀卷积策略， 计算得到不同尺度的输出特征， 计算 方法是每一个尺度的输出特征都等于其自身的输出特征与相邻尺度的输出特征的权重相 加， 全部尺度的输出 特征之和为总体多尺度输出 特征； 利用特征提取网络对总体多尺度输出特征进行特征提取后， 最终得到输入数据的时 间‑空间尺度均衡特 征。 5.根据权利要求4所述的基于尺度均衡耦合卷积架构的脑神经影像特征提取方法， 其 特征在于， 特 征提取网络采用ResNet或ResNe Xt残差网络或Res2Net 残差网络 。 6.根据权利要求1所述的基于尺度均衡耦合卷积架构的脑神经影像特征提取方法， 其 特征在于， 在步骤三中， 利用余弦相似度、 spearman相关系数、 kendall秩相关系数和皮尔逊 相关系数中的任意 一种计算耦合矩阵。权　利　要　求　书 1/1 页 2 CN 115409843 A 2基于尺度均衡耦合卷积架构的脑神经 影像特征提取方 法 技术领域 [0001]本发明属于图像特征提取技术领域， 特别是涉及 一种基于尺度均衡耦合卷积架构 的脑神经影 像特征提取方法。 背景技术 [0002]深度学习在整合信息以及挖掘信息内部关联的能力已经远超人类， 在医学领域得 到了广泛的应用。 多模态数据因为可以多方位的展示病患的临床 状态而被广泛的应用在阿 尔兹海默病 （Alzh eimer's disease， AD） 诊断当中并取得了不错的效果。 但是多模态数据的 利用也存在着很大 的挑战， 比如多模态数据数据获取难度大， 很难形成足够的规模用来训 练模型； 再比如多模态参数庞大， 训练难度大， 需要模型具有十分强大的复杂特征提取能 力。 使用结构性磁共振成像 （structural  magnetic  resonanc e imaging， sMRI） 和功能性磁 共振成像 （fu nctional  magnetic  resonanc e imaging， fMRI） 通过时序 ‑结构手段观察病 患 脑区的萎缩情况和脑区活动变化一直是研究AD病理的常用手段， 两者可以相互补充， 从时 间‑空间多个角度表征AD在大脑的多尺度特 征。 [0003]AD早期患者在脑组织明显萎缩之前， 大脑只会发生一些微观结构的变化， 这就导 致AD脑神经影像的分类难度相比于传统图像分类难度更大。 但是目前研究对尺度特征的卷 积操作都是独立的， 尺度之 间缺少关联性导致语义信息存在丢失的问题从而限制了 分类性 能。 同时对于多模态特征的融合策略， 常用的融合手段有平行输入、 通道拼接、 对应位置融 合等操作。 但是这些操作只是简单 的将各个模态数据累加在一起， 缺少对于模态之间的相 关性的挖掘， 这也是利用多模态数据对AD进行分类准确率无法满足临床应用的又一大问 题。 [0004]目前， AD多模态诊断模型使用的多尺度特征提取方法， 缺少对于尺度间语义关联 性的考虑， 使得不同尺度间语义缺 失， 影响了提升准确率的效果， 同时对于AD多模态数据的 使用只是简单 的将模态进行累加， 没有对模态之间的耦合关系进行进一步挖掘， 多模态特 征差异并不明显， 导致多模态诊断准确率并不理想。 因此迫切需要一种特征提取方法， 让模 型既能将模态中多尺度特征语义关联性考虑在内， 也能将模态间耦合关系进行充分的挖 掘。 发明内容 [0005]为解决现有的AD多模态诊断模型所使用的多尺度特征提取方法存在的缺少对于 尺度间语义关联性的考虑， 也没有对模态之间的耦合关系进行进一步挖掘的问题， 提供一 种基于尺度均衡耦合卷积架构的脑神经影像特征提取方法， 该特征提取方法采用一种新型 的尺度均衡耦合卷积架构， 既可以充分的考虑单一模态中多尺度语义关联性， 也能对模态 间耦合特征进行提取， 使得模型 的准确和鲁棒性可以进一步的提升， 同时该架构能够适用 多种不同模态的特 征提取， 可扩展性强。 [0006]为实现上述目的， 本发明采取如下的技 术方案：说　明　书 1/5 页 3 CN 115409843 A 3