(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210624721.4 (22)申请日 2022.06.02 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 李慧琦　陆帅　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 专利代理师 张利萍 (51)Int.Cl. G06T 7/10(2017.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于血管特征引导的视盘和视杯分割 方法 (57)摘要 本发明涉及一种基于血管特征引导的视盘 和视杯分割方法， 属于图像分割技术领域。 建立 了两个特征提取分支 ， 使用基于cross ‑ transformer的融合模 块计算两个分支提取的特 征， 进而获得基于两个分支的融合特征， 使得提 取的融合特征能够建立视盘/视杯与血管信息 之 间的长距离依赖关系， 有利于提高视盘和视杯分 割的准确度。 预测最终视盘和视杯时， 设计了一 种加权融合卷积层的特征和基于cross ‑ transformer特征融合模块的特征的方法， 在视 盘和视杯特征提取中充分发挥了卷积层局部算 子的性质和tran sformer算子建模长距 离特征的 性质。 权利要求书5页 说明书11页 附图2页 CN 115018855 A 2022.09.06 CN 115018855 A 1.一种基于血 管特征引导的视盘和视杯分割方法， 其特 征在于该 方法的步骤 包括： S1， 对眼底图像进行预处理， 然后使用双分支特征提取器提取预处理后的眼底图像的 解耦特征FG和解耦特 征FV； S2， 对步骤S1得到的解耦特征FG和解耦特征FV进行序列化， 进行序列化时解耦特征FG生 成特征序列 解耦特征FG生成特征序列 然后对特征序列 和特征序列 ZV进行相似度 计算， 并使用多层全连接层对相似度计算结果进行 特征融合， 最终得到融合特 征； S3， 使用解码器对步骤S2中得到的融合特 征进行解码， 得到三个解码特 征； S4， 对步骤S2中得到的融合特征和步骤S3中得到的三个解码特征进行特征聚合， 得到 聚合特征， 聚合特 征用于最终视盘和视杯的分割。 2.根据权利要求1所述的一种基于血 管特征引导的视盘和视杯分割方法， 其特 征在于： 所述的步骤S1中， 双分支特征提取器中的特征提取器包括第一特征提取器和第 二特征 提取器， 第一特征提取器为通用特征提取器， 用于从彩色眼底图像中提取特征， 第一特征提 取器提取的眼底图像的特征称为第一特征， 第一特征为解耦特征FG， 第二特征提取器为血 管指导特征提取器， 用于从眼底血管 的角度提取特征， 第二特征提取器提取 的眼底图像的 特征称为第二特 征， 第二特 征为解耦特征FV。 3.根据权利要求1或2所述的一种基于血管特征引导的视盘和视杯分割方法， 其特征在 于： 所述的步骤S1中， 对眼底图像进行预处理的方法为： 将眼底图像I∈RH×W×C依据视盘中 心进行裁切， 裁切的大小包含完整的视盘区域， 裁切的眼底图像显著 性区域ROI长和宽均为 视盘直径的N倍， N的取值范围为[1,4],其中H为原始图像的高度， W为原始图像的宽度， C为 原始图像的通道数。 4.根据权利要求2所述的一种基于血 管特征引导的视盘和视杯分割方法， 其特 征在于： 所述的步骤S1中， 第一特征提取器为具有可学习参数的非线性函数特征提取器EnG， 第 一特征提取器EnG为全连接神经网络、 卷积神经网络或者基于attention机制的 transformer模块， 第一 特征特征提取器EnG将从眼底图像中提 取视盘和视杯的初步特征FG； 第一特征提取器EnG使用ResNet34网络作为主干， ResNet34的全局平均池化层和最终的全 连接层被删除， 仅保留了ResNet34主干网络的四个阶段， 其中， 每个阶段由多个残差块组 成， 每个残差块由两个3 ×3卷积层和一个残差连接组成， 每个卷积层后跟一个批归一化 (BN)层和ReLU激活函数； 第二特征提取器包 括血管提取器EnV1和血管特征编码器EnV2， 第二特征提取器提取特征 的方法为： 眼底图像首先通过血管提取器EnV1提取血管信息， 然后血管特征编码器EnV2对提 取的血管信息进行隐式特征编码， 血管提取器EnV1和血管特征编码器EnV2是串联关系， 血管 提取器EnV1能将眼底图像中所有的血管提取出来， 血管特征编码器EnV2对提取的血管信息 进一步编码提取隐式特征FV； 血管提取器EnV1是U‑Net网络， 主要结构是U型网络， 所述血管 提取器EnV1首先提取血管结构， 然后将 血管结构送入到血管特征编码器EnV2中进行编码； 血 管特征编码器EnV2将ResNet34作 为血管特征编码器的主干， ResNet34的全局平均池化层和 最终的全连接层被删除， 仅保留了ResNet34主干网络的四个阶段， 其中， 每个阶段由多个残 差块组成， 每个残差块由两个3 ×3卷积层和一个残差连接组成， 每个卷积层后跟一个批归权　利　要　求　书 1/5 页 2 CN 115018855 A 2一化层和ReLU激活函数。 5.根据权利要求1、 2或4所述的一种基于血管特征引导的视盘和视杯分割方法， 其特征 在于： 所述的步骤S2中， 对解耦特 征FG和解耦特 征FV进行序列化的方法为： 将解耦特征FG拆分为分块序列 将解耦特征FV拆分为分块序列 然后， 对分块选 序列 进行线性变换， 同时对 变换的结果分配位置信息； 对分块选序列 进行线性 变换， 同时对 变换的结果分配位置信息； 其中， 将解耦特 征FG拆分为分块序列 的方法为： 将解耦特征 重新变形为形状大小为P ×P的 二维分块序列 如下式所示： 其中， 将解耦特 征FV拆分为分块序列 的方法为： 将解耦特征 重新变形为形状大小为P ×P的 二维分块序列 如下式所示： 其中， 所述的(H4,W4)和C4分别表示特征的分辨率大小和通道数， 是分块的数 量。 6.根据权利要求5所述的一种基于血 管特征引导的视盘和视杯分割方法， 其特 征在于： 所述的步骤S2中， 在解耦特征FG和解耦特征FV分别分块序列化中， 对所述的 和 分别进行线性变换的方法为： 使用具有可学习参 数的线性投影矩阵 将 映 射到D维空间； 使用具有可学习参数 的线性投影矩阵 将 投影到D维空间； 其中D表示投影空间的维度， D的取值范围为[768,2048]之间； 在解耦特征FG和解耦特征FV分别分块序列化中， 为所述 和 线性变换的结果分别 分配位置信息的方法为： 将所述 分块序列的线 性变换与可学习的位置嵌入Epos∈ZN×D相加中以保留序列的空 间位置信息， 生成特 征序列 如下式所示； 将所述 分块序列的线性变换与 可学习的位置嵌入 相加中以保留序列 的空间位置信息， 生成特 征序列ZV， 如下式所示； 7.根据权利要求5或6所述的一种基于血管特征引导的视盘和视杯分割方法， 其特征在 于：权　利　要　求　书 2/5 页 3 CN 115018855 A 3