(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210721487.7 (22)申请日 2022.06.23 (71)申请人 宁波慈溪生物医学工程研究所 地址 315300 浙江省宁波市慈溪市学林路 99号 申请人 中国科学院宁波材 料技术与工程研 究所 (72)发明人 陈方胜　郝晋奎　赵一天　 (74)专利代理 机构 南京利丰知识产权代理事务 所(特殊普通 合伙) 32256 专利代理师 王锋 (51)Int.Cl. A61B 3/10(2006.01) A61B 3/103(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 面向OCTA图像的视网膜结构提取方法、 系统 及应用 (57)摘要 本发明公开了一种面向OCTA图像的视网膜 结构提取方法、 系统及应用。 所述的面向OCTA图 像的视网膜结构提取方法包括： 获取OCTA图像； 从OCTA图像的多个亚层中提取每个亚层对应的 多尺度融合特征； 利用多个不同的投票门模块从 中提取投票门特征； 对投票门特征进行关键点的 检测， 获得关键点特征； 将关键点特征 以及可选 择的部分投票门特征作为OCTA图像的特征提取 结果。 本发明提供的视网膜结构提取方法利用 OCTA图像丰富的亚层信息进行综合提取， 充分融 合了不同亚层的特点， 是一种全新的端到端的多 任务学习框架， 联合学习OCTA图像中的特征图 像， 为视网膜血管指标的量化分析提供了一种有 效且精确的方式。 权利要求书2页 说明书7页 附图3页 CN 114931356 A 2022.08.23 CN 114931356 A 1.一种面向OCTA图像的视网膜结构提取 方法， 其特 征在于， 包括： 1)获取OCTA图像， 所述OCTA图像包括多个亚层； 2)从所述OCTA图像的多个亚层中提取每 个所述亚层对应的多尺度融合特 征； 3)利用多个不同的投票门模块从多个所述多尺度融合特 征中提取投票门特 征； 4)对所述投票门特 征进行关键点的检测， 获得关键点特 征； 5)将所述关键点特 征以及可选择的部分投票门特 征作为OCTA图像的特 征提取结果。 2.根据权利要求1所述的视网膜结构提取方法， 其特征在于， 步骤1)中， 所述亚层至少 包括浅血 管复合体层、 深血 管复合体层和全神经丛视网膜层； 和/或， 步骤4)中， 所述关键点至少包括血 管分叉点和血 管交叉点； 和/或， 步骤5)中， 所述特征提取结果至少包括视网膜血管图像、 中央凹无血管区图像 和视网膜血 管分叉点/交叉点图像。 3.根据权利要求1或2所述的视网膜结构提取 方法， 其特 征在于， 步骤2)具体包括： 将所述多个亚层输入多个特征提取器的第 一卷积层， 获得与每个所述亚层对应的多个 第一卷积特 征； 将多个所述第 一卷积特征分别输入多个特征提取器的剩余卷积层， 获得每个所述亚层 对应的多尺度融合特 征； 优选的， 多个所述特 征提取器的权 重参数相同。 4.根据权利要求3所述的视网膜结构提取方法， 其特征在于， 所述特征提取器均由 ResNet‑50网络构成。 5.根据权利要求3所述的视网膜结构提取 方法， 其特 征在于， 步骤3)具体包括： 将所述第一卷积层输出的多个第一卷积特 征进行拼接得到拼接特 征； 将所述拼接特征输入多个独立的与 特定任务对应的投票门模块， 得到与特定任务对应 的投票门信息； 其中， 所述特定任务选自视网膜血管图像任务、 中央凹无血管区图像任务和 视网膜血 管分叉点/交叉点图像任务中的一种； 利用所述投票门信息从所述多尺度融合特 征中提取投票门特 征； 优选的， 所述投票门模块根据其对应的特定任务的不同， 在多个亚层和多个空间位置 上选择特征作为所述投票门信息； 优选的， 多个所述空间位置 至少包括黄斑中心区域、 血 管相的位置以及血 管的边缘。 6.根据权利要求5所述的视网膜结构提取方法， 其特征在于， 所述的， 利用所述投票门 信息从所述多尺度融合特 征中提取投票门特 征， 具体包括： 将所述投票门信 息分别与每个所述多尺度融合特征相乘得到相乘特征， 并将全部多尺 度融合特 征对应的多个相乘特 征求和， 得到所述特定任务对应的综合特 征映射； 利用所述综合特 征映射获得投票门特 征； 优选的， 具体采用如下公式得到所述综合特 征映射： 其中， Ytask表示所述综合特征映射， 表示第i个通道对应的所述投票门信息， Fi表 示多尺度融合特 征， 表示按元 素进行乘法。 7.根据权利要求1或2所述的视网膜结构提取 方法， 其特 征在于， 步骤4)具体包括：权　利　要　求　书 1/2 页 2 CN 114931356 A 2将所述投票门特 征划分为多个网格； 利用热图回归从所述网格中获得网格中的关键点的预测位置信息； 利用区域分类模型从所述网格中获得所述关键点的预测种类信息； 其中， 所述预测种 类信息用于指示所述网格中的关键点属于血管交叉点或血管分叉点或网格内无任何关键 点； 将所述预测位置信息与预测种类信息融合， 得到所述关键点特 征； 优选的， 所述区域分类模型预测所述网格中关键点的种类置信度信息， 并根据所述种 类置信度信息是否大于预设阈值来判断所述网格中的关键点属于血管交叉点或血管分叉 点或网格内无任何关键点。 8.一种面向OCTA图像的视网膜结构提取系统， 其特征在于， 包括基于投票机制的多任 务特征提取网络， 所述多任务特 征提取网络包括： 特征提取模块， 其包括多个特征提取器， 多个所述特征提取器分别用于从不同输入的 OCTA图像亚层中提取每 个所述亚层对应的多尺度融合特 征， 多个独立的特定于任务的投票门模块， 用于自适应选取对于每个任务最重要的投票门 特征； 以及 关键点检测模块， 包括： 基于热图回归的第一任务单 元， 用于实现关键点的定位， 基于区域分类的第二任务单 元， 用于识别关键点的类型。 9.一种神经网络训练方法， 其特 征在于， 包括： 获取训练图像， 并对所述训练图像进行 标记， 生成标记信息； 利用权利要求1 ‑7中任意一项所述的视网膜结构提取方法对所述训练图像进行特征提 取， 获得所述训练图像对应的特 征提取结果； 根据所述标记信息和特征提取结果对所述视网膜结构提取方法所用的神经网络进行 训练。 10.一种电子设备， 其特征在于， 所述电子设备包括存储器和 处理器， 所述存储器存储 有计算机程序， 所述处理器执行所述计算机程序时实现权利要求1 ‑7中任意一项所述的视 网膜结构提取 方法的步骤。权　利　要　求　书 2/2 页 3 CN 114931356 A 3