(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210575490.2 (22)申请日 2022.05.24 (71)申请人 苏州微清医疗器 械有限公司 地址 215124 江苏省苏州市工业园区金鸡 湖大道88号G2-16 01、 1602单元 (72)发明人 郑儒楠　李超宏　 (74)专利代理 机构 北京众达德权知识产权代理 有限公司 1 1570 专利代理师 吴莹 (51)Int.Cl. G06T 7/11(2017.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的糖网图像病灶分割标 识方法及系统 (57)摘要 本发明提供了一种基于深度学习的糖网图 像病灶分割标识方法及系统， 涉及图像处理相关 技术领域， 通过智能病灶分割标识系统调用预先 存储的眼底图像数据集， 并对眼底图像数据集进 行扩充， 利用编码器对图像进行划分并进行特征 匹配， 得到分割多级特征； 对划分后的图像块进 行合并， 并记录合并参数， 通过合并参数和特征 匹配结果生成局部连续性特征， 将分割多级特 征、 局部连续性特征、 扩充眼底图像数据集对应 的约束结果构建基础网络集训练模块， 利用基础 网络集训练模块实现对不同种类糖网病灶实时 进行精细分割的技 术效果。 权利要求书2页 说明书9页 附图3页 CN 114882054 A 2022.08.09 CN 114882054 A 1.一种基于深度学习的糖网图像病灶分割标识方法， 其特征在于， 所述方法应用于智 能病灶分割 标识系统， 所述智能病灶分割 标识系统与基础 网络集训练模块通信连接， 所述 方法包括： 通过所述智能病灶分割标识系统调用预先存储的眼底图像数据集， 其中， 所述眼底图 像数据集包括出血、 微血管瘤、 硬性渗出、 软性渗出、 新生血管纤维增殖膜、 微血管异常糖网 病灶； 并依据病灶类型进行 所述眼底图像数据集的样本扩充， 得到扩充眼底图像数据集； 将所述扩充眼底图像数据集输入所述基础网络集训练模块的编码器中， 得到预定尺寸 下的n个重 叠图像块， 其中， n 为大于1的正整数； 通过所述编码器对所述 n个重叠图像块进行 特征匹配， 得到分割多 级特征； 通过所述基础网络训练集模块进行 所述n个重叠图像块 合并， 并记录合并参数； 根据n个图像块的合并结果进行特征匹配， 通过所述合并参数和特征匹配结果生成局 部连续性特征； 将所述分割多级特征和所述局部连续性特征输入所述基础网络集训练模块的解码器 进行多尺度特征整合， 并基于与所述扩充眼底图像数据集对应的约束 结果进行多尺度特征 整合结果的校验， 当校验通过， 完成所述基础网络集训练模块构建； 将图像数据输入所述基础网络集训练模块， 得到病灶识别分割标识结果。 2.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 构建生成模型， 其中， 所述 生成模型为进行图像生成的模型； 将所述眼底图像数据集和随机噪声输入所述 生成模型， 得到预扩充眼底图像数据集； 对所述预扩充眼底图像数据集进行 标识， 并根据标识结果得到扩充数据和反馈数据； 将所述扩充数据 添加至所述扩充眼底图像数据集， 将所述反馈数据反馈至所述生成模 型进行模型优化， 通过优化后的所述 生成模型进行新扩充眼底图像数据集的生成； 根据所述新扩充眼底图像数据集重复进行反馈数据和扩充数据反馈和扩充的过程， 获 得所述扩充眼底图像数据集。 3.如权利要求1所述的方法， 其特征在于， 所述通过所述基础网络训练集模块进行所述 n个重叠图像块 合并， 并记录合并参数， 还 包括： 根据所述预定尺寸获得重 叠图像块大小数据； 依据所述重 叠图像块大小数据进行相邻块 步幅设定， 得到步幅参数； 根据所述步幅参数和所述重叠图像块大小数据计算获得填充大小数据， 并将所述图像 块大小数据、 步幅参数和所述 填充大小数据作为所述 合并参数记录 。 4.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 构建注意力约束层， 其中， 所述注意力约束层计算表示 为： 其中， Q、 K、 V均由前一层的嵌入向量输出线性变换而来的矩阵向量； T为矩阵转置； dh是 自注意力机制每一个头对应的Q， K 的向量维数， 将所述注意力约束层添加至所述基础 网络 集训练模块。权　利　要　求　书 1/2 页 2 CN 114882054 A 25.如权利要求4所述的方法， 其特征在于， 所述将所述扩充眼底图像数据集输入所述编 码器中， 还 包括： 对所述扩充眼底图像数据集进行分辨 率判别， 得到判别结果； 当所述判别结果中存在预定分辨 率范围图像时， 引入 缩放比参数； 根据所述缩放比例参数进行 所述处理序列长度优化， 优化公式如下： K1＝Linear(C·R,C)(K′) 其中， K′为重塑序列， K1为优化序列， R为缩 放比例参数， C为通道数， N＝H ×W， H为图像宽 度， W为图像高度， Linear(C ·R,C)指以C ·R维张量为输入并生成C维张量作为输出的线性 层。 6.如权利 要求5所述的方法， 其特征在于， 所述基础网络集训练模块还包括Mix ‑FFN， 且 Mix‑FFN为： Xout＝MLP(GELU(Co nv3×3(MLP(Xin))))+Xin 其中， Xin是自注意力模块特征， MLP是多层感知器， X ‑out是MLP输出的特征， Conv3×3为3 ×3卷积， GELU为高斯 误差线性单位。 7.一种基于深度学习的糖网图像病灶分割标识系统， 其特 征在于， 所述系统包括： 信息调用单元， 所述信 息调用单元用于通过智能病灶分割标识系统调用预先存储的眼 底图像数据集， 其中， 所述眼底图像数据集包括出血、 微血管瘤、 硬性渗出、 软性渗出、 新生 血管纤维增殖膜、 微血 管异常糖网病灶； 样本扩充单元， 所述样本扩充单元用于依据病灶类型进行所述眼底图像数据集的样本 扩充， 得到扩充眼底图像数据集； 输入单元， 所述输入单元用于将所述扩充眼底图像数据集输入基础网络集训练模块的 编码器中， 得到预定尺寸下的n个重 叠图像块， 其中， n 为大于1的正整数； 匹配单元， 所述匹配单元用于通过所述编码器对所述n个重叠图像块进行特征匹配， 得 到分割多 级特征； 合并单元， 所述合并单元用于通过所述基础网络集训练模块进行所述n个重叠 图像块 合并， 并记录合并参数； 特征匹配单元， 所述特征匹配单元根据n个图像块的合并结果进行特征匹配， 通过所述 合并参数和特 征匹配结果 生成局部连续 性特征； 构建单元， 所述构建单元用于将所述分割 多级特征和所述局部连续性特征输入所述基 础网络集训练模块的解码 器进行多尺度特征整合， 并基于与所述扩充眼底图像数据集对应 的约束结果进行多尺度特征整合结果的校验， 当校验通过， 完成所述基础 网络集训练模块 构建； 处理单元， 所述处理单元用于将图像数据输入所述基础网络集训练模块， 得到病灶识 别分割标识结果。权　利　要　求　书 2/2 页 3 CN 114882054 A 3