(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211352935.7 (22)申请日 2022.11.01 (71)申请人 深圳精智达技 术股份有限公司 地址 518000 广东省深圳市龙华 街道清湖 社区清湖村富安娜 公司1号101工业园 D栋1楼东 (72)发明人 乐康　张耀　曹保桂　 (74)专利代理 机构 深圳腾文知识产权代理有限 公司 44680 专利代理师 杨彩兰 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种缺陷图像的生成方法、 装置、 电子设备 和存储介质 (57)摘要 本申请公开了一种缺陷图像的生 成方法、 装 置、 电子设备和存储介质， 用于提高图像的获取 效率和图像质量。 本申请生成方法包括： 获取缺 陷图像与缺陷图像对应的类型标签， 根据缺陷图 像和类型标签生成原始图像； 获取卷积神经网络 模型， 卷积神经网络模型包含编码器、 隐空间和 解码器； 将原始图像输入卷积神经网络模型中， 通过编码器获取原始图像的缺陷标签特征； 将缺 陷标签特征输入隐空间， 通过隐空间为缺陷标签 特征生成隐空间参数， 隐空间参数为缺陷图像的 条件概率分布； 通过重参数化技术对隐空间参数 进行采样， 生成正态分布数据， 正态分布数据遵 循缺陷图像的条件概率分布； 将正态分布数据和 类型标签输入解码器， 通过解码器生成目标图 像。 权利要求书3页 说明书21页 附图9页 CN 115393231 A 2022.11.25 CN 115393231 A 1.一种缺陷图像的生成方法， 其特 征在于， 包括： 获取缺陷 图像与所述缺陷图像对应的类型标签， 根据所述缺陷 图像和所述类型标签生 成原始图像； 获取卷积神经网络模型， 所述卷积神经网络模型包 含编码器、 隐空间和解码器； 将所述原始图像输入卷积神经网络模型中， 通过所述编码器提取所述原始图像的缺陷 标签特征； 将所述缺陷标签特征输入所述隐空间， 通过所述隐空间为所述缺陷标签特征生成隐空 间参数， 所述隐空间参数为所述 缺陷图像的条件概 率分布； 通过重参数化技术对所述 隐空间参数进行采样， 生成正态分布数据， 所述正态分布数 据遵循所述 缺陷图像的条件概 率分布； 将所述正态分布数据和所述类型标签输入所述解码器， 通过所述解码器生成目标图 像。 2.根据权利要求1所述的生成方法， 其特征在于， 在将所述正态分布数据和所述类型标 签输入所述 解码器， 通过解码器生成目标图像之后， 所述 生成方法还 包括： 根据所述目标图像和所述原 始图像进行重组损失的计算； 根据所述隐空间参数进行 KL散度损失的计算； 根据重组损失和所述KL散度损失生成总损失值并记录 到总损失值变化数据中； 判断所述总损失值变化数据是否满足训练条件； 若所述总损失值变化数据满足训练条件， 则确定所述卷积神经网络模型完成训练； 若所述总损失值变化数据不满足训练条件， 则判断所述原 始图像训练次数 是否达标； 若达标， 则根据小批量随机梯度下降法更新所述卷积神经网络模型的权重， 合成新的 原始图像输入所述卷积神经网络模型； 若未达标， 则根据小批量随机梯度下降法更新所述卷积神经网络模型的权重， 将所述 原始图像重新输入所述卷积神经网络模型。 3.根据权利要求1所述的生成方法， 其特征在于， 所述编码器包括至少一组Encoder模 块， 所述Encoder模块包括区域像素注意力模块、 至少一个特征压缩模块、 至少一个多重注 意力卷积模块、 至少一个第一注意力Dropout模块和至少一个注意力通道池化模块； 通过编码器提取 所述原始图像的缺陷标签特 征， 包括： 通过所述 区域像素注意力模块对所述原始图像进行区域像素值权重生成处理,生成第 一特征； 通过所述 区域像素注意力模块将所述原始图像和所述第 一特征按通道对应相乘， 生成 第二特征； 通过所述多重注意力卷积模块中不同大小感受野的卷积核对所述第二特征的不同大 小区域分配注意力， 并通过所述分配注意力对所述第二特征不同特征通道进行筛选， 生成 第三特征； 通过所述第一注意力Dropout模块给所述第三特征对应的每个神经元分配注意力， 并 将注意力小于第一预设阈值的神经 元进行置零， 生成第四特 征； 通过所述注意力通道池化模块给所述第四特征的每个通道分配注意力， 舍弃注意力排 序较后的通道， 生成第五特 征；权　利　要　求　书 1/3 页 2 CN 115393231 A 2通过所述特征压缩模块对所述第五特 征进行特征信息的提取， 生成缺陷标签特 征。 4.根据权利要求3所述的生成方法， 其特征在于， 所述通过所述多重注意力卷积模块中 不同大小感受野的卷积核对所述第二特征的不同大小区域分配注意力， 并通过所述分配注 意力对所述第二特 征不同特 征通道进行筛 选， 生成第三特 征， 包括： 通过所述多重注意力卷积模块中不同大小感受野的卷积核分别对所述第二特征进行 特征提取， 生成 感受野特 征集合； 通过所述多重注意力卷积模块将所述感受野特征集合进行通道叠加处理和特征调整 处理， 生成中间特 征； 通过所述多重注意力卷积模块为所述中间特征的通道分配注意力， 并根据所述分配注 意力将所述中间特征和所述感受野特征集合按通道对应相乘， 得到的数据再按通道对应相 加， 然后与所述第二特 征相加， 生成第三特 征。 5.根据权利要求1所述的生成方法， 其特征在于， 所述隐空间参数包括均值集合和方差 集合； 所述通过重参数化 技术对所述隐空间参数进行采样， 生成正态分布数据， 包括： 生成一组符合 正态分布的变量 集合； 根据所述均值 集合、 所述方差集 合和所述变量 集合进行采样计算， 生成正态分布数据。 6.根据权利要求1所述的生成方法， 其特征在于， 所述解码器包括卷积神经输出模块和 至少一组Decoder模块， 所述Decoder模块包括区域像素注 意力模块、 反卷积模块、 通道加和 池化模块、 通道 注意力模块和第二注意力Dropout模块； 通过解码器生成目标图像， 包括： 将所述正态分布数据和所述类型 标签进行通道拼接， 生成第六 特征； 通过所述 区域像素注意力模块对所述第六特征进行区域像素值权重生成处理,生成第 七特征； 通过所述 区域像素注意力模块将所述第六特征和所述第七特征按通道对应相乘， 生成 第八特征； 通过所述反卷积模块将所述第八特 征和类别标签重构， 生成第九特 征； 通过所述通道加和池化模块对所述第九特征按通道进行分组， 并将每组特征按通道相 加， 生成第十特 征； 通过所述通道注意力模块 为所述第十特 征生成通道向量； 通过所述通道注意力模块结合所述通道向量输出一个维度与所述第十特征通道数相 同的归一 化一维向量； 通过所述通道注意力模块根据 所述归一化一维向量将所述第十特征按通道对应相乘， 生成第十一特 征； 通过所述第二注意力Dropout模块给所述第十一特征对应的每个神经元分配注意力， 并将注意力小于第二预设阈值的神经 元进行置零， 生成第十二特 征； 通过所述卷积神经输出模块将所述第十二特 征进行图像还原， 生成目标图像。 7.根据权利要求6所述的生成方法， 其特征在于， 当所述解码器包括至少两组Decoder 模块时， 将其中一组Decoder模块的通道加和池化模块删去， 生成Decoder前置模块， 所述 Decoder前置模块包括区域像素注意力模块、 反卷积模块、 通道注意力模块和第二注意力权　利　要　求　书 2/3 页 3 CN 115393231 A 3