(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210553812.3 (22)申请日 2022.05.19 (71)申请人 上海应用技 术大学 地址 200235 上海市徐汇区漕宝路120 -121 号 (72)发明人 沈希忠　周宣　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/40(2022.01) G06V 10/56(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 3/40(2006.01) G06T 7/90(2017.01) (54)发明名称 基于循环深度卷积生成对抗网络结构的图 像修复系统 (57)摘要 本发明提供了一种基于循环深度卷积生成 对抗网络结构的图像修复系统， 包括如下模块： 第一生成器， 用于对输入的图像样 本进行修复生 成修复图像； 第一判别器， 用于将修复图像与预 设置目标图像进行对比确定修复图像与预设置 目标图像的第一相似度， 进而判断第一相似度是 否达到的预设置的第一相似度阈值； 第二生成 器， 与第一生成器的输出端相连， 用于对修复图 像进行还原生成还原图像； 第二判别器， 用于将 还原图像与图像样本进行对比确定还原图像与 图像样本的第二相似度， 进而判断第二相似度是 否达到的预设置的第二相似度阈值。 本发明结合 了生成对抗网络在图像重建修复方面的优势和 卷积神经网络在图像特征提取方面的优点， 在图 像修复方面取得更好的效果。 权利要求书2页 说明书5页 附图3页 CN 114943655 A 2022.08.26 CN 114943655 A 1.一种基于循环深度卷积生成对抗网络结构的图像修复系统， 其特征在于， 包括如下 模块： 第一生成器， 用于对输入的图像样本进行修复生成修复图像； 第一判别器， 用于将所述修复图像与预设置目标图像进行对比确定修复图像与预设置 目标图像的第一相似度， 进 而判断所述第一相似度是否 达到的预设置的第一相似度阈值； 第二生成器， 与第一生成器的输出端相连， 用于对所述修复图像进行还原生成还原图 像； 第二判别器， 用于将所述还原图像与所述图像样本进行对比确定还原图像与图像样本 的第二相似度， 进 而判断所述第二相似度是否 达到的预设置的第二相似度阈值。 2.根据权利要求1所述的基于循环深度卷积生成对抗网络结构的图像修复系统， 其特 征在于， 当第一判别器判断所述第一相似度达到的预设置的第一相似度阈值时， 完成对所 述图像样本的修复； 当第一判别器判断所述第 一相似度没达到的预设置的第 一相似度阈值 时， 再次将图像 样本输入所述第一 生成器。 3.根据权利要求1所述的基于循环深度卷积生成对抗网络结构的图像修复系统， 其特 征在于， 当第二判别器判断所述第二相似度达到的预设置的第二相似度阈值时， 对所述第 二生成器的网络参数进行保存； 当第二判别器判断所述第 二相似度没达到的预设置的第 二相似度阈值 时， 再次将图像 样本输入所述第一 生成器。 4.根据权利要求1所述的基于循环深度卷积生成对抗网络结构的图像修复系统， 其特 征在于， 所述第一生成器、 所述第一判别器、 所述第二生 成器以及所述第二判别器形成循环 生成网络结构； 所述循环生成网络结构， 用于不断优化更新网络参数， 能够使得修复图像具有图像样 本更多的图像特 征信息。 5.根据权利要求1所述的基于循环深度卷积生成对抗网络结构的图像修复系统， 其特 征在于， 所述第一生 成器和所述第二生 成器采用resnet50网络作为主干网络对输入图像进 行特征提取。 6.根据权利要求1所述的基于循环深度卷积生成对抗网络结构的图像修复系统， 其特 征在于， 所述第一判别器和所述第二判别器采用全卷积神经网络 。 7.根据权利要求1所述的基于循环深度卷积生成对抗网络结构的图像修复系统， 其特 征在于， 所述第一生成器和所述第二生成器采用了卷积网络与反卷积网络配合使用的方 式； 所述卷积网络， 用于对图像样本进行特征提取； 所述反卷积网络， 用于根据卷积网络提 取出的特征向量对图像进行重建修复。 8.根据权利要求1所述的基于循环深度卷积生成对抗网络结构的图像修复系统， 其特 征在于， 所述第一生成器和所述第二生成器设置有跳跃连接结构， 所述跳跃连接结构用于 对生成器下采样和所对应的上采样所得特征图进 行通道数拼接， 实现图像的多层级特征有 效融合。 9.根据权利要求1所述的基于循环深度卷积生成对抗网络结构的图像修复系统， 其特权　利　要　求　书 1/2 页 2 CN 114943655 A 2征在于， 所述 生成器和所述判别器的网络结构通过如下 方法设计： S1： 将卷积神经网络结构中池化层通过卷积层进行替代， 对于判别器， 使用步长卷积来 代替池化层， 对于生成器， 使用分数步长卷积代替池化， 其中， 步长卷积在判别器中用于空 间下采样； S2： 去除全连接层； S3： 设置批归一化； S4： 设置激活函数， 所述生成器和判别器使用不同的激活函数， 在生成器中设置有RELU 函数， 所述 生成器的输出层设置有tanh函数， 所述判别器中所有层使用LEAKRELU函数。 10.根据权利要求9所述的基于循环深度卷积生成对抗网络结构的图像修复系统， 其特 征在于， 所述 生成器和所述判别器的损失函数为： 其中， z表示待处理图像， x表示目标图像， G1(zi)表示第一生成器生成的修复图像， G2 (yi)表示第二 生成器生成的还原图像， m为图像数量， i 为图像序号。权　利　要　求　书 2/2 页 3 CN 114943655 A 3