(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211373030.8 (22)申请日 2022.11.04 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 李超　王劲　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉　杨小凡 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于语义分形的可解释GAN的图像生 成训练 方法及装置 (57)摘要 本发明公开了基于语义分形的可解释GAN的 图像生成训练方法及装置， 将传统的GAN模型修 改为一个可解释 的GAN， 使得其高层的特征表示 是明确且一致的； 在可解释GAN中， 同一层的所有 滤波器“学习着”被相同的部分激活， 从而使得 GAN内部的特征表示清晰且一致的语义信息； 本 发明在无需额外标注， 仅使用正 常的训练样本的 情况下， 设计分形损失函数， 约束GAN的特征表 达， 使其自动地学习关注物体重要的部分； 通过 同时优化GAN原本损失函数与分形损失函数， 在 提升GAN内部 特征可解释性的同时， 也 保证了GAN 生成图片的质量。 权利要求书2页 说明书6页 附图4页 CN 115424119 A 2022.12.02 CN 115424119 A 1.一种基于语义分形的可解释GAN的图像生成训练方法， 其特 征在于包括如下步骤： 步骤S1、 通过图像训练集， 基于损失函数训练生成对抗网络， 得到其 生成器； 步骤S2、 获取图像经由生成器中层输出的第一特 征图， 对第一特 征图进行语义 化分形； 步骤S3、 根据语义分形结果， 对生成对抗网络的中层特征构建分形损失， 包括以下步 骤： 步骤S3.1、 获取第一特 征图基于语义分形规则划分的分形 结果； 步骤S3.2、 获取图像经由生成器中层输出的第二特征图， 并将第二特征图与分形结果 的匹配程度作为分形损失， 以使第二特 征图的分形向第一特 征图靠近； 步骤S4、 基于分形损失与生成对抗网络原有的损失函数， 联合优化生成对抗网络， 进行 图像生成的训练。 2.根据权利要求1所述的基于语义分形的可解释GAN的图像生成训练方法， 其特征在 于： 所述步骤S2包括如下步骤： 步骤S2.1、 设计特征图的语义化分形规则； 采用将每个分形看做一个类的方式， 基于最 小化类内方差且最大化类间距离的原则， 将特 征图划分成若干个分形， 分形之间互不重 叠； 步骤S2.2、 基于分形规则对第一特 征图进行迭代划分。 3.根据权利要求2所述的基于语义分形的可解释GAN的图像生成训练方法， 其特征在 于： 所述步骤S2中， 第一特征图为经过激活的特征图， 分形规则是按照特征图激活值的分布 划分为若干个分形。 4.根据权利要求3所述的基于语义分形的可解释GAN的图像生成训练方法， 其特征在 于： 所述步骤S2.2中， 每次迭代都在当前分形中找到面积大且激活值方差大的分形， 按照最 小化类内方差的原则一分为 二。 5.根据权利要求4所述的基于语义分形的可解释GAN的图像生成训练方法， 其特征在 于： 所述最小化类内方差的原则一分为 二， 公式如下： 其中， 和 分别表示划分后两块子分形的激活值方差； 和 分别表示划分后 两块子分形的面积占比。 6.根据权利要求1所述的基于语义分形的可解释GAN的图像生成训练方法， 其特征在 于： 所述步骤S3.1中的分形结果包括第一特征图基于分形规则的分形位置； 所述步骤S3.2 中， 通过计算第二特征图与第一特征图分形位置的匹配程度， 作为分形损失函数， 以使生成 器同一中层的所有滤波器 被相同的部分激活。 7.根据权利要求1所述的基于语义分形的可解释GAN的图像生成训练方法， 其特征在 于： 所述步骤S4中， 重新初始 化生成器为步骤S1保存的参数， 根据训练集图像生成生成器图 像， 随机初始 化判别器， 对生 成器图像与训练集图像进 行判别， 使用步骤S4的损失函数微调 生成对抗网络， 训练过程中， 分形损失与生成对抗网络原有的损失函数交替优化网络参数， 以使同一层内的卷积核能够表达一 致的特征， 进而解释生成器的生成逻辑。 8.一种基于语义分形的可解释GAN的图像生成训练装置， 其特征在于， 包括存储器和一 个或多个处理器， 所述存储器中存储有可执行代码， 所述一个或多个处理器执行所述可执 行代码时， 用于实现权利要求1 ‑7中任一项所述的基于语义分形的可解释GA N的图像生成训 练方法。权　利　要　求　书 1/2 页 2 CN 115424119 A 29.一种根据权利要求1所述的基于语义分形的可解释GAN的图像生成训练方法的基于 语义分形的可解释GAN的图像生成方法， 其特征在于： 通过训练好的判别器， 对待生成图像 进行生成。 10.一种基于语义分形的可解释GAN的图像生成装置， 其特征在于， 包括存储器和一个 或多个处理器， 所述存储器中存储有可执行代码， 所述一个或多个处理器执行所述可执行 代码时， 用于实现权利要求9所述的基于语义分形的可解释GAN的图像生成方法。权　利　要　求　书 2/2 页 3 CN 115424119 A 3