(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211365059.1 (22)申请日 2022.11.03 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 刘成云　曹佳倩　陈振学　张玉娇　 孙露娜　钟昆儒　秦皓　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 于凤洋 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/26(2022.01) G06T 7/11(2017.01) G06T 3/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于生成对抗网络的多姿态人脸正面化方 法及系统 (57)摘要 本公开提供了基于生成对抗网络的多姿态 人脸正面化方法及系统， 涉及图像数据转换技术 领域， 包括获取多姿态人脸图像并进行预处理； 将多姿态人脸图像输入至人脸正面化模型中提 取抽象特征， 采用双注意力机制建立上下文关 系， 将上下文信息编码为局部特征， 通过注意力 挖掘通道图之间的相互依赖关系， 形成相互依赖 的特征图， 获取语义特征表示； 利用所述语义特 征表示的特征图进行正面人脸图像的合成； 本公 开人脸注意力机制增强人脸中最具判别性区域 的生成效果， 指导 生成结构更真实的人脸图像 。 权利要求书1页 说明书5页 附图3页 CN 115471901 A 2022.12.13 CN 115471901 A 1.基于生成对抗网络的多 姿态人脸 正面化方法， 其特 征在于， 包括： 获取多姿态人脸图像并进行 预处理； 将多姿态人脸图像输入至人脸正面化模型中提取抽象特征， 采用双注意力 机制建立上 下文关系， 将上下文信息编 码为局部特征， 通过注意力挖掘通道图之 间的相互依赖 关系， 形 成相互依赖的特 征图， 获取语义特 征表示； 利用所述语义特 征表示的特 征图进行正 面人脸图像的合成。 2.如权利要求1所述的基于生成对抗网络的多姿态人脸正面化方法， 其特征在于， 所述 预处理的方式为进行图像大小格式的裁 剪， 使得图像大小为相同尺寸。 3.如权利要求1所述的基于生成对抗网络的多姿态人脸正面化方法， 其特征在于， 所述 多姿态人脸图像为多种视角的人脸图像， 包括偏转和俯仰角度的人脸图像。 4.如权利要求1所述的基于生成对抗网络的多姿态人脸正面化方法， 其特征在于， 所述 人脸正面化模型为融合多种注意力机制的生成对抗网络 。 5.如权利要求4所述的基于生成对抗网络的多姿态人脸正面化方法， 其特征在于， 所述 生成对抗网络包括判别器结构， 所述判别器结构包括四个判别器， 针对对应人脸图像中的 人脸、 眼睛、 鼻子以及嘴巴区域， 每 个判别器均包括 一个下采样模块以及一个全连接层。 6.如权利要求5所述的基于生成对抗网络的多姿态人脸正面化方法， 其特征在于， 所述 下采样模块包括四个步长为2， 卷积核为3 ×3的卷积层， 并且在最后两层前增加一个自我注 意力模块。 7.如权利要求1所述的基于生成对抗网络的多姿态人脸正面化方法， 其特征在于， 所述 生成对抗网络还包括深度特征编码器结构， 由残差块和双注意力模块串联组成， 所述双注 意力模块由位置注意力模块和通道 注意力模块并联组成。 8.基于生成对抗网络的多 姿态人脸 正面化系统， 其特 征在于， 包括： 图像获取模块， 用于获取多 姿态人脸图像并进行 预处理； 图像特征提取模块， 用于将多姿态人脸图像输入至人脸正面化模型中提取抽象特征， 采用双注意力机制建立上下文关系， 将上下文信息编码为局部特征， 通过注意力挖掘通道 图之间的相互依赖关系， 形成相互依赖的特 征图， 获取语义特 征表示； 图像合成模块， 用于利用所述语义特 征表示的特 征图进行正 面人脸图像的合成。 9.一种计算机可读存储介质， 其特征在于， 其中存储有多条指令， 所述指令适于由终端 设备的处理器加载并执行权利要求 1‑7中任一项 所述的基于生成对抗网络的多姿态人脸正 面化方法。 10.一种终端设备， 其特征在于， 包括处理器和计算机可读存储介质， 处理器用于实现 各指令； 计算机可读存储介质用于存储多条指令， 所述指令适于由处理器加载并执行如权 利要求1‑7中任一项所述的基于生成对抗网络的多 姿态人脸 正面化方法。权　利　要　求　书 1/1 页 2 CN 115471901 A 2基于生成 对抗网络的多姿态人脸正面化方 法及系统 技术领域 [0001]本公开涉及图像数据转换技术领域， 具体涉及基于生成对抗网络的多姿态人脸正 面化方法及系统。 背景技术 [0002]本部分的陈述仅仅是提供了与本公开相关的背景技术信息， 不必然构成在先技 术。 [0003]在生活中， 通过生物特征识别个体身份是各个场景下的主要方式， 如指纹识别， 虹 膜识别， 人脸识别等。 其中人脸识别具有非接触性和非强制性的优点， 成为了人工智能、 计 算机视觉领域的研究热点， 同时也产生很多优秀的应用产品。 然而在非受限的环境 （如监控 视频） 中， 受到姿态、 光照、 遮挡、 表情等因素的影响， 这些应用及现有的人脸识别模型的性 能会严重下降。 近年来， 人脸识别的研究重点也逐渐从受 限环境下 的人脸识别转变为非受 限环境下 的人脸识别。 人脸识别在现实场景中有广泛的应用， 且在非受 限环境问题上还有 提升空间。 研究人脸正面化解决多姿态识别问题具有重要的实际意义。 此外， 人脸正面化在 其他领域也有利用价 值， 如为刑侦领域的办案人员提供参 考等。 [0004]姿态是非受限条件下影响人脸识别模型性能下降的主要因素， 姿态问题的本质是 人脸头部刚性旋转导致的自遮挡问题， 意味着用于识别的人脸信息的缺失。 随着生成对抗 网络的发展， 很多基于该网络的人脸正面化方法被提出， 这些方法很大程度上提高了多姿 态人脸识别的准确率， 但现有的方法存在网络复杂， 训练时间长， 需要先验知识 （如人脸偏 转角度） 等问题， 且图像生成质量和正 面化后的人脸识别准确率有 待进一步提高。 发明内容 [0005]本公开为了解决上述问题， 提出了基于生成对抗网络的多姿态人脸正面化方法及 系统， 通过残差块加深生成对抗网络层数， 并融合多种注意力机制， 对数据库中多种姿态的 人脸图像生成正 面人脸图像， 在保证生成图像质量的同时， 提高了生成图像的速度。 [0006]根据一些实施例， 本公开采用如下技 术方案： 基于生成对抗网络的多 姿态人脸 正面化方法， 包括： 获取多姿态人脸图像并进行 预处理； 将多姿态人脸图像输入至人脸正面化模型 中提取抽象特征， 采用双注意力机制建 立上下文关系， 将上下文信息编码为局部特征， 通过注意力挖掘通道图之间的相互依赖关 系， 形成相互依赖的特 征图， 获取语义特 征表示； 利用所述语义特 征表示的特 征图进行正 面人脸图像的合成。 [0007]根据一些实施例， 本公开采用如下技 术方案： 基于生成对抗网络的多 姿态人脸 正面化系统， 包括： 图像获取模块， 用于获取多 姿态人脸图像并进行 预处理； 图像特征提取模块， 用于将多姿态人脸图像输入至人脸正面化模型中提取抽象特说　明　书 1/5 页 3 CN 115471901 A 3