(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210782576.2 (22)申请日 2022.07.05 (71)申请人 阿里巴巴达摩院 （杭州） 科技有限公 司 地址 310023 浙江省杭州市余杭区五常街 道文一西路969号3幢5层516室 (72)发明人 门怡芳　崔苗苗　谢宣松　 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 金鹏 (51)Int.Cl. G06T 13/40(2011.01) G06V 40/10(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01)G06V 10/54(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 图像生成方法以及电子设备 (57)摘要 本说明书实施例提供图像生成方法以及电 子设备， 其中所述图像生成方法包括： 获取源 图 像， 利用预先训练的转换模型， 将源图像中的目 标物转换为虚拟物， 生成目标图像， 其中， 虚拟物 具有特定虚拟形象， 转换模型基于样本对训练得 到， 样本对包括针对同一样本物的至少两种不同 形象的样本图像， 样本对利用至少两个生成对抗 网络生成， 至少两个生成对抗网络通过迁移学习 得到， 其中， 转换模型为机器学习模型。 通过转换 模型生成目标图像， 提升图像生成效率， 降低图 像生成成本， 通过生成对抗网络生成样本图像， 提升了样本生成效率， 降低了样本生成成本， 根 据针对同一样本物的样本对来训练， 保证样本对 具有对应特征， 提升了目标图像的准确度。 权利要求书3页 说明书23页 附图8页 CN 115239857 A 2022.10.25 CN 115239857 A 1.一种图像生成方法， 包括： 获取源图像， 其中， 所述源图像为对目标物拍摄得到； 利用预先训练的转换模型， 将所述源图像中的所述目标物转换为虚拟物， 生成目标图 像， 其中， 所述虚拟物具有特定虚拟形象， 所述转换模型基于样本对训练得到， 所述样本对 包括针对同一样本物的至少两种不同形象的样本图像， 所述样本对利用至少两个生成对抗 网络生成， 所述至少两个生成对抗网络通过迁移学习得到， 所述 转换模型为机器学习模型。 2.根据权利要求1所述的方法， 在所述利用预先训练 的转换模型， 将所述源图像中的所 述目标物转换为虚拟物， 生成目标图像之前， 还 包括： 获取随机向量； 将所述随机向量输入预先训练的第一生成对抗网络和第二生成对抗网络， 得到样本 对， 其中， 所述样本对包括所述第一生成对抗网络生成的第一样本图像以及所述第二生成 对抗网络生成的第二样本图像， 所述第一样本图像和所述第二样本图像为针对同一样本物 的两种不同形象的样本图像； 利用所述样本对， 对预设的纹 理转换网络进行训练， 得到转换模型。 3.根据权利要求2所述的方法， 在所述将所述随机向量输入预先训练的第一生成对抗 网络和第二 生成对抗网络， 得到样本对之前， 还 包括： 获取训练集， 其中， 所述训练集包括预 先采集的第三样本图像； 将所述随机向量输入所述第一 生成对抗网络的生成器， 生成第四样本图像； 将所述第四样本图像和所述第 三样本图像输入所述第 一生成对抗网络的判别器， 得到 第一损失值； 根据所述第一损 失值， 对所述第一生成对抗网络进行训练， 在达到预设训练停止条件 的情况下， 获得完成训练的所述第一 生成对抗网络 。 4.根据权利要求3所述的方法， 所述训练集还包括预先采集的第五样本图像， 所述第五 样本图像和所述第三样本图像为两种不同形象的样本图像； 在所述根据所述第一损 失值， 对所述第一生成对抗网络进行训练， 在达到预设训练停 止条件的情况 下， 获得完成训练的所述第一 生成对抗网络之后， 还 包括： 获取完成训练的所述第一生成对抗网络， 基于所述第一生成对抗网络， 生成初始 的第 二生成对抗网络； 将所述随机向量输入所述第二 生成对抗网络的生成器， 生成第六样本图像； 根据所述第六样本 图像， 计算身份损 失， 并将所述第六样本 图像和所述第五样本 图像 输入所述第二 生成对抗网络的判别器， 得到对抗损失； 根据所述身份损失和所述对抗损失， 确定第二损失值； 根据所述第二损 失值， 对所述第二生成对抗网络进行训练， 在达到预设训练停止条件 的情况下， 获得完成训练的第二 生成对抗网络 。 5.根据权利要求2所述的方法， 在所述利用所述样本对， 对预设的纹理转换网络进行训 练， 得到转换模型之前， 还 包括： 利用预设的几何增强方式， 对所述第 一样本图像和所述第 二样本图像分别进行几何增 强， 得到更新的所述第一样本图像和所述第二样本图像。 6.根据权利要求2或5所述的方法， 所述利用所述样本对， 对预设的纹理转换网络进行权　利　要　求　书 1/3 页 2 CN 115239857 A 2训练， 得到转换模型， 包括： 将所述第一样本图像输入预设的纹 理转换网络， 得到纹 理转换图像； 基于所述纹 理转换图像的特 征信息， 计算第三损失值； 根据所述第 三损失值调整所述纹理转换网络的网络参数， 在达到预设训练停止条件的 情况下， 获得完成训练的转换模型。 7.根据权利要求6所述的方法， 所述特征信 息包括虚拟形象特征； 所述基于所述纹理转 换图像的特 征信息， 计算第三损失值， 包括： 从所述纹理转换图像中提取虚拟物的第 一虚拟形象特征， 并从所述第 二样本图像 中提 取虚拟物的第二虚拟形象特 征； 根据所述第一虚拟形象特 征和所述第二虚拟形象特 征， 计算虚拟形象特 征损失； 根据所述虚拟形象特 征损失， 确定第三损失值。 8.根据权利要求7所述的方法， 所述特征信 息还包括图像 内容表征特征； 在所述根据 所 述虚拟形象特 征损失， 确定第三损失值之前， 还 包括： 从所述纹理转换图像中提取第 一图像内容表征特征， 并从所述第 一样本图像中提取第 二图像内容表征 特征； 根据所述第 一图像内容表征特征和所述第 二图像内容表征特征， 计算图像内容表征损 失； 所述根据所述虚拟形象特 征损失， 确定第三损失值， 包括： 根据所述虚拟形象特 征损失和所述图像内容表征损失， 加权得到第三损失值。 9.根据权利要求7所述的方法， 所述特征信 息还包括图像局部特征； 在所述根据 所述虚 拟形象特 征损失， 确定第三损失值之前， 还 包括： 从所述纹理转换图像中提取第 一图像局部特征， 并从所述第 一样本图像中提取第 二图 像局部特 征； 根据所述第一图像局部特 征和所述第二图像局部特 征， 计算图像局部损失； 所述根据所述虚拟形象特 征损失， 确定第三损失值， 包括： 根据所述虚拟形象特 征损失和所述图像局部损失， 加权得到第三损失值。 10.一种图像生成方法， 应用于虚拟现实设备， 包括： 获取源图像， 其中， 所述源图像为对目标物拍摄得到； 利用预先训练的转换模型， 将所述源图像中的所述目标物转换为虚拟物， 生成目标图 像， 其中， 所述虚拟物具有特定虚拟形象， 所述转换模型基于样本对训练得到， 所述样本对 包括针对同一样本物的至少两种不同形象的样本图像， 所述样本对利用至少两个生成对抗 网络生成， 所述至少两个生成对抗网络通过迁移学习得到， 所述 转换模型为机器学习模型； 对所述目标图像进行渲染。 11.一种图像生成方法， 应用于服 务器端， 包括： 接收客户端发送的图像生成请求， 其中， 所述图像生成请求携带源图像， 所述源图像为 对目标物拍摄得到； 利用预先训练的转换模型， 将所述源图像中的所述目标物转换为虚拟物， 生成目标图 像， 其中， 所述虚拟物具有特定虚拟形象， 所述转换模型基于样本对训练得到， 所述样本对 包括针对同一样本物的至少两种不同形象的样本图像， 所述样本对利用至少两个生成对抗权　利　要　求　书 2/3 页 3 CN 115239857 A 3