(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211052349.0 (22)申请日 2022.08.30 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 郭汉奇　刘家铭　胡天舒　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06T 17/00(2006.01) G06T 13/40(2011.01) G06T 19/00(2011.01) G06T 19/20(2011.01) G06T 15/20(2011.01)G06V 10/74(2022.01) G06V 10/80(2022.01) (54)发明名称 图像生成方法、 装置、 设备以及存 储介质 (57)摘要 本公开提供了一种图像生成方法、 装置、 设 备、 存储介质以及程序产品， 涉及人工智能技术 领域， 具体为计算机视觉、 增强现实、 虚拟现实、 深度学习等技术领域， 可应用于元宇宙、 虚拟数 字人等场景。 该方法的一具体实施方式包括： 获 取模板人物图像和三维虚拟形象模 型； 将三维虚 拟形象模型 投影到二维平面， 生成与模板人物图 像的头部姿态 一致的虚拟形象图像； 计算模板人 物图像与虚拟形象图像的头部的颜色匹配图像； 将虚拟形象图像的头部融合到模板人物图像上， 得到融合图像和融合区域掩膜； 基于颜色匹配图 像和融合图像， 生成虚拟形象人物图像。 该实施 方式提升 了虚拟形象人物图像的自然度。 权利要求书3页 说明书9页 附图5页 CN 115222895 A 2022.10.21 CN 115222895 A 1.一种图像生成方法， 包括： 获取模板人物图像和三维虚拟形象模型； 将所述三维虚拟形 象模型投影到二维平面， 生成与所述模板人物图像的头部姿态一致 的虚拟形象图像； 计算所述模板人物图像与所述虚拟形象图像的头 部的颜色匹配图像； 将所述虚拟形象图像的头部融合到所述模板人物图像上， 得到融合图像和融合 区域掩 膜； 基于所述颜色匹配图像和所述融合图像， 生成虚拟形象人物图像。 2.根据权利要求1所述的方法， 其中， 所述将所述三维虚拟形象模型投影到二维平面， 生成与所述模板人物图像的头 部姿态一 致的虚拟形象图像， 包括： 检测所述模板人物图像中的头 部关键点； 计算所述头 部关键点与所述 三维虚拟形象模型的对应点的距离， 确定变换参数； 根据所述变换参数， 将所述三维虚拟形象模型投影到二维平面， 生成所述虚拟形象图 像。 3.根据权利要求2所述的方法， 其中， 所述检测所述模板人物图像中的头部关键点， 包 括： 将所述模板人物图像输入至 头部检测模型， 得到 头部位置信息； 基于所述头 部位置信息， 从所述模板人物图像中分割出模板 头部图像； 将所述模板 头部图像输入至关键点检测模型， 得到所述头 部关键点。 4.根据权利要求1所述的方法， 所述计算所述模板人物图像与所述虚拟形象图像的头 部的颜色匹配图像， 包括： 从所述模板人物图像中提取模板人物头部特征， 以及从所述虚拟形 象图像中提取虚拟 形象头部特征； 计算所述模板人物头部特征和所述虚拟形象头部特征的相似矩阵， 其中， 所述相似矩 阵中的元素表征所述模板人物图像与所述虚拟形象图像中的头部的对应像素点的颜色相 似度； 将所述虚拟形象图像与所述相似矩阵相乘， 得到所述颜色匹配图像。 5.根据权利要求4所述的方法， 所述从所述模板人物图像中提取模板人物头部特征， 以 及从所述虚拟形象图像中提取虚拟形象头 部特征， 包括： 对所述模板人物图像和所述虚拟形象图像分别进行头部分割， 得到模板人物头部掩膜 和虚拟形象头 部掩膜； 对所述模板人物图像和所述虚拟形象图像分别进行特征提取， 得到模板人物特征和 虚 拟形象特 征； 利用所述模板人物头部掩膜对所述模板人物特征进行过滤， 得到模板人物头部特征， 以及利用所述虚拟形象头 部掩膜对所述虚拟形象特 征进行过滤， 得到虚拟形象头 部特征。 6.根据权利要求1所述的方法， 其中， 所述基于所述颜色匹配图像和所述融合图像， 生 成虚拟形象人物图像， 包括： 获取融合区域掩膜； 基于所述颜色匹配图像和所述融合 区域掩膜对所述融合图像进行修复， 生成虚拟形象权　利　要　求　书 1/3 页 2 CN 115222895 A 2人物图像。 7.根据权利要求6所述的方法， 其中， 所述基于所述颜色匹配图像和所述融合 区域掩膜 对所述融合图像进行修复， 生成虚拟形象人物图像， 包括： 将所述颜色匹配图像、 所述融合区域掩膜和所述融合图像输入至生成卷积网络， 得到 所述虚拟形象人物图像。 8.根据权利要求1 ‑7中任一项所述的方法， 其中， 所述方法还 包括： 对所述虚拟形象人物图像和所述虚拟形 象图像分别进行特征分解， 得到所述虚拟形象 人物图像和所述虚拟形象图像的第一特征和 第二特征， 其中， 第一特征用于表征纹理， 第二 特征用于表征 形状和颜色； 将所述虚拟形象人物图像的第二特征和所述虚拟形象图像的第一特征组合进行分解 的逆变换， 得到目标虚拟形象人物图像。 9.一种图像生成装置， 包括： 获取模块， 被 配置成获取模板人物图像和三维虚拟形象模型； 投影模块， 被配置成将所述三维虚拟形象模型投影到二维平面， 生成与所述模板人物 图像的头 部姿态一 致的虚拟形象图像； 计算模块， 被配置成计算所述模板人物图像与 所述虚拟形象图像的头部的颜色匹配图 像； 融合模块， 被配置成将所述虚拟形象图像的头部融合到所述模板人物图像上， 得到融 合图像； 生成模块， 被 配置成基于所述颜色匹配图像和所述融合图像， 生成虚拟形象人物图像。 10.根据权利要求9所述的装置， 其中， 所述投影模块包括： 检测子模块， 被 配置成检测所述模板人物图像中的头 部关键点； 确定子模块， 被配置成计算所述头部关键点与所述三维虚拟形象模型的对应点的距 离， 确定变换参数； 投影子模块， 被配置成根据 所述变换参数， 将所述三维虚拟形象模型投影到二维平面， 生成所述虚拟形象图像。 11.根据权利要求10所述的装置， 其中， 所述检测子模块进一 步被配置成： 将所述模板人物图像输入至 头部检测模型， 得到 头部位置信息； 基于所述头 部位置信息， 从所述模板人物图像中分割出模板 头部图像； 将所述模板 头部图像输入至关键点检测模型， 得到所述头 部关键点。 12.根据权利要求9所述的装置， 所述计算模块包括： 提取子模块， 被配置成从所述模板人物图像中提取模板人物头部特征， 以及从所述虚 拟形象图像中提取虚拟形象头 部特征； 计算子模块， 被配置成计算所述模板人物头部特征和所述虚拟形象头部特征的相似矩 阵， 其中， 所述相似矩阵中的元素表征所述模板人物图像与所述虚拟形象图像中的头部的 对应像素点的颜色相似度； 相乘子模块， 被配置成将所述虚拟形象图像与所述相似矩阵相乘， 得到所述颜色匹配 图像。 13.根据权利要求12所述的装置， 所述 提取子模块进一 步被配置成：权　利　要　求　书 2/3 页 3 CN 115222895 A 3