(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211037100.2 (22)申请日 2022.08.26 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 彭昊天　陈睿智　赵晨　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 纪雯 (51)Int.Cl. G06T 15/04(2011.01) G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 深度学习网络的训练方法、 虚拟形象生 成方 法及装置 (57)摘要 本公开提供了一种深度学习网络的训练方 法、 虚拟形象生成方法及装置、 设备、 介质和产 品， 涉及人工智能领域， 尤其涉及深度学习、 计算 机视觉、 虚拟/增强现实和图像处理技术领域， 可 应用于虚拟数字人、 元宇宙等场景。 具体实现方 案包括： 确定训练样本图像中的头发区域的发丝 布局特征和发根分布特征； 利用待训练的深度学 习网络， 根据头发区域的发丝布局特征和发根分 布特征， 输出与发根分布特征匹配的发丝节点分 布特征； 确定发丝节点分布特征和预设发丝节点 分布标签 之间的相似距离， 得到基于相似距离的 特征损失值； 以及根据特征损失值， 调整深度学 习网络的模 型参数， 得到经训练的目标深度学习 网络。 权利要求书5页 说明书12页 附图6页 CN 115311403 A 2022.11.08 CN 115311403 A 1.一种深度学习网络的训练方法， 包括： 确定训练样本图像中的头发区域的发丝布局特 征和发根分布特 征； 利用待训练的深度学习网络， 根据 所述头发区域的所述发丝布局特征和所述发根分布 特征， 输出与所述发根分布特 征匹配的发丝节点分布特 征； 确定所述发丝节点分布特征和预设发丝节点分布标签之间的相似距离， 得到基于所述 相似距离的特 征损失值； 以及 根据所述特征损 失值， 调整所述深度学习 网络的模型参数， 得到经训练的目标深度学 习网络。 2.根据权利要求1所述的方法， 其中， 所述确定训练样本图像中的头发区域的发丝布局 特征， 包括： 根据所述发丝节点分布标签， 对所述头发区域进行渲染， 得到渲染头发图像； 以及 将由所述渲染头发图像中的像素颜色值指示的发丝走向特征， 作为所述发丝布局特 征。 3.根据权利要求2所述的方法， 其中， 所述根据所述发丝节点分布标签， 对所述头发区 域进行渲染， 得到渲染头发图像， 包括： 根据由所述发丝节点分布标签指示的相邻发丝节点的节点坐标， 确定与所述发丝节点 匹配的像素颜色值； 以及 根据与所述发丝节点匹配的像素颜色值， 得到所述 渲染头发图像。 4.根据权利要求1所述的方法， 其中， 所述发根分布特 征指示了所述头发区域中的发根节点 坐标； 所述利用待训练 的深度学习网络， 根据所述头发区域的所述发丝布局特征和所述发根 分布特征， 输出与所述发根分布特 征匹配的发丝节点分布特 征， 包括： 利用所述待训练 的深度学习网络， 根据所述头发区域的所述发丝布局特征和多个发根 节点坐标， 输出与各所述发根节点坐标匹配的发丝节点预测坐标序列， 以作为所述发丝节 点分布特 征。 5.根据权利要求 4所述的方法， 其中， 所述发丝节点分布标签指示了与 各所述发根节点坐标匹配的发丝节点真值坐标序列； 以及 所述确定所述发丝节点分布特征和预设发丝节点分布标签之间的相似距离， 得到基于 所述相似距离的特 征损失值， 包括： 确定与各所述发根节点坐标匹配的所述发丝节点预测坐标序列和所述发丝节点真值 坐标序列之间的相似距离， 得到基于所述相似距离的所述特 征损失值。 6.根据权利要求1所述的方法， 其中， 所述确定训练样本图像中的头发区域的发丝布局 特征， 包括： 确定所述头发区域的以下 特征中的至少之一： 发丝走向特 征、 发丝长度特征、 发丝深度特 征和发丝局部密度。 7.根据权利要求1至 6中任一项所述的方法， 还 包括： 提取所述训练样本图像中对象的面部特 征点； 根据所述面部特征点和预设基准占位特征， 对所述训练样本 图像进行图像配准， 得到权　利　要　求　书 1/5 页 2 CN 115311403 A 2配准后的训练样本图像； 以及 所述确定训练样本图像中的头发区域的发丝布局特 征和发根分布特 征， 包括： 确定所述配准后的训练样本图像中的头发区域的所述发丝布局特征和所述发根分布 特征， 其中， 所述基准占位特 征指示了面部特 征点相对所在图像的参 考占位。 8.一种虚拟形象生成方法， 包括： 确定目标图像中的头发区域的发丝布局特 征； 根据所述发丝布局特征和预设发根分布特征， 确定与 所述发根分布特征匹配的发丝节 点分布特 征； 以及 基于预设虚拟形象和所述发丝节点分布特征， 生成与 所述目标图像匹配的目标虚拟形 象。 9.根据权利要求8所述的方法， 其中， 所述确定目标图像中的头发区域的发丝布局特 征， 包括： 确定所述目标图像中的头发区域的像素梯度信息； 以及 根据所述像素梯度信息， 确定与所述头发区域关联的发丝走向特征， 以作为所述发丝 布局特征。 10.根据权利要求8所述的方法， 其中， 所述发根分布特 征指示了所述预设虚拟形象的发根节点 坐标； 所述根据 所述发丝布局特征和预设发根分布特征， 确定与所述发根分布特征匹配的发 丝节点分布特 征， 包括： 根据所述发丝布局特征和所述预设虚拟形象的多个发根节点坐标， 确定与 各所述发根 节点坐标匹配的发丝节点 坐标序列， 以作为所述发丝节点分布特 征。 11.根据权利要求10所述的方法， 其中， 所述基于预设虚拟形 象和所述发丝节点分布特 征， 生成与所述目标图像匹配的目标虚拟形象， 包括： 根据所述发根节点 坐标和对应发丝节点 坐标序列， 生成虚拟发型图像； 基于所述预设虚拟形象和所述虚拟发型图像， 生成所述目标虚拟形象。 12.根据权利要求11所述的方法， 其中， 所述基于所述虚拟 发型图像和所述预设虚拟形 象， 生成所述目标虚拟形象， 包括： 对所述虚拟发型图像进行渲染调节， 得到调节后的虚拟发型图像； 基于所述预设虚拟形象和所述调 节后的虚拟 发型图像， 生成所述目标虚拟形 象， 其中， 所述渲染调节包括以下调节内容中的至少之一： 基础色调节、 散射调节、 高光调节、 背光度调节、 切线调节、 环境光调节和深度偏移调 节。 13.根据权利要求8至12中任一项所述的方法， 还 包括： 确定所述目标图像中的对象头 部位姿； 根据所述对象头部位姿和所述预设虚拟形象的基准头部位姿， 对所述目标图像进行配 准， 得到配准后的目标图像； 以及 所述确定目标图像中的头发区域的发丝布局特 征， 包括： 确定所述配准后的目标图像中的头发区域的所述发丝布局特 征。权　利　要　求　书 2/5 页 3 CN 115311403 A 3