(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210977900.6 (22)申请日 2022.08.16 (65)同一申请的已公布的文献号 申请公布号 CN 115082920 A (43)申请公布日 2022.09.20 (73)专利权人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 郭若愚　杜宇宁　赖宝华　马艳军　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 王文思 (51)Int.Cl. G06V 20/62(2022.01) G06V 10/74(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) (56)对比文件 CN 114494784 A,202 2.05.13 CN 111639744 A,2020.09.08 CN 113326764 A,2021.08.31 WO 2022051855 A1,202 2.03.17 WO 2021095176 A1,2021.0 5.20 WO 202125716 0 A1,2021.12.23 KR 20200068106 A,2020.0 6.15 史雪玉.基 于深度卷积网络的虹膜分割与识 别方法研究. 《中国优秀硕士学位 论文全文数据 库 信息科技 辑》 .2022, 审查员 翁紫璟 (54)发明名称 深度学习模 型的训练方法、 图像处理方法和 装置 (57)摘要 本公开提供了一种深度学习模型的训练方 法， 涉及人工智能技术领域， 尤其涉及深度学习、 计算机视觉和图像处理技术。 具体实现方案为： 根据将训练样本输入预训练模型得到的第一输 出结果、 输入深度学习模型得到的第二输出结果 以及训练样 本的第一标签， 确定预训练模型和深 度学习模型的蒸馏损失以及深度学习模型的第 一真值损失； 根据将验证样本输入深度学习模型 得到的第三输出结果以及验证样 本的第二标签， 确定深度学习模 型的第二真值损失； 根据蒸馏损 失、 第一真值损失、 第二真值损失以及关于深度 学习模型的拟合状态的评估函数， 确定整体损 失； 以及根据整体损失， 调整深度学习模型的参 数。 本公开还提供了一种图像处理方法、 装置、 电 子设备和存 储介质。 权利要求书4页 说明书11页 附图6页 CN 115082920 B 2022.11.04 CN 115082920 B 1.一种深度学习模型的训练方法， 包括： 根据将训练样本输入预训练模型得到的第 一输出结果、 输入深度 学习模型得到的第 二 输出结果以及所述训练样本的第一标签， 确定所述预训练模型和所述深度学习模型的蒸馏 损失以及所述深度学习模型 的第一真值损失， 其中， 所述训练样本是具有所述第一标签的 图像样本， 所述第一真值损失表征 所述第二输出 结果和所述第一标签之间的差异； 根据将验证样本输入所述深度学习模型得到的第三输出结果以及所述验证样本的第 二标签， 确定所述深度学习模型的第二真值损失， 其中， 所述验证样本是具有 所述第二标签 的图像样本， 所述第二真值损失表征 所述第三输出 结果和所述第二标签之间的差异； 根据所述蒸馏损 失、 所述第一真值损 失、 所述第二真值损 失以及关于所述深度学习模 型的拟合状态的评估函数， 确定整体损失； 以及 根据所述整体损失， 调整所述深度学习模型的参数； 其中， 所述第一输出结果、 所述第二输出结果以及所述第三输出结果具有相同类型的 图像处理结果； 所述相同类型包括图像类别、 图像中的目标对 象的位置以及图像中的文本 信息中的之一； 其中， 所述评估函数是关于所述深度学习模型的拟合误差的函数； 所述根据所述蒸馏 损失、 所述第一真值损失、 所述第二真值损失以及关于所述深度学习模型 的拟合状态的评 估函数， 确定整体损失包括： 根据所述蒸馏损 失、 所述第一真值损 失以及所述评估函数， 确定关于所述拟合误差的 所述整体损失的损失函数； 根据所述第一真值损失以及所述第二真值损失， 确定所述拟合 误差； 以及 将所述拟合 误差输入所述损失函数， 得到所述整体损失。 2.根据权利要求1所述的方法， 其中， 所述根据所述蒸馏损 失、 所述第一真值损 失以及 所述评估函数， 确定关于所述拟合 误差的所述整体损失的损失函数包括： 根据所述第一输出 结果， 将所述训练样本划分为简单样本和困难样本； 根据与所述简单样本对应的蒸馏损失和第一真值损失， 确定第一部分损失； 根据与所述困难样本对应的蒸馏损失和第一真值损失， 确定第二部分损失； 以及 根据所述第一部分损 失、 所述第二部分损 失以及所述评估函数， 确定关于所述拟合误 差的所述整体损失的损失函数。 3.根据权利要求2所述的方法， 其中， 所述根据所述第一输出结果， 将所述训练样本划 分为简单样本和困难样本包括： 将所述第一输出 结果与所述第一标签相同的训练样本确定的简单样本； 以及 将所述第一输出 结果与所述第一标签不相同的训练样本确定的困难样本 。 4.根据权利要求2所述的方法， 其中， 所述根据所述第一部分损 失、 所述第二部分损 失 以及所述评估函数， 确定关于所述拟合 误差的所述整体损失的损失函数包括： 根据以下公式确定所述损失函数： 权　利　要　求　书 1/4 页 2 CN 115082920 B 2其中， Loss(x)表示所述损失函数， L_soft表示所述第一部分损失， L_hard表示所述第 二部分损失， F(x)表示所述评估函数， x表示所述拟合 误差，b为大于1的常数。 5.根据权利要求1所述的方法， 其中， 所述训练样本包括M个训练样本， 所述第 一真值损 失包括M个训练样本的第一真值损失， 所述验证样本包括N个验证样本， 所述第二真值损失 包括N个验证样本的第二真值损失， M和N均为大于1的整数； 所述根据所述第一真值损失以 及所述第二真值损失， 确定所述拟合 误差包括： 计算所述M个训练样本的平均第一真值损 失与所述N个验证样本的平均第二真值损 失 之间的差值， 作为所述拟合 误差。 6.根据权利要求1所述的方法， 其中， 所述根据将训练样本输入预训练模型得到的第 一 输出结果、 输入深度学习模型得到的第二输出结果以及所述训练样本的第一标签， 确定所 述预训练模型和所述深度学习模型的蒸馏损失以及所述深度学习模型的第一真值损失包 括： 根据所述第一输出 结果与所述第二输出 结果之间的差异， 确定所述蒸馏损失； 以及 根据所述第二输出 结果与所述第一标签之间的差异， 确定所述第一真值损失。 7.根据权利要求1所述的方法， 其中， 所述根据将验证样本输入所述深度 学习模型得到 的第三输出结果以及所述验证样本的第二标签， 确定所述深度学习模型的第二真值损失包 括： 根据所述第三输出 结果与所述第二标签之间的差异， 确定所述第二真值损失。 8.一种图像处 理方法， 包括： 获取待处 理图像； 以及 将所述待处理图像输入深度学习模型， 得到所述待处理图像的处理结果， 其中所述处 理结果包括所述待处理图像的类别、 所述待处理图像中目标对象的位置以及所述待处理图 像中的文本信息中的之一； 其中， 所述深度学习模型 是根据权利要求1至7中任一项所述的方法训练的。 9.一种深度学习模型的训练装置， 包括： 第一确定模块， 用于根据将训练样本输入预训练模型得到的第一输出结果、 输入深度 学习模型得到的第二输出结果以及所述训练样本的第一标签， 确定所述预训练模型和所述 深度学习模型 的蒸馏损失以及所述深度学习模型 的第一真值损失， 其中， 所述训练样本是 具有所述第一标签的图像样本， 所述第一真值损失表征所述第二输出结果和所述第一标签 之间的差异； 第二确定模块， 用于根据将验证样本输入所述深度 学习模型得到的第 三输出结果以及 所述验证样本的第二标签， 确定所述深度学习模型的第二真值损失， 其中， 所述验证样 本是 具有所述第二标签的图像样本， 所述第二真值损失表征所述第三输出结果和所述第二标签 之间的差异； 第三确定模块， 用于根据 所述蒸馏损失、 所述第 一真值损失、 所述第 二真值损失以及 关 于所述深度学习模型的拟合状态的评估函数， 确定整体损失； 以及 调整模块， 用于根据所述整体损失， 调整所述深度学习模型的参数； 其中， 所述第一输出结果、 所述第二输出结果以及所述第三输出结果具有相同类型的 图像处理结果； 所述相同类型包括图像类别、 图像中的目标对 象的位置以及图像中的文本权　利　要　求　书 2/4 页 3 CN 115082920 B 3