(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211068649.8 (22)申请日 2022.09.02 (65)同一申请的已公布的文献号 申请公布号 CN 115171198 A (43)申请公布日 2022.10.11 (73)专利权人 腾讯科技 （深圳） 有限公司 地址 518000 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 贺珂珂　朱俊伟　张昕昳　邰颖　 汪铖杰　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 董亚莉　胡春光 (51)Int.Cl. G06V 40/16(2022.01)G06V 10/26(2022.01) G06V 10/74(2022.01) G06T 7/00(2017.01) (56)对比文件 CN 114463274 A,202 2.05.10 CN 113706502 A,2021.1 1.26 US 2020074222 A1,2020.0 3.05 WO 2020037932 A1,2020.02.27 CN 114782371 A,202 2.07.22 审查员 刘倩倩 (54)发明名称 模型质量评估方法、 装置、 设备及存 储介质 (57)摘要 本申请实施例提供一种模型质量评估 方法、 装置、 设备及存储介质， 至少应用于人工智 能领 域和模型质量评估领域， 其中方法包括： 对待评 估模型在不同测试集下的图像三元组中的图像 进行特征提取； 基于提取到的图像三元组的原始 图像特征、 模板图像特征和处理图像特征， 确定 图像三元组在与相应测试集对应的评估维度下 的第一类评估分； 基于图像三元 组中的模板图像 的像素值和处理图像的像素值， 确定图像三元组 在与相应测试集对应的评估维度下的第二类评 估分； 根据第一类评估分和第二类评估分， 对待 评估模型进行模型质量评估。 通过本申请， 能够 基于不同评估维度下的评估分， 对待评估模型进 行综合的模 型质量评估， 提高对模 型质量评估的 准确性。 权利要求书4页 说明书23页 附图6页 CN 115171198 B 2022.11.25 CN 115171198 B 1.一种模型质量评估方法， 其特 征在于， 所述方法包括： 获取待评估模型在不同测试集下的图像三元组， 所述图像三元组包括： 原始图像、 模板 图像和处理图像， 所述处理图像是基于所述图像三元组中的模板图像， 对所述原始图像进 行图像处 理后得到的； 对每一图像三元组中的所述原始图像、 所述模板图像和所述处理图像分别进行特征提 取， 对应得到原 始图像特 征、 模板图像特 征和处理图像特 征； 基于至少一个测试集下的图像三元组对应的所述原始图像特征、 所述模板图像特征和 所述处理图像特征， 或者， 基于至少一个测试集下 的图像三元组对应的所述模板图像特征 和所述处理图像特征， 确定相应测试集下的图像三元组在与所述相应测试集对应的评估维 度下的第一类评估分； 基于至少一个测试集下的图像三元组中的模板图像的像素值和处理图像的像素值， 确 定相应测试集下的图像三元组在与所述相应测试集对应的评估维度下的第二类评估分； 根据所述第一类评估分和所述第二类评估分， 对所述待评估 模型进行模型质量评估。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取不同测试集， 其中， 每一测试集中包括多对图像对， 每一所述图像对包括一张原始 图像和一张模板图像； 通过所述待评估模型分别针对每一所述测试集中的每一图像对进行所述图像处理， 得 到处理图像； 将所述图像对和所述处 理图像构建成相应测试集下的一个图像三元组。 3.根据权利要求1所述的方法， 其特征在于， 所述测试集包括自然测试集； 所述第一类 评估分包括自然分； 与所述自然测试集对应的评估维度包括自然分评估维度； 基于至少一个测试集下的图像三元组对应的所述模板图像特征和所述处理图像特征， 确定相应测试集下的图像三元组在与所述相应测试集对应的评估维度下的第一类评估分， 包括： 获取所述自然测试集下的多个图像三元组对应的所述模板图像特征和所述处理图像 特征； 基于所述模板图像特 征， 确定出 所述模板图像中的第一目标区域的第一关键点特 征； 基于所述处理图像特征， 确定出所述处理图像中的所述第 一目标区域的第 二关键点特 征； 基于所述模板图像特征和所述处理图像特征， 确定所述多个图像三元组在所述自然测 试集下的全局FID值； 基于所述第 一关键点特征和所述第 二关键点特征， 确定所述多个图像三元组在所述自 然测试集下的局部FID值； 对所述全局FID值和所述局部FID值进行加权求和， 得到所述自然测试集下的图像三元 组在所述自然分评估维度下的自然分。 4.根据权利要求3所述的方法， 其特征在于， 基于所述模板图像特征和所述处理图像特 征， 确定所述多个图像三元组的全局FID值， 包括： 分别确定所述多个图像三元组对应的所述模板图像特征的特征均值、 所述多个图像三 元组对应的所述处 理图像特 征的特征均值；权　利　要　求　书 1/4 页 2 CN 115171198 B 2分别确定所述多个图像三元组对应的所述模板图像特征的协方差矩阵、 所述多个图像 三元组对应的所述处 理图像特 征的协方差矩阵； 基于所述模板 图像特征的特征均值、 所述处理图像特征的特征均值、 所述模板 图像特 征的协方差矩阵和所述处理图像特征 的协方差矩阵， 确定所述多个图像三元组的全局FID 值。 5.根据权利要求3所述的方法， 其特征在于， 基于所述第 一关键点特征和所述第 二关键 点特征， 确定所述多个图像三元组的局部FID值， 包括： 分别确定所述多个图像三元组对应的多个模板图像中的第 一关键点特征的特征均值、 所述多个图像三元组对应的多个处 理图像中的第二关键点特 征的特征均值； 分别确定所述多个模板图像中的第 一关键点特征的协方差矩阵、 所述多个处理图像中 的第二关键点特 征的协方差矩阵； 基于所述第一关键点特征的特征均值、 所述第二关键点特征的特征均值、 所述第一关 键点特征的协方差矩阵和所述第二关键点特征的协方差矩阵， 确定所述多个图像三元组对 应于所述第一目标区域的局部FID值。 6.根据权利要求1所述的方法， 其特征在于， 所述测试集包括高清测试集； 所述第一类 评估分包括高清分； 与所述高清测试集对应的评估维度包括高清分评估维度； 基于至少一个测试集下的图像三元组对应的所述模板图像特征和所述处理图像特征， 确定相应测试集下的图像三元组在与所述相应测试集对应的评估维度下的第一类评估分， 包括： 获取所述高清测试集下的多个图像三元组对应的所述模板图像特征和所述处理图像 特征； 基于所述模板图像特 征， 确定出 所述模板图像中的第二目标区域的第三关键点特 征； 基于所述处理图像特征， 确定出所述处理图像中的所述第 二目标区域的第四关键点特 征； 基于所述模板图像特征和所述处理图像特征， 确定所述多个图像三元组在所述高清测 试集下的全局FID值； 基于所述第 三关键点特征和所述第四关键点特征， 确定所述多个图像三元组在所述高 清测试集下的局部FID值； 对所述全局FID值和所述局部FID值进行加权求和， 得到所述 高清测试集下的图像三元 组在所述高清分评估维度下的高清分。 7.根据权利要求1所述的方法， 其特征在于， 所述测试集包括自然测试集； 所述第一类 评估分包括相似度分； 与所述自然测试集对应的评估维度包括相似度评估维度； 基于至少一个测试集下的图像三元组对应的所述原始图像特征、 所述模板图像特征和 所述处理图像特征， 确定相应测试集下的图像三元组在与所述相应测试集对应的评估维度 下的第一类评估分， 包括： 获取所述自然测试集下的多个图像三元组对应的所述原始图像特征、 所述模板图像特 征和所述处 理图像特 征； 基于所述原始图像特征和所述处理图像特征， 确定所述处理图像与 所述原始图像之间 的第一相似度；权　利　要　求　书 2/4 页 3 CN 115171198 B 3