(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211127169.4 (22)申请日 2022.09.16 (71)申请人 煤炭科学研究总院有限公司 地址 100013 北京市朝阳区和平里青年沟 东路5号 (72)发明人 李佳城　王洪磊　杨晓辉　朱西硕　 吴太辉　张俊升　王振　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张润 (51)Int.Cl. G06V 10/776(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01) (54)发明名称 图像识别模型评估方法、 装置以及存 储介质 (57)摘要 本公开提出一种图像识别模 型评估方法、 装 置以及存储介质， 方法包括： 利用多个测试图像 确定图像识别模 型的第一置信度， 并在第一置信 度小于第一阈值的情况下， 确定多个测试图像的 质量评估值， 并在质量评估值不小于第二阈值的 情况下， 计算多个测试图像与图像识别模型的多 个训练图像的第一相似度， 以及在第一相似度小 于第三阈值的情况下， 重新训练图像识别模型， 能够依次对图像识别模型的置信度、 图像质量以 及工作环 境进行评估， 在确定因环 境变化使模型 性能降低时， 及时对模型进行更新， 保证图像识 别模型可以适用于各种场景， 进而提升图像识别 效果。 权利要求书2页 说明书9页 附图4页 CN 115512189 A 2022.12.23 CN 115512189 A 1.一种图像识别模型评估方法， 其特 征在于， 包括： 利用多个测试图像确定图像识别模型的第一置信度； 在所述第一置信度小于第一阈值的情况 下， 确定所述多个测试图像的质量评估值； 在所述质量评估值不小于第 二阈值的情况下， 计算所述多个测试图像与所述图像识别 模型的多个训练图像的第一相似度； 以及 在所述第一相似度小于第三阈值的情况 下， 重新训练所述图像识别模型。 2.如权利要求1所述的方法， 其特征在于， 所述利用多个测试图像确定图像识别模型的 第一置信度， 包括： 利用每个测试图像预测所述图像识别模型的第二置信度； 以及 计算所述多个测试图像对应的多个第二置信度的平均值， 作为所述第一置信度。 3.如权利要求2所述的方法， 其特 征在于， 根据以下公式计算所述第二置信度： 其中， 表示所述第 二置信度， σSM()为所述图像识别模型的so ftmax算子， zi表示每个 测试图像的逻辑向量， K为所述图像识别模型识别类别数； 根据以下公式计算所述多个第二置信度的平均值： 其中， 表示所述第二置信度的平均值， m表示所述测试图像的数量。 4.如权利要求1所述的方法， 其特征在于， 所述确定所述多个测试图像的质量评估值， 包括： 计算每个测试图像与每 个训练图像的峰值信噪比； 以及 计算所述多个测试图像与 所述多个训练图像的多个峰值信噪比的平均值， 作为所述质 量评估值。 5.如权利要求 4所述的方法， 其特 征在于， 其中， 根据以下公式计算所述峰值信噪比： 其中， PSNR表示所述峰值信噪比， x(i， j)表示每个测试图像中坐标为(i， j)的像素点的 像素值， 表示每个训练图像中坐标为(i， j)的像素点的像素值， M、 N所述测试图像和 所述训练图像中像素点行列数， 0≤i≤M ‑1， 0≤j≤N ‑1， xmax表示像素最大值， xmax＝2K‑1， K 表示像素二进制位数。 6.如权利要求1所述的方法， 其特征在于， 所述计算所述多个测试图像与所述图像识别 模型的多个训练图像的第一相似度， 包括： 将所述多个测试图像进行哈希 处理以得到多个第 一哈希序列 标签， 将所述多个训练图权　利　要　求　书 1/2 页 2 CN 115512189 A 2像进行哈希处 理以得到多个第二哈希序列标签； 分别计算每个第一哈希序列标签与 所述多个第 二哈希序列 标签的多个汉明距离， 并计 算所述多个汉明距离中的部分汉明距离的平均值作为每个测试图像与所述多个训练图像 的第二相似度； 计算所述多个测试图像对应的多个第二相似度的平均值， 作为所述第一相似度。 7.一种图像识别模型评估 装置， 其特 征在于， 包括： 第一计算模块， 用于利用多个测试图像确定图像识别模型的第一置信度； 第二计算模块， 用于在所述第一置信度小于第一阈值的情况下， 确定所述多个测试图 像的质量评估值； 第三计算模块， 用于在所述质量评估值不小于第二阈值的情况下， 计算所述多个测试 图像与所述图像识别模型的多个训练图像的第一相似度； 以及 训练模块， 用于在所述第一相似度小于第三阈值的情况下， 重新训练所述图像识别模 型。 8.如权利要求1所述的装置， 其特 征在于， 所述第一计算模块， 具体用于： 利用每个测试图像预测所述图像识别模型的第二置信度； 以及 计算所述多个测试图像对应的多个第二置信度的平均值， 作为所述第一置信度。 9.如权利要求1所述的装置， 其特 征在于， 所述第三计算模块， 具体用于： 将所述多个测试图像进行哈希 处理以得到多个第 一哈希序列 标签， 将所述多个训练图 像进行哈希处 理以得到多个第二哈希序列标签； 分别计算每个第一哈希序列标签与 所述多个第 二哈希序列 标签的多个汉明距离， 并计 算所述多个汉明距离中的部分汉明距离的平均值作为每个测试图像与所述多个训练图像 的第二相似度； 计算所述多个测试图像对应的多个第二相似度的平均值， 作为所述第一相似度。 10.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于 使所述计算机执 行根据权利要求1 ‑6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115512189 A 3