(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211145604.6 (22)申请日 2022.09.20 (71)申请人 广州虎牙科技有限公司 地址 511495 广东省广州市番禺区钟村街 （汉溪商业中心） 泽溪街13号13 01 (72)发明人 邱尚锋　张文伟　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张欣欣 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/74(2022.01) (54)发明名称 图像处理模型训练方法、 装置、 电子设备和 可读存储介质 (57)摘要 本申请提供一种图像处理模 型训练方法、 装 置、 电子设备和可读存储介质， 通过对获取的每 张样本源图像采用多种不同图像增强策略进行 处理得到对应的多张样本增强图像， 再将各张样 本增强图像导入不同的处理模型进行处理， 输出 样本增强图像的图像信息。 基于不同处理模型输 出的图像信息之间的一致性， 以及单个处理模型 输出的图像信息内部的差异性实现对处理模型 的训练。 本方案中， 可基于不同处理模型输出的 图像信息之间的一致性实现训练， 可以使得训练 得到的处理模型能够提取图像的准确的图像信 息， 并且基于单个处理模型的图像信息内部的差 异性实现训练， 可以避免单个处理模 型的图像信 息内部无差别的判别所存在的单个图像信息内 部信息不 准确的问题。 权利要求书2页 说明书13页 附图6页 CN 115546578 A 2022.12.30 CN 115546578 A 1.一种图像处 理模型训练方法， 其特 征在于， 所述方法包括： 获取样本图像集， 所述样本图像集包括多张样本源图像； 针对每张样本源图像， 采用多种不同的图像增强策略对所述样本源图像进行处理得到 对应的多张样本增强图像； 将每张样本源图像对应的各所述样本增强图像导入不同的处理模型进行处理， 输出各 所述样本增强图像的图像信息； 基于不同的处理模型输出的图像信 息之间的一致性， 以及单个处理模型输出的图像信 息内部的差异性实现对处 理模型的训练。 2.根据权利要求1所述的图像处理模型训练方法， 其特征在于， 所述将每张样本源图像 对应的各所述样本增强图像导入不同的处理模型进行 处理， 输出各所述样本增强图像的图 像信息的步骤， 包括： 将每张样本源图像对应的各所述样本增强图像导入不同的处理模型中， 以将各所述样 本增强图像划分为多个图像块； 得到各所述样本增强图像的图像类别信息以及各所述样本增强图像包含的各所述图 像块的图像块特 征信息。 3.根据权利要求2所述的图像处理模型训练方法， 其特征在于， 所述基于不同的处理模 型输出的图像信息之 间的一致性， 以及单个处理模型输出的图像信息内部的差异性 实现对 处理模型的训练的步骤， 包括： 构建不同处 理模型输出的图像 类别信息和图像块特 征信息之间的一 致性损失函数； 针对单个处理模型， 基于所述处理模型输出的图像块特征信息构建差异性损 失函数， 所述差异性损失函数表征不同图像块之间的差异性； 基于所述 一致性损失函数和差异性损失函数， 实现对处 理模型的训练。 4.根据权利要求3所述的图像处理模型训练方法， 其特征在于， 所述一致性损失函数包 括第一损失函数和第二损失函数； 所述构建不同处理模型输出的图像类别信息和图像块特征信息之间的一致性损失函 数的步骤， 包括： 基于不同处理模型输出的图像类别信 息构建第 一损失函数， 并基于不同处理模型输出 的图像块特 征信息构建第二损失函数。 5.根据权利要求4所述的图像处理模型训练方法， 其特征在于， 所述采用多种不同的图 像增强策略对所述样本源图像进行处 理得到对应的多张样本增强图像的步骤， 包括： 根据获取的图像块划分参数， 针对多张样本源图像中的至少一张样本源图像， 对所述 至少一张样本源图像中的至少一个图像块进 行擦除处理， 以得到多张样本源图像对应的多 张样本增强图像。 6.根据权利要求5所述的图像处理模型训练方法， 其特征在于， 所述基于不同处理模型 输出的图像块特 征信息构建第二损失函数的步骤， 包括： 获取擦除处 理的样本增强图像中的擦除图像块的图像块特 征信息； 确定未擦除处理的样本增强图像中与擦除处理样本增强图像中的擦除图像块对应位 置的匹配图像块， 并获得匹配图像块的图像块特 征信息； 基于不同处理模型输出的擦除图像块的图像块特征信息与匹配图像块的图像块特征权　利　要　求　书 1/2 页 2 CN 115546578 A 2信息构建第二损失函数。 7.根据权利要求3所述的图像处理模型训练方法， 其特征在于， 所述针对单个处理模 型， 基于所述处 理模型输出的图像块特 征信息构建差异性损失函数的步骤， 包括： 针对单个处理模型， 获得所述处理模型输出的图像块特征信 息构成的图像块特征矩阵 的转置矩阵； 基于所述图像块特 征矩阵和转置矩阵计算得到相似性矩阵； 基于所述相似性矩阵和构建的单位矩阵， 构建得到 差异性损失函数。 8.根据权利要求7所述的图像处理模型训练方法， 其特征在于， 所述获得所述处理模型 输出的图像块特 征信息构成的图像块特 征矩阵的转置矩阵的步骤， 包括： 对所述处 理模型输出的图像块特 征信息进行归一 化处理； 基于归一化处理后的图像块特征信 息得到图像块特征矩阵， 并获得所述图像块特征矩 阵的转置矩阵。 9.根据权利要求1 ‑8任意一项所述的图像处理模型训练方法， 其特征在于， 所述方法还 包括： 获取待处 理图像； 将所述待处理图像导入训练得到的处理模型中得到多个图像块， 并输出各所述图像块 的图像块特 征信息； 将各所述图像块的图像块特征信息与预先构建的特征库中的各违规图像块的图像块 特征信息进行比对， 以获得 各所述图像块对应的相似性分值； 根据各所述图像块的相似性分值判断所述待处 理图像是否为违规图像。 10.根据权利要求9所述的图像处理模型训练方法， 其特征在于， 所述根据各所述图像 块的相似性分值判断所述待处 理图像是否为违规图像的步骤， 包括： 筛选出相似性分值大于或等于第一预设 分值的图像块； 计算筛选出的图像块占所述待处 理图像的所有图像块的占比； 在所述占比大于或等于第二预设 分值时， 判定所述待处 理图像为违规图像。 11.一种图像处 理模型训练装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取样本图像集， 所述样本图像集包括多张样本源图像； 增强模块， 用于针对每张样本源图像， 采用多种不同的图像增强策略对所述样本源图 像进行处 理得到对应的多张样本增强图像； 处理模块， 用于将每张样本源图像对应的各所述样本增强图像导入不同的处理模型进 行处理， 输出各所述样本增强图像的图像信息； 训练模块， 用于基于不同的处理模型输出的图像信息之间的一致性， 以及单个处理模 型输出的图像信息内部的差异性实现对处 理模型的训练。 12.一种电子设备， 其特征在于， 包括一个或多个存储介质和一个或多个与存储介质通 信的处理器， 一个或多个存储介质存储有处理器可执行 的机器可执行指令， 当电子设备运 行时， 处理器执行所述机器可 执行指令， 以执 行权利要求1 ‑10中任意 一项所述的方法步骤。 13.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有机器可执 行指令， 所述机器可 执行指令被执 行时实现权利要求1 ‑10中任意 一项所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 115546578 A 3