(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210958643.1 (22)申请日 2022.08.11 (65)同一申请的已公布的文献号 申请公布号 CN 115098732 A (43)申请公布日 2022.09.23 (73)专利权人 腾讯科技 （深圳） 有限公司 地址 518044 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 郭卉　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 朱佳 (51)Int.Cl. G06F 16/783(2019.01) G06F 16/583(2019.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 40/16(2022.01) (56)对比文件 US 11048919 B1,2021.0 6.29 CN 114783043 A,202 2.07.22 CN 108509896 A,2018.09.07 CN 114282059 A,202 2.04.05 CN 111797652 A,2020.10.20 审查员 谢宜瑾 (54)发明名称 数据处理方法及相关装置 (57)摘要 本申请涉及图像处理技术领域， 提供一种数 据处理方法及相关装置， 用以提高图像检索准确 率， 该方法包括： 基于指定的检测对象类型， 分别 对参考视频中包含的多个参考视频帧进行面部 检测， 确定多个参考视频帧各自包含的至少一个 面部图像及相应的面部特征； 基于检测对象类 型， 分别对多个参考视频帧进行肢体检测， 确定 多个参考视频帧各自包含的至少一个肢体图像 及相应的肢体特征； 基于确定的各面部图像与各 肢体图像， 获得参考视频对应的至少一个参考移 动轨迹， 并基于获得的各参考移动轨迹， 得到图 像检索结果， 其中， 每个参考移动轨迹中包含一 个检测对象的多个肢体特 征和多个面部特 征。 权利要求书4页 说明书21页 附图13页 CN 115098732 B 2022.11.11 CN 115098732 B 1.一种数据处 理方法， 其特 征在于， 所述方法包括： 基于指定的检测对象类型， 分别对参考视频中包含的多个参考视频帧进行面部检测， 确定所述多个参 考视频帧各自包 含的至少一个面部图像及相应的面部特 征； 基于所述检测对象类型， 分别对所述多个参考视频帧进行肢体检测， 确定所述多个参 考视频帧各自包 含的至少一个肢体图像及相应的肢体特 征； 基于确定的各面部图像与 各肢体图像， 获得所述参考视频对应的至少一个参考移动轨 迹， 每个参考移动轨 迹中包含一个检测对象的多个肢体特 征和多个面部特 征； 基于获得的各参考移动轨迹， 以及基于各待处理视频各自对应的候选移动轨迹， 从所 述各待处 理视频中， 确定目标视频； 其中， 所述确定相应的面部特 征， 包括： 将所述多个参考视频帧各自包含的至少一个面部图像， 分别输入至已训练的目标面部 特征提取模型中， 得到相应的面部特征， 其中， 所述目标面部特征提取模型是通过迭代训练 得到的， 每次迭代过程中， 执 行以下操作： 基于样本数据集中包含的各相似样本组， 以及预设批次数据处理量， 构建各批次各自 对应的训练数据集， 每个训练数据中包含至少三个样本， 所述至少三个样本中的一个样本 对应的相似样本组， 与其 他样本对应的相似样本组不同； 将构建的各训练子集合， 分批次输入至初始面部特征提取模型， 得到相应的模型总损 失， 并基于得到的模 型总损失， 对所述初始面部特征提取模型进 行调整， 以及在确定满足预 设收敛条件时， 输出目标面部特 征提取模型； 其中， 所述基于样本数据集中包含的各相似样本组， 以及预设批次数据处理量， 构建各 批次各自对应的训练数据集， 包括： 基于预设批次数据处理量， 从样本数据集中包含的各相似样本组中， 抽取出各批次各 自对应的相似样本对； 针对每个相似样本对， 分别执 行以下操作： 将一个相似样本对中包含的一个样本作为参考样本， 并分别从其他相似样本对中， 抽 取出对应的一个其他样本， 以及计算抽取出的各其他样本 分别与所述参考样本之 间的第二 样本相似度； 基于计算出的第 二样本相似度， 从所述各其他样本 中， 确定出至少一个目标样本， 并基 于所述至少一个目标样本和所述 一个相似样本对， 得到 至少一个训练数据。 2.如权利要求1所述的方法， 其特征在于， 所述基于确定的各面部 图像与各肢体图像， 获得所述参考视频对应的至少一个参 考移动轨 迹， 包括： 基于确定的各面部图像与 各肢体图像， 确定所述各面部图像与 所述各肢体图像之间的 面部肢体关联关系； 基于所述面部肢体关联关系， 以及基于所述各肢体图像各自对应的肢体特征之间的第 一相似度， 获得 所述参考视频对应的至少一个参 考移动轨 迹。 3.如权利要求2所述的方法， 其特征在于， 所述基于确定的各面部 图像与各肢体图像， 确定所述各面部图像与所述各肢体图像之间的面部肢体关联关系， 包括： 针对所述多个参 考视频帧中的每 个参考视频帧， 分别执 行以下操作： 计算一个参考视频帧中包含的至少一个肢体图像， 分别与所述一个参考视频帧中包含权　利　要　求　书 1/4 页 2 CN 115098732 B 2的至少一个面部图像之间的图像重合 面积； 将所述至少一个肢体图像和所述至少一个面部图像中， 对应的图像重合面积不小于预 设重合面积阈值的面部图像与肢体图像进行关联。 4.如权利要求2所述的方法， 其特征在于， 所述基于所述面部肢体关联关系， 以及基于 所述各肢体图像各自对应的肢体特征之 间的第一相似度， 获得所述参考视频对应的至少一 个参考移动轨 迹， 包括： 计算所述各肢体图像各自对应的肢体特征之间的第 一相似度， 并基于计算出的各第 一 相似度， 确定所述 参考视频对应的前后帧肢体关联关系； 基于所述面部肢体关联关系和所述前后帧肢体关联关系， 获得所述参考视频对应的至 少一个参 考移动轨 迹。 5.如权利要求4所述的方法， 其特征在于， 所述计算所述各肢体图像各自对应的肢体特 征之间的第一相似度， 并基于计算出 的各第一相似度， 确定所述参考视频对应的前后帧肢 体关联关系， 包括： 针对所述多个参 考视频帧， 按照视频播 放顺序， 依次执 行以下操作： 获取各肢体图像组， 每个肢体图像组中包含： 当前参考视频帧中的第一肢体图像和下 一个参考视频帧中的第二肢体图像； 计算所述各肢体图像组各自对应的第 一相似度， 每个第 一相似度用于表征对应的第 一 肢体图像和第二肢体图像之间的相似度； 从所述各肢体图像组中， 筛选出对应的第 一相似度不小于第 一相似度阈值的目标肢体 图像组， 并基于 筛选出的各目标肢体图像组， 得到所述前后帧肢体关联关系。 6.如权利要求2所述的方法， 其特征在于， 所述基于确定的各面部 图像与各肢体图像， 获得所述参考视频对应的至少一个参 考移动轨 迹之后， 还 包括： 若存在多个参考移动轨迹， 则确定所述多个参考移动轨迹各自包含的多个面部体征之 间的第二相似度； 基于确定的各第二相似度， 得到所述多个参 考移动轨 迹之间的轨 迹关联关系。 7.如权利要求6所述的方法， 其特征在于， 所述基于确定的各第二相似度， 得到所述多 个参考移动轨 迹之间的轨 迹关联关系， 包括： 针对所述多个参 考移动轨 迹中包含的任意两个参 考移动轨 迹， 执行以下操作： 计算一个参考移动轨迹 中包含的多个面部特征， 分别与另一个参考移动轨迹中包含的 多个面部特征之间的第二相似度， 并从计算出 的各第二相似度中， 筛选出对应取值不小于 预设的第二相似度阈值的目标第二相似度； 当基于筛选出的各目标第 二相似度， 确定所述任意两个参考移动轨迹属于同一检测对 象时， 在所述轨 迹关联关系中， 存 储所述任意两个参 考移动轨 迹之间的关联关系。 8.如权利要求1 ‑7中任一项所述的方法， 其特征在于， 所述基于获得的各参考移动轨 迹， 以及基于各待处理视频各自对应的候选移动轨迹， 从所述各待处理视频中， 确定目标视 频， 包括： 基于所述各参考移动轨迹， 以及基于各待处理视频各自对应的候选移动轨迹， 获得各 候选移动轨 迹与所述各参 考移动轨 迹之间的轨 迹相似度； 基于获得的各轨迹相似度， 确定所述各待处理视频与所述参考视频之间的视频相似权　利　要　求　书 2/4 页 3 CN 115098732 B 3