(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210758532.6 (22)申请日 2022.06.30 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 潘国雄　蔡宁　赵雷　潘华东　 殷俊　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/40(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 动作检测方法和动作检测模型的训练方法 及相关装置 (57)摘要 本申请公开了一种动作检测方法和动作检 测模型的训练方法及相关装置， 其中， 动作检测 方法包括： 对待测图像序列进行特征提取， 得到 待处理特征； 并对模板图像序列的模板特征和待 处理特征进行匹配处理， 得到匹配特征； 再基于 匹配特征进行预测， 确定待测图像序列的动作检 测结果， 动作检测结果包括待测图像序列是否存 在模板图像序列对应的模板动作。 上述方案， 能 够提高动作检测的适用性。 权利要求书2页 说明书14页 附图3页 CN 114998997 A 2022.09.02 CN 114998997 A 1.一种动作检测方法， 其特 征在于， 包括： 对待测图像序列进行 特征提取， 得到待处 理特征； 对模板图像序列的模板特 征和所述待处 理特征进行匹配处 理， 得到匹配特 征； 基于所述匹配特征进行预测， 确定所述待测图像序列的动作检测结果， 所述动作检测 结果包括所述待测图像序列是否存在所述模板图像序列对应的模板动作。 2.根据权利要求1所述的方法， 其特征在于， 所述动作检测结果包括所述待测图像序列 中存在所述模板动作的位置信息和所述 位置信息的置信度。 3.根据权利要求1所述的方法， 其特征在于， 所述对模板图像序列的模板特征和所述待 处理特征进行匹配处 理， 得到匹配特 征， 包括： 利用所述模板特 征和所述待处 理特征进行第一融合处 理， 得到相似度特 征； 以及 利用所述模板特 征和所述待处 理特征进行互相关处 理， 得到互相关特 征； 对所述相似度特 征和互相关特 征进行第二融合处 理， 得到所述匹配特 征。 4.根据权利要求3所述的方法， 其特征在于， 所述利用所述模板特征和所述待处理特征 进行第一融合处 理， 得到相似度特 征， 包括： 对所述模板特 征进行降采样处 理； 对所述降采样处理后的模板特征与 所述待处理特征进行所述第 一融合处理， 得到所述 相似度特 征。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述模板特征进行降采样处理， 包 括： 对所述模板特征分别进行第 一池化处理和第 二池化处理， 对应得到第 一池化特征和第 二池化特 征； 融合所述第一池化特 征和第二池化特 征， 得到所述降采样处 理后的模板特 征。 6.根据权利要求5所述的方法， 其特征在于， 所述模板特征和所述待处理特征、 所述第 一池化特 征、 所述第二池化特 征、 所述降采样处 理后的模板特 征的维度均为预设维度; 所述融合所述第一池化特征和第二池化特征， 得到所述降采样处理后的模板特征， 包 括： 对所述第一池化特征和第 二池化特征进行拼接， 得到维度为所述预设维度的两倍的拼 接特征； 对所述拼接特征进行降维处 理， 得到所述预设维度的所述降采样处 理后的模板特 征。 7.根据权利要求1所述的方法， 其特征在于， 所述对待测图像序列进行特征提取， 得到 待处理特征； 对模板图像序列的模板特征和所述待处理特征进 行匹配处理， 得到匹配特征； 基于所述匹配特 征进行预测， 确定所述待测图像序列的动作检测结果的步骤， 包括： 利用动作检测模型的特 征提取网络对待测图像序列进行 特征提取， 得到待处 理特征； 利用所述动作检测模型的匹配网络对模板图像序列的模板特征和所述待处理特征进 行匹配处 理， 得到匹配特 征； 利用所述动作检测模型的预测网络基于所述匹配特征进行预测， 确定所述待测图像序 列的动作检测结果。 8.根据权利要求7所述的方法， 其特征在于， 所述模板特征是利用所述特征提取网络或 模板特征提取网络对模板图像序列进 行特征提取得到的， 所述模板特征提取网络和所述特权　利　要　求　书 1/2 页 2 CN 114998997 A 2征提取网络的网络结构和参数相同。 9.根据权利要求7所述的方法， 其特征在于， 在所述动作检测模型训练过程中， 所述特 征提取网络包括第一子网络和 第二子网络， 所述第一子网络和所述第二子网络的网络结构 和参数相同， 所述动作检测模型通过如下 方式进行训练： 利用所述第一子网络对样本待测图像序列进行 特征提取， 得到样本待测特 征； 以及 利用第二子网络对样本模板图像序列进行 特征提取， 得到样本模板特 征； 利用所述匹配网络对所述样本模板特征和所述样本待测特征进行匹配处理， 得到样本 匹配特征； 利用所述预测网络基于所述样本匹配特征进行预测， 确定所述样本待测图像序列的样 本动作检测结果； 基于所述样本动作检测结果， 调整所述动作检测模型的网络参数； 其中， 所述动作检测模型训练完成后， 将所述第一子网络和所述第二子网络中的至少 一个作为训练完成后的动作检测模型中的所述特 征提取网络 。 10.一种动作检测模型的训练方法， 其特 征在于， 包括： 利用所述动作检测模型的特征提取网络分别对样本待测图像序列和样本模板图像序 列进行特征提取， 得到所述样本待测图像序列样本待测特征和所述样本模板图像序列的样 本模板特 征； 利用匹配模块对所述样本模板特征和所述样本待测特征进行匹配处理， 得到样本匹配 特征； 利用预测模块基于所述样本匹配特征进行预测， 确定所述样本待测图像序列的样本动 作检测结果； 基于所述样本动作检测结果， 调整所述动作检测模型的网络参数。 11.根据权利要求10所述的方法， 其特征在于， 所述动作检测模型包括特征提取网络， 所述特征提取网络包括第一子网络和 第二子网络， 所述第一子网络和所述第二子网络的网 络结构和参数相同， 所述利用所述动作检测模型的特征提取网络分别对样本待测图像序列 和样本模板图像序列进行特征提取， 得到所述样本待测图像序列样本待测特征和所述样本 模板图像序列的样本模板特 征， 包括： 利用第一子网络对样本待测图像序列进行 特征提取， 得到样本待测特 征； 以及 利用第二子网络对样本模板图像序列进行 特征提取， 得到样本模板特 征； 其中， 所述动作检测模型训练完成后， 将所述第一子网络和所述第二子网络中的至少 一个作为训练完成后的动作检测模型中的所述特 征提取网络 。 12.一种电子设备， 其特征在于， 包括相互耦接的存储器和 处理器， 所述存储器中存储 有程序指 令， 所述处理器用于执行所述程序指 令以实现权利要求 1至9任一项 所述的动作检 测方法或权利要求10 至11任一项所述的动作检测模型的训练方法。 13.一种计算机可读存储介质， 其特征在于， 存储有能够被处理器运行的程序指令， 所 述程序指令用于实现权利要求1至9任一项所述的动作检测方法或权利要求10至11任一项 所述的动作检测模型的训练方法。权　利　要　求　书 2/2 页 3 CN 114998997 A 3