(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210625710.8 (22)申请日 2022.06.02 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 宦若虹　舒佳　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于联合注意力机制的传感器数据群体行 为识别方法 (57)摘要 本发明公开了一种基于联合注意力机制的 传感器数据群体行为识别方法， 构建包括数据域 网络和语义域网络的网络模型， 数据域网络对群 体中每个个体的局部位置传感器数据进行处理 得到数据域网络群体行为特征， 再通过一个全 连 接层得到 数据域网络群体行为识别结果， 所述语 义域网络对群体中每个个体的个体行为标签进 行处理得到语义域网络群体行为特征， 再通过一 个全连接层得到语义域网络群体行为识别结果。 损失函数联合数据域网络和语义域网络， 进行联 合训练获得数据域网络的网络参数。 本发明能够 有效抑制群体中非关键行为的干扰， 提高了群体 行为识别准确率和鲁棒 性。 权利要求书2页 说明书10页 附图2页 CN 114926784 A 2022.08.19 CN 114926784 A 1.一种基于联合注意力机制的传感器数据群体行为识别方法， 其特征在于， 所述基于 联合注意力机制的传感器数据群 体行为识别方法， 包括： 步骤1、 构建包括数据域网络和语义域网络的网络模型， 所述数据域网络用于对群体中 每个个体的局部位置传感器数据进行 处理得到数据域网络群体行为特征， 再通过一个全连 接层得到数据域网络群体行为识别结果， 所述语义域网络用于对群体中每个个体的个体行 为标签进 行处理得到语义域网络群体行为特征， 再通过一个全连接层得到语义域网络群体 行为识别结果； 其中， 所述数据域网络用于对群体中每个个体的局部位置传感器数据进行处理得到数 据域网络群 体行为特 征， 包括： 对每个个体， 通过滑动窗口对个体局部位置的传感器采集的连续传感器数据进行分 割， 分割后得到个体局部位置传感器数据， 将个体不同局部位置传感器数据输入到卷积神 经网络， 得到第一特征， 然后将第一特征输入到双向长短期记忆网络， 得到第二特征， 将所 述第一特征与所述第二特征进 行拼接得到个人局部行为特征， 将所有不同个体局部行为特 征进行拼接得到个体行为特征， 并将 个体行为特征通过一个全连接层得到个体行为识别结 果； 基于个体行为特征计算个体行为相关性， 基于个体坐标计算个体位置相关性， 将个体 行为相关性和个体位置相关性融合得到个体交互关系， 将个体行为特征与个体交互关系输 入到数据域图卷积网络， 提取群体交互关系 特征， 并将群体交互关系 特征与个体行为特征 进行拼接， 得到第三特征， 然后 将第三特征输入到注意力模块， 学习得到数据域群体行为特 征； 所述语义域网络用于对群体中每个个体的个体行为标签进行处理得到语义域网络群 体行为特 征， 包括： 将个体行为标签转变为独热编码向量， 将独热编码向量和个体位置相关性输入到语义 域图卷积网络提取语义域特征， 然后将语义域特征输入到注意力模块， 学习得到语义域网 络群体行为特 征； 步骤2、 构建损失函数联合数据域网络和语义域网络， 进行联合训练获得数据域网络的 网络参数； 其中， 所述损失函数公式如下： 其中， L表示联合损失， Lp表示数据域网络个体行为识别分类损失， Lg表示数据域网络群 体行为识别分类损失， LSPA表示数据域网络与语 义域网络之间的欧式距离， LKD表示知识 蒸馏 损失， pi表示个体行为标签， 表示数据域网络个体行为识别结果， gi表示群体行为标签， Pd 表示数据域网络群体行为识别结果， λ1和 λ2是超参数， 表示语义域网络注意力权重， 权　利　要　求　书 1/2 页 2 CN 114926784 A 2表示数据域网络注意力权 重， Ps表示语义 域网络群 体行为识别结果； 步骤3、 采用训练好的数据域网络对待检测群体中每个个体的局部位置传感器数据进 行处理， 预测出待检测群 体对应的群 体行为识别结果。 2.根据权利要求1所述的基于联合注意力机制的传感器数据群体行为识别方法， 其特 征在于， 所述基于个 体行为特 征计算个 体行为相关性， 包括： 以个体行为特 征之间的协方差作为个 体行为相关性度量 值。 3.根据权利要求1所述的基于联合注意力机制的传感器数据群体行为识别方法， 其特 征在于， 所述基于个 体坐标计算个 体位置相关性， 包括： 计算两两个体间的欧式距离， 公式如下： 其中， dij(t)表示个体i和j在t时刻 的欧氏距离， 和 分别表示个体i在t时刻 的坐 标； 将第k个滑动窗口内个 体i和j间欧氏距离的平均值表示 为 通过如下公式计算第k个滑动窗口内个 体i和j间的位置相关性 4.根据权利要求3所述的基于联合注意力机制的传感器数据群体行为识别方法， 其特 征在于， 所述将个 体行为相关性和个 体位置相关性融合得到个 体交互关系， 包括： 个体交互关系值 融合公式如下： 其中， λ为权 重参数， 表示个体行为相关性度量 值。 5.根据权利要求1所述的基于联合注意力机制的传感器数据群体行为识别方法， 其特 征在于， 所述将个体行为特征与个体交互关系输入到数据域图卷积网络， 其中个体行为特 征作为节点， 个 体交互关系作为节点间的边。 6.根据权利要求1所述的基于联合注意力机制的传感器数据群体行为识别方法， 其特 征在于， 所述将独热编码向量和个体位置相关性输入到语义域图卷积网络提取语义域特 征， 其中独热编码向量作为节点， 个 体位置相关性作为节点之间的边。权　利　要　求　书 2/2 页 3 CN 114926784 A 3