(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210543679.3 (22)申请日 2022.05.18 (71)申请人 中国大唐集团科 学技术研究院有限 公司中南电力试验研究院 地址 450000 河南省郑州市自贸试验区郑 州片区 （郑东） 明理路56号中原金融产 业园13号楼 (72)发明人 焦爽　陈光辉　杨亚飞　袁世通　 李现伟　王宇轩　李帅飞　张明明　 张璜　马仁婷　 (74)专利代理 机构 郑州中鼎万策专利代理事务 所(普通合伙) 41179 专利代理师 林新园 (51)Int.Cl. G06V 20/40(2022.01)G06V 40/16(2022.01) G06V 40/20(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06V 10/32(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于注意力机制的人脸步态特征层融合智 慧楼宇监控系统 (57)摘要 本发明涉及一种基于注意力机制的人脸步 态特征层融合智慧楼宇监控系统， 本发明首先采 集人员的脸部和步态信息， 构建双模态人脸和步 态数据集； 然后， 利用数据集中的人脸和步态样 本训练基于注意力机制的人脸步态特征层融合 算法； 该算法利用空间注意力机制分别对人脸和 步态高阶特征的重点区域设置较大权重， 对非重 点区域设置较小权重， 有效的提高了不同人员的 高阶特征之间的差异性， 不同人员特征之间差异 性越大越容易区分， 进而有效的提高识别率。 该 算法也利用一个判决机制、 通道注 意力机制和相 似性目标函数解决了视频监控中人脸遮挡无法 检测人员信息的问题， 也有效地提高了监控系统 的人员识别率。 权利要求书5页 说明书13页 附图2页 CN 114998781 A 2022.09.02 CN 114998781 A 1.一种基于注意力机制的人脸步态特征层融合智慧楼宇监控系统， 其特征在于， 该监 控系统包括现场层、 通信网络层和监控处 理层； 所述现场层包括设置在楼宇内的图像及音频采集器件， 所述图像及音频采集器件包括 摄像头和音频传感器； 所述通信网络层包括多个光纤交换机， 多个光纤交换机组成光纤环网， 用于把现场层 采集的视频数据汇总后发送到监控处理层， 同时也把监控处理层的反馈信号发送到现场 层； 所述监控处理层包括显示器以及含有基于注意力机制的人脸步态特征层融合算法的 主控模块， 用于处 理人脸和步态信息， 并做出反馈结果； 具体地， 现场层的摄像头实时拍摄视频， 经过光纤环网实时发送到监控处理层的主控 模块； 主控模块首先把视频分成两份， 其中一份视频分帧成图片， 并自动提取脸部区域： 当视频片段中存在脸部区域， 则自动提取脸部区域； 当视频片段中不存在脸部区域， 则以黑色的背景图像代替； 然后人脸 图像的大小被修改为124 ×124×3， 并输入到基于注意力机制的人脸步态特 征层融合 算法的残差网络提取高阶人脸特 征； 对于另一份视频片段， 当视频片段中存在步态信息， 则正常处理， 当视频片段中不存在 步态信息， 则以黑色 的背景图像代替， 然后被修改为640 ×640×3， 并输入到基于注意力机 制的人脸步态特征层融合算法的3D ‑CNN提取高阶步态特征， 然后利用基于注 意力机制的人 脸步态特征层融合 算法实现人员的分类； 此时存在四种情况： 1)当视频中不包 含人脸信息， 也 不包含步态信息， 监控系统无需识别人员信息； 2)当视频中不包含人脸信息， 但包含步态信息， 该算法通过3D ‑CNN、 空间注意力和全连 接实现人员信息的识别； 此外， 该算法利用空间注意力机制对步态高阶特征 的重点区域设 置大的权重， 对非重点区域设置较小的权重， 有效的提高了不同人员的高阶特征之间的差 异性， 进而有效的提高人员的识别率； 3)当视频中包含人脸信息， 但不包含步态信息， 该算法利用残差网络、 空间注意力和全 连接实现人员信息的识别， 并利用空间注意力机制对人脸高阶特征的重点区域设置大的权 重， 对非重点区域设置较小的权重， 有效的提高了不同人员的人脸高阶特征之间的差异 性， 进而有效的提高识别率； 4)当视频中包含人脸信息， 也包含步态信息， 该算法通过利用通道注意力和相似性目 标函数增加了每个人员的步态和人脸模态之间相关性进而提高了识别率； 同时， 空间注意 权重又提高了不同人员高阶特 征之间的差异性， 这 也有效的提高了人员的识别率； 最后， 基于注意力机制的人脸步态特征层融合算法把识别结果发送到主控模块， 主控 模块根据结果发出决策指令， 然后经过光纤环网的光纤交换机发送到现场层的音频传感 器， 来告知被识别的人员。 2.根据权利要求1所述的基于注意力机制的人脸步态特征层融合智慧楼宇监控系统， 其特征在于， 所述基于注意力机制的人脸步态特征层融合算法的残差网络包含K个残差块， 其中每一个残差块包含2个卷积层， 3个ReLU激活函数层， 2个归一化层， 一个加法运算， 一个权　利　要　求　书 1/5 页 2 CN 114998781 A 2池化层； 卷积层实现人脸特征的提取， 对于一个卷积层l∈L， 二维人脸图像数据I(i,j)的卷积 运算公式如下 所示： 其中， Sl,c(i,j)表示二维人脸图像数据； I(i,j)表示经过卷积运算之后第c个通道的结 果； K(m,n)表 示二维卷积核； i,j表示二维图像宽和高的索引； m,n表 示二维卷积核宽和高的 索引； 卷积运算之后输出与输入之间的维度关系被定义 为： 其中， wl和hl表示Sl,c(i,j)的宽和高的维度； wl‑1和hl‑1表示I(i,j)的宽和高 的维度； 和 表示卷积运算中补零的尺寸； 和 表示卷积中的滑动步长； 和 表示K(m,n)的维 度； cl表示通道数； 激活函数层实现特 征的非线性， 其中， 激活函数选择ReLU， 其被定义如下： ReLU(x)＝max(0,x)                       (3) 归一化层通过减去均值和除以方差实现特 征的归一 化， 具体定义 为： 其中， Zbn,l,c[i,j]表示归一化层第c个通道的输出； òl,c为系数， 防止除数为0； μl,c和 Varl,c表示第c个通道的均值和方差， 其被定义如下： 其中， F表示批量大小； 表示第f个样本的卷积输出； 加法运算通过把输入特征和卷积输出特征相加缓解梯度消失问题， 池化层通过下采样 减少特征维度， 该步骤 采用最大值池化；权　利　要　求　书 2/5 页 3 CN 114998781 A 3