(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211060592.7 (22)申请日 2022.08.30 (71)申请人 吉林工商学院 地址 130000 吉林省长 春市九台经济开发 区卡伦湖大街16 66号 (72)发明人 李艳荻　 (74)专利代理 机构 成都时誉知识产权代理事务 所(普通合伙) 5125 0 专利代理师 李双 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/77(2022.01) G06V 10/762(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于栈式自编码器的跨视角行为识别 方法 (57)摘要 本发明公开了一种基于栈式自编码器的跨 视角行为识别方法， 包括如下过程： 分别对源视 角下的行为数据和目标视角下的行为数据进行 处理， 分别形成源视角下的行为数据的视觉词袋 表征和目标视角下的行为数据的视觉词袋表征； 来自不同域下单词之间的关联度作为连接权值 构建二分图， 根据二分图并利用协同聚类算法得 到跨视角对齐表征； 基于堆栈式自编码器的跨域 特征整合， 采用半监督域适应方法分别为源视角 下的行为数据的样本和目标视角下的行为数据 的样本各设计一路栈式混合自编码器， 将训练完 成的栈式自编码器的输出值作为跨视角行为表 征； 将测试样本输入到已经训练好的栈式自编码 网络结构中， 通过SVM分类器对跨视角行为表征 进行分类， 得到识别结果。 权利要求书3页 说明书7页 附图1页 CN 115457655 A 2022.12.09 CN 115457655 A 1.一种基于栈式自编码器的跨视角行为识别方法， 其特 征在于， 包括如下 过程： 分别对源视角下的行为数据和目标视角下的行为数据进行处理， 在预处理阶段选择 iDTs作为行为表征， 然后利用PCA做降维处理， 并通过聚类 分别形成源视角下的行为数据的 视觉词袋表征 和目标视角下的行为数据的视觉词袋表征 分别以源视角下的行为数据的视觉词袋表征和目标视觉下的行为数据的视觉词袋表 征作为顶点， 通过计算分别来自 和 中的任意两个单词之间 的相似度 来构建关联 度矩阵Γ， 在得到视觉词袋中任意两个单词的关联之后， 建立二分图G＝{S,E,W}， 根据二分 图＝{S,E,W}， 并利用协同聚类算法得到跨视角对齐表征； 基于堆栈式自编码器的跨域特征整合， 采用半监督域适应方法分别为源视角下的行为 数据的样本和目标视角下的行为数据的样本各设计一路栈式混合自编 码器， 将得到的跨视 角对齐表征作为两路编码器的共同输出； 预处理环节在输入数据中引入高斯噪声干扰， 通 过依次对每个子编码器通过编码来学习低 维特征， 然后通过解码过程重构数据， 得到训练 完成的栈式自编码器， 将训练完成的栈式自编码器的输出值作为 跨视角行为表征； 用SVM分类器替换最后一个编码器的softmax层， 构建出一个新的网络框架； 利用栈式 自编码器输出的跨视角行为表征来训练基于RBF核的多类SVM分类器， RBF核的多类SVM分类 器参数由六次交叉验证确定； 测试过程将测试样本输入到已经训练好的栈式自编码网络结构中， 得到跨视角行为表 征， 通过SVM分类 器对跨视角行为表征进行分类， 得到识别结果。 2.根据权利要求1所述的一种基于栈式自编码器的跨视角行为识别方法， 其特征在于， 所述的通过计算分别来自 和 中的任意两个单词之间的相似度来构建关联度矩 阵Γ， 包括如下 过程： 式中： Dist( ·)代表 和 之间的欧氏距离； 和 分别为 和 的m邻域特 征集合； σ 为所有邻域内特 征对的匹配距离平均值。 3.根据权利要求1所述的一种基于栈式自编码器的跨视角行为识别方法， 其特征在于， 所述的根据二分图＝{S,E,W}， 并利用协同聚类算法得到跨视角对齐表征， 包括： 对关联度矩阵Γ进行正 规化， 则有： 式中： D1(i,i)＝∑jΓ(i,j)， D2(j,j)＝∑iΓ(i,j)； 对 进行SVD分解， 使用l＝log2k个特征值对应的左奇异值向量U＝(u2,u3,...,ul+1)和权　利　要　求　书 1/3 页 2 CN 115457655 A 2右奇异值向量V＝(v2,v3,...,vl+1)构建大小为 的嵌入矩阵Q： 式中： 矩阵Q的每一行元素代表一个l维行向量， 对应着一个视觉单词的特征向量。 运用 聚类思想对矩阵Q进行k类划分， 得到的聚类中心即为跨视角视觉单词； 从训练样本中随机 选取一个视觉词袋特征对k个聚类中心c1,c2,...,ck进行初始 化， 每个中心特征向量均为一 个l维特征行向量， 经 过迭代处 理来最小化如下代价 函数： 当得到映射C＝[c1,c2,...,ck]T后， 来自任 一视角下的关键帧样本 可以被映射到新的公 共特征空间， 即可 得到跨视角行为表征。 4.根据权利要求1所述的一种基于栈式自编码器的跨视角行为识别方法， 其特征在于， 所述的采用半监督域适应方法分别为源视角下的行为数据的样本和目标视角下的行为数 据的样本各设计一路栈式混合自编码器， 包括： 每一路栈式自编码器包含多层浅层自编码 器， 每一层浅层自编码器均由降噪自编码器和稀疏自编码器级联构成， 每一层的浅层自编 码器先在本层的结构中进 行编码、 解码， 将解码出来的特征输入到下一层浅层自编码 器， 多 个浅层自编码器训练结束后， 再将它 们合为一体， 级联成一个栈式自编码器。 5.根据权利要求1所述的一种基于栈式自编码器的跨视角行为识别方法， 其特征在于， 所述的预 处理环节在输入数据中引入高斯噪声干扰， 通过依次对每个子编 码器通过编 码来 学习低维特 征， 然后通过解码过程重构数据， 得到训练完成的栈式自编码器， 包括： 对第一层的浅层自编码器中降噪自编码器进行训练， 去除第 一层的浅层自编码器的解 码层， 留下从输入层到隐藏层的编码阶段， 将第一层的浅层自编码器的隐藏层的输出作为 第二层的浅层自编 码器中的稀疏自编 码器的输入数据， 训练完 毕后去除第二层的浅层自编 码器的解码层， 直到完成所有浅层自编码器的训练， 将逐层训练好的去降噪编码器和稀疏 编码器级联起来， 得到栈式自编 码器， 通过反向传播对栈式 自编码器的参数进 行整体微调， 完成栈式自编码器的训练。 6.根据权利要求5所述的一种基于栈式自编码器的跨视角行为识别方法， 其特征在于， 所述的通过反向传播对栈式自编码器的参数进行整体微调， 完成栈式自编码器的训练， 包 括如下过程： 特征数据输入到级联完成的栈式自编码器中， 然后从输入层逐层非线性地映射到输出 层， 若在输出层和期望值相差较大， 通过实际输出值和期望之间的差值建立重构函数J， 逐 层求出重构函数对各神经元权值向量和偏置的偏导数， 作为更新依据， 最后再利用更新的 权值和偏置重新计算， 不停 地迭代， 直至整体的重构函数达到最小化时， 完成栈式 自编码器 的训练。 7.根据权利要求6所述的一种基于栈式自编码器的跨视角行为识别方法， 其特征在于， 所述的通过实际输出值和期望之间的差值建立重构函数J为：权　利　要　求　书 2/3 页 3 CN 115457655 A 3