(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221075158 8.9 (22)申请日 2022.06.29 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号江苏 大学 申请人 镇江昭远智能科技有限公司 　 南京昭视智能科技有限公司 (72)发明人 成科扬　梁赛　司宇　张海烽　 严浏阳　沈维杰　 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于姿态与样式归一化的换衣行人重识别 方法 (57)摘要 本发明公开了一种基于姿态与样式归一化 的换衣行人重识别方法。 该方法首先引入姿态服 装互换模型， 利用生成对抗网络将身穿不同服装 的同一ID的两张图像进行服装与姿态的互换。 然 后， 通过样式归一化模块对图像进行样式擦除并 利用内容注意力模块对丢失内容中的干扰特征 和有用特征进行提取， 从而保证特征的鲁棒性。 最后， 采用双通道特征融合模型进行行人匹配， 将行人的局部语义特征与全局特征进行融合， 通 过欧氏距离度量， 输出行人的身份信息。 本发明 公开的换衣行人重识别方法能够解决换衣场景 下无法进行 换衣行人识别的问题。 权利要求书2页 说明书6页 附图3页 CN 115100684 A 2022.09.23 CN 115100684 A 1.一种基于姿态与样式归一 化的换衣行 人重识别方法， 其特 征在于， 包括以下步骤： 步骤1.1： 使用姿态编码器与服装外观编码器对目标图库与检索图库中的行人进行姿 态特征与服装外观特 征的提取， 并利用解码器进行交叉重建与自我重建。 步骤1.2： 将生成的行人图像通过归一化模块进行样式擦除， 利用内容注意力机制恢复 因擦除丢失的内容 鉴别性特 征； 步骤1.3： 擦除后的行人特征通过双通道结构将利用姿态估计获取的行人局部特征和 利用主干网络提取的全局特 征进行特征融合； 步骤1.4： 通过欧氏距离度量， 输出 行人的身份信息 。 2.根据权利要求1所述的一种 姿态与样式归一化的换衣行人重识别方法， 其特征在于， 所述步骤1.1中行 人姿态服装互换的方法如下： 步骤2.1： 利用姿态编码器与外观编码器分别 对行人的姿态与服装外观进行特征提取, 其中姿态编码 器是浅层网络， 先经过四个卷积层进 行特征提取， 然后接着四个跳跃连接块， 其中每个卷积层的输入输出通道都为256， 卷积核的大小为3x3， 步幅和填充都为1， 随后进 行组归一化并采用线性整流函数作为激活函数。 在进行姿态编码时先对原始输入图像1 × 256×128进行灰度化操作即通道数设为1， 并经过两个下采样层， 防止外观信息进行干扰， 姿态编码器输出的姿态特征尺寸为128 ×64×32； 服装外观编码器则是利用在ImageNet上 预训练好的ResNet50进行改进， 其中删除了全局平均池化层和完全连接层， 取而代之的是 最大池化层， 输出的服装外观 代码尺寸 为2048×4×1。 步骤2.2： 将解耦出的行人姿态特征与服装外观特征交叉组合， 利用解码器生成同一姿 态不同服装以及同一 服装不同姿态的行 人图像； 步骤2.3： 通过判别器来判断生成的图像是否逼真， 并采用对抗性损失来匹配生成图像 的分布与实际数据分布， 其中对抗约束如下： 其中xi∈Dquery， Dquery＝{xi|i＝1,2,...,n}， Dquery是指query里的目标行人数据集， 其中 n是数据集中的样本数量。 D是判别器， G是生成器， fip, 分别代表xi的姿态特征和xj的服装 外观特征， 其中xj∈Dgallery， Dgallery是指gallery里的行人数据集, fia分别代表xj的姿态 特征和xi的服装外观特 征。 3.根据权利要求2所述的行人姿态服装互换方法， 其特征在于， 步骤2.2中姿态服装特 征交叉生成的方法为： 步骤3.1： 利用姿态编码器和服装外观编码器提取姿态特征和服装外观特征， 在提取姿 态特征时将原始图像转化为灰度图， 使得网络在提取姿态特征时更倾向于空间结构特征， 从而确保提取的姿态特 征不包含其他噪声。 步骤3.2： 将提取到的姿态特征与服装外观特征交叉融合后进行图像生成， 并对生成的 图像进行二次编码， 利用重建损失对解耦出的特 征进行约束， 重建损失如下： 权　利　要　求　书 1/2 页 2 CN 115100684 A 2其中Ep是指姿态编码器， Ea是服装外观编码器， 是对原始图 像xi中的姿态特征fip与生成图像所解耦出的姿态特征进行距离计算， 其中fip＝Ep(xi)， 同理， 是对原始图像xj中的服装外观特征 与生成 图像所解耦出的服装外观特 征进行距离计算。 4.根据权利要求1所述的一种基于姿态与样式归一化的换衣行人重识别方法， 其特征 在于， 所述 步骤1.2中通过归一 化模块进行样式擦除的方法： 步骤4.1： 将生成的一组姿态服装互换 行图像通过实例归一 化操作进行样式擦除； 步骤4.2： 将输入特征与实例归一化后的特征做差， 得到实例归一化过程中擦除掉的剩 余特征； 步骤4.3： 采用通道 注意力机制从剩余特 征中提取内容相关特 征； 步骤4.4： 将内容相关特征与实例归一化后的的特征进行特征融合， 获取不具有样式风 格的行人特征。 5.根据权利要求4所述的通道注意力机制， 其特征在于， 步骤4.3中的基于通道注意力 机制的内容特 征提取方法为： 步骤5.1： 将每个通道的d＝h ×w维特征向量作 为一个特征节点， 从而形成一个具有c个 节点的图Gc， 每个特征节点与其它节点的关系通过嵌入函数映射到亲和矩阵 步骤5.2： 将每一行节点的关系向量表示为 每一列节点的关系向量表示为 将其在空间上进行展平， 然后使用1X1卷积层进 行批量归一化， 通过ReLU激活来 执行映射变换， 从而实现节点关系的嵌入， 并获得通道 注意力α， 其表示 为： α ＝g(Di)＝σ(W2δ(W1 pool(Di))) 其中δ(·)， σ(·)分别表示ReLU激活函数和sigmoid激活函数， Di是指剩余特征， Di＝Fi‑Fi＝Fi‑IN(Fi)， IN是实例归一化操作， Fi是输入的原 始特征， Fi是进行实例归一 化后的特 征。 步骤5.3： 将剩余特征与通道注意力结合从而获得内容相关特征Di+， 将内容相关特征与 实例归一 化特征连接， 从而获取不具有样式风格的鲁棒行 人特征。权　利　要　求　书 2/2 页 3 CN 115100684 A 3