(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210649810.4 (22)申请日 2022.06.08 (65)同一申请的已公布的文献号 申请公布号 CN 114724043 A (43)申请公布日 2022.07.08 (73)专利权人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 街道孝陵卫 街200号 (72)发明人 练智超　李竞择　李敏　 (74)专利代理 机构 南京智转慧移知识产权代理 有限公司 32649 专利代理师 田沛沛 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/30(2022.01)G06V 10/74(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114239712 A,202 2.03.25 CN 114330572 A,202 2.04.12 US 2022/0114733 A1,202 2.04.14 CN 112101426 A,2020.12.18 审查员 狄希 (54)发明名称 基于对比学习的自编码器异常检测方法 (57)摘要 本发明公开一种基于对比学习的自编码器 异常检测方法， 首先对输入的正 常样本进行编码 特征提取； 构建并更新特征存储模块； 通过多尺 度噪声和纹理数据集添加异常扰动， 生成异常样 本； 对异常样本数据进行多组增强操作， 并与正 常样本结合， 制作出对比学习框架所需的负样本 对； 通过自编码器对异常样本重构， 根据对比损 失计算图像重构前后误差； 在检测阶段， 获得与 训练数据相似的重构； 通过评估系统确定输入数 据是否含有异常并定位， 得到最终的异常检测结 果。 本发明利用对比学习的特点， 通过异常嵌入 模块和自编码器来构建合理的正负样本对， 同 时， 特征存储模块使 得检测过程中更好地重构正 常样本并抑制异常数据重构， 有效提高了异常检 测的效果。 权利要求书2页 说明书6页 附图2页 CN 114724043 B 2022.09.02 CN 114724043 B 1.一种基于对比学习的自编码器异常检测方法， 其特 征在于， 包括以下步骤： 步骤1： 对输入的正常样本进行编码特 征提取， 降维后得到代 表性特征； 步骤2： 构建特 征存储模块， 并利用正常样本的代 表性特征更新特征存储模块； 步骤3： 通过多尺度噪声和纹 理数据集添加异常扰动， 模拟生成异常样本； 利用随机噪音生成器获得多尺度二维掩码， 将二维掩码与纹理数据结合， 捕获可能产 生的异常特 征， 具体实现步骤如下： 步骤3.1： 使用噪声发生器生成噪声图像， 以捕获各种形状的异常， 然后通过固定阈值 随机均匀采样 将其二值化为异常掩码图像 Ma； 步骤3.2： 调整纹 理数据集的尺寸， 并与异常掩码图像 Ma结合， 得到异常区域； 步骤3.3： 对步骤3.1 获得的异常掩码图像 Ma取反， 得到 ， 便于后续的异常嵌入； 步骤4： 对步骤3中获得的异常区域进行多组增强操作， 并与正常样本结合， 制作出对比 学习框架所需的负 样本对； 步骤5： 通过自编码器对异常样本 重构， 根据对比损失计算图像重构前后误差； 步骤6： 在检测阶段， 将输入样本的编码特征与特征存储模块中的特征进行融合， 获得 与训练数据相似的重构； 步骤7： 通过评估系统确定输入数据是否含有异常， 若有异常则进行像素级定位， 得到 最终的异常检测结果。 2.根据权利要求1所述的基于对比学习的自编码器异常检测方法， 其特征在于： 步骤1 中， 首先定义 x属于原始数据样本的域， 定义 z属于数据编 码的域， 采用编码 器将输入样本转 换为编码表示， 公式如下： 其中，x表示输入样本， θe表示编码器的参数， fe表示对输入样本进行编码， z为样本的编 码表示。 3.根据权利要求1所述的基于对比学习的自编码器异常检测方法， 其特征在于： 步骤2 中， 设置特征存储器为矩阵 M∈RN×C，RN×C表示包含 N个固定维数 C的实值向量， 设置 C与编码 得到的数据维数相同。 4.根据权利要求1所述的基于对比学习的自编码器异常检测方法， 其特征在于： 步骤 3.2中， 纹 理数据集按如下公式与异常掩码图像 Ma结合： 其中， 是元素相乘运算， IA表示纹理数据 A结合异常掩码后得到的待嵌入异常图像， λ 是嵌入异常的不透明度参数， 该参数从一个区间均匀采样， λ∈[0.1,1.0]。 5.根据权利要求1所述的基于对比学习的自编码器异常检测方法， 其特征在于： 步骤4 中的具体实现步骤为： 步骤4.1： 对步骤3中的待嵌入异常掩码图像做随机增强； 步骤4.2： 将结合异常掩码的纹理图像 IA与原始正 常数据I进行混合， 形成超出分布的异 常， 将嵌入异常后的图像 P定义为； 从而生成包含原始正常图像 I、 包含嵌入异常后的图像 P和异常掩码图像 Ma的训练样权　利　要　求　书 1/2 页 2 CN 114724043 B 2本。 6.根据权利要求1所述的基于对比学习的自编码器异常检测方法， 其特征在于： 步骤5 中， 采用基于U ‑Net的编码 器‑解码器网络重建嵌入异常的区域， 对步骤1编码降维后的特征 进行解码， 通过对比损失减少重构前后误差 。 7.根据权利要求6所述的基于对比学习的自编码器异常检测方法， 其特征在于： 联合对 比损失和结构相似指数损失， 定义训练过程中的对比学习框架如下， 以增加 正常和异常样 本重建之间的差异： 其中，sim(A,B) 表示一对图像之间的结构化相似度指数， D表示两张图像之间的距离， exp表示以自然常数e为底的指数函数， α和β表示对比学习框架 中不同重构样本所占权重， yi， yj表示嵌入异常后的图像， xi， xj表示yi， yj经过编码器重构后的图像， x表示步骤1的输入 样本，i和j用于区分不同的异常样本， 表示图像的编号， 总损失表示如下： 其中，L表示总损 失，LC表示对比损 失，L2表示逐像素损 失，λC和λL为不同损 失的权重表 示。 8.根据权利要求1所述的基于对比学习的自编码器异常检测方法， 其特征在于： 步骤6 中， 将特征存储模块定义为一个内容可寻址的内存， 使用寻址方案， 根据内存项和输入样本 x的编码表示的相似性来选择特征， 检索与其编码最相似的记忆项； 在测试阶段， 使用训练 好的特征存储模块， 由于其中仅包含正常样本特征， 因此， 正常数据输入可以很好地重建， 而异常输入的编码 将与被检索到的正常特 征融合， 从而导 致异常具有较大重构误差 。 9.根据权利要求1所述的基于对比学习的自编码器异常检测方法， 其特征在于： 步骤7 中， 通过改变像素去除时的分割 粒度来调整模型对正常样本和异常样本的重构能力， 当瑕 疵处于遮挡位置时可以有效抑制异常样本重构， 在推理过程中， 对单个图像进 行掩码， 然后 输出每个掩码处图像的重构差值 Gi的最大值： 其中，x为输入样本 的图像，rec_x为最终重建图像， max表示求出图像不 同区域重构误 差的最大值， 通过固定阈值和分数 score(x， rec_x)来判定一个图像是否包含异常， 实现最 终的检测功能。权　利　要　求　书 2/2 页 3 CN 114724043 B 3