(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210545574.1 (22)申请日 2022.05.19 (71)申请人 中国海洋大学 地址 266100 山东省青岛市崂山区松岭路 238号 (72)发明人 聂婕　韦志国　王京禹　叶敏　 杨启成　陈昊　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 赵梅 (51)Int.Cl. G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 双分支源与目标定位复制移动检测网络及 方法 (57)摘要 本发明属于图像处理技术领域， 公开了双分 支源与目标定位复制移动检测网络及方法， 该网 络包括操纵检测分支和相似性检测分支， 操纵检 测分支包括操纵检测主干和边缘辅助分支， 相似 性检测分支包括VGG16编码器的前三个块、 空洞 卷积层、 相似性匹配模块、 ASPP多尺度模块和掩 膜解码器； 通过操纵检测分支的操纵检测主干提 取图像信息表征， 并生成篡改区域掩膜； 经过操 纵检测分支的边缘辅助分支优化边缘； 通过相似 性检测分支的相似性匹配模块对第三层的输出 和空洞卷积层的输 出进行自相关匹配， 经过ASPP 多尺度模块提取多尺度相关信息， 生成相似区域 掩膜； 最后篡改区域掩膜和相似区域掩膜融合。 通过本发明提高检测效果。 权利要求书3页 说明书8页 附图1页 CN 114972857 A 2022.08.30 CN 114972857 A 1.双分支源与目标定位复制移动检测网络， 包括操纵检测分支和相似性检测分支， 其 特征在于， 所述操纵检测分支包括操纵检测主干和边缘辅助分支， 所述操纵检测主干包括 VGG16编码 器的前四个块和掩膜 解码器， 操纵检测分支采用VGG16编码 器的前四个块提取特 征， 所述边缘辅助分支包括位于VGG16编码器的前三个块之后的Sobel模块和卷积层， 用于 加强操纵检测分支对篡改内容的边界伪影的学习效果， 提高对边界伪影的判别能力； 所述 的VGG16编码 器的前三个块提取前三层的浅层边缘信息， 每层的输出经过Sobel模块提取边 缘信息， 后一层的输入叠加前一层的所有边缘信息， 所述边缘辅助分支的输出只用于边缘 优化， 不参与掩膜生成， 所述操纵检测主干生成篡改区域掩膜； 所述相似性检测分支包括VGG16编码器的前三个块、 空洞卷积层、 相似性匹配模块、 ASPP多尺度模块、 和掩膜解码器， 相似性检测分支采用VGG16编码器的前三个块提取特征， 第三层的输出输入空洞卷积层， 第三层的输出和空洞卷积层的输出经过相似性匹配模块进 行自相关匹配， 计算各个像素之间的相似度； 所述相似性匹配模块包括结合归一化相关系 数的自相关匹配和最近邻匹配两部 分， 相似性匹配模块输出的相关图经过ASPP多尺度模块 捕获多尺度相关信息， 所述AS PP模块的输出输入 掩膜解码器， 生成相似区域掩膜； 所述操纵检测分支的输出与相似性检测分支的输出融合并分类、 输出 预测结果。 2.根据权利要求1所述的双 分支源与目标定位复制移动检测网络， 其特征在于， 所述操 纵检测分支提取的第一层边缘特征E1只使用Sobel模块加强边缘特征学习， 不进行任何采 样操作， 提取的第二层边缘特征E2和第三层特征E3均使用Sobel模块提取边缘特征， 在每次 Sobel计算后加入 卷积核为 1×1的标准卷积模块， 第一层输出分辨率保持不变， 第二层和第 三层使用采样因子为2和4的上采样操作将第二层和第三层的输出与第一层输出大小对齐， 最后将前三层的输出 特征图通过 逐元素相加的形式 融合， 输出边 缘特征图。 3.根据权利要求1所述的双 分支源与目标定位复制移动检测网络， 其特征在于， 所述相 似性检测分支的VGG16编码器的第三层的输出和空洞卷积层的输出先经过标准化处理， 得 到标准化的特征F3和F4， 对标准化的特征进行自相关匹配， 得到一个相似得分矩阵Fcorr: 其中， 表示F的标准 化， 大小均为H ×W； 对Fcorr作归一化相关系数， 用于进一步判别Fcorr中第i行， j列像素补丁之间的像素依 赖， 最后对归一化后的结果Fn进行得分排序， 去除排名为1的得分矩阵， 取得分排名1到T的 得分矩阵St： St＝Top_T(Sor t(Fn)， T) 其中， Sort()是降序排序函数， Top_T( ·)表示取top‑t值的函数， T为设定的参数， 表示 取排名前T的Fn。 4.根据权利要求3所述的双 分支源与目标定位复制移动检测网络， 其特征在于， 在进行 自相关匹配时， 具体方法如下： 使用归一化相关系数对行列像素进一步匹配过滤， 用于进一步判别相关得分图F中第i 行， j列像素补丁之间的像素依赖Fn： 权　利　要　求　书 1/3 页 2 CN 114972857 A 2Fn＝Frow(i， j)Fcol(i， j) 其中， H×W表示得分矩阵的高和宽， θ为可训练参数， 适当的可以让相似的像素得分接 近1， 反之则接近0； i ′∈[1， H×W]表示Fcorr中任意列， j ′∈[1， H×W]表示Fcorr中任意行元素， Fcorr[i， j]表示相似得分矩阵Fcorr第i行， j列的元素， Fcorr[i， j′]表示Fcorr中任意列的得分 元素， 共H×W列， Fcorr[i′， j]表示Fcorr中任意行的得分元素， 共H ×W行， Frow(i， j)表示对行像 素作匹配， Fcol(i， j)表示对列像素作匹配； 最近邻匹配的方法如下： 首先， 计算特 征点Gk与其他特征点之间的负相关系数 公式如下： 其中， [ ]代表一个矩阵， k和k ′表示特征点Gk和Gk′的位置， C表示输入特征通道数， N ×N 表示特征图大小， 即一张特征图中特征点的数量； gi， C表示第C通道中第i个特征点， || gk， 1‑ g1， 1||2表示第1通道中第k个特 征点与第1个特 征点的欧氏距离； 然后， 对负相关系数作升序排列： 表示自身之间的相关性， 不作为选择； 和 分别表示第二相似和第三相似， 当 时， 说明Gk是Gk′候选的匹配像素， 结果生成最近邻匹配特征图Gcorr∈RC ×N×N； Tl为阈值； 随后， 使用特 征匹配度衡量Gk和候选像素之间的相似性： 其中， G(X)类似于sigmoid函数， 用于伪造二分类， 当 接近0时， 特征匹配度 G(Xk， k′) 趋向1， 接近1时则令γ＝2使得G(Xk， k′)趋向0； 最后， 使用G(Xk， k′)填充最近邻匹配特 征图Gcorr得到由0‑1组成的相似性得分矩阵Gt。 5.根据权利要求1所述的双 分支源与目标定位复制移动检测网络， 其特征在于， 所述网 络在模型训练时， 采用端到端的训练， 损失函数如下： L总＝Ldice+Lce    (1) 损失函数L总包括边缘损失Ldice和交叉熵损失Lce， 边缘损失Ldice源于二分类， 作为平衡边 缘检测任务的损失， 防止边 缘像素被非边 缘像素所掩盖：权　利　要　求　书 2/3 页 3 CN 114972857 A 3