(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210742299.2 (22)申请日 2022.06.27 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区八一路 299号 (72)发明人 张洪艳　林漫晖　杨光义　张良培　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/10(2022.01) G06V 20/13(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于视频理解和时空解耦的高分辨率遥感 影像变化检测方法 (57)摘要 本发明涉及一种基于视频理解和时空解耦 的高分辨率遥感影像变化检测方法。 本发明针对 双时相高分辨率遥感影像对空间、 时间维度构造 不平衡的特点， 采用时序线性插值策略构建伪视 频帧序列， 扩展时间维度， 使得使用视频理解算 法处理变化检测任务成为可能。 本发 明结合变化 检测任务侧重时空信息的特点， 提出一种时空解 耦的编码器设计方案， 使网络一次只关注问题的 一个维度， 从而缓解解码器的负担， 提升检测 效 果。 同时， 为了促进时空编码器间的信息交流， 本 发明提出时序聚合模块， 将其设置在空间编码器 到时间编码器的边路连接中， 提升时空特征的契 合度。 此外， 本发明使用深度监督技术， 改善深层 模型收敛速度， 解决模型中间层特征有效性不足 的问题。 权利要求书2页 说明书7页 附图2页 CN 115147760 A 2022.10.04 CN 115147760 A 1.基于视频理解和时空解耦的高分辨率遥感影像变化检测算法， 其特征在于， 包括以 下步骤： 步骤1， 根据输入的双时相遥感影像对， 通过时序插值策略， 得到伪视频帧序列， 伪视频 帧序列中的每一幅影 像均与原始图像具有相同的空间尺寸和数值范围； 步骤2， 构建时间编码器与空间编码器， 时间编码器接收伪视频帧序列作为输入， 首先 执行下采样操作， 然后通过级联 的三维卷积层提取特征， 空间编码器接 收原始双时相 遥感 影像对作为输入， 使用二 维卷积层提取特征， 在两个编 码器间设置单向的边路连接， 使用时 序聚合模块(temporal  aggregation  module,TAM)处理从时间编码器传递到空间编码器的 特征； 步骤3， 构建渐进式解码器， 将空间编码器各个层级模块的输出与解码器 中各个层级模 块的输入相连接， 解码器最后的卷积层输出 单通道变化 概率图； 步骤4， 在时间编码器末端添加额外的卷积层， 并对其输出施加深度监督， 构建联合损 失函数， 使用梯度下降法对整个网络进行权重参数的优化， 直到损失收敛； 其中， 时间编码 器末端的卷积层仅在模型训练阶段提供额外输出， 在模型推理阶段， 仍使用解码器最后的 卷积层输出的单通道变化 概率图作为网络最终输出。 2.如权利要求1所述的基于视频理解和时空解耦的高分辨率遥感影像变化检测算法， 其特征在于： 步骤1中， 假设第一时相原始影像为I1， 第二时相原始影像为I2， 视频共包含N 帧， 则对第n帧影 像Fn的插值公式为： 3.如权利要求1所述的基于视频理解和时空解耦的高分辨率遥感影像变化检测算法， 其特征在于： 步骤2中， 空间编码器的输入为： Xs＝concat(I1,I2)          (2) 其中， 第一 时相原始影像为I1， 第二时相原始影像为I2， concat()表示通道维度的拼接 操作， 空间编码器的基本组成模块为空间模块S ‑Block， S ‑Block又分为S ‑Block I与S‑ Block II两种类型； 两种类型的空间模块的起始部 分均包含两个级 联的卷积层以及 对应的 BN层和ReLU激活函数， 而末尾部分均为一个最大池化层； 相比S ‑BlockI， S ‑BlockII具有一 个额外的卷积层以及对应的BN层和ReLU激活函数， 也因此具有更强的特征提取和拟合能 力， 在第一个ReLU激活函数的输出和最后一个归一化层的输出之间添加有残差连接； 两个 S‑Block I和一个S ‑Block II依次连接构成空间编码器。 4.如权利要求1所述的基于视频理解和时空解耦的高分辨率遥感影像变化检测算法， 其特征在于： 时间编码器的输入为： Xt＝stack(F0,F1,F2,...,FN‑1)         (3) 其中， stack()表示在新的维度叠加影像的操作， 时间编码 器的基本组成模块为时间模 块T‑Block； T‑Block首先使用一个1 ×1×1卷积层减少输入特征的通道数； 然后将特征送入 一个3×3×3卷积层进行处理， 以实现对空间上下文的编 码和对变化信息的充分挖掘； 最后 再次使用一个1 ×1×1卷积层增加特征通道数， 提高模型容量； 在每个卷积层之后增加BN 层， 在第一个和第二个BN层之后增加ReLU激活函数， 此外， 为了缓解梯度消失问题、 提升模 块的收敛性能， 在T ‑Block的输入和输出之间增加 了残差连接， 残差支路使用1 ×1×1卷积权　利　要　求　书 1/2 页 2 CN 115147760 A 2层和BN层匹配特征通道数； 在时间编码器的第一个T ‑Block前添加一个由卷积层、 BN层以及 ReLU激活函数串 联组成的降采样模块， 卷积核的大小被 设置为3×9×9， 步长被 设置为1×4 ×4， 经过降采样模块后， 输入视频帧序列的空间分辨率将 被降低4倍， 这可以降低时间编码 器对空间信息的关注程序， 实现显式时空解耦。 5.如权利要求1所述的基于视频理解和时空解耦的高分辨率遥感影像变化检测算法， 其特征在于： 时序聚合模块TAM首先对时间编码器的某一层级输出 的特征进行时间维度的 全局最大池化与全局平均池化， 以得到对T ‑Block提取特征中所蕴含的时序变化信息的高 效表示； 接着， 将 两种池化结果在通道维度上拼接， 得到聚合特征； 最后， 使用卷积核 大小为 1×1的卷积层以及一个批归一化层和ReLU激活函数对聚合特征进 行点对点变换， 得到最 终 输出。 6.如权利要求3所述的基于视频理解和时空解耦的高分辨率遥感影像变化检测算法， 其特征在于： 在步骤3中， 渐进式解码器串联了一个卷积层和数个解码模块D ‑Block， D ‑ Block的总数比空间编码器中S ‑Block的数量多一个； D ‑Block接收两个输入， 分别是上一个 D‑Block的输出以及处于同一层级的S ‑Block的输出， 首先对上级解码特征进行上采样， 然 后将上采样结果和同级编码特征在通道维度上拼接， 最后使用两个卷积层进行特征融合， 在每个卷积层之后增加BN层和ReLU激活函数， 在两个卷积层间添加残差连接以缓解梯度消 失问题。 7.如权利要求1所述的基于视频理解和时空解耦的高分辨率遥感影像变化检测算法， 其特征在于： 在步骤4中， 通过最小化联合损失函数来进行训练整个变化检测网络， 联合损 失函数可表示为： L＝l(Pfinal,R)+λl(Pinter,R)        (4) 其中l表示对每个输出 ‑真值标签对所使用的具体损失函数， Pfinal和Pinter分别表示模型 最终输出和旁路输出 的变化概率图， 其中模型最终输出即解码器输出， 旁路输出即时间编 码器输出， R表示真值变化标签， 而 λ则是辅助损失的权重系数， 选取类别均衡交叉熵损失作 为具体的损失类型： 其中， H和 W分别表示图像的高和宽， i和j分别表示图像的第i行和第j列， wc和wu则分别 为变化类与不变 类的类别权 重系数， 使用Adam优化器调整梯度， 最小化损失函数。 8.如权利要求3所述的基于视频理解和时空解耦的高分辨率遥感影像变化检测算法， 其特征在于： 空间编码器中共包含3个S ‑Block， 分别设置三个S ‑Block的输出通道数为32、 64和128。 9.如权利要求4所述的基于视频理解和时空解耦的高分辨率遥感影像变化检测算法， 其特征在于： 时间编码器包含1个降采样模块和4个T ‑Block， 下采样模块的输出通道数设置 为64； 对于4个T ‑Block， 分别将输出通道数设置为25 6、 256、 512和512。权　利　要　求　书 2/2 页 3 CN 115147760 A 3