(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210583256.4 (22)申请日 2022.05.26 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 北京邮电大 学新科研楼627室 申请人 华邮数字文化 技术研究院 （厦门） 有 限公司 (72)发明人 陈洪　张舒　黄海　周萍　张惠阳　 陈傲然　朱玥琰　薛俊笙　于华妍　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 罗岚 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/194(2017.01)G06T 5/50(2006.01) G06N 3/04(2006.01) G06V 10/74(2022.01) (54)发明名称 基于深度学习的视频一 致性融合方法 (57)摘要 本申请提出了一种基于深度学习的视频一 致性融合方法， 涉及视频图像融合技术领域， 其 中， 该方法包括： 获取源视频和目标场景视频； 对 源视频进行视频目标分割， 得到视频分割结果； 将视频分割结果与目标场景进行前后景和谐化， 以生成目标视频。 采用上述方案的本申请实现了 不同视频之间的无缝融合。 权利要求书2页 说明书8页 附图3页 CN 115100218 A 2022.09.23 CN 115100218 A 1.一种基于深度学习的视频一 致性融合方法， 其特 征在于， 包括以下步骤： 获取源视频和目标场景视频； 对所述源视频进行视频目标分割， 得到 视频分割结果； 将所述视频分割结果与目标场景进行 前后景和谐化， 以生成目标视频。 2.如权利要求1所述的方法， 其特征在于， 所述对所述源视频进行视频目标分割， 得到 视频分割结果， 包括： 获取当前帧待分割图像、 视频首帧图像以及对应的分割结果标注、 前一帧图像以及对 应的分割结果， 其中， 所述分割结果标注为给定的标注； 将所述当前帧待分割图像、 视频首帧图像、 前一帧图像输入特征提取骨干网络 中， 得到 当前帧向量、 视频 首帧向量及前一帧 向量； 根据所述分割结果标注、 所述分割结果将所述当前帧向量分别与所述视频首帧向量及 所述前一帧 向量进行全局匹配和 局部匹配， 得到距离图谱； 将所述距离图谱输入解码器进行 预测， 得到 视频分割结果。 3.如权利要求1所述的方法， 其特征在于， 所述对所述视频分割结果与 所述目标场景进 行前后景和谐化， 包括： 对所述目标场景视频中的每帧图像进行前后景分离， 得到特征图， 其中， 所述特征图包 括图像对应的前后景的低级特 征信息； 将所述特征图与所述视频分割结果在通道维度连接一起送入编码器进行特征的统一 编码压缩， 之后通过解码器和跳跃 连接恢复原 始图像； 将处理后的每帧图像输出， 生成目标视频。 4.一种基于深度 学习的视频一致性融合装置， 其特征在于， 包括获取模块、 视频目标分 割网络、 前后景和谐化网络， 其中， 所述获取模块， 用于获取源视频和目标场景视频； 所述视频目标分割网络， 用于对所述源视频进行视频目标分割， 得到 视频分割结果； 所述前后景和谐化网络， 用于对所述视频分割结果与所述目标场景进行前后景和谐 化， 生成目标视频。 5.如权利要求3所述的装置， 其特 征在于， 所述视频目标分割网络， 具体用于： 获取当前帧待分割图像、 视频首帧图像以及对应的分割结果标注、 前一帧图像以及对 应的分割结果； 将所述当前帧待分割图像、 视频首帧图像、 前一帧图像输入特征提取骨干网络 中， 得到 当前帧向量、 视频 首帧向量及前一帧 向量； 根据所述分割结果标注、 所述分割结果将所述当前帧向量分别与所述视频首帧向量及 所述前一帧向量进 行全局匹配和局部匹配， 得到距离图谱， 其中， 所述分割结果标注为给定 的标注； 将所述距离图谱输入解码器进行 预测， 得到 视频分割结果。 6.如权利要求3所述的装置， 其特 征在于， 所述前后景和谐化网络， 具体用于： 对所述目标场景视频中的每帧图像进行前后景分离， 得到特征图， 其中， 所述特征图包 括图像对应的前后景的低级特 征信息； 将所述特征图与所述视频分割结果在通道维度连接一起送入编码器进行特征的统一权　利　要　求　书 1/2 页 2 CN 115100218 A 2编码压缩， 之后通过解码器和跳跃 连接恢复原 始图像； 将处理后的每帧图像输出， 生成目标视频。权　利　要　求　书 2/2 页 3 CN 115100218 A 3