(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210565190.6 (22)申请日 2022.05.23 (71)申请人 山东海量信息技 术研究院 地址 250098 山东省济南市高新 技术开发 区国家信息通信国际创新园 申请人 济南大学 (72)发明人 杨晓晖　张昊然　冯志全　曲守宁　 范雪　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 黄海丽 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于残差块和特征金字塔的视频帧生成方 法及系统 (57)摘要 本发明公开了基于残差块和特征金字塔的 视频帧生成方法及系统； 其中所述方法， 包括： 获 取待处理的前后两帧图像； 将获取的前后两帧图 像， 输入到训练后的视频帧生成模型中， 输出生 成的中间帧图像； 其中， 视频帧生成模型包括相 互连接的改进后的编码器和改进后的解码器； 所 述改进后的编码器， 是通过将U ‑Net网络编码器 的卷积层替换为残差块得到； 所述改进后的编码 器， 用于提取前后两帧图像的空时特征； 所述改 进后的解码器， 是通过将U ‑Net网络的解码器设 置为特征金字塔网络得到； 所述改进后的解码 器， 用于对提取的特征进行特征融合， 以生成中 间帧图像 。 权利要求书2页 说明书9页 附图8页 CN 114842400 A 2022.08.02 CN 114842400 A 1.基于残差块和特 征金字塔的视频帧生成方法， 其特 征是， 包括： 获取待处 理的前后两帧图像； 将获取的前后两帧图像， 输入到训练后的视频帧生成模型中， 输出生成的中间帧图像； 其中， 视频帧生成模型包括相互连接的改进后的编码器和改进后的解码器； 所述改进后的编码器， 是通过将U ‑Net网络编码器的卷积层替换为残差块得到； 所述改 进后的编码器， 用于提取 前后两帧图像的空时特 征； 所述改进后的解码器， 是通过将U ‑Net网络的解码器设置为特征金字塔网络得到； 所述 改进后的解码器， 用于对提取的特 征进行特征融合， 以生成中间帧图像。 2.如权利要求1所述的基于残差块和特征金字塔的视频帧生成方法， 其特征是， 所述改 进后的编码器， 具体结构包括： 依次连接的基础模块j1、 池化层c1、 残差块k1、 池化层c2、 残差块k2、 池化层c3、 残差块 k3、 池化层c4、 残差块 k4和池化层c 5； 基础模块j1， 对于输入的特征， 首先通过卷积层得到一个特征图， 随后将特征图输入修 正线性单 元Relu激活函数层， 以此类 推， 直到生成输出 特征； 对于输入到残差块的特征， 首先通过卷积核大小为3 ×3的卷积层得到一个特征图， 随 后特征图输入修正线性单元激活层， 以此类推， 直到最后一个修正线性单元激活层， 其得到 的特征与跳跃 连接路线输送到的特 征相加， 作为 最终输出。 3.如权利要求1所述的基于残差块和特征金字塔的视频帧生成方法， 其特征是， 所述改 进后的解码器， 工作原理包括： 首先， 采用卷积 操作分别把 不同层次的特 征通道数归一 化处理； 然后， 通过 上采样层， 对每 个层次的归一 化处理的特征进行上采样操作； 随后， 将上采样的特 征通过通道并联拼接； 对拼接结果进行 卷积操作； 最后， 将拼接结果的卷积结果分别进行处理得到核权重、 运动偏移向量和遮挡权重； 基 于核权重、 运动偏移向量和遮挡权 重， 生成中间帧。 4.如权利要求3所述的基于残差块和特征金字塔的视频帧生成方法， 其特征是， 所述基 于核权重、 运动偏移向量和遮挡权 重， 生成中间帧， 具体过程包括： 首先， 使用输入帧中每个像素的运动偏移量和核权重， 对输入的前一帧图像I0和输入的 后一帧图像I1进行变形， 得到 和 具体过程如下： 其中， F是卷积核大小， θa,b(a,b)是核权 重， ( αa,b, βa,b)是运动偏移向量； 使用输入帧中每个像素的遮挡权重， 对变形后的输入帧 和 进行融合， 并得到帧生 成 结果； 假设输入输出 大小为M×N， 遮挡权 重为V∈[0,1]M×N； 使用遮挡权 重融合帧的具体操作， 如公式(4)所示： 权　利　要　求　书 1/2 页 2 CN 114842400 A 2其中， 为生成的中间帧， V为遮挡权重， ⊙为逐像素相乘操作， Y是大小为M ×N、 值全为1 的矩阵， 和 是变形后的输入帧； 对每一个目标像素(i,j)， V(i,j)＝1代表像素只在 中 可见， V(i,j)＝0代 表像素只在 中可见。 5.如权利要求1所述的基于残差块和特征金字塔的视频帧生成方法， 其特征是， 所述训 练后的视频帧生成模型； 训练过程包括： 构建训练集； 所述训练集包括若干个已知中间帧的前后帧图像； 将训练集输入到视频帧生成模型中， 对模型进行训练， 当模型的损 失函数达到最小值 或迭代次数达 到设定阈值时， 停止训练， 得到训练后的视频帧生成模型。 6.如权利要求5所述的基于残差块和特征金字塔的视频帧生成方法， 其特征是， 损失函 数： 其中， M是整个图像中所有像素点的个数， m是其 中一个像素点， ρ 表示Charbonnier惩罚 函数， 表示帧生成结果， It表示真实中间帧。 7.如权利要求1所述的基于残差块和特征金字塔的视频帧生成方法， 其特征是， 使用峰 值信噪比和结构相似性， 作为定量评估生成帧质量的工具。 8.基于残差块和特 征金字塔的视频帧生成系统， 其特 征是， 包括： 获取模块， 其被 配置为： 获取待处 理的前后两帧图像； 中间帧生成模块， 其被配置为： 将 获取的前后两帧图像， 输入到训练后的视频帧生成模 型中， 输出生成的中间帧图像； 其中， 视频帧生成模型包括相互连接的改进后的编码器和改进后的解码器； 所述改进后的编码器， 是通过将U ‑Net网络编码器的卷积层替换为残差块得到； 所述改 进后的编码器， 用于提取 前后两帧图像的空时特 征； 所述改进后的解码器， 是通过将U ‑Net网络的解码器设置为特征金字塔网络得到； 所述 改进后的解码器， 用于对提取的特 征进行特征融合， 以生成中间帧图像。 9.一种电子设备， 其特 征是， 包括： 存储器， 用于非暂时性存 储计算机可读指令； 以及 处理器， 用于运行 所述计算机可读指令， 其中， 所述计算机可读指令被所述处理器运行时， 执行上述权利要求1 ‑7任一项所述的 方法。 10.一种存储介质， 其特征是， 非暂时性地存储计算机可读指令， 其中， 当所述非暂时性 计算机可读指令由计算机执 行时， 执行权利要求1 ‑7任一项所述方法的指令 。权　利　要　求　书 2/2 页 3 CN 114842400 A 3