(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211021788.5 (22)申请日 2022.08.24 (71)申请人 太原理工大 学 地址 030024 山西省太原市迎泽西大街79 号 (72)发明人 李鹏越　刘元铭　张金柱　王涛　 (74)专利代理 机构 太原申立德知识产权代理事 务所(特殊普通 合伙) 14115 专利代理师 程园园 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于曝光成像模型和模块化深度网络的图 像去雨雪方法 (57)摘要 本发明属于图像复原技术领域， 公开了一种 基于曝光成像模型和模块化深度网络的图像去 雨雪方法。 针对现有的基于深度学习的单幅图像 去雨方法中简化的线性叠加雨模型会合成出不 真实的训练和测试雨图像数据集， 进而影响基于 模型的网络架构设计和雨去除的效果。 本发明提 出了一个非线性的雨雪曝光 成像模型， 该模型考 虑了雨雪成像的曝光因素， 它可以更准确地描述 雨雪的成像特性和图像中从半透明到不透明的 雨雪遮挡。 利用该模型合 成了具有不同曝光时间 的多样化雨雪数据集， 并设计了一个新颖的雨雪 去除网络。 由于网络融合了对曝光时间的估计， 因此与现有的雨雪去除网络相比， 它可以更有效 地去除具有不同遮挡的雨雪 。 权利要求书4页 说明书12页 附图4页 CN 115471414 A 2022.12.13 CN 115471414 A 1.一种基于曝光成像模型和模块化深度网络的图像去雨雪方法， 其特征在于， 包括以 下步骤： 步骤1， 建立如下的非线性 雨雪曝光成像模型： 其中， Irs表示雨/雪图像强度， Ic是干净背景 图像， K表示雨/雪 的平均辐照度， 雨/雪图 像强度Irs是干净背景图像Ic、 动态雨/ 雪图M和曝光时间T的非线性组合； 步骤2， 建立深度去雨雪网络， 所述网络包括局部和全局U型雨雪检测子网络、 收缩型曝 光时间估计子网络和堆叠式多尺度残差雨雪去除子网络； 步骤3， 将雨/雪图像输入到局部和全局U型雨雪检测子网络， 提取雨/雪图像的全局和 局部性特 征， 估计出雨/ 雪条纹图； 步骤4， 将雨/雪 图像输入到收缩型曝光时间估计子网络， 将全局信息采样到单一变量 值获得曝光时间估计值， 然后将估计值上采样到与输入图像相同的尺寸以便进行损失估 计； 步骤5， 将步骤3和步骤4获得的雨/雪条纹图和曝光时间， 通过步骤1的非线性雨雪曝光 成像模型获得初步复原的雨/ 雪图像； 步骤6， 将步骤4获得的初步复原的雨/雪图像输入到堆叠式多尺度残差雨雪去除子网 络进一步去除不同程度的雨/ 雪遮挡， 获得最终的精细化无雨/ 雪图像； 步骤7， 设定局部和全局U型雨雪检测子网络、 收缩型曝光时间估计子网络和堆叠式多 尺度残差雨雪去除子网络的损失函数， 在损失函数约束下， 通过在雨雪数据集上对各子网 络进行阶梯型迭代训练学习网络模型参数， 直至网络收敛； 步骤8， 在合成和真实雨/雪图像上对算法去除雨雪的有效性进行定量和定性的验证， 并与典型算法进行对比。 2.根据权利要求1所述的一种基于曝光成像模型和模块化深度网络的图像去雨雪方 法， 其特征在于： 所述步骤1 中非线性雨雪曝光成像模型建立的具体过程为： 在曝光时间T期 间， 雨雪图像的强度Irs是静态雨条纹或雪花的强度Rs与背景的强度Rb的线性组合： 其中τ表示雨条纹或雪花降落通过一个像素的时间， 由于背景在曝光 时间T内几乎是静 止的， Rb可以近似为 一个常数， 因此将上式重写为： 在等式中， 时间τ和雨/雪降落的速度相关， 其不确定性直接导致雨雪成像结果的多样 性； 因此， 静态的雨/雪随时间τ 的积分可以被视为动态的雨/雪图M， 它丰富了雨雪成像透明 度的多样性， 并引入了运动模糊； TRb是干净的背景图像Ic； 这样上述方程可以改写为： 其中 表示雨/雪 的平均强度， 代表动态雨/雪图M； 为了使等式的每一项都具有一 定的物理意 义， 进一步将等式改写为如下 形式：权　利　要　求　书 1/4 页 2 CN 115471414 A 2其中*表示逐元素乘， 因为 代表动态雨/雪图M， TRb是干净的背景图像Ic， 所以上面的 等式被写为： 由于雨/雪的平均辐照度是由雨/雪自身 的特性决定的， 因此可以近似为常数K； 设k＝ KT， 等式进一 步写为： 其中， Irs表示雨雪图像强度， Ic是干净背景图像， K表示雨/雪的平均辐照度， 在该雨雪 模型中， 雨/ 雪图像强度Irs是干净背景图像Ic、 动态雨/ 雪图M和曝光时间T的非线性组合。 3.根据权利要求1所述的一种基于曝光成像模型和模块化深度网络的图像去雨雪方 法， 其特征在于： 所述步骤2中局部和全局U型雨雪检测子网络为残差密集U型自编码器， 包 括由四阶段残差密集块和降采样层组成的编码器以及由全局局部注意力模块、 四 阶段残差 密集块和上采样层组成的解码器； 所述步骤2中收缩型 曝光时间估计子网络由八阶段下采 样操作和自适应池化层构成； 所述步骤2中堆叠式多尺度残差雨雪去除子网络为两个以残 差方式堆叠的并行残差多尺度块。 4.根据权利要求3所述的一种基于曝光成像模型和模块化深度网络的图像去雨雪方 法， 其特征在于： 所述编 码器用于捕获上下文信息， 例如密度、 方向； 所述解码 器用于捕获低 层信息， 例如位置、 透明度和边缘； 所述全局局部注意力模块用于提取编 码器的全局和局部 语义特征， 进一步提高网络的特征表 示能力； 所述残差密集块作为特征提取单元， 以充分利 用所有卷积层的特 征， 包含分层特 征融合和残差学习， 其中分层特 征融合操作可以表示 为： FHFF＝fHFF([Fs,x1,x2...,xl]) 其中， [Fs,x1,...,xl‑1]表示前端层提取特征图的串联， FHFF表示融合后的特征图、 fHFF表 示卷积映射 函数； 残差密集 块的输出 可以表示 为： FRDB＝Fs+FHFF 其中， Fs表示残差密集 块的输入特 征图； 残差密集 块第l层的输出 可以表示 为： 其中fds(·)表示批处理归一化操作、 线性激活函数、 卷积层和泄漏层四个连续操作的 复合函数。 5.根据权利要求3所述的一种基于曝光成像模型和模块化深度网络的图像去雨雪方 法， 其特征在于： 所述并行残差多尺度块以并行残差方式重复使用层级的特征实现了特征 的多尺度 表示， 由前端 卷积块、 多尺度块和 后端卷积块三部分组成； 前端 卷积块用于提升通 道数， 其输出送入多尺度块提取多尺度特征； 然后， 多尺度特征与前端 卷积块的输出串联在权　利　要　求　书 2/4 页 3 CN 115471414 A 3