(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210651629.7 (22)申请日 2022.06.09 (71)申请人 北京大学 地址 100871 北京市海淀区颐和园路5号北 京大学 (72)发明人 刘家瑛　匡浩玮　郑书泓　黄浩峰　 郭宗明　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 司立彬 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06T 5/00(2006.01) (54)发明名称 一种使用 长曝光补偿的低光照图像增强方 法 (57)摘要 本发明公开了一种使用长曝光补偿的低光 照图像增强方法。 本方法为： 1)收集低光照训练 数据集， 其中所述低光照训练数据集中的每一训 练样本包括同一场景的低光照图像和正常光照 图像； 根据每一训练样本生 成一组对应的短曝光 图像、 长曝光图像和真实光照图像， 得到一合成 数据集S； 2)利用所述合成数据集S训练低光照增 强模型， 所述低光照增强模型包括M ‑1个特征对 齐模块和M ‑1个提亮模块； 3)将待提亮的短曝光 图像和对应的模糊长曝光图像输入训练后的低 光照增强模型， 得到对应的低光照增强图像。 本 发明能够显著提升低光照图片增强性能。 权利要求书2页 说明书5页 附图1页 CN 115240022 A 2022.10.25 CN 115240022 A 1.一种使用长曝光补偿的低光照图像增强方法， 其 步骤包括： 1)收集低 光照训练数据集， 其中所述低光照训练数据集中的每一训练样本包括同一场 景的低光照图像和正常光照图像； 根据每一训练样本生成一组对应的短曝光图像、 长曝光 图像和真实光照图像， 得到一 合成数据集S； 2)利用所述合成数据集S训练低光照增强模型， 所述低光照增强模型包括M ‑1个特征对 齐模块和M ‑1个提亮模块； 其中， 对于所述合成数据集S中同一组图像内的照片长曝光图像 Ilong和短曝光图像Ishort， 所述低光照增强模型将长曝光图像Ilong和短曝光图像Ishort分别映 射到特征空间， 获得对应的短曝光特征 及长曝光特征 并将其输入第一特征对齐 模块； 3)第i特征对齐模块对 输入的第i尺度长曝光 特征 与第i尺度短曝光 特征 进行 对齐； 其中， 第i特征对齐模块将第i尺度短曝光特征 进行卷积处理， 得到一张注意力 图Ai， 然后用注意力图Ai对第i尺度长曝光特征 进行软阈值滤波操作， 得到 其中“⊙”表示逐元素的乘法； 然后将 与 共同进行降采样并传 入卷积层， 预测输出第i+1尺度长曝光特征 以及将 单独进行降采样并传入卷积 层， 预测输出第i+1尺度短曝光特征 将第M‑1个特征对齐模块预测输出的第M尺度长 曝光特征 第M尺度短曝光特征 进行拼接作为特征第M+1尺度长曝光特征 第M+1尺度短曝光特 征 其中， i＝1～M‑1， 4)第i提亮模块将第M+i尺度长曝光 特征 第M+i尺度短曝光 特征 进行拼接， 并 对拼接特征进行上采样， 然后将上采样所得特征与第M ‑i尺度短曝光特征 相连后通过 卷积层得到第M+i+1尺度短曝光特征 对 进行上采样所得特征与第M ‑i尺度长曝 光特征 相连后通过 卷积层得到得到第M+i+ 1尺度长曝光特征 以第M‑1提亮模块 输出的第2M尺度短曝光特征 作为优化目标Inormal、 第2M尺度长曝光特征 作为辅 助， 优化所述低光照增强模 型； 其中， 训练优化所述低光照增强模 型的总损失函数为L＝Lrec +λSSIMLSSIM+λLPIPSLLPIPS+λaLa； λSSIM、 λLPIPS和 λa为权重项， Lrec为优化目标Inormal和正常光照下真 实值IGT间的平均 绝对误差损失函数； LSSIM为优化目标Inormal和正常光照下真实值IGT间的结 构相似性损失函数； LLPIPS为感知图像块相似度学习损失函数； La为辅助输出Iassist和正常光 照下真实值 IGT间的平均绝对误差损失函数； 5)将待提亮的短曝光图像和对应的模糊长曝光图像输入训练后的低 光照增强模型， 得 到对应的低光照增强图像。 2.根据权利要求1所述的方法， 其特征在于， 所述搭建低 光照增强模型还包括细节去除 模块， 用于消除长曝光图像Ilong的细节特 征后映射到特 征空间， 获得长曝光特 征 3.根据权利要求1所述的方法， 其特征在于， 获取一实拍 数据集R， 所述实拍 数据集R中 的每一组图像包括对同一场景拍摄的三张图像， 即短曝光图像、 长曝光图像和真实光照图权　利　要　求　书 1/2 页 2 CN 115240022 A 2像； 利用所述实拍数据集R对训练后的低光照增强模型进行评测。 4.根据权利要求1或2或3所述的方法， 其特征在于， 根据训练样本中的正常光照图像合 成得到所述合成数据集S中的长曝光图像； 所述合成数据集S中的短曝光图像为训练样 本中 的低光照图像， 所述 合成数据集S中的真实光照图像为训练样本的正常光照图像。 5.根据权利要求1或2或3所述的方法， 其特征在于， 利用模糊核空间模型对训练样本 中 的正常光照图像进行处 理得到所述 合成数据集S中的长曝光图像。 6.根据权利要求1或2或3所述的方法， 其特征在于， Lrec＝‖Inormal‑IGT‖； La＝‖Iassist‑ IGT‖ 。 7.根据权利要求1所述的方法， 其特征在于， LSSIM＝1‑SSIM(Inormal,IGT)； 其中， SSIM(x, y)表示两张图像x和y的结构相似性； μx是x的平均值， μy是 y的平均值， 是x的方差， 是y的方差， σxy是x和y的协方差， c1、 c2是用来维持稳定的常数。 8.根据权利要求1所述的方法， 其特征在于， 其中， φl(Inormal)表示VGG网络提取的图像Inormal的第l层特征， Hl和Wl分别表示φl(Inormal) 的宽和高。 9.一种服务器， 其特征在于， 包括存储器和 处理器， 所述存储器存储计算机程序， 所述 计算机程序被配置为由所述处理器执行， 所述计算机程序包括用于执行权利要求1至8任一 所述方法中各步骤的指令 。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至8任一所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115240022 A 3