(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211056780.2 (22)申请日 2022.08.31 (71)申请人 浙江未来 技术研究院 （嘉兴） 地址 314000 浙江省嘉兴 市南湖区汇信路 152号 (72)发明人 夏晗　邵航　袁肖赟　刘威　 (74)专利代理 机构 北京华清迪源知识产权代理 有限公司 1 1577 专利代理师 孙志一 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/50(2006.01) G06T 7/60(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01)G06V 10/44(2022.01) G06V 10/74(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于自注意力机制的跨尺度图像超分 辨处理方法及系统 (57)摘要 本发明公开了一种基于自注意力机制的跨 尺度图像超分辨处理方法及系统， 获取全局场景 图像和多个局部细节图像， 并获取局部细节图像 与全局场景图像的对应关系， 包括局部细节图像 和全局场景图像的图像比例、 局部细节图像在全 局场景图像的相对位置； 根据局部细节图像和全 局场景图像的图像比例、 局部细 节图像在全局场 景图像的相对位置， 分别对全局场景图像和局部 细节图像进行预处理； 构建并训练基于自注意力 机制的图像超分辨模型， 通过所述图像超分辨模 型对处理后的全局场景图像和局部细节 图像进 行图像融合， 得到高分辨图像。 基于不同尺度的 图像(局部细节图像、 全局场景图像)， 利用自注 意力机制的Tran sformer框架实现大场景图像的 超分辨。 权利要求书2页 说明书5页 附图3页 CN 115496655 A 2022.12.20 CN 115496655 A 1.一种基于自注意力机制的跨尺度图像超分辨处 理方法， 其特 征在于， 所述方法包括： 获取全局场景图像和多个局部细节图像， 并获取局部细节图像与全局场景图像的对应 关系， 包括局部细节图像和全局场景图像的图像比例、 局部细节图像在全局场景图像的相 对位置； 根据局部细节图像和全局场景图像的图像比例、 局部细节图像在全局场景图像的相对 位置， 分别对 全局场景图像和 局部细节图像进行 预处理； 构建并训练基于自注意力 机制的图像超分辨模型， 通过所述图像超分辨模型对处理后 的全局场景图像和 局部细节图像进行图像融合， 得到高分辨图像。 2.根据权利要求1所述的一种基于自注意力机制的跨尺度图像超分辨处理方法， 其特 征在于， 获取全局场景图像和多个局部细节图像， 具体包括： 通过全局相机获取全局场景图像， 通过多个局部相机分别获取多个局部细节图像， 所 述全局相机的水平视场角为5 0°～60°， 所述局部相机的水平视场角10 °～15°。 3.根据权利要求2所述的一种基于自注意力机制的跨尺度图像超分辨处理方法， 其特 征在于， 获取局部细节图像与全局场景图像的对应关系， 具体包括： 从局部细节图像中提取部分关键点并与全局场景图像进行特征匹配， 根据匹配关系局 部细节图像在全局场景图像的相对位置； 根据相机镜头的参数， 估计全局相机以及局部相机对观测物体的放大倍率， 得到初始 图像比例， 并根据局部图像关键点与全局 场景图像的匹配结果对初始图像比例进 行优化得 到最终的图像比例。 4.根据权利要求1所述的一种基于自注意力机制的跨尺度图像超分辨处理方法， 其特 征在于， 根据局部细节图像和全局场景图像的图像比例、 局部细节图像在全局场景图像的 相对位置， 分别对 全局场景图像和 局部细节图像进行 预处理， 具体包括： 基于图像比例， 将全局图像进行单个图像超分辨使得局部图像与全局图像对统一物体 的采集尺寸一致； 基于局部细节图像相对于全局图像的位置， 对局部图像进行填充处理， 即 对局部图像的边 缘进行补零处 理， 使得局部细节图像达 到与全局图像相同的分辨 率。 5.根据权利要求1所述的一种基于自注意力机制的跨尺度图像超分辨处理方法， 其特 征在于， 所述基于 自注意力机制的图像超分辨模型包括编码模块和解码模块， 所述编码模 块用于通过转移窗口注意力机制模块Swin ‑Transfomer  Block和块融合模块Patch  Merge 实现对输入的全局 场景图像和局部细节图像不同尺度特征的提取， 并通过对全局场景图像 和局部细节图像的特征图中相应位置取最大值的方式进行融合， 最后逐级的连接到解码模 块中， 最终生成符合条件的高分辨 率图像。 6.根据权利要求5所述的一种基于自注意力机制的跨尺度图像超分辨处理方法， 其特 征在于， 所述解码模块的核心为块扩展模块Patch  Expanding， 用于实现对特征图的上采 样。 7.根据权利要求5所述的一种基于自注意力机制的跨尺度图像超分辨处理方法， 其特 征在于， 所述编码模块具体用于通过patch  embeding层对输入的图像进行编码得到编码结 果， 然后通过逐层的Swin  Transformer  Block模块对编码后的图像进行图像特征提取， 从 而得到图像不同尺度的特征， 其中Swin  Transformer  Block模块包括归一化、 区域的注意 力机制、 图像矩阵的偏移模块， 然后通过Patch  Merge模块得到感受野更大的特征图， 实现权　利　要　求　书 1/2 页 2 CN 115496655 A 2对更高维度特 征的提取。 8.根据权利要求1所述的一种基于自注意力机制的跨尺度图像超分辨处理方法， 其特 征在于， 所述方法还 包括： 对模型进行训练时， 将预处理后的全局场景图像G和局部细节图像L进行单图像的超分 辨获得Gu、 Lu， 对超分辨后的图像S进行下采样Sd， 然后利用其归一化互信息作为训练的损失 函数。 9.一种基于自注意力机制的跨尺度图像超分辨处 理系统， 其特 征在于， 所述系统包括： 图像采集与关系获取模块， 用于获取全局场景图像和多个局部细节图像， 并获取局部 细节图像与全局场景图像的对应关系， 包括局部细节图像和全局场景图像的图像比例、 局 部细节图像在全局场景图像的相对位置； 图像预处理模块， 用于根据局部细节图像和全局场景图像的图像比例、 局部细节图像 在全局场景图像的相对位置， 分别对 全局场景图像和 局部细节图像进行 预处理； 图像融合模块， 用于构建并训练基于自注意力机制的图像超分辨模型， 通过所述图像 超分辨模型对处 理后的全局场景图像和 局部细节图像进行图像融合， 得到高分辨图像。 10.一种计算机存储介质， 其特征在于， 所述计算机存储介质中包含一个或多个程序指 令， 所述一个或多个程序指令用于被一种基于自注意力机制的跨尺度图像超分辨处理系统 执行如权利要求1 ‑8任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115496655 A 3