(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210834487.8 (22)申请日 2022.07.14 (71)申请人 凌云光技术股份有限公司 地址 100094 北京市海淀区翠湖南环路13 号院7号楼7层701室 (72)发明人 方春钰　张雪丹　陈文　李锦程　 霍剑　 (74)专利代理 机构 北京弘权知识产权代理有限 公司 11363 专利代理师 逯长明　许伟群 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种高速成像方法、 装置及电子设备 (57)摘要 本申请涉及高速成像技术领域， 具体而言， 涉及一种 高速成像方法、 装置及电子设备， 可 以 解决现有技术中DeSCI算法的运算耗时长， 不能 够满足实时成像的需求的问题。 高速成像方法包 括： 根据已知信息， 确定初始信息， 所述已知信息 包括预先设定的掩膜矩阵和采集的压缩信号， 所 述初始信息基于所述掩模矩 阵和采集到的压缩 信号之间的关系获得； 将所述初始信息输入至包 括特征提取模块、 及特征融合模块的端到端神经 网络， 得到用于信号重建的逆映射， 所述逆映射 为在大量所述已知信息的监督训练下， 由所述端 到端神经网络学习得到； 基于所述逆映射， 输出 重建信息， 所述重建信息由所述逆映射根据所述 初始信息获取。 权利要求书3页 说明书10页 附图6页 CN 115100430 A 2022.09.23 CN 115100430 A 1.一种高速成像方法， 其特 征在于， 所述方法包括： 根据已知信息， 确定初始信息， 所述已知信息包括预先设定的掩膜矩阵和采集的压缩 信号， 所述初始信息基于所述掩模矩阵和采集到的压缩信号之间的关系获得， 有利于在后 续的步骤中进行信号重建； 将所述初始信息输入至包括特征提取模块、 及特征融合模块的端到端神经网络， 得到 用于信号重建的逆映射； 所述逆映射为在大量所述已知信息的监督训练下， 由所述端到端 神经网络学习得到， 所述端到端神经网络包括依 次堆栈的多个所述特征提取模块、 及特征 融合模块， 所述特征提取模块用于提取特征， 所述特征融合模块用于融合特征， 所述逆映射 根据所述特 征提取模块及特 征融合模块进行多次循环获取； 基于所述逆映射， 输出重建信息； 所述逆映射为压缩感知中的映射关系， 所述重建信 息 由所述逆映射 根据所述初始信息获取， 所述重建信息即为 最终输出的重建图像。 2.如权利要求1所述高速成像方法， 其特征在于， 在所述将所述初始信 息输入至包括所 述特征提取模块、 及特征融合模块的端到端神经网络， 得到用于信号重 建的逆映射步骤中， 所述方法还 包括： 将所述初始信息输入至所述特征提取模块， 得到潜在特征， 所述潜在特征由所述特征 提取模块对所述初始信息进行提取获得； 基于所述特征融合模块， 得到二维特征图， 所述二维特征图由所述特征融合模块， 根据 所述潜在特 征构建得到； 基于所述二维特征图， 得到重建信 息， 以获取所述逆映射， 所述逆映射是指将所述初始 信息转化为所述重建信息的过程， 基于大量所述已知信息， 对多数端对端神经网络进行监 督训练， 获取 所述逆映射。 3.如权利要求2所述高速成像方法， 其特征在于， 在所述基于特征融合模块， 得到二维 特征图步骤中， 所述方法还 包括： 将所述潜在特征输入所述特征融合模块中， 得到第 一图块， 根据 所述潜在特征， 划分出 n个大小相同且相互重 叠的所述第一图块； 根据所述第一图块， 得到所述第一图块的图信息， 所述图信息是指构建图结构所形成 的信息， 所述图结构并非图像， 是一种数据结构， 其由一系列节点信息和边信息构成， 用于 表征多对象之间的数据关系； 基于所述第一图块的所述图信息进行特征融合， 得到所述第一图块的二维特征图， 所 述特征融合是指进行矩阵相乘。 4.如权利要求3所述高速成像方法， 其特征在于， 在所述根据所述第一图块， 得到每个 所述第一图块的图信息步骤中， 所述方法还 包括： 依次对每个所述第一图块进行搜索， 得到最为相似的k个其它图块， 由于有n个第一图 块， 需要对n个第一图块中的每 个均进行搜索， 以得到与其 最为相似的k个其它图块； 将所述第 一图块及与其最为相似的k个所述其它图块作为节点， 得到节点信息， 所述节 点信息是指由目标节点与相似节点构成的矩阵， 所述 目标节点是指所述第一图块， 所述相 似节点是指与其 最为相似的k个所述 其他图块； 根据所述节点信息， 获取边信息， 所述 边信息即为所述节点与节点之间的关系； 根据所述图信 息中的节点信息及边信 息， 构建图结构， 得到图信 息， 在构建所述图结构权　利　要　求　书 1/3 页 2 CN 115100430 A 2时， 由于具有n个所述第一图块， 需要视n个不同的所述第一图块为所述目标节点， 得到n个 不同的图信息， 所述图信息为矩阵形式。 5.如权利要求4所述高速成像方法， 其特征在于， 在所述依次对每个所述第 一图块进行 搜索， 得到最 为相似的k个其它图块 步骤中， 所述方法还 包括： 以目标图块为中心， 得到搜索区域， 所述目标图块为将要进行搜索的图块， 由于具有n 个所述第一图块， 需要对每个所述第一图块均进行搜索， 所述搜索区域的大小与所述第一 图块的大小 有关； 在所述搜索区域中， 根据最小欧氏距离， 得到与搜索的所述第一图块最为相似的k个其 它图块， 欧式距离是指两个图块之间的距离， 代表两个图块的差异性， 距离越小差异性越 小， 反之距离越大差异性越大， 根据所述最小 欧式距离能够得到与所述第一图块的差异性 最小的， 即最 为相似的图块。 6.如权利要求4所述高速成像方法， 其特征在于， 在所述根据所述节点信息， 获取边信 息步骤中， 所述方法还 包括： 基于所述节点信息， 得到二维节点信息， 所述二维节点信息是指所述节点信息的二维 矩阵， 由所述目标节点与相似节点构成的节点信息铺平得到； 根据所述二维节点信息， 得到两个频域信息， 两个所述频域信息是指由所述二维节点 信息， 通过两个全连接层变换到 两个不同频域上， 得到的两个矩阵； 基于所述频域信 息， 获取边信息， 所述边信 息由两个频域信 息转置相乘获取， 两个频域 信息转置相乘能够得到特 征矩阵， 所述特 征矩阵中包括 边信息。 7.如权利要求2所述高速成像方法， 其特征在于， 在基于所述二维特征图， 得到重建信 息步骤中， 所述方法还 包括： 根据所述二维特征图， 得到与之对应的相似图块， 所述二维特征图根据 所述潜在特征， 进行特征融合后得到， 再根据二维特征图重新转换为对应的相似图块， 能够得到更完整的 信息， 有利于对信息进行补全重建， 所述相似图块 为具有所述相似特 征的图块； 基于所述相似图块， 获取重建信息， 将n个大小相同且相互重叠的相似图块放置于原图 像位置， 得到 了重建的原图像， 即重建信息 。 8.如权利要求1所述高速成像方法， 其特征在于， 在所述根据已知信息， 确定初始信息 步骤中， 所述方法还 包括： 对所述已知信息中的采集的压缩信号进行归一 化； 对所述已知信息中的采集的压缩信号的归一 化结果进行粗 糙估计。 9.一种高速成像装置， 其特 征在于， 所述装置包括： 输入模块： 用于根据已知信息， 确定初始信 息， 所述已知信 息包括预先设定的掩膜矩阵 和采集的压缩信号， 所述初始信息基于所述掩模矩阵和采集到的压缩信号之间的关系获 得， 有利于在后续的步骤中进行信号重建； 处理模块： 将所述初始信息输入至包括特征提取模块、 及特征融合模块的端到端神经 网络， 得到用于信号重 建的逆映射， 所述逆映射为在大量所述已知信息的监督训练下， 由所 述端到端神经网络学习得到， 所述端到端神经网络包括依次堆栈的多个所述特征提取模 块、 及特征融合模块， 所述特征提取模块用于提取特征， 所述特征融合模块用于融合特征， 所述逆映射 根据所述特 征提取模块及特 征融合模块进行多次循环获取；权　利　要　求　书 2/3 页 3 CN 115100430 A 3