(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211068190.1 (22)申请日 2022.08.31 (71)申请人 北京鉴智科技有限公司 地址 100084 北京市海淀区中关村东路1号 院8号楼十六层B1801D-2 (72)发明人 张友敏　国显达　黄冠　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 莎日娜 (51)Int.Cl. G06V 10/74(2022.01) G06T 7/50(2017.01) G06T 7/00(2017.01) (54)发明名称 一种深度信息获取方法和装置 (57)摘要 本申请公开了一种深度信息获取方法和装 置， 该方法包括： 获取左目图像的第一特征图和 右目图像的第二特征图； 基于所述第一特征图的 每个像素点， 分别计算所述每个像素点与所述第 二特征图对应 极线上所有像素点之间的相似度， 得到相似度矩阵， 所述相似度矩阵用于反映所述 第一特征图中每个像素点的相似度； 根据预输出 图像的分辨率和所述相似度矩阵， 计算所述第一 特征图中多个预设位置的匹配代 价值， 得到相似 度特征矩阵， 所述匹配代价值用于反映所述预设 位置与所述第二特征图对应位置的相似程度， 匹 配代价值与相似程度呈反比例关系， 所述相似度 特征矩阵包括所述多个预设位置的匹配代价值； 根据所述相似度特 征矩阵， 获取深度预测图。 权利要求书3页 说明书10页 附图4页 CN 115546515 A 2022.12.30 CN 115546515 A 1.一种深度信息获取 方法， 其特 征在于， 包括： 获取左目图像的第一特 征图和右目图像的第二特 征图； 基于所述第 一特征图的每个像素点， 分别计算所述每个像素点与所述第 二特征图对应 极线上所有像素点之间的相似度， 得到相似度矩阵， 所述相似度矩阵用于反映所述第一特 征图中每 个像素点的相似度； 根据预输出图像的分辨率和所述相似度矩阵， 计算所述第 一特征图中多个预设位置的 匹配代价值， 得到相似度特征矩阵， 所述匹配代价值用于反 映所述预设位置与所述第二特 征图对应位置的相似程度， 匹配代价值与相似程度呈反比例关系， 所述相似度特征矩阵包 括所述多个预设位置的匹配代价 值； 根据所述相似度特 征矩阵， 获取深度预测图。 2.根据权利要求1所述的方法， 其特征在于， 所述获取左目图像的第 一特征图和 右目图 像的第二特 征图， 包括： 对获取的左目图像和右目图像进行特征提取， 得到所述左目图像的第 一图像特征和所 述右目图像的第二图像特 征； 对所述第一图像特征和所述第 二图像特征进行注意力 机制运算， 得到所述第 一特征图 和所述第二特 征图。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述第 一图像特征和所述第 二图像 特征进行注意力机制运 算， 得到所述第一特 征图和所述第二特 征图， 包括： 对所述第一图像特征和所述第二图像特征， 进行基于注意力机制的多次迭代操作， 得 到所述第一特 征图和所述第二特 征图； 其中， 每次所述迭代操作包括： 基于所述第一图像特征和所述第二图像特征， 分别进行自注意力机制运算， 得到对应 的优化后的图像特 征； 在经过自注意力 机制运算的所述第 一图像特征和所述第 二图像特征之间， 进行交叉注 意力机制运 算， 得到对应的优化后的图像特 征。 4.根据权利要求3所述的方法， 其特征在于， 在所述进行自注意力 机制运算之后或所述 进行交叉注意力机制运 算之后， 还 包括： 对所述第一图像特 征和所述第二图像特 征分别进行归一 化运算； 在所述对所述第一图像特征和所述第 二图像特征， 进行基于注意力 机制的多次迭代操 作之前， 还 包括： 对所述第一图像特 征和所述第二图像特 征分别进行归一 化运算。 5.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述基于所述第 一特征图的每个 像素点， 计算所述每个像素点与所述第二特征图对应极线上所有像素点之间的相似度， 得 到相似度矩阵， 包括： 在所述第一特征图的每个像素点与 所述第二特征图对应极线上所有像素点之间， 进行 交叉注意力机制运 算， 得到多个相似度组； 基于所述多个相似度组， 构建匹配相似度矩阵； 对所述匹配相似度矩阵进行权 重配置， 得到相似度矩阵。 6.根据权利要求5所述的方法， 其特征在于， 对所述匹配相似度矩阵进行权重配置， 包权　利　要　求　书 1/3 页 2 CN 115546515 A 2括： 针对所述匹配相似度矩阵中同一相似度组 的相似度， 提高相似度值最高的相似度的权 重， 降低其 余相似度的权 重。 7.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 根据 预输出图像的分辨率和所述 相似度矩阵， 计算所述第一特征图中多个预设位置的匹配代 价值， 得到相似度特征矩阵， 包 括： 根据预输出图像的分辨率， 在所述第一特征图中标记多个预设位置， 以及与所述多个 预设位置分别对应的聚合区域； 对多个所述聚合 区域中每个像素点的相似度进行加权运算， 得到对应预设位置的匹配 代价值； 基于多个所述预设位置的匹配代价 值， 构建所述相似度特 征矩阵。 8.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述根据所述相似度特征矩阵， 获取深度预测图， 包括： 基于多层感知机， 对所述相似度特征矩阵进行运算， 得到初始视差估计和视差残差， 所 述初始视差估计中包括与所述多个预设位置分别对应的最小匹配代价值， 所述视差残差用 于对所述初始视 差残差进行 校正； 根据所述初始视 差估计和所述视 差残差， 计算得到深度预测图。 9.一种深度信息获取装置， 其特 征在于， 包括： 第一获取模块， 用于获取左目图像的第一特 征图和右目图像的第二特 征图； 第一执行模块， 用于基于所述第一特征图的每个像素点， 分别计算所述每个像素点与 所述第二特征图对应极线上所有像素点之间的相似度， 得到相似度矩阵， 所述相似度矩阵 用于反映所述第一特 征图中每 个像素点的相似度； 第二执行模块， 用于根据预输出图像的分辨率和所述相似度矩阵， 计算所述第一特征 图中多个预设位置的匹配代价值， 得到相似度特征矩阵， 所述匹配代价值用于反映所述预 设位置与所述第二特征图对应位置的相似程度， 匹配代价值与相似程度呈反比例关系， 所 述相似度特 征矩阵包括所述多个预设位置的匹配代价 值； 第二获取模块， 用于根据所述相似度特 征矩阵， 获取深度预测图。 10.根据权利要求9所述的装置， 其特 征在于， 所述第一获取模块包括： 提取子模块， 用于对获取的左目图像和右目图像进行特征提取， 得到所述左目图像的 第一图像特 征和所述右目图像的第二图像特 征； 第一运算子模块， 用于对所述第一图像特征和所述第二图像特征进行注意力机制运 算， 得到所述第一特 征图和所述第二特 征图。 11.根据权利要求10所述的装置， 其特征在于， 所述第 一运算子模块具体用于对所述第 一图像特征和所述第二图像特征， 进行基于注意力机制的多次迭代操作， 得到所述第一特 征图和所述第二特 征图； 其中， 每次所述迭代操作包括： 基于所述第一图像特征和所述第二图像特征， 分别进行自注意力机制运算， 得到对应 的优化后的图像特 征； 在经过自注意力 机制运算的所述第 一图像特征和所述第 二图像特征之间， 进行交叉注权　利　要　求　书 2/3 页 3 CN 115546515 A 3