(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211014407.0 (22)申请日 2022.08.23 (65)同一申请的已公布的文献号 申请公布号 CN 115082712 A (43)申请公布日 2022.09.20 (73)专利权人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 陈向阳　李冬冬　李乾坤　吴函　 向超　王刚　江哲　殷俊　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 李秀云 (51)Int.Cl. G06V 10/74(2022.01)G06V 20/40(2022.01) G01S 13/86(2006.01) (56)对比文件 CN 114299417 A,202 2.04.08 CN 114509753 A,2022.05.17 CN 110187334 A,2019.08.3 0 CA 2819704 A1,20 06.10.20 魏晨依.雷达与视频融合的交通目标跟踪算 法研究. 《知网》 .202 2, Kheireddine Aziz et al. .Radar-camera Fusion for Road Target Clas sificati on. 《2020 IE EE Radar Co nference (RadarCo nf20)》 .2020, 审查员 郭晓坤 (54)发明名称 一种基于雷视融合的目标检测方法、 装置和 可读存储介质 (57)摘要 本申请公开了一种基于雷视融合的目标检 测方法、 装置和可读存储介质， 该方法包括： 获取 当前时刻采集的当前雷达帧和当前视频帧， 并确 定当前雷达帧和当前视频帧的当前目标匹配结 果， 当前目标匹配结果包括当前雷达帧中的雷达 目标与当前视频帧中的视觉目标的匹配 关系； 获 取当前时刻之前的至少一个历史时刻采集的历 史雷达帧和历史视频帧的历史目标匹配结果， 历 史目标匹配结果包括历史雷达帧中的雷达目标 与历史视频帧中的视觉目标的匹配 关系； 基于各 个历史目标匹配结果， 对当前目标匹配结果进行 更新， 得到更新后的当前目标匹配结果。 通过上 述方式， 本申请能够提高匹配的准确率和稳定 性。 权利要求书2页 说明书10页 附图7页 CN 115082712 B 2022.11.22 CN 115082712 B 1.一种基于雷视融合的目标检测方法， 其特 征在于， 包括： 获取当前时刻采集的当前雷达帧和当前视频帧， 并确定当前雷达帧和当前视频帧的当 前目标匹配结果， 所述当前目标匹配结果包括所述当前雷达帧中的雷达目标与所述当前视 频帧中的视 觉目标的匹配关系； 获取所述当前时刻之前的至少一个历史时刻采集的历史雷达帧和历史视频帧的历史 目标匹配结果， 所述历史目标匹配结果包括所述历史雷达帧中的雷达目标与所述历史视频 帧中的视 觉目标的匹配关系； 基于各个所述历史目标匹配结果， 对所述当前目标匹配结果进行更新， 得到更新后的 当前目标匹配结果； 所述更新后的当前目标匹配结果包括所述当前雷达帧中的雷达目标与 所述当前视频帧中的视 觉目标的更新后的匹配关系； 其中， 所述基于各个所述历史目标匹配结果， 对所述当前目标匹配结果进行更新， 得到 更新后的当前目标匹配结果的步骤， 包括： 统计在所述当前时刻以及所述历史时刻每个所述视觉目标与所述雷达目标的匹配次 数， 所述匹配次数为与所述视 觉目标匹配的雷达目标相同的次数； 计算所述视 觉目标对应的所有所述匹配次数的最大值； 建立所述最大值对应的雷达目标与 所述最大值对应的视觉目标的匹配关系， 得到所述 更新后的匹配关系。 2.根据权利要求1所述的基于雷视 融合的目标检测方法， 其特征在于， 所述确定当前雷 达帧和当前视频帧的当前目标匹配结果的步骤， 包括： 从所述当前雷达帧中识别出所述雷达目标在雷达坐标系中的坐标， 得到第一位置坐 标； 从所述当前视频帧中识别出所述视觉目标在视觉坐标系中的坐标， 得到第二位置坐 标； 将所述第二 位置坐标转换到所述雷达坐标系下， 得到第三 位置坐标； 将所述第三 位置坐标与所述第一 位置坐标进行匹配， 生成所述当前目标匹配结果。 3.根据权利要求2所述的基于雷视 融合的目标检测方法， 其特征在于， 所述将所述第 三 位置坐标与所述第一 位置坐标进行匹配， 生成所述当前目标匹配结果的步骤， 包括： 针对所述当前时刻的每个视觉目标， 基于所述视觉目标的第 三位置坐标与 所述当前雷 达帧中的雷达目标的第一位置坐标， 计算所述视觉目标与所述当前雷达帧中的每个雷达目 标的距离， 得到多个距离； 或者 针对所述当前时刻的每个雷达目标， 基于所述雷达目标的第 一位置坐标与 所述当前视 频帧中的视觉目标的第三位置坐标， 计算所述雷达目标与所述当前视频帧中的每个视觉目 标的距离， 得到所述多个距离； 基于所述多个距离， 生成所述当前目标匹配结果。 4.根据权利要求3所述的基于雷视 融合的目标检测方法， 其特征在于， 所述基于所述多 个距离， 生成所述当前目标匹配结果的步骤， 包括： 计算所述多个距离的最小值， 并确定所述最小值对应的视觉目标与 所述最小值对应的 雷达目标匹配； 建立所述 最小值对应的雷达目标与所述 最小值对应的视 觉目标的匹配关系。权　利　要　求　书 1/2 页 2 CN 115082712 B 25.一种目标检测装置， 其特征在于， 包括互相连接的存储器和 处理器， 其中， 所述存储 器用于存储计算机程序， 所述计算机程序在被所述处理器执行时， 用于实现权利要求 1‑4中 任一项所述的基于雷视融合的目标检测方法。 6.一种目标检测装置， 其特 征在于， 包括： 匹配模块， 用于获取当前时刻采集的当前雷达帧和当前视频帧， 并确定当前雷达帧和 当前视频帧的当前目标匹配结果， 所述当前目标匹配结果包括所述当前雷达帧中的雷达目 标与所述当前视频帧中的视 觉目标的匹配关系； 获取模块， 用于获取所述当前时刻 之前的至少一个历史时刻采集的历史雷达帧和历史 视频帧的历史目标匹配结果， 所述历史目标匹配结果包括所述历史雷达帧中的雷达目标与 所述历史视频帧中的视 觉目标的匹配关系； 处理模块， 与所述匹配模块以及所述获取模块连接， 用于基于各个所述历史目标匹配 结果， 对所述当前目标匹配结果进行更新， 得到更新后的当前目标匹配结果； 所述更新后的 当前目标匹配结果包括所述当前雷达 帧中的雷达目标与所述当前视频帧中的视觉目标 的 更新后的匹配关系； 其中， 所述基于各个所述历史目标匹配结果， 对 所述当前目标匹配结果 进行更新， 得到更新后的当前目标匹配结果的步骤， 包括： 统计在所述当前时刻以及所述历 史时刻每个所述视觉目标与所述雷达目标的匹配次数， 所述匹配次数为与所述视觉目标匹 配的雷达目标相同的次数； 计算所述视觉目标对应的所有所述匹配次数 的最大值； 建立所 述最大值对应的雷达目标与所述最大值对应的视觉目标的匹配关系， 得到所述更新后的匹 配关系。 7.一种计算机可读存储介质， 用于存储计算机程序， 其特征在于， 所述计算机程序在被 处理器执行时， 用于实现权利要求1 ‑4中任一项所述的基于雷视融合的目标检测方法。权　利　要　求　书 2/2 页 3 CN 115082712 B 3