(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211131095.1 (22)申请日 2022.09.14 (71)申请人 北京化工大 学 地址 100029 北京市朝阳区北三环东路15 号 (72)发明人 李志伟　王坤峰　王梓涵　谭启凡　 张国英　 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 20/56(2022.01) G06V 20/70(2022.01) G06V 10/44(2022.01) G06T 7/90(2017.01) G06N 20/00(2019.01) (54)发明名称 一种基于不确定性感知的多模态融合目标 检测方法及装置 (57)摘要 本申请提供了一种基于不确定性感知的多 模态融合目标检测方法及装置， 涉及自动驾驶技 术领域， 所述方法包括： 获取RGB图像和点云数 据； 对点云数据进行处理， 得到和RGB图像匹配的 点云图像； 对RGB图像进行特征提取得到RGB特征 图， 利用预先训练完成的图像目标检测模型对 RGB特征图进行处理， 得到第一目标检测结果； 对 点云图像进行特征提取， 得到点云特征图， 利用 预先训练完成的点云目标检测模型对点云特征 图进行处理， 得到第二目标检测结果； 通过不确 定性感知的多源NMS算法， 对第一目标检测结果 和第二目标检测结果进行融合处理， 得到融合后 的目标检测结果。 本申请通过不确定性实现多模 态数据的自适应融合， 提高自动驾驶的安全性。 权利要求书3页 说明书9页 附图3页 CN 115496923 A 2022.12.20 CN 115496923 A 1.一种基于不确定性感知的多模态融合目标检测方法， 其特 征在于， 所述方法包括： 获取当前时刻的RGB图像和点云数据； 对当前时刻的点云数据进行处 理， 得到和RGB图像匹配的点云图像； 对RGB图像进行特征提取得到RGB特征图， 利用 预先训练完成的图像目标检测模型对 RGB特征图进 行处理， 得到第一目标检测结果； 所述第一目标检测结果包括多个目标边界框 和对应的方差； 对点云图像进行特征提取， 得到点云特征图， 利用预先训练完成的点云目标检测模型 对点云特征图进行处理， 得到第二 目标检测结果； 所述第二 目标检测结果包括多个目标边 界框和对应的方差； 通过不确定性感知的多源NMS算法， 对RGB特征图的第一目标检测结果和点云特征图的 第二目标检测结果进行融合处 理， 得到融合后的目标检测结果。 2.根据权利要求1所述的基于不确定性感知的多模态融合目标检测方法， 其特征在于， 对当前时刻的点云数据进行处 理， 得到和RGB图像匹配的点云图像； 包括： 将点云数据投影到相机像素平面上， 得到二维深度图像； 对二维深度图像进行裁剪处理， 得到和RGB图像对应的相同尺寸的点云图像， 点云图像 的每个像元的像素值 为反射强度值。 3.根据权利要求1所述的基于不确定性感知的多模态融合目标检测方法， 其特征在于， 所述图像目标检测模型采用YOLOV3网络， 其输入为RGB特征图， 输出为n个目标预测框和对 应的方差； 所述图像目标检测模型的训练步骤 包括： 获取多张RGB样本图像， 对各RGB样本图像进行 特征提取， 得到对应的RGB特 征图； 利用图像目标检测模型对每个RGB样本图像的RGB特征图进行处理， 得到n个目标预测 框和对应的方差； 根据目标 预测框和目标真实框计算损失函数L1( θ )： 其中， xi为所述RGB样本特征图的第i个目标预测框， σ(xi)表示第i个目标预测框xi的方 差； θ1为图像目标检测模型的模型参数； x表示目标真实框； 利用损失函数， 更新图像目标检测模型的模型参数。 4.根据权利要求3所述的基于不确定性感知的多模态融合目标检测方法， 其特征在于， 所述点云目标检测模型采用Y OLOV3网络， 其输入为点云特征图， 输出为m个目标预测框和对 应的方差； 所述 点云目标检测模型的训练步骤 包括： 获取多个点云样本数据， 对各点云样本数据进行 特征提取， 得到对应的点云特 征图； 利用点云目标检测模型对每个点云样本数据的点云特征图进行处理， 得到m个目标预 测框和对应的方差； 根据目标 预测框和目标真实框计算损失函数L2( θ )： 权　利　要　求　书 1/3 页 2 CN 115496923 A 2其中， yj为点云样本数据的点云特征图的第j个目标预测框， σ(yj)表示第j个目标预测 框yj的方差； θ2为点云目标检测模型的模型参数； y表示目标真实框； 利用损失函数， 更新 点云目标检测模型的模型参数。 5.根据权利要求4所述的基于不确定性感知的多模态融合目标检测方法， 其特征在于， 通过不确定性感知的多源NMS算法， 对RGB特征图的第一目标检测结果和点云特征图的第二 目标检测结果进行融合处 理， 得到融合后的目标检测结果； 包括： 步骤S1： 获取第一目标检测结果， 包括n个目标边界框b1,b2…bn及其对应的方差 获取第二目标检测结果， 包括m个目标边界框c1,c2…cm及其对应的方差 将b1,b2…bn,c1,c2…cm组成目标边界框集合T， 将b1,b2…bn,c1,c2…cm组成 目标边界框的方差集 合S； 步骤S2： 获取方差集合S中最大值对应的目标边界框M， 将目标边界框集合T中的目标边 界框M剔除， 将方差集 合S中目标边界框 M的方差剔除； 步骤S3： 判断目标边界框集 合T是否为空集， 若为否， 进入步骤S4， 否则， 进入步骤S 8； 步骤S4： 对于目标边界框集 合T中的目标边界框tk， 通过下式对对应的方差sk进行更新： 其中， Nt为阈值， IOU(tk,M)为目标边界框tk和目标边界框 M的交并比； 步骤S5： 判断目标边界框tk是否为属于RGB特征图上的目标边界框， 若 为是， 则进入步骤 S6； 否则， 进入步骤S7； 步骤S6： 令IOU等于IOU(cj,M)的最大值； 若IOU≥t2， 则将IOU(ci,M)中大于等于t2的目标 边界框标记上idx； 若t1≤IOU<t2， 则将IOU(ci,M)中大于等于t1的目标边界框标记 上idx； 若 IOU<t1， 则将IOU(ci,M)中大于等于t1的目标边界框标记上idx； 其中， t1和t2均为阈值； 步骤S7： 令IOU等于IOU(bi,M)的最大值； 若IOU≥t2， 则将IOU(bi,M)中大于等于t2的目标 边界框标记上idx； 若t1≤IOU<t2， 则将IOU(bi,M)中大于等于t1的目标边界框标记 上idx； 若 IOU<t1， 则将IOU(bi,M)中大于等于t1的目标边界框标记上idx； 其中， t1和t2均为阈值； 步骤S8： 获取所有标记idx的目标边界框， 将所有标记idx 的目标边界框的平均值作为 最终的边界框， 将最终的边界框作为融合后的目标检测结果。 6.一种基于不确定性感知的多模态融合目标检测装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取当前时刻的RGB图像和点云数据； 预处理单元， 用于对当前时刻的点云数据进行处 理， 得到和RGB图像匹配的点云图像； 第一目标检测单元， 用于对RGB图像进行特征提取得到RGB特征图， 利用预先训练完成 的图像目标检测模 型对RGB特征图进 行处理， 得到第一目标检测结果； 所述第一目标检测结 果包括多个目标边界框和对应的方差； 第二目标检测单元， 用于对点云图像进行特征提取， 得到点云特征图， 利用预先训练完 成的点云目标检测模型对点云特征图进行处理， 得到第二 目标检测结果； 所述第二 目标检 测结果包括多个目标边界框和对应的方差； 融合单元， 用于通过不确定性感知的多源NMS算法， 对RGB特征图的第一目标检测结果 和点云特 征图的第二目标检测结果进行融合处 理， 得到融合后的目标检测结果。权　利　要　求　书 2/3 页 3 CN 115496923 A 3