(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211097012.1 (22)申请日 2022.09.08 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 郑霄龙　卜贝尔　刘亮　马华东　 (74)专利代理 机构 北京金咨知识产权代理有限 公司 11612 专利代理师 王紫腾 (51)Int.Cl. G06V 10/98(2022.01) G06V 10/80(2022.01) G06V 10/72(2022.01) G06V 10/74(2022.01) (54)发明名称 一种多模态数据的多维度质 量分数评价方 法及装置 (57)摘要 本发明提供一种多模态数据的多维度质量 分数评价方法及装置， 所述方法的步骤包括： 接 收三维点云图像和二维RGB图像； 基于噪声数据 量和非噪声数据量计算三维点云图像和二维RGB 图像的噪声维度评价参数； 基于评测强度均值和 参考强度均值计算三维点 云图像和二维RGB图像 的强度维度评价参数； 计算二维RGB图像的梯度 幅度相似度参数和总相似度参数， 基于梯度幅度 相似度参数和总相似度参数计算二维RGB图像的 几何维度评价参数； 计算三维点 云图像的三维点 云图像， 基于梯度幅度相似度参数和总相似度参 数计算三维点云图像的几何维度评价参数； 基于 几何维度评价参数、 强度维度评价参数和噪声维 度评价参数分别计算三维点 云图像和二维RGB图 像的质量分数。 权利要求书4页 说明书12页 附图2页 CN 115457371 A 2022.12.09 CN 115457371 A 1.一种多模态数据的多维度质量分数评价方法， 其特 征在于， 所述方法的步骤 包括： 接收由驾驶系统 的多种传感器采集的不同模态的数据图像， 所述不同模态的数据图像 包括三维点云图像和二维 RGB图像； 将二维RGB图像中每个像素点的像素值与预设的像素阈值进行比对， 确定二维RGB图像 中的噪声像素点， 以二 维RGB图像中的噪声像素点的数量作为噪声 数据量， 以非噪声像素点 的数量作为非噪声数据量， 基于噪声数据量和非噪声数据量计算噪声维度评价 参数； 将三维点云图像均分为多个搜索空间， 将每个搜索空间的点云数量与 预设的点云数量 阈值比对， 确定每个搜索空间的是否为噪声空间， 将所有 噪声空间的点云的数量作为噪声 数据量， 将所有非噪声空间的点云的数量作为非噪声数据量， 基于噪声数据量和非噪声数 据量计算噪声维度评价 参数； 获取所述二维RGB图像的二维RGB参考图像， 分别计算二维RGB图像和二维RGB参考图像 的像素点的像素值的平均值， 以二 维RGB图像的像素值的平均值作为评测强度均值， 以二 维 RGB参考图像的像素值的平均值作为参考强度均值， 基于评测强度均值和参考强度均值计 算强度维度评价 参数； 获取所述三维点云图像的三维点云参考图像， 分别计算三维点云图像和三维点云参考 图像的点云的反射度值的平均值， 以三维点云图像的反射度值的平均值作为评测强度均 值， 以三维点云参考图像的反射度值的平均值作为参考强度均值， 基于评测强度均值和参 考强度均值计算强度维度评价 参数； 将二维RGB图像中的每个像素点与相邻的像素点基于像素值进行偏函数求导， 得到每 个像素点的梯度参数， 基于每个像素点的梯度参数计算二维RGB图像的梯度幅度相似度参 数和总相似度参数， 基于梯度幅度相似度参数和总相似度参数计算二维RGB图像的几何维 度评价参数； 将三维点云图像中的每个点云与相邻的点云基于反射度值进行偏函数求导， 得到每个 点云的梯度参数， 基于每个点云的梯度参数计算三维点云图像的梯度幅度相似度参数和总 相似度参数， 基于梯度幅度相似度参数和总相似度参数计算三维点云图像的几何维度评价 参数； 基于几何维度评价参数、 强度维度评价参数和噪声维度评价参数分别计算三维点云图 像和二维 RGB图像的质量分数。 2.根据权利要求1所述的多模态数据的多维度质量分数评价方法， 其特征在于， 在基于 每个像素点的梯度参数计算二维RGB图像的梯度幅度相似度参数和总相似度参数的步骤 中， 基于每个像素点的梯度参数计算二 维RGB图像的均值相似度参数和方差相似度参数， 基 于均值相似度参数和方差相似度参数计算总相似度参数； 在基于每个点云的梯度参数计算三维点云图像的梯度幅度相似度参数和总相似度参 数的步骤中， 基于每个点云的梯度参数计算三维点云图像的均值相似度参数和方差相似度 参数， 基于均值相似度参数和方差相似度参数计算总相似度参数。 3.根据权利要求2所述的多模态数据的多维度质量分数评价方法， 其特征在于， 在基于 每个像素点的梯度参数计算二 维RGB图像的均值相似度参数和方差相似度参数和基于每个 点云的梯度参数计算三 维点云图像的均值相似度参数和方差相似度参数的步骤中， 基于如 下公式计算均值相似度参数和方差相似度参数：权　利　要　求　书 1/4 页 2 CN 115457371 A 2其中， md2表示二维RGB图像中像素点 的梯度参数的平均值或三维点云 图像中点云的梯 度参数的平均值， mr2表示二维RGB参考图像中像素点的梯度参数的平均值或三维点云参考 图像中点云的梯度参数的平均值， sr表示二维RGB参考图像中像素点的梯度参数的方差或 三维点云参考图像中点云的梯度参数的方差， sd表示二维RGB图像中像素点的梯度参数的 方差或三维点云图像中点云的梯度参数的方差， C3和C4均为常数， B表示均值相似度参数， k 表示方差相似度参数。 4.根据权利要求2或3所述的多模态数据的多维度质量分数评价方法， 其特征在于， 在 基于每个像素点的梯度参数计算二 维RGB图像的梯度幅度相似度参数和总相似度参数和基 于每个点云的梯度参数计算三维点云图像的梯度幅度相似度参数和总相似度参数的步骤 中， 根据如下公式计算梯度幅度相似度参数和总相似度参数： 其中， gr2表示二维RGB参考图像中所有像素点的梯度参数的和或三维点云参考图像中 所有点云的梯度参数的和， gd2表示二维RGB图像中所有像素点的梯度参数的和或三维点云 图像中所有点云的梯度参数的和， C5为常数， q2表示梯度幅度相似度参数； t＝B*k； 其中， t表示总相似度参数， B表示均值相似度参数， k表示方差相似度参数。 5.根据权利要求1所述的多模态数据的多维度质量分数评价方法， 其特征在于， 在基于 噪声数据量和非噪声 数据量计算噪声维度评价参数的步骤中， 根据如下公式计算噪声维度 评价参数： 其中， gr1和gd1分别表示噪声数据量和非噪声数据 量， C1为常数， q1表示噪声维度评价参 数。 6.根据权利要求1所述的多模态数据的多维度质量分数评价方法， 其特征在于， 基于评 测强度均值和参考强度均值计算强度维度评价参数， 根据如下公式计算强度维度评价参 数： 其中， mr1和md1分别表示参考强度均值和评测强度均值， C2是计算常数， c表示强度维度 评价参数。 7.根据权利要求1所述的多模态数据的多维度质量分数评价方法， 其特征在于， 将二维 RGB图像中的每个像素点与相邻的像素点基于像素值进行偏函数求导， 得到每个像素点的 梯度参数的步骤 包括： 将所述二维RGB图像建立在二维坐标系中， 获取每个像素点在横坐标增长方向的相邻权　利　要　求　书 2/4 页 3 CN 115457371 A 3