(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210647278.2 (22)申请日 2022.06.09 (71)申请人 劢微机器人 （深圳） 有限公司 地址 518000 广东省深圳市光明区凤 凰街 道塘尾社区恒泰 裕大厦1栋 602 (72)发明人 董邓伟　黄金勇　 (74)专利代理 机构 深圳市恒程创新知识产权代 理有限公司 4 4542 专利代理师 张小容 (51)Int.Cl. G06T 7/70(2017.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G01S 17/86(2020.01) (54)发明名称 基于雷达和相机融合的卸货方法、 检测装置 及存储介质 (57)摘要 本发明公开了一种基于雷达和相机融合的 卸货方法、 检测装置及存储介质， 包括获取激光 雷达采集的各个点云帧对应的点云数据以及相 机采集的图像帧的图像数据， 点 云帧由激光雷达 依次在各个预设采集点对货车进行扫描获取， 图 像帧由相机依次在各个预设采集点对货车进行 拍摄获取， 各个点云帧与各个图像帧相匹配； 根 据图像数据以及点云数据确定每个点云帧对应 的货物点云数据； 根据每个点云帧对应的货物点 云数据执行货物点云重建操作， 生成货车内的目 标点云数据； 根据目标点云数据确定各个货物的 位姿信息； 根据各个货物的位姿信息控制 卸货装 置执行卸货操作。 通过货物点云数据对货物进行 重建， 从而确定货物位姿， 提高了卸货的准确性。 权利要求书2页 说明书11页 附图4页 CN 115205373 A 2022.10.18 CN 115205373 A 1.一种基于雷达和相机融合的卸货方法， 其特征在于， 应用于检测装置， 包括激光雷 达、 相机以及运动单元， 所述运动单元用于带动所述激光雷达以及相机运动， 所述方法包 括： 获取所述激光雷达采集的各个点云帧对应的点云数据以及所述相机采集的图像帧的 图像数据， 所述点云帧由所述激光雷达依 次在各个预设采集点对货车进行扫描获取， 所述 图像帧由所述相机依次在各个预设采集点对货车进行拍摄获取， 各个所述点云帧与各个所 述图像帧相匹配； 根据所述图像数据以及所述 点云数据确定每 个点云帧对应的货物点云数据； 根据每个点云 帧对应的货物点云数据 执行货物点云重建操作， 生成货车内的目标点云 数据； 根据所述目标点云数据确定各个货物的位姿信息； 根据各个货物的位姿信息控制卸货装置执 行卸货操作。 2.如权利要求1所述的基于雷达和相机 融合的卸货方法， 其特征在于， 所述根据每个点 云帧对应的货物点云数据执 行货物重建操作， 以生成货车内的目标点云数据的步骤 包括： 获取相邻的点云帧之间的位姿关系； 根据所述 位姿关系将除第一 点云帧以外的其 他点云帧与第一 点云帧进行拼接融合； 根据融合后的第一 点云帧生成货车内的所述目标点云数据。 3.如权利要求1所述的基于雷达和相机 融合的卸货方法， 其特征在于， 所述根据 所述目 标点云数据确定各个货物的位姿信息的步骤 包括： 根据所述目标点云数据执 行点云分割操作， 以获取 各个货物对应的目标点云数据； 根据各个货物分别对应的目标点云数据确定各个货物在地图坐标系下的地图坐标； 根据所述 地图坐标确定所述 位姿信息 。 4.如权利要求1所述的基于雷达和相机 融合的卸货方法， 其特征在于， 所述根据 各个货 物分别对应的目标点云数据确定各个货物在地图坐标系下的地图坐标的步骤 包括： 获取激光雷达坐标系与地图坐标系的映射关系； 根据所述映射关系将所述目标点云数据映射到所述地图坐标系中， 以获取所述货物在 所述地图坐标系下的地图坐标。 5.如权利要求1所述的基于雷达和相机 融合的卸货方法， 其特征在于， 所述根据 所述图 像数据以及所述 点云数据获取每 个点云帧对应的货物点云数据的步骤之前， 还 包括： 对各个所述 点云帧进行点云校正， 包括： 获取所述点云帧中各个激光 点的采集时刻； 根据所述采集时刻对各个所述激光点进行运动量补偿， 以完成对所述点云帧的校正， 所述运动量补偿包括旋转补偿以及平 移补偿。 6.如权利要求1所述的基于雷达和相机 融合的卸货方法， 其特征在于， 所述根据 所述图 像数据以及所述 点云数据获取每 个点云帧对应的货物点云数据的步骤 包括： 根据所述图像数据获取货物在图像坐标系下的货物图像坐标； 获取相机坐标系与激光雷达坐标系的相对位姿关系， 根据 所述相对位姿关系将所述点 云数据映射到所述图像坐标系中， 以获取所述货物图像坐标对应的各个像素点分别对应的 货物点云数据。权　利　要　求　书 1/2 页 2 CN 115205373 A 27.如权利要求6所述的基于雷达和相机 融合的卸货方法， 其特征在于， 所述获取相机坐 标系与激光雷达坐标系的相对位姿关系的步骤 包括： 获取所述激光雷达扫描标定板得到的历史点云数据， 以及所述相机拍摄所述标定板得 到的历史图像数据； 从所述历史点云数据中提取标定板中各个角点的目标历史点云数据， 并根据 所述目标 历史点云数据确定在激光雷达坐标系下 所述标定 板的角点的第一 坐标信息； 根据所述历史图像数据确定在图像坐标系下 所述标定 板的角点的第二 坐标信息； 根据所述第一坐标信息和所述第二坐标信息确定所述相机坐标系以及所述激光雷达 坐标系的相对位姿关系。 8.如权利要求1所述的基于雷达和相机 融合的卸货方法， 其特征在于， 所述激光雷达包 括多线激光雷达和/或固态激光雷达 。 9.一种检测装置， 其特征在于， 所述检测装置包括： 存储器、 处理器及存储在所述存储 器上并可在所述处理器上运行的基于雷达和相机融合的货物位置程序， 所述基于雷达和相 机融合的卸货程序被所述处理器执行时实现如权利要求1至8 中任一项所述的基于雷达和 相机融合的卸货方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有基于雷 达和相机融合的卸货程序， 所述基于雷达和相机融合的卸货程序被处理器执行时实现如权 利要求1至8中任一项所述的基于雷达和相机融合的卸货方法的步骤。权　利　要　求　书 2/2 页 3 CN 115205373 A 3