(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211367637.5 (22)申请日 2022.11.03 (71)申请人 江西方兴科技股份有限公司 地址 330025 江西省南昌市西湖区洪城路 508号 (72)发明人 费伦林　罗江　刘令君　高林　 喻恺　黄涛　熊斯鹏　 (74)专利代理 机构 上海创开专利代理事务所 (普通合伙) 31374 专利代理师 马正红 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种自动驾驶中基于细粒度识别的3D场景 流估计的方法 (57)摘要 本发明公开了一种自动驾驶中基于细粒度 识别的3D场景流估计的方法， 该方法具体步骤如 下： 使用Kinect深度摄像机拍摄同一场景的四张 RGB图像， 并使用立体方法为相机坐标系中的每 个像素提取3D点(XYZ)， 基于RGB和XYZ 值， 训练一 个多网络级联(MNC),然后基于细粒度识别来预 测2D边界框和2D实例， 同时分析不同层次的识别 粒度对场景流估计的影 响。 再利用2D实例来获得 对象坐标， 对获得数据信息进行整合并集成到3D 场景流中， 最终实现对自动汽车未来3D位置的预 测。 该方法是利用细粒度 识别来预测自动驾驶汽 车的下一时刻位置， 当存在大位移或者局部不确 定的情况 下， 使预测的结果更加真实、 精准。 权利要求书2页 说明书4页 附图3页 CN 115497086 A 2022.12.20 CN 115497086 A 1.一种自动驾驶中基于细粒度识别的3D场景流估计的方法， 其特征在于： 包括以下步 骤： S1、 使用Kinect深度摄像机拍摄同一场景的四张RGB图像： 将Kinect深度摄像机插上电 源并通过数据线连接在电脑上， 打开设备开始采集汽车运动过程中同一场景的四张RGB图 像， 保存采集的图像信息； S2、 分别使用立体方法为相机坐标系中的每 个像素提取3D点(XYZ)， 具体包括： S21、 求解像素坐标系到图像坐标系的转换， 对于图像表面一点p， 坐标为(x， y)， 像素坐 标为(u， v)， 像素坐标系的单位是pixel， 即1pixel＝dx  mm， ， 则其对应的转换关系如下式所 示： S22、 求解图像坐标系到相机坐标系的转换， 从相机坐标系到图像坐标系是从3D转换到 2D， 属于透视投影关系， 对于相机坐标系点Pc(Xc， Yc， Zc)， 则在平面上的投影为p(x， y)， 根据 相似三角形求对应的转换关系如下式所示： S3、 基于RGB像素值和XYZ值， 训练一个多网络级联(MNC),基于细粒度识别来预测2D边 界框和2D实例， 具体包括： S31、 给定连续两帧作为输入图像， 推断参考视图中每个像素的三维几何形状与物体的 关联以及物体的运动， 关联参考对象Ki和物体Oj的刚体运动， 我们将场景流估计任务描述为 一个能量 最小化问题， 包括数据、 平 滑度和实例项： S32、 省略所有模型的权重参数， s＝{si|∈S}且o＝{oi|∈O}； 假设数据术语编码与所有 图像上的对应点的外观相似， 则： S33、 平滑度项鼓励了相邻超像素在深度、 方向和运动方面的一 致性， 它分解 为： 根据以下几何(g)和运动(m)得 出： 权　利　要　求　书 1/2 页 2 CN 115497086 A 2S34、 d(n， p)表示参考图像中像素p处平面n的视差， Bij是超像素i和超像素j之间的共享 边界像素集， 则实例敏感权 重 定义为： 通过上式,得出几何敏感运动权 重定义为： S35、 实例项χ(s， o)将检测到的实例扭曲到下一帧时， 由三维对象坐标将引起外观和零 件标签的兼容 性， 它的形式如下： 这里， q的计算如等式所示， 外观(A)的电位和零件标签(L)的电位定义 为: 通过分别测量参考视图中的图像位置P与目标视图中Q在外观I和三维对象坐标C上的 差异， 式2中的数据项也评估了汽车的外观， 它在无纹理、 镜面反射的情况下， 返回噪声 是可 靠的结果； 细粒度识别来预测2D边界框和2D实例明显出现更好的估计精度； 这些研究使用 类似的测 量方法来可靠地估计相 机工作在在弱纹理环境中， 相比之下， 利用此约束来估计 场景中每 个单独的弱纹 理对象的相对姿态； S4、 分析不同层次的识别粒度对场景流估计的影响： 依据KITTI数据集， 研究三维场景流估计的识别粒度动态即前景对象； 使用稀疏离散光 流和来自两个校正 帧的SPS立体声， 得到使用立体切片的超像素边界； 分别对OSF性能的不 同定量进行比较： 无识别输入、 ISF  BBOX即二维边界框作为识别输入、 ISF  SEGMASK即作为 识别输入的二维实例分段和ISF  SEGMASK OBJCOORD即验证集， 为KITTI数据集场景流训练 集的一个子集； S5、 利用2D边界框和2D实例来获得对象坐标， 对获得数据信息进行整合并集成到一个 斜面公式即3D场景流中， 最终 实现对自动驾驶汽车 未来3D位置的预测。权　利　要　求　书 2/2 页 3 CN 115497086 A 3