(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210887286.4 (22)申请日 2022.07.26 (71)申请人 九识 （苏州） 智能科技有限公司 地址 215124 江苏省苏州市中国 （江苏） 自 由贸易试验区苏州片区苏州工业园区 金鸡湖大道88号人工智能产业园G4- 202-010单元 (72)发明人 不公告发明人 　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 王欣 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/56(2022.01) G06V 40/20(2022.01)G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于关键点的行人轨迹预测方法及装 置 (57)摘要 本发明公开了一种基于关键点的行人轨迹 预测方法及装置， 涉及自动驾驶技术领域。 该方 法的一具体实施方式包括： 从行人关键点检测信 息中提取行人的关键点特征； 从多帧历史图像中 提取多组历史特征； 所述历史特征中包括： 所述 行人的位置、 所述行人的速度和所述关键点特 征； 基于所述多组历史特征， 生成所述行人的融 合特征； 从车道信息中提取车道的特征； 基于自 注意力机制融合所述行人的融合特征和所述车 道的特征， 获取行人车道融合特征； 基于所述行 人车道融合特征确定所述行人是静止还是运动， 如果是运动， 则将所述行人车道融合特征输入解 码器， 得到所述行人的轨迹。 该实施方式能够更 准确的对行 人进行轨 迹预测。 权利要求书2页 说明书8页 附图3页 CN 115249353 A 2022.10.28 CN 115249353 A 1.一种基于关键点的行 人轨迹预测方法， 其特 征在于， 包括： 从行人关键点检测信息中提取 行人的关键点特 征； 从多帧历史图像中提取多组历史特征； 所述历史特征中包括： 所述行人的位置、 所述行 人的速度和所述关键点特 征； 基于所述多组历史特 征， 生成所述行 人的融合特 征； 从车道信息中提取 车道的特 征； 基于自注意力 机制融合所述行人的融合特征和所述车道的特征， 获取行人车道融合特 征； 基于所述行人车道融合特征确定所述行人是静止还是运动， 如果是运动， 则将所述行 人车道融合特 征输入解码器， 得到所述行 人的轨迹。 2.根据权利要求1所述的方法， 其特 征在于， 从行人关键点检测信息中提取 行人的关键点特 征， 包括： 将所述行 人关键点检测信息 输入第一自注意力模型， 得到关键点之间的关联信息； 将所述关键点之间的关联信息 输入第一多层感知器， 得到所述行 人的关键点特 征。 3.根据权利要求1所述的方法， 其特 征在于， 基于所述多组历史特 征， 生成所述行 人的融合特 征， 包括： 将所述多组历史特 征输入第二自注意力模型， 得到历史特 征之间的关联信息； 将所述历史特 征之间的关联信息 输入第二多层感知器， 得到所述行 人的融合特 征。 4.根据权利要求1所述的方法， 其特 征在于， 从车道信息中提取 车道的特 征， 包括： 将所述车道信息 输入卷积神经网络， 得到所述车道的特 征。 5.根据权利要求1所述的方法， 其特 征在于， 基于自注意力 机制融合所述行人的融合特征和所述车道的特征， 获取行人车道融合特 征， 包括： 将所述行人的融合特征和所述车道的特征输入第 三自注意力模型， 得到所述行人车道 融合特征。 6.根据权利要求1 ‑5任一项所述的方法， 其特 征在于， 基于所述行 人车道融合特 征确定所述行 人是静止还是运动， 包括： 将所述行人车道融合特征输入二分类多层感知网络， 得到所述行人是静止的概率和所 述行人是运动的概 率； 如果所述行 人是静止的概 率大于行 人是运动的概 率， 则所述行 人是静止； 如果所述行 人是运动的概 率大于行 人是静止的概 率， 则所述行 人是运动。 7.根据权利要求1所述的方法， 其特 征在于， 所述解码器包括： 多层感知器、 卷积神经网络、 长短时记忆网络、 循环神经网络中的一 种或两种以上的组合。 8.一种基于关键点的行 人轨迹预测装置， 其特 征在于， 包括： 第一提取模块， 配置为从行人关键点检测信息中提取行人的关键点特征； 从多帧历史 图像中提取多组历史特征； 所述历史特征中包括： 所述行人的位置、 所述行人的速度和所述 关键点特 征；权　利　要　求　书 1/2 页 2 CN 115249353 A 2融合模块， 配置为基于所述多组历史特 征， 生成所述行 人的融合特 征； 第二提取模块， 配置为从车道信息中提取 车道的特 征； 自注意力 机制模块， 配置为基于自注意力 机制融合所述行人的融合特征和所述车道的 特征， 获取行人车道融合特 征； 解码模块， 配置为基于所述行人车道融合特征确定所述行人是静止还是运动， 如果是 运动， 则将所述行 人车道融合特 征输入解码器， 得到所述行 人的轨迹。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑7中任一所述的方法。 10.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器执 行时实现如权利要求1 ‑7中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115249353 A 3