(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211367597.4 (22)申请日 2022.11.03 (71)申请人 江西方兴科技股份有限公司 地址 330025 江西省南昌市西湖区洪城路 508号 (72)发明人 陈广辉　张小英　熊晨曦　罗江　 蔡泽海　李欣　陈昭彰　 (74)专利代理 机构 上海创开专利代理事务所 (普通合伙) 31374 专利代理师 马正红 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于PAFs的实时多人二维姿态估计方 法 (57)摘要 本发明公开了一种基于PAFs的实时多人二 维姿态估计方法， 该方法具体步骤包括： S1、 输入 目标检测图像； S2、 提取目标图像中特征集， 作为 卷积网络第一阶段的输入； S3、 计算部位置信图 和PAFs， 计算的结果作为与图片特征相结合作为 下阶段的输入； S4、 利用PAFs进行多人解析。 本方 法是一种自上而下的人体姿态估计方法， 能够有 效的对多人姿态进行姿态估计， 同时在保证精度 的情况下， 可以做到实时的效果。 权利要求书1页 说明书5页 附图1页 CN 115546843 A 2022.12.30 CN 115546843 A 1.一种基于PAFs的实时多人二维姿态估计方法， 其特 征在于： 包括以下步骤： S1、 输入目标检测图像： 输入一段包 含人物的视频或者 一系列图片； S2、 提取图像特征： 利用VGG ‑19的前面10层对图片进行处理， 产 生一个特征集F， 这个特 征集作为卷积网络， 该特征集有两个分支， 一个分支用来计算部位置信图， 另一个 分支计算 PAF； 两个分支的第一阶段的输入， 每一个分支都是重复预测架构， 并通过依次重复步骤来 调整预测结果， 每 个分支有t∈{1,. ..,T}个阶段， 每 个阶段中都加入了监 督； S3、 计算部位置信图和PAFs： (1)计算部位置信图 从提取的特征集F中计算部位置信图， 特征集F作为第一个分支第一阶段的输入； 在随 后的阶段中， 来自前一阶段的每一个分支的预测结果结合原始图像特征F， 将传给下一阶 段； 最终产生一个集合的检测置信度图， 每一个置信图是一个对特定身体部位出现在每一 个像素位置的可信度的2D表示； 理想上， 如果一个个体出现在图片中， 只要其相应部位是可 见的， 那么在每一个置信图中将会有一个峰值出现； (2)PAFs的计算 从提取的特 征集F中计算PAFs， 特 征集F作为第二个分支第一阶段的输入； 在随后的阶段中， 来自前一阶段的每一个分支的预测结果结合原始图像特征F， 将传给 下一阶段； 最终产生 一个集合的PAFs， 其编码了各个部位之间的关联度； S4、 利用PAFs进行多人解析： 对检测出来的置信度图进行非极大值抑制， 获得离散的关 键点候选集； 由于图中有多人， 对于每种关键点， 有若干候选， 因此有很多可能的肢体， 通过计算PAF 上的线积分评估每一个候选肢体； 并通过二分图匹配获得每种肢体连接的候选者； 通过所有肢体连接候选， 将共享相同关键点 候选的连接组装成多人的全身 姿势。权　利　要　求　书 1/1 页 2 CN 115546843 A 2一种基于PAFs的实时多人二维姿态估计方 法 技术领域 本发明属于模式识别和计算机视觉领域， 特别是涉及基于行人姿态估计的一种基 于PAFs的实时多人二维姿态估计方法。 背景技术 行人姿态估计是模式识别和计算机视觉领域中的重要问题， 主要是通过智能化分 析， 对图像序列或者视频流中的行人进行自动检测并估计其关节位置和方向信息。 行人检 测在智能车辆安全系统、 智能视频监控、 运动分析、 人机交 互等领域有着非常广范的应用。 目前， 在行人姿态估计方面可以分为两个大的方向： (1)自上而下的策略： 主要分 为行人检测和单人姿态估计两个阶段， 行人检测的结果将作为单人姿态估计的输入； 行人 检测对后面的姿态估计影响很大， 所以能准确无误的检测出行人将显得十 分重要； (2)自下 而上的策略： 首 先检测人体关键点， 之后确定关键点之间的连线并进行姿态估计。 对于多人姿态估计， 目前大多数都采用自下而上的策略。 首先检测人， 然后在每个 检测区域上独立的估计每个人的姿态。 这种自上而 下的方法的主要缺陷是： (1)十 分依赖人 体姿态检测的结果， 当有两个人离的特别近的时候， 可能会只检测到一个人， 漏掉一个人信 息。 (2)算法复杂程度与图片上 人的数目成正比， 当人 数越多时， 运 算将会变得十分缓慢。 本发明采用一种自下而上的方法， 用于多人体姿势评估。 利用Part  Affinity   Fields(PAFs)进行关节 点检测和部位关联， 并进行多 人解析。 减少了计算了复杂度， 提高了 系统的稳健 性和实时性。 发明内容 本发明提供了一种基于PAFs的实时多人二维姿态估计方法， 解决了以上问题。 为解决上述 技术问题， 本发明是通过以下技 术方案实现的： 本发明的一种基于PAFs的实时多人二维姿态估计方法， 包括以下步骤： S1、 .输入目标检测图像 S2、 提取图像特 征 S3、 计算部位置信图和PAFs S4、 利用PAFs进行多人解析 作为进一 步优化， 步骤a 中具体内容包括： 输入一段包 含人物的视频或者 一系列图片。 作为进一 步优化， 步骤b中具体内容包括： 利用VGG‑19的前面10层对图片进行处理， 产生一个特征集F， 这个特征集作为卷积 网络(有两个分支， 一个分支用来计算部位置信图， 另一个 分支计算PAF)两个 分支的第一阶 段的输入， 每一个分支都是重复预测架构， 并通过依次重复步骤来调整 预测结果， 每个分支 有t∈{1,. ..,T}个阶段， 每 个阶段中都加入了监 督。 作为进一 步优化， 步骤c中具体内容包括：说　明　书 1/5 页 3 CN 115546843 A 3