(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211352365.1 (22)申请日 2022.11.01 (71)申请人 深圳市城市交通 规划设计 研究中心 股份有限公司 地址 518131 广东省深圳市龙华区民治街 道龙塘社区星河传奇花园三期商厦1 栋C座1210 (72)发明人 张晓春　翟俊奇　鄢全文　刘星　 庄蔚群　 (74)专利代理 机构 哈尔滨市伟晨专利代理事务 所(普通合伙) 23209 专利代理师 李冬爽 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) G06V 20/40(2022.01) G06V 20/56(2022.01) G06V 20/59(2022.01) G06V 40/10(2022.01) G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种非机动车 儿童搭乘检测方法、 电子设备 及存储介质 (57)摘要 本发明提出一种非机动车儿童搭乘检测方 法、 电子设备及存储介质， 属于非机动车儿童搭 乘检测技术领域。 包括以下步骤： S1.获取场景监 控数据， 基于监控数据获取检测区域； S2.创建非 机动车、 人和安全座椅目标检测模型， 输出带有 唯一标号的非机动车、 人和安全座椅目标框； S3. 创建骑行状态检测模型， 输出非机动车骑行状 态； S4.将非机动车、 驾驶员和安全座椅进行匹 配； S5.建立搭乘人员年龄估计模型， 输 出搭乘人 员年龄； S6.对非机动车儿童乘用进行安全分析； 若搭乘人员年龄小于6岁， 分析结果为儿童搭乘 非机动车。 解决非机动车儿童搭乘检测成本高、 效率低的技 术问题。 权利要求书3页 说明书10页 附图3页 CN 115512315 A 2022.12.23 CN 115512315 A 1.一种非机动车儿童搭乘检测方法， 其特 征在于， 包括以下步骤： S1.获取场景监控数据， 基于监控数据获取检测区域； S2.创建非机动车、 人和安全座椅目标检测模型， 输出带有唯一标号的非机动车、 人和 安全座椅目标框； S3.创建骑行状态检测模型， 输出非机动车骑行状态； S4.将非机动车、 驾驶员和安全座椅进行匹配， 其包括以下步骤： S41.根据S2所述模型检测出 人目标框、 非机动车目标框和安全座椅目标框； S42.构建姿势判定模型， 对每个人目标框， 进行姿势判定， 分类为行人和驾乘人员， 将 行人目标框删除； S43.对驾乘人员、 安全座椅和 非机动车根据距离判定进行驾驶员匹配， 未匹配的驾乘 人员、 安全座椅划分到待匹配人员和安全座椅； S44.分析待匹配人员运动轨迹和 非机动车运动轨迹， 进行轨迹相似度分析， 为非机动 车匹配到对应的搭乘人员； S5.建立搭乘人员年龄估计模型， 输出 搭乘人员年龄； S6.对非机动车儿童乘用进行安全分析； 若搭乘人员年龄小于6岁， 分析结果为儿童搭 乘非机动车。 2.根据权利要求1所述的一种非机动车儿童搭乘检测方法， 其特征在于， S2具体是， 包 括以下步骤： S21.预先获得真实数据集， 数据集中 需包括非机动车、 人和安全座椅； S22.对真实数据集中的非机动车、 人和安全座椅进行 标注； S23.将标注后的真实数据集输入DCGAN网络， 首先训练判别器， 再通过判别器不断提 高 生成器的性能， 训练完成后将随机向量 转换为生成对抗数据集； S24.将真实数据集输入YOLOv5网络进行训练， 并使用生成对抗数据集进行测试； S25.运用迁移学习获得权 重文件， 得到非机动车、 人和安全座椅目标检测模型。 3.根据权利要求2所述的一种非机动车儿童搭乘检测方法， 其特征在于， S3具体是： 包 括CNN特征提取网络， LSTM时序建模网络和FC行驶状态分析网络； CNN特征提取网络对图像序列中的每一帧目标监控图像分别进行特征提取， 特征提取 后， 将每一帧目标序列图像的空间特 征经过变形成LSTM时序建模网络 接受的数据形式； LSTM时序建模网络的每个LSTM单元接受一帧CNN网络输出的空间特征作为输入， 同时 上一个LSTM单元的输出， 经过内部处理后， 输出一组细胞状态， 一次构建非机动车特征在时 序上的关联， 将每一个LSTM输出的细胞状态进行拼接后， 输入到全连接的FC行驶状态分析 网络中； FC行驶状态分析网络输出层有两个神经元， 分别代表 “推行”和“骑行”， 如果代表 “骑 行”的神经元激活并且分数高于设定的阈值t， 则输出 结果为“骑行”， 否则输出 “推行”。 4.根据权利要求3所述的一种非机动车儿童搭乘检测方法， 其特征在于， S42具体是， 包 括以下步骤： S421.使用Kaggle平台驾驶员姿态数据集进行训练， 包含103,282张带有行为注释的驾 驶员图像； S422、 通过Lightweight ‑Openpose模型将图像数据集转化关节点坐标， 并选取8号至13权　利　要　求　书 1/3 页 2 CN 115512315 A 2号关节点的坐标作为训练数据集A； S423、 将训练集A作 为SVM分类器的输入， 经过迭代训练后进行二分类， 分类结果为行人 或驾乘人员。 5.根据权利要求4所述的一种非机动车儿童搭乘检测方法， 其特征在于， S5具体是， 包 括以下步骤： S51.对图像序列中的每一帧驾乘人员目标框分别进行 人脸定位， 得到人脸样本图像； S52.将人脸样本图像进行图像预处 理； S53.将人脸样本图像进行 的像素区域划分， 将中心像素与相邻8个像素的灰度值 分别进行比较得到区域的纹理信息， 划分检测窗口大小相同的细胞单元， 并分别提取相应 的梯度信息,将细胞 单元信息聚合成块信息， 将块信息串联起 来得到特 征向量； S54.将两个特 征进行连接， 获得系列特 征融合得到特 征向量； S55.选定损失函数， 输入特征向量， 模型训练时通过SAPSO优化算法优化SVR得到最优 回归超平面及支持向量机， 输出年龄检测值， 从而判断搭乘人员是否超过6岁。 6.根据权利要求5所述的一种非机动车儿童搭乘检测方法， 其特征在于， S43具体是， 包 括以下步骤： S431.对每个非机动目标框， 分别计算所有驾乘人员目标框、 安全座椅目标框的中心点 与非机动车目标框的中心点， 并分别以驾乘人员目标框和非机动车目标框中心点的连线、 安全座椅目标框和非机动车目标框中心 点的连线为半径画一个圆， 圆心取为 非机动车目标 框的中心点； S432.取半径小于设定阈值的人目标框和安全座椅目标框， 所述人目标框和安全座椅 目标框不多于 3个， 目标框分别为该非机动车对应的疑似驾驶员和安全座椅； S433.分别计算驾乘人员目标框、 安全座椅与圆重合区域的面积占圆总面积的比例， 取 占比最大 的安全座椅目标框和人目标框； 若人目标框占比最大的有多个， 则取圆半径最小 人目标框为驾驶员目标框， 剩 下的为搭乘人员目标框； 若安全座椅目标框占比最大 的有多 个， 则取圆重合 面经最大的安全座椅目标框为 安全座椅目标框； S434.用最小邻接矩形将驾驶员目标框、 安全座椅目标框与非机动车目标框包裹起来， 形成最小邻接矩阵目标框， 计算最小邻接矩形 的中心点坐标， 为唯一的最小邻接矩形目标 框、 驾乘人员目标框、 安全座椅目标框和非机动车目标框的标号 生成的唯一标号； S435.将最小邻接矩形的中心点坐标与检测区域的坐标进行比较， 判断最小邻接矩阵 目标框中心点是否在检测区域内； 若否， 则不做任何操作； 若是， 则对最小邻接矩形目标框 进行跟踪和行为分析， 同时使用目标跟踪算法对连续帧目标检测图像中的同一邻接矩形进 行关联， 并给每个邻接矩形分配唯一的目标序号， 直至该邻接矩形目标框消失或该邻接矩 形离开检测区域； S436.假若非机动车重新进入该检测区域， 应当分配一个新的目标序号， 其中目标序号 由8位或以上 的数字或字母随机组合而成， 同时至少保证当日内每个新的目标序号都是唯 一的； S437.若非机动车目标框无法匹配到驾乘人员目标框和安全座椅目标框， 则不对其做 任何操作； 若距离小于某一设定阈值的只有1个人目标框和1个安全座椅目标框， 则直接对 驾乘人员目标框、 安全座椅目标框和非机动车目标框生成最小邻接矩形。权　利　要　求　书 2/3 页 3 CN 115512315 A 3